KeyFrame內部研究專用

First Steps Toward Automated AI Research — Richard Socher, CEO Recursive AI

AI Engineer20 min英文
觀看原始影片

三句話摘要

通過進化論和遞迴自我改進(RSI)原理,建立能自動化科學發現的「Eureka機器」。 遞迴自我改進的AI將成為自動化科學發現的引擎,推動下一波指數型技術革命,解放人類從手動調優與經驗主義的束縛。 科學進展的人力瓶頸:隨著科學細分領域愈來愈多,聚焦單一領域的研究人員反而減少,指數級增長的科學進度將被人力短缺卡住,必須透過自動化突破。

重點整理

  1. 科學進展的人力瓶頸:隨著科學細分領域愈來愈多,聚焦單一領域的研究人員反而減少,指數級增長的科學進度將被人力短缺卡住,必須透過自動化突破。

  2. 進化論啟發AI設計:自然進化歷經35億年產出人類,100年內從無飛行到登月——進化過程本質上是開放式的試驗與淘汰,這套邏輯可套用在自動化研究上。

  3. 遞迴自我改進是關鍵:不只是調參數,而是讓AI具備自我意識、能感知自己的不足並修正整個系統,真正的RSI必須完全控制從預訓練到強化學習的全套工具鏈。

  4. 驗證成果展現可行性:Nanochat將bits/byte從0.93降到0.91、CUDA kernels超越NVIDIA基準——這些不是單純調參,而是自動發現新穎演算法。

實用技巧與重點

  • Nanochat:訓練時間< 5分鐘,1-2天內達成bits/byte 0.91(前人最佳0.93);發現hash biograms、trigam embeddings等創新技術
  • Nano-GPD speedrun:比人類與AI協作一年的成果更快2秒(達70秒)
  • CUDA kernels:超越NVIDIA官方基準,跨所有核心類別
  • 混合專家模型:典型利用率僅30%,存在巨大效率改善空間
  • 歷史對標:1900年到1969年內(69年),人類從無飛行進展到登月
  • AI發展時程:預計從AI不如人→超越所有任務,需30-60年(因技術加速可能更短)
  • Eureka機器四支柱:①科學知識整合 ②測量數據 ③可模擬系統 ④物理實驗室
  • Agent swarm:統籌知識、數據、實驗、獎勵訊號的協調系統

結論

遞迴自我改進的AI將成為自動化科學發現的引擎,推動下一波指數型技術革命,解放人類從手動調優與經驗主義的束縛。

完整解析

科學進步面臨的核心瓶頸來自於知識領域的爆炸性擴張。隨著學科細分愈來愈微觀,單一領域能聚集的研究人員反而逐漸減少,儘管科學總量在指數增長,但當沒有足夠人力投入冷門領域時,這個成長曲線終將觸頂。講者以進化論為靈感,指出自然演化歷經35億年孕育出人類文明,而人類在短短100年內就從萊特兄弟的首次滑翔飛行進展到登月——這套開放式試驗、環境淘汰、持續優化的邏輯,完全可以遷移到科學發現的自動化上。

為此,講者提出「Eureka機器」架構,包含四大支柱缺一不可:首先是對現有科學知識的完整理解與索引;其次是匯聚所有科學測量數據;第三是針對無法直接測量的現象建立模擬系統(因為能模擬就能驗證);最後是保留物理實驗室進行真實世界驗證。這些資料流與驗證迴路由一個智能體群(Agent swarm)協調。關鍵創新在於讓AI本身進行遞迴自我改進(RSI):不只是外部調參,而是讓AI獲得完整控制權——從預訓練策略、強化學習配置到整個模型架構——使其能自我診斷缺陷並迭代優化。講者強調這種真正的RSI與單純「某個AI幫忙調參另一個AI」根本不同。

團隊已透過三個具體案例驗證此系統可行性。在Nanochat上,機器在1-2天內將bits/byte指標從業界最佳的0.93降至0.91,且不是單純網格搜尋,而是自動發現hash biograms與trigam embeddings等新穎演算法。在Nano-GPD speedrun上,自動系統超越人類與AI協作一年的成果,使訓練速度提升2秒。在CUDA核心最佳化上,短短數天就超越NVIDIA官方基準。講者補充,雖然團隊對CUDA並無深度專家,但最終驗證這些自動發現的核心確實優於現有方案。這些成果說明RSI不只是理論,而是已可見的現實。展望未來,講者認為AI跨越「不如人類任意任務」到「超越任意人類任務」仍需30-60年,而智能的維度空間遠未觸及上界,成長空間仍天文數字般巨大。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。