First Steps Toward Automated AI Research — Richard Socher, CEO Recursive AI
三句話摘要
通過進化論和遞迴自我改進(RSI)原理，建立能自動化科學發現的「Eureka機器」。 遞迴自我改進的AI將成為自動化科學發現的引擎，推動下一波指數型技術革命，解放人類從手動調優與經驗主義的束縛。 科學進展的人力瓶頸：隨著科學細分領域愈來愈多，聚焦單一領域的研究人員反而減少，指數級增長的科學進度將被人力短缺卡住，必須透過自動化突破。
重點整理
重點- 1
科學進展的人力瓶頸：隨著科學細分領域愈來愈多，聚焦單一領域的研究人員反而減少，指數級增長的科學進度將被人力短缺卡住，必須透過自動化突破。
- 2
進化論啟發AI設計：自然進化歷經35億年產出人類，100年內從無飛行到登月——進化過程本質上是開放式的試驗與淘汰，這套邏輯可套用在自動化研究上。
- 3
遞迴自我改進是關鍵：不只是調參數，而是讓AI具備自我意識、能感知自己的不足並修正整個系統，真正的RSI必須完全控制從預訓練到強化學習的全套工具鏈。
- 4
驗證成果展現可行性：Nanochat將bits/byte從0.93降到0.91、CUDA kernels超越NVIDIA基準——這些不是單純調參，而是自動發現新穎演算法。
實用技巧與重點
乾貨- Nanochat：訓練時間< 5分鐘，1-2天內達成bits/byte 0.91（前人最佳0.93）；發現hash biograms、trigam embeddings等創新技術
- Nano-GPD speedrun：比人類與AI協作一年的成果更快2秒（達70秒）
- CUDA kernels：超越NVIDIA官方基準，跨所有核心類別
- 混合專家模型：典型利用率僅30%，存在巨大效率改善空間
- 歷史對標：1900年到1969年內（69年），人類從無飛行進展到登月
- AI發展時程：預計從AI不如人→超越所有任務，需30-60年（因技術加速可能更短）
- Eureka機器四支柱：①科學知識整合 ②測量數據 ③可模擬系統 ④物理實驗室
- Agent swarm：統籌知識、數據、實驗、獎勵訊號的協調系統
結論
結論“遞迴自我改進的AI將成為自動化科學發現的引擎，推動下一波指數型技術革命，解放人類從手動調優與經驗主義的束縛。”
完整解析
詳細科學進步面臨的核心瓶頸來自於知識領域的爆炸性擴張。隨著學科細分愈來愈微觀，單一領域能聚集的研究人員反而逐漸減少，儘管科學總量在指數增長，但當沒有足夠人力投入冷門領域時，這個成長曲線終將觸頂。講者以進化論為靈感，指出自然演化歷經35億年孕育出人類文明，而人類在短短100年內就從萊特兄弟的首次滑翔飛行進展到登月——這套開放式試驗、環境淘汰、持續優化的邏輯，完全可以遷移到科學發現的自動化上。
為此，講者提出「Eureka機器」架構，包含四大支柱缺一不可：首先是對現有科學知識的完整理解與索引；其次是匯聚所有科學測量數據；第三是針對無法直接測量的現象建立模擬系統（因為能模擬就能驗證）；最後是保留物理實驗室進行真實世界驗證。這些資料流與驗證迴路由一個智能體群(Agent swarm)協調。關鍵創新在於讓AI本身進行遞迴自我改進(RSI)：不只是外部調參，而是讓AI獲得完整控制權——從預訓練策略、強化學習配置到整個模型架構——使其能自我診斷缺陷並迭代優化。講者強調這種真正的RSI與單純「某個AI幫忙調參另一個AI」根本不同。
團隊已透過三個具體案例驗證此系統可行性。在Nanochat上，機器在1-2天內將bits/byte指標從業界最佳的0.93降至0.91，且不是單純網格搜尋，而是自動發現hash biograms與trigam embeddings等新穎演算法。在Nano-GPD speedrun上，自動系統超越人類與AI協作一年的成果，使訓練速度提升2秒。在CUDA核心最佳化上，短短數天就超越NVIDIA官方基準。講者補充，雖然團隊對CUDA並無深度專家，但最終驗證這些自動發現的核心確實優於現有方案。這些成果說明RSI不只是理論，而是已可見的現實。展望未來，講者認為AI跨越「不如人類任意任務」到「超越任意人類任務」仍需30-60年，而智能的維度空間遠未觸及上界，成長空間仍天文數字般巨大。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
