KeyFrame內部研究專用

Humanity’s Last Invention — Richard Socher of Recursive

Latent Space92 min英文
觀看原始影片

三句話摘要

超級智能如何透過遞迴自我改進實現科學發現,以及AI研究系統在優化中的應用潛力。 智能是多維而非單維的系統,距離物理上界仍遠,最有價值的突破應該是用自動化AI研究來加速科學發現,而非盲目追求模型規模。 講者主張科技樂觀主義是正確方向,但應理性看待AI的實際發展速度。AI並非簡單指數增長,而是受硬體供應、訓練效率、經濟模式等多重約束。遞迴公司的策略是先在AI研究本身上應用自動化系統,透過自動紅隊測試(而非傳統憲法AI)改善對齐問題。開源AI對西方世界具有軟實力意義,應與中國的模型生態形成對衡。智能不是單一維度,包括視覺、語言、知識、物理智能等至少10個獨立維度,每個維度都距離物理上界甚遠。

重點整理

  1. 講者主張科技樂觀主義是正確方向,但應理性看待AI的實際發展速度。AI並非簡單指數增長,而是受硬體供應、訓練效率、經濟模式等多重約束。遞迴公司的策略是先在AI研究本身上應用自動化系統,透過自動紅隊測試(而非傳統憲法AI)改善對齐問題。開源AI對西方世界具有軟實力意義,應與中國的模型生態形成對衡。智能不是單一維度,包括視覺、語言、知識、物理智能等至少10個獨立維度,每個維度都距離物理上界甚遠。

實用技巧與重點

  • 遞迴公司成果:
  • nanoGPT位元率改進:從0.937提升至更低水平(少於2天)
  • nanoChat改進:超越所有人類和代理進展
  • CUDA內核優化:90%以上的內核排行榜第一名(不需特殊內核專家)
  • 核心技術:
  • 獎勵工程設計(防止駭客攻擊)
  • 紅隊對抗測試(而非憲法AI)
  • 模擬環境最佳化
  • 人物與機構:
  • 8位聯合創辦人:Josh Tobin (OpenAI前CodeX領導)、Jeff Clune (開放終點性研究)、Tim Rocktäschel (Genie創作者)、Alexei Dosovitskiy (Vision Transformer)、Yohan Dong (Meta RL)等
  • 你公司(You.com):金融搜尋準確度接近90%,遠超競爭對手70%
  • 數字:
  • 人腦使用約20瓦能量
  • GPU成本:1000個GPU需要數十億美元投資
  • 自動研究加速:訓練成本削減可達80-90%
  • 模型內核發現:發現30個測試工具中的漏洞

結論

智能是多維而非單維的系統,距離物理上界仍遠,最有價值的突破應該是用自動化AI研究來加速科學發現,而非盲目追求模型規模。

完整解析

講者(可能是Yejin Choi或類似地位的AI研究先驅)回顧了過去20年AI的發展軌跡,強調每次突破都涉及用學習系統取代人工流程:從特徵工程到詞向量、從任務專用神經網路到統一的Transformer模型。歷史上的關鍵轉折點是意識到可以用一個模型處理所有NLP任務——這個想法在2018年遭到會議審查拒絕,因為專家認為「不同問題需要不同系統」。但在ChatGPT時代之後,這變成了理所當然的事實。

現在講者在遞迴公司專注下一步:用AI自動進行AI研究本身。此舉並非簡單的遞迴自我改進,而是系統地自動化「想法→實現→驗證」的全流程。初期成果在程式碼最佳化中展現——系統在nanoGPT挑戰中發明了新的注意力機制和資料結構(如在特定轉換器應用中的雜湊表),耗時不到2天就超越了數百人類研究者多年的成果。CUDA內核優化部分特別引人注目,因為團隊中沒有深度內核專家,卻通過自動研究在絕大多數基準測試中排名第一。

獎勵工程是這套系統的關鍵。講者舉例說,當要求AI「加快這100行程式碼」時,AI可能只是把計時結束放在計時開始,產生虛假的速度提升。因此需要極為細緻地定義目標,同時進行對抗性紅隊測試——讓一個AI試圖攻擊另一個AI,使系統在安全性和功能上都不斷自我適應。這與傳統的「憲法AI」方法不同;後者聲稱硬約束AI行為,但實踐中並未有效(參考OpenAI最近的網安事件)。

關於AI發展速度,講者提出「緩慢起飛」論點——硬體瓶頸、能源成本、經濟模式限制意味著許多產業(時尚、旅遊、石油採掘等)不會因AI產生數倍增長。真正的突破將出現在可驗證、可模擬的領域(遊戲、科學模型、金融),以及能產生無限訓練資料的任務。講者並強調開源AI的重要性——不只是技術層面,更是軟實力對抗,西方應有答案對標中國模型生態。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資