KeyFrame內部研究專用

Academia is for Ambition — Alex Zhang, MIT

Latent Space101 min英文
觀看原始影片

三句話摘要

遞迴語言模型(RLM)如何突破傳統語言模型架構的限制,以及高效能 AI 系統的未來走向。 未來的 AI 突破將來自於 harness 設計與大膽的研究選擇,而非單純的模型規模或算力投入。 --- 補充說明 這份逐字稿長度超過標準 podcast,建議搭配原始音頻段落對照以獲最完整理解。部分技術細節(如 Jeb 的具體機制)在業界仍存爭議。 RLM 的核心創新在於將上下文外部化到程式碼環境(如檔案系統、Python REPL)內,使每個個別模型呼叫都落在分佈內(locally in-distribution),即便整體任務超出分佈。這改變了語言模型如何執行複雜任務的方式,從依賴長序列提示轉向依賴可組合的程式結構。

重點整理

  1. RLM 的核心創新在於將上下文外部化到程式碼環境(如檔案系統、Python REPL)內,使每個個別模型呼叫都落在分佈內(locally in-distribution),即便整體任務超出分佈。這改變了語言模型如何執行複雜任務的方式,從依賴長序列提示轉向依賴可組合的程式結構。

  2. Harness(系統框架)設計的差異往往被低估,但實際上不同的 harness 能改變模型的泛化能力。研究人員發現在 RLM 框架下訓練的模型能在短任務到長任務間自然遷移,甚至在看似無關的領域(如數學 vs 程式撰寫)也展現相同策略,這提示了 harness 設計能大幅擴展訓練資料的有效性。

  3. GPU 核心程式設計這個曾經的利基領域,現已因 AI 自動化而面臨飽和。儘管 AI 產生的解決方案數量龐大,但真正具有穩定性與實務價值的核心仍需人類專業知識把關;這顯示了 AI 輔助與人類直覺的互補關係。

  4. PhD 學生相對於業界實驗室的獨特優勢,不在於資源或算力,而在於自由去追求「大賭注」研究——那些當下看似無用但可能重塑領域的想法。這種冒險精神正是推動 AI 朝新方向發展的動力,業界因投資已鎖定而傾向保守。

實用技巧與重點

  • 關鍵人物與組織:
  • Alex Zhang(RLM 作者、普林斯頓/MIT 博士生)
  • Mark Seraphine(GPU Mode 創始人之一)
  • Matei(GPU Mode 核心成員)
  • Jeremy Howard、Andreas(GPU Mode 初期創辦人)
  • Trenton Bricken(Flash Attention 講者、普林斯頓教授)
  • 核心工具與模型:
  • RLM(Recursive Language Model)
  • Prime Agent(Prometer 公司開發,基於 RLM 的 harness)
  • Jeb(爭議最多的快速分類模型,號稱成本降 100 倍)
  • Jeff Dean 模型(Google 高管同名,用於評估 GPU 核心品質)
  • Claude Code、Codex、Pi(標準 harness)
  • Grokbot(Anthropic harness)
  • 具體數字與成本:
  • OpenAI 解 Navier-Stokes:1 萬個代理、88 小時、1,300 億輸出 tokens、約 4 千萬美金成本
  • Jeb 宣稱成本降 80-100 倍(未驗證)
  • GPU 核心理論最高速度(「光速極限」)往往無法達成
  • 競賽與基準:
  • SWE Bench(軟體工程基準,普林斯頓 Karthik Narasimhan 實驗室)
  • Kernel Bench(GPU 核心優化競賽,Mark Seraphine 等發起)
  • Leap GPU、Leap Code(新興 GPU 問題競賽平台)
  • Arc-AGI 3(Kaggle 競賽,多支隊伍採用類 RLM 架構)
  • 研究機構:
  • Sakana AI(日本實驗室,專注開放式演化研究、建有日文調適模型)
  • Recursive Superintelligence(開放式問題研究)
  • Harvey(法律 AI,成功後訓練 RLM)
  • Headlong / LOD Institute(Andy Konwinski 專案,持續思考系統)
  • 技術概念:
  • CUDA Mode / GPU Mode(學習 GPU 核心撰寫的 Discord 社群)
  • Kernel Fusion(多核心合併優化)
  • Continual Harness(允許 harness 自我修改的設計原則)
  • Locally In-Distribution(每步模型呼叫都在分佈內,縱使整體任務超出分佈)
  • Trajectory as Prompt(保留完整推理過程作為上下文)
  • Harness Tax(證實大多數 harness 設計差異微小的論文)
  • 競程與優化文化:
  • Competitive Programming 與 GPU 優化共享相似技能集(代碼折衝 / code golf)
  • 標準競速標準:平方英里每秒(FLOPs/s)但較少關注功耗(皮焦耳)
  • Kernel 穩定性在真實端到端系統中比基準高效更重要

結論

未來的 AI 突破將來自於 harness 設計與大膽的研究選擇,而非單純的模型規模或算力投入。 --- 補充說明 這份逐字稿長度超過標準 podcast,建議搭配原始音頻段落對照以獲最完整理解。部分技術細節(如 Jeb 的具體機制)在業界仍存爭議。

完整解析

這場 podcast 對話深入探討了當代 AI 系統架構的前沿思考。Alex Zhang 一開始分享了他與 GPU Mode 社群的淵源——這個始於 2023 年、由 Mark Seraphine、Andreas 和 Jeremy Howard 創立的 Discord 社群,原本專注 CUDA 核心撰寫教學。當時他在 Snapchat 實習,對 Google 的 Infinite Attention 論文感興趣,希望為其開發專用 GPU 核心,雖未成果但由此進入社群。

社群內部曾提出 Popcorn(今日的排行榜)概念,靈感來自競技程式設計:若能累積足夠 GPU 優化問題數據,就能像 Codeforces 百萬題庫般自動化核心開發。這對研究者意義重大,因團隊通常缺乏 GPU 專家。然而,隨著 GPT 5.6 等模型進展,GPU 核心優化已自動化——幾乎所有排行榜解答都由 AI 生成——但東西也隨之飽和,只有少數像 Gaunurst 的頂尖手工優化能確保穩定性。

張強調了一個關鍵點:知識從未過時。儘管 AI 能批量生成解決方案,但專家能識別哪些有效、如何引導模型探索,並如同高效驗證者般降低所需計算。這反映了 AI 系統的普遍真理——丟入龐大計算可能解決問題,但領域專家能用分之一的資源達成相同目標。

隨後討論轉向語言模型 harness(系統框架)的本質。Claude Code、Codex、Pi 等工具乍看差異大,實則核心邏輯相同——都沿用「軌跡作為提示」的設計,即保留完整推理過程。但 RLM 跳脫此框架,改為將程式碼作為唯一工具,上下文存放於共享環境(檔案系統、Python REPL)。Prime Agent 即此思想的實踐,額外引入「持續 Harness」設計——允許系統修改自身工具與提示。

關鍵發現來自對任務遷移的分析。研究表明在 RLM 框架下訓練的模型,能將短任務策略自然推廣至長任務,甚至跨域遷移——數學與程式撰寫等看似無關的任務,高層策略卻相同。這因「局部分佈內」(locally in-distribution)特性而起:儘管整體任務超出模型訓練範圍,每步個別呼叫都落在分佈內,故泛化性更強。這啟示了 harness 設計本身能擴展訓練資料效力,突破傳統認知。

Jeb 與 Jeff 等新模型則代表另一思路:打破文本到文本的單一範式。Jeb 號稱以百倍成本優勢做快速分類,暗示語言模型骨幹可配置不同輸出空間以換取推理效率。Jeff 則與此相通——既非新架構亦非更大規模,而是發現了新的設計空間,開啟「我們是否高估了自回迴解碼的必要性」這一根本問題。

最引人注目的是 OpenAI 的代理群集在 88 小時內花費 4 千萬美金解決 Navier-Stokes,涉及萬級代理與 1.3 兆 tokens。此舉展示了絕對算力的力量,卻也暴露問題——是否所有計算都必要?如何設計高效協調機制使代理不相互浪費?Cursor 等研究表明最優設計應是扁平網絡而非層級制。

張對 PhD 學生優勢的見解尤為深刻:業界受既得投資綁架,傾向保守;學生卻可自由追逐看似瘋狂的賭注。RLM、SWE Bench、Quiet Star 等論文初出時均被嘲笑,後來卻重塑領域。真正的學術價值在於發現新目標函數、新設計空間,而非堆砌資源。Sakana AI 等日本實驗室的「怪異」取向恰好體現了此精神。

討論最後涉及開放式問題(open-endedness):是否能讓 AI 系統在無明確目標下自主探索並發現有趣方向?這對標基礎科學與應用科學的分野,暗示未來研究可能既無預定目標又能產出價值——前提是能有效篩選「隱藏珍寶」。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資