Academia is for Ambition — Alex Zhang, MIT
三句話摘要
遞迴語言模型(RLM)如何突破傳統語言模型架構的限制,以及高效能 AI 系統的未來走向。 未來的 AI 突破將來自於 harness 設計與大膽的研究選擇,而非單純的模型規模或算力投入。 --- 補充說明 這份逐字稿長度超過標準 podcast,建議搭配原始音頻段落對照以獲最完整理解。部分技術細節(如 Jeb 的具體機制)在業界仍存爭議。 RLM 的核心創新在於將上下文外部化到程式碼環境(如檔案系統、Python REPL)內,使每個個別模型呼叫都落在分佈內(locally in-distribution),即便整體任務超出分佈。這改變了語言模型如何執行複雜任務的方式,從依賴長序列提示轉向依賴可組合的程式結構。
重點整理
RLM 的核心創新在於將上下文外部化到程式碼環境(如檔案系統、Python REPL)內,使每個個別模型呼叫都落在分佈內(locally in-distribution),即便整體任務超出分佈。這改變了語言模型如何執行複雜任務的方式,從依賴長序列提示轉向依賴可組合的程式結構。
Harness(系統框架)設計的差異往往被低估,但實際上不同的 harness 能改變模型的泛化能力。研究人員發現在 RLM 框架下訓練的模型能在短任務到長任務間自然遷移,甚至在看似無關的領域(如數學 vs 程式撰寫)也展現相同策略,這提示了 harness 設計能大幅擴展訓練資料的有效性。
GPU 核心程式設計這個曾經的利基領域,現已因 AI 自動化而面臨飽和。儘管 AI 產生的解決方案數量龐大,但真正具有穩定性與實務價值的核心仍需人類專業知識把關;這顯示了 AI 輔助與人類直覺的互補關係。
PhD 學生相對於業界實驗室的獨特優勢,不在於資源或算力,而在於自由去追求「大賭注」研究——那些當下看似無用但可能重塑領域的想法。這種冒險精神正是推動 AI 朝新方向發展的動力,業界因投資已鎖定而傾向保守。
實用技巧與重點
- 關鍵人物與組織:
- Alex Zhang(RLM 作者、普林斯頓/MIT 博士生)
- Mark Seraphine(GPU Mode 創始人之一)
- Matei(GPU Mode 核心成員)
- Jeremy Howard、Andreas(GPU Mode 初期創辦人)
- Trenton Bricken(Flash Attention 講者、普林斯頓教授)
- 核心工具與模型:
- RLM(Recursive Language Model)
- Prime Agent(Prometer 公司開發,基於 RLM 的 harness)
- Jeb(爭議最多的快速分類模型,號稱成本降 100 倍)
- Jeff Dean 模型(Google 高管同名,用於評估 GPU 核心品質)
- Claude Code、Codex、Pi(標準 harness)
- Grokbot(Anthropic harness)
- 具體數字與成本:
- OpenAI 解 Navier-Stokes:1 萬個代理、88 小時、1,300 億輸出 tokens、約 4 千萬美金成本
- Jeb 宣稱成本降 80-100 倍(未驗證)
- GPU 核心理論最高速度(「光速極限」)往往無法達成
- 競賽與基準:
- SWE Bench(軟體工程基準,普林斯頓 Karthik Narasimhan 實驗室)
- Kernel Bench(GPU 核心優化競賽,Mark Seraphine 等發起)
- Leap GPU、Leap Code(新興 GPU 問題競賽平台)
- Arc-AGI 3(Kaggle 競賽,多支隊伍採用類 RLM 架構)
- 研究機構:
- Sakana AI(日本實驗室,專注開放式演化研究、建有日文調適模型)
- Recursive Superintelligence(開放式問題研究)
- Harvey(法律 AI,成功後訓練 RLM)
- Headlong / LOD Institute(Andy Konwinski 專案,持續思考系統)
- 技術概念:
- CUDA Mode / GPU Mode(學習 GPU 核心撰寫的 Discord 社群)
- Kernel Fusion(多核心合併優化)
- Continual Harness(允許 harness 自我修改的設計原則)
- Locally In-Distribution(每步模型呼叫都在分佈內,縱使整體任務超出分佈)
- Trajectory as Prompt(保留完整推理過程作為上下文)
- Harness Tax(證實大多數 harness 設計差異微小的論文)
- 競程與優化文化:
- Competitive Programming 與 GPU 優化共享相似技能集(代碼折衝 / code golf)
- 標準競速標準:平方英里每秒(FLOPs/s)但較少關注功耗(皮焦耳)
- Kernel 穩定性在真實端到端系統中比基準高效更重要
結論
未來的 AI 突破將來自於 harness 設計與大膽的研究選擇,而非單純的模型規模或算力投入。 --- 補充說明 這份逐字稿長度超過標準 podcast,建議搭配原始音頻段落對照以獲最完整理解。部分技術細節(如 Jeb 的具體機制)在業界仍存爭議。
完整解析
這場 podcast 對話深入探討了當代 AI 系統架構的前沿思考。Alex Zhang 一開始分享了他與 GPU Mode 社群的淵源——這個始於 2023 年、由 Mark Seraphine、Andreas 和 Jeremy Howard 創立的 Discord 社群,原本專注 CUDA 核心撰寫教學。當時他在 Snapchat 實習,對 Google 的 Infinite Attention 論文感興趣,希望為其開發專用 GPU 核心,雖未成果但由此進入社群。
社群內部曾提出 Popcorn(今日的排行榜)概念,靈感來自競技程式設計:若能累積足夠 GPU 優化問題數據,就能像 Codeforces 百萬題庫般自動化核心開發。這對研究者意義重大,因團隊通常缺乏 GPU 專家。然而,隨著 GPT 5.6 等模型進展,GPU 核心優化已自動化——幾乎所有排行榜解答都由 AI 生成——但東西也隨之飽和,只有少數像 Gaunurst 的頂尖手工優化能確保穩定性。
張強調了一個關鍵點:知識從未過時。儘管 AI 能批量生成解決方案,但專家能識別哪些有效、如何引導模型探索,並如同高效驗證者般降低所需計算。這反映了 AI 系統的普遍真理——丟入龐大計算可能解決問題,但領域專家能用分之一的資源達成相同目標。
隨後討論轉向語言模型 harness(系統框架)的本質。Claude Code、Codex、Pi 等工具乍看差異大,實則核心邏輯相同——都沿用「軌跡作為提示」的設計,即保留完整推理過程。但 RLM 跳脫此框架,改為將程式碼作為唯一工具,上下文存放於共享環境(檔案系統、Python REPL)。Prime Agent 即此思想的實踐,額外引入「持續 Harness」設計——允許系統修改自身工具與提示。
關鍵發現來自對任務遷移的分析。研究表明在 RLM 框架下訓練的模型,能將短任務策略自然推廣至長任務,甚至跨域遷移——數學與程式撰寫等看似無關的任務,高層策略卻相同。這因「局部分佈內」(locally in-distribution)特性而起:儘管整體任務超出模型訓練範圍,每步個別呼叫都落在分佈內,故泛化性更強。這啟示了 harness 設計本身能擴展訓練資料效力,突破傳統認知。
Jeb 與 Jeff 等新模型則代表另一思路:打破文本到文本的單一範式。Jeb 號稱以百倍成本優勢做快速分類,暗示語言模型骨幹可配置不同輸出空間以換取推理效率。Jeff 則與此相通——既非新架構亦非更大規模,而是發現了新的設計空間,開啟「我們是否高估了自回迴解碼的必要性」這一根本問題。
最引人注目的是 OpenAI 的代理群集在 88 小時內花費 4 千萬美金解決 Navier-Stokes,涉及萬級代理與 1.3 兆 tokens。此舉展示了絕對算力的力量,卻也暴露問題——是否所有計算都必要?如何設計高效協調機制使代理不相互浪費?Cursor 等研究表明最優設計應是扁平網絡而非層級制。
張對 PhD 學生優勢的見解尤為深刻:業界受既得投資綁架,傾向保守;學生卻可自由追逐看似瘋狂的賭注。RLM、SWE Bench、Quiet Star 等論文初出時均被嘲笑,後來卻重塑領域。真正的學術價值在於發現新目標函數、新設計空間,而非堆砌資源。Sakana AI 等日本實驗室的「怪異」取向恰好體現了此精神。
討論最後涉及開放式問題(open-endedness):是否能讓 AI 系統在無明確目標下自主探索並發現有趣方向?這對標基礎科學與應用科學的分野,暗示未來研究可能既無預定目標又能產出價值——前提是能有效篩選「隱藏珍寶」。

