H-JEPA开源 | Yann LeCun世界模型创业交卷 | 杨立昆 | 世界模型 | JEPA | AMI | 大语言模型 | AGI | 具身智能 | 表征学习
三句話摘要
楊立崑發表分層世界模型H-JEPA,用多層級表徵結構將機器人導航成功率從18%提升至73%,代表著從大語言模型轉向世界模型的技術路線轉變。 在潛空間裡學習多層級表徵和物理預測,比單純擴大語言模型規模,可能才是通往通用人工智能的更本質路徑。 分層架構的核心創新是每層擁有自己的表徵空間,而非共享同一個潛空間。這解決了傳統JEPA的致命矛盾:同一個潛空間既要記錄快速變化的動力學細節(如腿部姿態),又要評估離高度抽象目標有多遠,兩者需求根本不同。分層設計讓低層專注動作,高層專注目標,各司其職。
重點整理
分層架構的核心創新是每層擁有自己的表徵空間,而非共享同一個潛空間。這解決了傳統JEPA的致命矛盾:同一個潛空間既要記錄快速變化的動力學細節(如腿部姿態),又要評估離高度抽象目標有多遠,兩者需求根本不同。分層設計讓低層專注動作,高層專注目標,各司其職。
規劃收益的來源並非只有搜索拆分。消融實驗發現,單純改變目標函數的評分空間(將預測和目標都投影到上層編碼器再計距離),不做任何分層規劃就能從18%提升到31.3%,說明表徵學習的貢獻和時間分解一樣重要。代價曲線單調性也印證了這一點:追子目標的單調性達0.89-1.00,而直接衡量最終距離只有0.48-0.75,後者信號本身抖動嚴重。
慢特徵坍塌是真實數據上的關鍵挑戰。模型傾向記住場景、背景等變化緩慢的特徵(DROID數據集75%方差來自場景差異),而忽視動作相關的快變特徵。解決方案是加入逆動力學損失,強制模型根據前後狀態反推動作,保留執行所需的資訊。這項無需人工標注的約束將單層從「幾乎無效」變成可用基線。
新的行業共識浮現。76%的AI研究者認為單靠擴大語言模型規模難以實現通用AI;楊立崑的論點是語言只是智能的輸出介面,真正的智能需要多尺度、多時間跨度的內部世界模型,而非序列化知識。這不再是一人的執念,而是對規模主義的集體修正。
實用技巧與重點
- 實驗成果
- Visual AntMaze任務:H-JEPA (三層) 73.3% vs 單層 18%
- 計算開銷:分層模型反而更低
- Push-T任務:兩層效果好,三層退步(數據不足問題)
- DROID真實資料集:需加逆動力學損失才能運作
- 架構設計
- 層級步長比:高層1步 = 低層2步
- 每層組件:狀態編碼器、動作編碼器、預測器
- 防坍塌方法:SIGReg將嵌入往各向同性高斯推
- 訓練方式:端到端,梯度自上而下回傳
- 數據與工程
- 原始DROID資料:5.5TB → 重建語料127.6GB (減至1/45)
- 解碼速度提升:17.9倍
- 實體頻率間隙:變化快與慢成分的頻率比,≥2倍才會出現選擇性抽象
- DROID潛在方差分解:75%來自回合間差異,28%在固定場景Cube任務
- 消融實驗量化
- 投影規劃器(改變評分空間)單獨貢獻:3-13百分點
- 代價曲線單調性:追子目標0.89-1.00 vs 終點距離0.48-0.75
- 競品對比
- Marble (World Labs):結構化3D重建,強調幾何準確度,缺內嵌物理模擬
- Genie 3 (Google DeepMind):像素空間實時生成(24fps),應用於自動駕駛仿真,場景一致性數分鐘,計算開銷大
- 融資與組織
- AMI (Advanced Machine Intelligence) 2026年3月融資:10.3億美元,投前估值35億美元
- 領導團隊:楊立崑(董事長)、Alexandre LeBrun(CEO)、謝賽寧(首席科學家)、冯雁(研究與創新)、Michael Rabbat(世界模型負責人、H-JEPA論文作者)
- 投資方:英偉達、三星、淡馬錫、Toyota Ventures
- 首個應用合作:Nabla醫療AI與AMI獨家合作,探索理解醫療工作流的智能體
結論
在潛空間裡學習多層級表徵和物理預測,比單純擴大語言模型規模,可能才是通往通用人工智能的更本質路徑。
完整解析
這篇論文從一個經典的認知科學類比開啟。想像你在紐約大學規劃去巴黎的行程,腦子裡想的是目的地、航班和時間;但走出辦公室下樓時,注意力切換到眼前的地面和下一步怎麼邁。人就是在不同時間尺度之間來回切換的,機器人的世界模型應該也要這樣。
傳統JEPA把預測和規劃都搬到單一潛空間、單一時間尺度,這帶來兩個致命問題。首先是長程任務的誤差累積:每次預測一步細粒度動作,錯誤像滾雪球一樣增長,搜索空間也跟著膨脹。更根本的問題是同一潛空間要同時伺候兩樁事——低層的動力學建模需要快速變化的細節,高層的目標匹配需要抽象的結構表現。一個裝滿姿態、夾爪位置等細節的潛空間對動力學建模很行,但用來衡量「還有多遠到目標」就崩潰了。四足機器人已經走到了目標位置,只要腿部姿態跟目標不同,模型仍會判定它離目標很遠。
H-JEPA的解決方案是讓每一層各長出自己的表徵空間。訓練時,高層編碼器會丟掉自己預測不了的細節;低層直接讀圖像,更高層用下層的潛狀態。動作編碼器也分層:低層是具體動作,高層把連續動作壓縮成粗粒度變化。三層結構中,高層一步對應低層兩步,整個訓練端到端進行,梯度自上而下回傳。有趣的是,高層要求下層交出「可預測的特徵」,這不是人工設計的,而是梯度自己鍛鍊出來的。
規劃採用自上而下的接力賽方式。先把觀測和目標編碼到所有層,最頂層優化宏觀動作、預測離目標最近的終局狀態,那串中間狀態逐級下發給下一層當子目標。每層再細化動作去追這些子目標。閉環控制時,每層只執行第一個預測子目標,再重新觀察、重新規劃,長程一致性由上層兜底。
實驗在Visual AntMaze環境得到了驚人成果:三層H-JEPA 73.3% vs 單層 18%,計算開銷反而更低。最引人注目的現象是層級視覺化:越高層,快速變化的躯體姿態表徵越模糊,到第三層幾乎無法恢復;但機器人的全局坐標位置每層都保持清晰。迷宮中的干擾物(藍色小點)隨層級上升越來越模糊、最終消失;對機器人本體的感知始終穩定。這是模型自發學會的取舍,不是人為設計,而是預測步幅變大後自然長出的結構。
論文巧妙地拆解了效果提升的來源。消融實驗保持單層模型和規劃器完全不動,只改一處:改變計算「離目標多遠」的空間。結果光是這一步就能從18%提升到20%-31%之間,甚至超過了單獨訓練的單層基線。換句話說,人們以為分層規劃的好處來自搜索被拆小,其實相當部分來自表徵學習——目標函數用了一個更抽象的空間。這體現了JEPA路線真正的押注:不是算法工程,而是表徵。
但麻煩在真實數據上浮現。團隊把模型搬到DROID資料集——真實機械臂操作的視頻,場景和光照各異。模型立刻進入了「慢特徵坍塌」:它發現在單段視頻裡,房間背景比機械臂穩定得多;只要記住「這是廚房」或「這是辦公室」,就能區分大量視頻。至於機械臂怎麼動、夾爪如何接近物體,反而被丟掉了。論文附錄甚至給了構造性證明:只要正則項只看嵌入邊際分布,這種偷懶解永遠可行。資料也印證了:DROID 75%方差來自不同回合(場景),而固定相機固定場景的Cube任務只有28%。解法是加逆動力學損失,強制模型根據前後狀態反推動作,從而保留動作相關資訊。這項約束不需人工標注,但需要訓練資料帶動作標籤。加上它之後,單層從「幾乎無效」變成像樣基線,第二層再加分。
技術部分的透明性值得稱讚。論文誠實地展示了自己方法在真實資料上的坑,並給了修補方案。但短板也擺在明面:層數越多不一定越好(Push-T任務加到三層反而退步),容易預測不等於對任務重要,真機閉環控制還在計劃中。
從更廣的視角看,這代表了行業的一次認知轉變。楊立崑持續重複:語言是智能的輸出介面,不是智能本身;人理解世界靠多尺度、多時間跨度的內部模型,不是序列預測。AAAI 2025調查顯示76%的研究者同意單靠擴大語言模型規模不太可能實現通用AI。在世界模型賽道上,也分出了三條技術路線:H-JEPA的抽象預測(效率高、適合規劃)、World Labs的Marble(3D幾何重建、偏靜態)、DeepMind的Genie 3(像素實時生成、計算開銷大)。它們從不同側面逼近同一目標,而非互相替代。


