KeyFrame內部研究專用

H-JEPA开源 | Yann LeCun世界模型创业交卷 | 杨立昆 | 世界模型 | JEPA | AMI | 大语言模型 | AGI | 具身智能 | 表征学习

Best Partners TV中文
觀看原始影片

三句話摘要

楊立崑發表分層世界模型H-JEPA,用多層級表徵結構將機器人導航成功率從18%提升至73%,代表著從大語言模型轉向世界模型的技術路線轉變。 在潛空間裡學習多層級表徵和物理預測,比單純擴大語言模型規模,可能才是通往通用人工智能的更本質路徑。 分層架構的核心創新是每層擁有自己的表徵空間,而非共享同一個潛空間。這解決了傳統JEPA的致命矛盾:同一個潛空間既要記錄快速變化的動力學細節(如腿部姿態),又要評估離高度抽象目標有多遠,兩者需求根本不同。分層設計讓低層專注動作,高層專注目標,各司其職。

重點整理

  1. 分層架構的核心創新是每層擁有自己的表徵空間,而非共享同一個潛空間。這解決了傳統JEPA的致命矛盾:同一個潛空間既要記錄快速變化的動力學細節(如腿部姿態),又要評估離高度抽象目標有多遠,兩者需求根本不同。分層設計讓低層專注動作,高層專注目標,各司其職。

  2. 規劃收益的來源並非只有搜索拆分。消融實驗發現,單純改變目標函數的評分空間(將預測和目標都投影到上層編碼器再計距離),不做任何分層規劃就能從18%提升到31.3%,說明表徵學習的貢獻和時間分解一樣重要。代價曲線單調性也印證了這一點:追子目標的單調性達0.89-1.00,而直接衡量最終距離只有0.48-0.75,後者信號本身抖動嚴重。

  3. 慢特徵坍塌是真實數據上的關鍵挑戰。模型傾向記住場景、背景等變化緩慢的特徵(DROID數據集75%方差來自場景差異),而忽視動作相關的快變特徵。解決方案是加入逆動力學損失,強制模型根據前後狀態反推動作,保留執行所需的資訊。這項無需人工標注的約束將單層從「幾乎無效」變成可用基線。

  4. 新的行業共識浮現。76%的AI研究者認為單靠擴大語言模型規模難以實現通用AI;楊立崑的論點是語言只是智能的輸出介面,真正的智能需要多尺度、多時間跨度的內部世界模型,而非序列化知識。這不再是一人的執念,而是對規模主義的集體修正。

實用技巧與重點

  • 實驗成果
  • Visual AntMaze任務:H-JEPA (三層) 73.3% vs 單層 18%
  • 計算開銷:分層模型反而更低
  • Push-T任務:兩層效果好,三層退步(數據不足問題)
  • DROID真實資料集:需加逆動力學損失才能運作
  • 架構設計
  • 層級步長比:高層1步 = 低層2步
  • 每層組件:狀態編碼器、動作編碼器、預測器
  • 防坍塌方法:SIGReg將嵌入往各向同性高斯推
  • 訓練方式:端到端,梯度自上而下回傳
  • 數據與工程
  • 原始DROID資料:5.5TB → 重建語料127.6GB (減至1/45)
  • 解碼速度提升:17.9倍
  • 實體頻率間隙:變化快與慢成分的頻率比,≥2倍才會出現選擇性抽象
  • DROID潛在方差分解:75%來自回合間差異,28%在固定場景Cube任務
  • 消融實驗量化
  • 投影規劃器(改變評分空間)單獨貢獻:3-13百分點
  • 代價曲線單調性:追子目標0.89-1.00 vs 終點距離0.48-0.75
  • 競品對比
  • Marble (World Labs):結構化3D重建,強調幾何準確度,缺內嵌物理模擬
  • Genie 3 (Google DeepMind):像素空間實時生成(24fps),應用於自動駕駛仿真,場景一致性數分鐘,計算開銷大
  • 融資與組織
  • AMI (Advanced Machine Intelligence) 2026年3月融資:10.3億美元,投前估值35億美元
  • 領導團隊:楊立崑(董事長)、Alexandre LeBrun(CEO)、謝賽寧(首席科學家)、冯雁(研究與創新)、Michael Rabbat(世界模型負責人、H-JEPA論文作者)
  • 投資方:英偉達、三星、淡馬錫、Toyota Ventures
  • 首個應用合作:Nabla醫療AI與AMI獨家合作,探索理解醫療工作流的智能體

結論

在潛空間裡學習多層級表徵和物理預測,比單純擴大語言模型規模,可能才是通往通用人工智能的更本質路徑。

完整解析

這篇論文從一個經典的認知科學類比開啟。想像你在紐約大學規劃去巴黎的行程,腦子裡想的是目的地、航班和時間;但走出辦公室下樓時,注意力切換到眼前的地面和下一步怎麼邁。人就是在不同時間尺度之間來回切換的,機器人的世界模型應該也要這樣。

傳統JEPA把預測和規劃都搬到單一潛空間、單一時間尺度,這帶來兩個致命問題。首先是長程任務的誤差累積:每次預測一步細粒度動作,錯誤像滾雪球一樣增長,搜索空間也跟著膨脹。更根本的問題是同一潛空間要同時伺候兩樁事——低層的動力學建模需要快速變化的細節,高層的目標匹配需要抽象的結構表現。一個裝滿姿態、夾爪位置等細節的潛空間對動力學建模很行,但用來衡量「還有多遠到目標」就崩潰了。四足機器人已經走到了目標位置,只要腿部姿態跟目標不同,模型仍會判定它離目標很遠。

H-JEPA的解決方案是讓每一層各長出自己的表徵空間。訓練時,高層編碼器會丟掉自己預測不了的細節;低層直接讀圖像,更高層用下層的潛狀態。動作編碼器也分層:低層是具體動作,高層把連續動作壓縮成粗粒度變化。三層結構中,高層一步對應低層兩步,整個訓練端到端進行,梯度自上而下回傳。有趣的是,高層要求下層交出「可預測的特徵」,這不是人工設計的,而是梯度自己鍛鍊出來的。

規劃採用自上而下的接力賽方式。先把觀測和目標編碼到所有層,最頂層優化宏觀動作、預測離目標最近的終局狀態,那串中間狀態逐級下發給下一層當子目標。每層再細化動作去追這些子目標。閉環控制時,每層只執行第一個預測子目標,再重新觀察、重新規劃,長程一致性由上層兜底。

實驗在Visual AntMaze環境得到了驚人成果:三層H-JEPA 73.3% vs 單層 18%,計算開銷反而更低。最引人注目的現象是層級視覺化:越高層,快速變化的躯體姿態表徵越模糊,到第三層幾乎無法恢復;但機器人的全局坐標位置每層都保持清晰。迷宮中的干擾物(藍色小點)隨層級上升越來越模糊、最終消失;對機器人本體的感知始終穩定。這是模型自發學會的取舍,不是人為設計,而是預測步幅變大後自然長出的結構。

論文巧妙地拆解了效果提升的來源。消融實驗保持單層模型和規劃器完全不動,只改一處:改變計算「離目標多遠」的空間。結果光是這一步就能從18%提升到20%-31%之間,甚至超過了單獨訓練的單層基線。換句話說,人們以為分層規劃的好處來自搜索被拆小,其實相當部分來自表徵學習——目標函數用了一個更抽象的空間。這體現了JEPA路線真正的押注:不是算法工程,而是表徵。

但麻煩在真實數據上浮現。團隊把模型搬到DROID資料集——真實機械臂操作的視頻,場景和光照各異。模型立刻進入了「慢特徵坍塌」:它發現在單段視頻裡,房間背景比機械臂穩定得多;只要記住「這是廚房」或「這是辦公室」,就能區分大量視頻。至於機械臂怎麼動、夾爪如何接近物體,反而被丟掉了。論文附錄甚至給了構造性證明:只要正則項只看嵌入邊際分布,這種偷懶解永遠可行。資料也印證了:DROID 75%方差來自不同回合(場景),而固定相機固定場景的Cube任務只有28%。解法是加逆動力學損失,強制模型根據前後狀態反推動作,從而保留動作相關資訊。這項約束不需人工標注,但需要訓練資料帶動作標籤。加上它之後,單層從「幾乎無效」變成像樣基線,第二層再加分。

技術部分的透明性值得稱讚。論文誠實地展示了自己方法在真實資料上的坑,並給了修補方案。但短板也擺在明面:層數越多不一定越好(Push-T任務加到三層反而退步),容易預測不等於對任務重要,真機閉環控制還在計劃中。

從更廣的視角看,這代表了行業的一次認知轉變。楊立崑持續重複:語言是智能的輸出介面,不是智能本身;人理解世界靠多尺度、多時間跨度的內部模型,不是序列預測。AAAI 2025調查顯示76%的研究者同意單靠擴大語言模型規模不太可能實現通用AI。在世界模型賽道上,也分出了三條技術路線:H-JEPA的抽象預測(效率高、適合規劃)、World Labs的Marble(3D幾何重建、偏靜態)、DeepMind的Genie 3(像素實時生成、計算開銷大)。它們從不同側面逼近同一目標,而非互相替代。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。