World Models and the Future of Spatial AI with Justin Johnson - #775
三句話摘要
世界模型是AI發展的下一個前沿,從隱含理解到顯式模擬環境狀態,重新定義機器如何理解和生成世界。 世界模型的未來不在於單一定義或表示方式,而在於建立統一的、足夠龐大的系統,既能理解世界如何存在(state)、又能預測觀測內容(rendering)和決定行動(planning),根據任務需求彈性輸出,這是機器智能從語言理解到環境互動的根本跨越。 世界模型定義的三個維度:學界對世界模型缺乏統一定義,存在隱含世界知識(如語言/影像模型藉由生成連貫內容而隱含建模世界)、強化學習中的狀態轉移機制(POMDP)、以及生成式環境模型(像DALL-E一樣生成世界)三種理解方式,各有價值但需要更好的術語區分。
重點整理
世界模型定義的三個維度:學界對世界模型缺乏統一定義,存在隱含世界知識(如語言/影像模型藉由生成連貫內容而隱含建模世界)、強化學習中的狀態轉移機制(POMDP)、以及生成式環境模型(像DALL-E一樣生成世界)三種理解方式,各有價值但需要更好的術語區分。
輸出維度的分類框架:將世界模型按POMDP迴圈中的輸出物件分為三類——渲染器輸出觀測(如Genie和RTFM直接生成影像)、規劃器輸出動作(如機器人策略網絡)、模擬器輸出狀態(如顯式或隱含的世界狀態表示),這些看似不同的系統實際上是同一框架下的不同應用焦點。
Gaussian Splatting與神經網絡的親和性:Gaussian Splatting相比三角網格的根本優勢在於可微分性——可以通過梯度回傳訓練,使其能自然地集成進神經網絡,成為從2D投影訓練到3D表示生成的理想中間層。
統一世界模型的必然性:未來的強大世界模型將同時具備渲染、規劃、模擬能力,共享同一套核心參數與表示,根據應用需求彈性切換輸出形式,這將帶來遠超專用模型的系統效能。
實用技巧與重點
- 核心概念與術語
- POMDP (Partially Observable Markov Decision Process):agent-world互動的數學形式化框架
- 隱含世界模型 (Implicit World Model):模型通過複雜任務的正確輸出而隱含建模世界
- 顯式世界模型 (Explicit World Model):直接輸出3D表示(如Gaussian Splatting)
- 隱含世界模型 (Implicit World Model):直接輸出pixels而無顯式3D表示(如RTFM)
- 世界模型的三分類
- Rendering World Model(渲染器):輸入user intent→輸出觀測/影像(Genie、RTFM、Marble)
- Planning World Model(規劃器):輸入世界觀測→輸出動作(機器人策略、控制系統)
- Simulator World Model(模擬器):輸入影像/prompt→輸出顯式或隱含世界狀態
- Gaussian Splatting細節
- 組成:3D空間位置(XYZ)、透明度(0-1)、RGB顏色、球面諧波(view-dependent color)、尺寸與協方差矩陣
- 檔案格式:PLY(未壓縮,如GIF)、SPZ(壓縮格式,如JPEG)
- 與三角網格對比:連續可微分vs.離散不連續,適合梯度優化vs.不適合
- 關鍵優勢:梯度通過率高、可集成進神經網絡學習
- Marble產品
- 輸入:文字prompt、單張影像、多張影像、影像序列
- 中間步驟:生成360度全景影像→提升為3D Gaussian Splat
- 核心特性:單影像推理為主要使用場景,補齊使用者看不見的部分
- 訓練資料:混合真實世界與虛幻資料、攝影寫實與非寫實內容
- 輸出:Gaussian Splat(最基礎格式)→可渲染為影像/影片或轉換為三角網格
- RTFM(Real-Time Frame Model)
- 隱含方法:無顯式3D表示,直接實時生成影像pixel
- 使用體驗:用戶移動→即時生成對應影像
- 權衡:低計算預算下選Splat(構造一致性強),高計算預算下選pixels only(無窮擴展性)
- 架構考量
- Loss function進化:GAN→Diffusion→Rectified Flow,而非架構改變
- 長上下文需求:LLM選項項(百萬token偶爾)vs. 世界模型常態(十萬~千萬token)
- Token定義多樣:影片patch、Splat bundle、3D voxel chunk、或抽象潛在向量
- 技術偏好
- 簡單表示+大規模模型勝於複雜對稱設計
- 幾何深度學習的對稱假設會限制擴展性
- 針對任務選擇表示,勿過度約束於顯式3D
結論
世界模型的未來不在於單一定義或表示方式,而在於建立統一的、足夠龐大的系統,既能理解世界如何存在(state)、又能預測觀測內容(rendering)和決定行動(planning),根據任務需求彈性輸出,這是機器智能從語言理解到環境互動的根本跨越。
完整解析
世界模型的概念在AI社群已成為共識:許多研究者認為語言模型存在盲點,需要新型系統理解、生成和模擬環境。Justin Johnson和他在World Labs的團隊正在探索如何用機器建立真正的世界理解能力,這不是語言模型特有的領域。
首先,對於世界模型的定義,學界目前並無統一共識。討論中涌現三個互補的視角:一是隱含世界知識——當一個模型能正確生成複雜內容(如逼真影片或連貫故事)時,它必然在神經網絡權重中隱含建立了世界模型;二是強化學習傳統中的POMDP形式化,將世界分解為agent和environment,透過state轉移、action和observation的迴圈互動;三是生成式框架,將世界模型類比於影像模型生成影像、影片模型生成影片,世界模型應該生成完整的世界。
在POMDP框架下,Justin提出了一個關鍵洞察:大多數當今被稱為世界模型的系統,實際上在POMDP迴圈的不同環節上運作。他創立了三分類法。渲染器型世界模型接收用戶意圖(如移動命令)並輸出觀測(影像幀),Genie和World Labs的RTFM屬此類;規劃器型世界模型則相反,接收世界觀測並輸出決策動作,大多數機器人策略網絡屬此;模擬器型世界模型則直接建模世界狀態,使其隨時間或動作推演,這部分尚未有完美實現。三者看似不同,卻共同回答「世界如何存在、如何演變」的根本問題。
在表示層面,Gaussian Splatting成為近年的技術突破。傳統計算機圖形使用三角網格表示世界,但神經網絡是梯度為基礎的學習器——需要輸出對參數的微小變化連續反應。三角網格突變性的邊界現象破壞可微分性,而Gaussian Splatting完全光滑且半透明,輸出隨參數連續變化,梯度通過率極高。Splatting技術輸出一組3D點,每點帶位置(XYZ)、透明度、RGB色值、球面諧波(捕捉視角依賴的反光現象)和協方差矩陣(定義點的尺寸與形狀)。由此可以用PLY(未壓縮)或SPZ(壓縮)格式儲存。
World Labs的Marble產品展示了這些概念的實踐。用戶可上傳文字、單張或多張影像,Marble先生成360度全景影像作為中間表示,再將其提升為完整的Gaussian Splatting世界。與傳統Splatting方法(蒐集數千張單一場景照片後的優化擬合)截然不同,Marble運用在大規模多樣資料上訓練的強大神經網絡,具備泛化能力——無論輸入是現實房間或虛幻村莊場景,同一個模型都能理解並補全看不見的區域。訓練資料混合了攝影真實與虛幻內容、2D影像與影片投影,因為顯式3D標籤稀缺。
相比之下,RTFM採取隱含方向——無中間3D表示層,直接由模型實時生成pixel流。使用者改變視角時即時渲染新幀,實現了不同的工程權衡:Splatting在低計算預算下提供構造上的一致性保證,而隱含pixel方法靠大規模資料與計算實現一致性,但理論上擴展性更優。
一致性(consistency)——轉身後回頭時世界仍保持原樣——是世界模型的核心特性。它可來自顯式3D表示的構造保證,也可來自充分龐大的模型在海量資料上學到的隱含理解。
關於未來架構演進,Justin認為Transformer本質上足夠強大,瓶頸不在架構而在loss function設計(擴散vs.自迴歸vs.流匹配)和長上下文處理。世界模型常需數百萬token以表示高維空間或時間序列,遠超LLM的典型需求。Token定義多元——可是影片patch、Splat叢集、3D voxel或抽象潛在向量——反映了表示設計的多樣性。他主張簡單表示配合大規模模型優於複雜的幾何假設,因為過度約束會限制擴展性。
最終願景是統一世界模型——共用核心參數與權重,根據應用靈活切換輸出模式。訓練機器人時運作於規劃模式,創作虛擬世界時運作於渲染模式,模擬反事實情景時運作於模擬模式。這種融合會帶來超越專用系統的整體效能提升。

