KeyFrame內部研究專用

World Models and the Future of Spatial AI with Justin Johnson - #775

TWIML AI66 min英文
觀看原始影片

三句話摘要

世界模型是AI發展的下一個前沿,從隱含理解到顯式模擬環境狀態,重新定義機器如何理解和生成世界。 世界模型的未來不在於單一定義或表示方式,而在於建立統一的、足夠龐大的系統,既能理解世界如何存在(state)、又能預測觀測內容(rendering)和決定行動(planning),根據任務需求彈性輸出,這是機器智能從語言理解到環境互動的根本跨越。 世界模型定義的三個維度:學界對世界模型缺乏統一定義,存在隱含世界知識(如語言/影像模型藉由生成連貫內容而隱含建模世界)、強化學習中的狀態轉移機制(POMDP)、以及生成式環境模型(像DALL-E一樣生成世界)三種理解方式,各有價值但需要更好的術語區分。

重點整理

  1. 世界模型定義的三個維度:學界對世界模型缺乏統一定義,存在隱含世界知識(如語言/影像模型藉由生成連貫內容而隱含建模世界)、強化學習中的狀態轉移機制(POMDP)、以及生成式環境模型(像DALL-E一樣生成世界)三種理解方式,各有價值但需要更好的術語區分。

  2. 輸出維度的分類框架:將世界模型按POMDP迴圈中的輸出物件分為三類——渲染器輸出觀測(如Genie和RTFM直接生成影像)、規劃器輸出動作(如機器人策略網絡)、模擬器輸出狀態(如顯式或隱含的世界狀態表示),這些看似不同的系統實際上是同一框架下的不同應用焦點。

  3. Gaussian Splatting與神經網絡的親和性:Gaussian Splatting相比三角網格的根本優勢在於可微分性——可以通過梯度回傳訓練,使其能自然地集成進神經網絡,成為從2D投影訓練到3D表示生成的理想中間層。

  4. 統一世界模型的必然性:未來的強大世界模型將同時具備渲染、規劃、模擬能力,共享同一套核心參數與表示,根據應用需求彈性切換輸出形式,這將帶來遠超專用模型的系統效能。

實用技巧與重點

  • 核心概念與術語
  • POMDP (Partially Observable Markov Decision Process):agent-world互動的數學形式化框架
  • 隱含世界模型 (Implicit World Model):模型通過複雜任務的正確輸出而隱含建模世界
  • 顯式世界模型 (Explicit World Model):直接輸出3D表示(如Gaussian Splatting)
  • 隱含世界模型 (Implicit World Model):直接輸出pixels而無顯式3D表示(如RTFM)
  • 世界模型的三分類
  • Rendering World Model(渲染器):輸入user intent→輸出觀測/影像(Genie、RTFM、Marble)
  • Planning World Model(規劃器):輸入世界觀測→輸出動作(機器人策略、控制系統)
  • Simulator World Model(模擬器):輸入影像/prompt→輸出顯式或隱含世界狀態
  • Gaussian Splatting細節
  • 組成:3D空間位置(XYZ)、透明度(0-1)、RGB顏色、球面諧波(view-dependent color)、尺寸與協方差矩陣
  • 檔案格式:PLY(未壓縮,如GIF)、SPZ(壓縮格式,如JPEG)
  • 與三角網格對比:連續可微分vs.離散不連續,適合梯度優化vs.不適合
  • 關鍵優勢:梯度通過率高、可集成進神經網絡學習
  • Marble產品
  • 輸入:文字prompt、單張影像、多張影像、影像序列
  • 中間步驟:生成360度全景影像→提升為3D Gaussian Splat
  • 核心特性:單影像推理為主要使用場景,補齊使用者看不見的部分
  • 訓練資料:混合真實世界與虛幻資料、攝影寫實與非寫實內容
  • 輸出:Gaussian Splat(最基礎格式)→可渲染為影像/影片或轉換為三角網格
  • RTFM(Real-Time Frame Model)
  • 隱含方法:無顯式3D表示,直接實時生成影像pixel
  • 使用體驗:用戶移動→即時生成對應影像
  • 權衡:低計算預算下選Splat(構造一致性強),高計算預算下選pixels only(無窮擴展性)
  • 架構考量
  • Loss function進化:GAN→Diffusion→Rectified Flow,而非架構改變
  • 長上下文需求:LLM選項項(百萬token偶爾)vs. 世界模型常態(十萬~千萬token)
  • Token定義多樣:影片patch、Splat bundle、3D voxel chunk、或抽象潛在向量
  • 技術偏好
  • 簡單表示+大規模模型勝於複雜對稱設計
  • 幾何深度學習的對稱假設會限制擴展性
  • 針對任務選擇表示,勿過度約束於顯式3D

結論

世界模型的未來不在於單一定義或表示方式,而在於建立統一的、足夠龐大的系統,既能理解世界如何存在(state)、又能預測觀測內容(rendering)和決定行動(planning),根據任務需求彈性輸出,這是機器智能從語言理解到環境互動的根本跨越。

完整解析

世界模型的概念在AI社群已成為共識:許多研究者認為語言模型存在盲點,需要新型系統理解、生成和模擬環境。Justin Johnson和他在World Labs的團隊正在探索如何用機器建立真正的世界理解能力,這不是語言模型特有的領域。

首先,對於世界模型的定義,學界目前並無統一共識。討論中涌現三個互補的視角:一是隱含世界知識——當一個模型能正確生成複雜內容(如逼真影片或連貫故事)時,它必然在神經網絡權重中隱含建立了世界模型;二是強化學習傳統中的POMDP形式化,將世界分解為agent和environment,透過state轉移、action和observation的迴圈互動;三是生成式框架,將世界模型類比於影像模型生成影像、影片模型生成影片,世界模型應該生成完整的世界。

在POMDP框架下,Justin提出了一個關鍵洞察:大多數當今被稱為世界模型的系統,實際上在POMDP迴圈的不同環節上運作。他創立了三分類法。渲染器型世界模型接收用戶意圖(如移動命令)並輸出觀測(影像幀),Genie和World Labs的RTFM屬此類;規劃器型世界模型則相反,接收世界觀測並輸出決策動作,大多數機器人策略網絡屬此;模擬器型世界模型則直接建模世界狀態,使其隨時間或動作推演,這部分尚未有完美實現。三者看似不同,卻共同回答「世界如何存在、如何演變」的根本問題。

在表示層面,Gaussian Splatting成為近年的技術突破。傳統計算機圖形使用三角網格表示世界,但神經網絡是梯度為基礎的學習器——需要輸出對參數的微小變化連續反應。三角網格突變性的邊界現象破壞可微分性,而Gaussian Splatting完全光滑且半透明,輸出隨參數連續變化,梯度通過率極高。Splatting技術輸出一組3D點,每點帶位置(XYZ)、透明度、RGB色值、球面諧波(捕捉視角依賴的反光現象)和協方差矩陣(定義點的尺寸與形狀)。由此可以用PLY(未壓縮)或SPZ(壓縮)格式儲存。

World Labs的Marble產品展示了這些概念的實踐。用戶可上傳文字、單張或多張影像,Marble先生成360度全景影像作為中間表示,再將其提升為完整的Gaussian Splatting世界。與傳統Splatting方法(蒐集數千張單一場景照片後的優化擬合)截然不同,Marble運用在大規模多樣資料上訓練的強大神經網絡,具備泛化能力——無論輸入是現實房間或虛幻村莊場景,同一個模型都能理解並補全看不見的區域。訓練資料混合了攝影真實與虛幻內容、2D影像與影片投影,因為顯式3D標籤稀缺。

相比之下,RTFM採取隱含方向——無中間3D表示層,直接由模型實時生成pixel流。使用者改變視角時即時渲染新幀,實現了不同的工程權衡:Splatting在低計算預算下提供構造上的一致性保證,而隱含pixel方法靠大規模資料與計算實現一致性,但理論上擴展性更優。

一致性(consistency)——轉身後回頭時世界仍保持原樣——是世界模型的核心特性。它可來自顯式3D表示的構造保證,也可來自充分龐大的模型在海量資料上學到的隱含理解。

關於未來架構演進,Justin認為Transformer本質上足夠強大,瓶頸不在架構而在loss function設計(擴散vs.自迴歸vs.流匹配)和長上下文處理。世界模型常需數百萬token以表示高維空間或時間序列,遠超LLM的典型需求。Token定義多元——可是影片patch、Splat叢集、3D voxel或抽象潛在向量——反映了表示設計的多樣性。他主張簡單表示配合大規模模型優於複雜的幾何假設,因為過度約束會限制擴展性。

最終願景是統一世界模型——共用核心參數與權重,根據應用靈活切換輸出模式。訓練機器人時運作於規劃模式,創作虛擬世界時運作於渲染模式,模擬反事實情景時運作於模擬模式。這種融合會帶來超越專用系統的整體效能提升。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資