Runway’s WorldPrompt and the Engineering of Real-Time Worlds
三句話摘要
Runway創辦人Anastasis談視頻生成模型如何演進為通用世界模型,並應用於機器人、軟體介面與內容創作的未來。 --- 視頻模型的真實威力不在於生成華麗內容,而在於其作為通用世界模擬器的可擴展性,將根本重塑機器人、軟體介面與人工智能代理的訓練方式。 長期視野驅動大膽投資決策
重點整理
長期視野驅動大膽投資決策
2018年創辦時,團隊即從2016-2017年的早期生成模型外推,預測隨著解析度與品質逐步提升,最終大部分內容將被生成。這個信念在2022年轉化為看似瘋狂但最終關鍵的決策——作為Series B新創簽署千台A100訓練集群合約。
從內容機器轉向世界模擬器的認知躍進
Gen 2發布後,創意工作者的反饋揭示了單純文本到視頻的侷限。團隊意識到預測視頻本質上等同於模擬世界動力學;隨著模型規模與解析度提升,模型自然習得物理規則、人類行為、環境交互——這正是真正的世界模型特徵。
使用者反饋直接驅動控制機制創新
因應電影工作者的需求,團隊快速開發了攝影機軌跡控制、動作筆刷、初始幀條件等高階介面。這些創意反饋不僅改進使用者體驗,更成為模型設計演進的指南。
機器人領域驗證了預訓練範式的威力
相比傳統機器人預訓練需要百萬小時資料,Runway的通用視頻模型僅需數百小時機器人特定微調就能創建精準模擬器。這源自於預訓練於大規模第三人稱視頻的豐富物理直覺。
--
實用技巧與重點
- 時間軸
- 2022年11月:簽署千台A100訓練集群
- 2023年1月:Gen 1發布(深度條件視頻模型)
- 2023年3月:Gen 2發布(含動作筆刷、攝影機控制)
- 2024年2月:Sora發布(Runway面臨競爭危機)
- 2024年夏季:Gen 3發布(10倍模型規模擴展)
- 2025年:Gen 4.5發布(通用世界模型基礎)
- 核心技術
- 潛在擴散模型(Latent Diffusion)
- 擴散變換器(Diffusion Transformer)
- 分類器自由引導(Classifier-Free Guidance)
- 步驟蒸餾(Step Distillation)
- 自迴歸模型架構(用於長序列生成一致性)
- 產品能力
- 綠幕模式:視覺效果分割與後期製作
- 即時角色模型:24 FPS自迴歸,支援30分鐘連續生成
- GWM 世界模型:開放世界導航,環境交互模擬數分鐘
- 介面世界模型:純像素軟體UI,支援點擊/拖拽交互(無HTML/CSS/React)
- 機器人GWM:Roborina基準驗證真實世界相關性
- 機器人應用具體指標
- 微調資料需求:數百小時(對比傳統百萬小時預訓練)
- Physics IQ基準:隨縮放預測性改善
- 模擬環境:布料交互、滑動表面等複雜物理
- 能力:失敗情景模擬(強化學習必需)
- 內容生成長度
- Grok模型:10-20秒
- 角色模型:30分鐘連續
- GWM世界模型:數分鐘(長上下文限制)
- 組織與開源
- Cosmos Coalition:Meta與Runway共同發起的開源世界模型倡議
- 目標:基準、模型權重、基礎設施開源
- --
結論
視頻模型的真實威力不在於生成華麗內容,而在於其作為通用世界模擬器的可擴展性,將根本重塑機器人、軟體介面與人工智能代理的訓練方式。
完整解析
Runway的八年歷程濃縮了生成式AI從藝術實驗到基礎基礎設施的演變軌跡。創辦人Anastasis在2015年就在美術館互動藝術中探索生成文本與互動——軟體為訪客分配虛構身份並自動生成對話。但關鍵轉折出現在2022年末,當深度學習社群逐漸確認縮放法則對圖像與語言都適用時。Runway團隊做出看似瘋狂的決定:作為融資未滿的Series B新創,投資千台NVIDIA A100建立訓練集群。這個決策並非衝動,而是基於對技術進展軌跡的深刻理解——從2015年的32×32像素人臉圖像生成,到2018年的1K解析度街景,再到高保真動態模擬,每一步都驗證了可預測的進步。
技術演進遵循明確但非預設的路徑。Gen 1(2023年1月)首次證明深度條件視頻模型的可行性,將預測的深度圖轉換為光影真實感RGB輸出。但創意工作者的使用反饋立即暴露了侷限:單純的文本到視頻缺乏精細控制。團隊迅速響應,開發了攝影機軌跡控制、動作筆刷等高階機制。一個有趣的插曲是Gen 2的誕生——它不是精心設計的結果,而是Anastasis某個週末的工程創意。他提議用兩階段管道:文本→深度圖→Gen 1轉換為RGB。儘管這種方法在架構上略顯粗糙,但可用性驚人,使團隊得以在Gen 1發布後短短兩個月就推出文本到視頻能力,遠領先其他競爭者。
2024年2月,Sora的發布對Runway造成了真實的存在危機。該公司當時的技術明顯落後,員工經歷了數小時的質疑與焦慮。但這個挑戰反而成為公司最高效運作的引擎。在短短三個月內,團隊習得了語言模型社群三年積累的關鍵基礎設施知識——模型並行化、分散式訓練、擴散變換器架構。他們將模型規模擴大十倍,投入更大的運算資源,最終在2024年夏季發布了Gen 3,性能超越Sora。這個過程的關鍵洞察是:視頻生成並非內容創作的工具,而是世界模擬器。隨著模型規模擴展,它自然習得物理約束、因果關係與反事實推理——無需額外的架構創新,純粹是規模帶來的涌現能力。
機器人應用領域展示了世界模型思想的實踐價值。傳統機器人訓練依賴遙操作資料(操作員實時控制機械臂)或第一人稱視角視頻,但這些資料稀缺且昂貴。Runway的核心洞察來自一個簡單的觀察:人類如何學習執行任務?主要不是通過文字教學,而是觀察他人做事。預訓練於大規模第三人稱視頻(人類運動、家務任務、運動表現)的通用視頻模型天然包含了豐富的物理直覺。僅需數百小時機器人特定資料的微調,模型就能轉化為精準模擬器——能準確預測剛性物體、柔性布料、滑動表面等複雜交互。Runway透過Roborina基準驗證了這種真實世界相關性,證明在模擬中訓練的機器人政策能可靠轉移到真實硬體。更重要的是,模型能夠模擬失敗情景——這對強化學習中的探索與改進至關重要。
向前看,團隊的願景涵蓋多個前沿。長上下文一致性仍是瓶頸,自迴歸誤差隨著生成幀數累積,目前Grok可穩定生成10-20秒,角色模型30分鐘,開放世界模型則限於數分鐘。更雄心勃勃的願景是神經作業系統——軟體介面本身成為可學習、由語言模型與視頻模型端到端訓練的元件,無需HTML/CSS/React,純粹由模型生成像素。最終目標是統一的多任務世界模型,同時處理導航、物體操縱、人類互動、軟體介面——實現真正的通用環境模擬器。團隊也積極推動開源,透過Cosmos Coalition與Meta等夥伴發布基準、模型權重與基礎設施,以應對美國在視頻領域相對於中國競爭者的落後。
---

