Open models and the future of Physical AI with NVIDIA
三句話摘要
開源模型在物理AI時代的關鍵角色,以及NVIDIA對開源生態的推動策略。 開源模型與世界模型是解鎖物理AI潛力的關鍵,使專門化智能體能在邊界設備上高效執行並相互協作。 開源模型相比API提供創新自由度:API只能按預定方式工作,無法深入改進。開源模型附帶訓練框架與資料集,企業能根據自身感測器配置與業務需求進行微調,例如自動駕駛車可根據其獨特的攝影機與LiDAR組合調整模型。
重點整理
開源模型相比API提供創新自由度:API只能按預定方式工作,無法深入改進。開源模型附帶訓練框架與資料集,企業能根據自身感測器配置與業務需求進行微調,例如自動駕駛車可根據其獨特的攝影機與LiDAR組合調整模型。
物理AI與雲端AI的架構根本差異:自迴歸Transformer為API聚合設計(多用戶請求批次處理),但物理設備推論為批次大小1且必須即時執行。這要求完全不同的架構設計,目標是最大化「每瓦特的智能」——在有限能源下提供最高性能。
世界模型整合仿真與理解的多模態系統:Cosmos模型的世界仿真根據觀測與動作預測未來(對政策驗證至關重要),世界理解則說明發生了什麼。Cosmos 3將兩者融合並支援文字、音頻、視頻、動作等多種輸入輸出組合。
多智能體協作是未來藍圖:工廠將由高層規劃智能體、執行智能體、檢驗智能體組成,各自專門化且相互協作。這需要開源模型提供的彈性與可定制性,無法由單一企業完成。
實用技巧與重點
- Cosmos Lab:NVIDIA打造的物理基礎模型部門
- Cosmos 3:最新模型,支援文字、動作、音頻、視頻的多模態輸入輸出
- 世界模型類型:
- 世界仿真(World Simulation):輸入觀測+動作→輸出未來視頻/音頻
- 世界理解(World Understanding):輸入視頻+文字→輸出文字描述
- 物理AI應用領域:自動駕駛、工廠自動化、機器人、農業、建築
- 開源資源位置:Hugging Face、GitHub、NVIDIA開發者部落格
- 政策模型(Policy Model):根據視覺觀測與人類指令生成動作完成任務
- 仿真類型:神經仿真(資料驅動)vs經典仿真(規則型)
- 核心度量:Intelligence per watt(每瓦特的智能)
結論
開源模型與世界模型是解鎖物理AI潛力的關鍵,使專門化智能體能在邊界設備上高效執行並相互協作。
完整解析
這集播客聚焦人工智能從雲端API應用轉向邊界設備本地執行的轉變,以及NVIDIA在開源生態中的策略角色。開源模型之所以重要,核心原因是它打破了專有API的限制。當使用API時,開發者只能按服務提供商預定義的方式工作,無法針對獨特的業務需求進行創新。但開源模型不同——它附帶訓練框架、資料集與範例程式碼,讓企業能根據自有硬體配置與感測器組合進行微調。舉例來說,不同的自動駕駛汽車擁有不同數量與位置的攝影機和LiDAR感測器,沒有單一模型能完全覆蓋所有情況,這時開源模型的可定制性就成為關鍵。
進入物理AI領域時,架構考量完全改變。傳統語言模型的自迴歸Transformer架構設計用來利用API聚合(多個用戶的請求一起處理以充分利用GPU),但在嵌入式設備上,沒有這種聚合機制,導致計算能力無法充分利用。物理AI設備的推論必須即時進行,批次大小為1,這要求完全不同的架構設計,目標是最大化「每瓦特的智能」——在有限的能源預算下提供最高的性能。
NVIDIA的Cosmos實驗室開發了世界模型作為物理AI的基礎。世界模型不是單一類型,而是同時提供世界仿真與世界理解的多模態系統。世界仿真的核心功能是根據當前觀測和動作序列預測未來會發生什麼,輸出視頻或其他感測信號,這對自動駕駛的政策驗證特別有價值——開發者能在仿真環境中測試策略而非部署真實車隊。世界理解則負責解釋發生了什麼,例如機器人未完成任務的原因,通過連接世界表示與語言表示,讓系統能用人類可理解的方式說明結果。Cosmos 3將兩部分融合為單一模型,支援文字、音頻、視頻、動作等多種輸入輸出組合。
面向未來,物理AI不會是孤立的單一設備,而是複雜的多智能體生態系統。想像一間工廠:高層LLM智能體規劃整體生產流程,工廠間的機器人智能體執行搬運任務,組裝站的視覺檢驗智能體檢查品質,所有系統相互協調。這種系統需要不同的專門化智能體,各自優化於特定任務,它們能自我糾正並協作完成複雜目標。實現這一願景面臨多項挑戰:驗證多智能體系統的正確性極其困難,現有人形機器人還不適合大規模商業部署,機器人需要更好的配置性。NVIDIA認為無法靠單一企業完成這些,需要整個生態系統協作,這正是開源模型戰略的核心——讓更多開發者與研究機構參與創新。


