KeyFrame內部研究專用

Open models and the future of Physical AI with NVIDIA

Practical AI47 min英文
觀看原始影片

三句話摘要

開源模型在物理AI時代的關鍵角色,以及NVIDIA對開源生態的推動策略。 開源模型與世界模型是解鎖物理AI潛力的關鍵,使專門化智能體能在邊界設備上高效執行並相互協作。 開源模型相比API提供創新自由度:API只能按預定方式工作,無法深入改進。開源模型附帶訓練框架與資料集,企業能根據自身感測器配置與業務需求進行微調,例如自動駕駛車可根據其獨特的攝影機與LiDAR組合調整模型。

重點整理

  1. 開源模型相比API提供創新自由度:API只能按預定方式工作,無法深入改進。開源模型附帶訓練框架與資料集,企業能根據自身感測器配置與業務需求進行微調,例如自動駕駛車可根據其獨特的攝影機與LiDAR組合調整模型。

  2. 物理AI與雲端AI的架構根本差異:自迴歸Transformer為API聚合設計(多用戶請求批次處理),但物理設備推論為批次大小1且必須即時執行。這要求完全不同的架構設計,目標是最大化「每瓦特的智能」——在有限能源下提供最高性能。

  3. 世界模型整合仿真與理解的多模態系統:Cosmos模型的世界仿真根據觀測與動作預測未來(對政策驗證至關重要),世界理解則說明發生了什麼。Cosmos 3將兩者融合並支援文字、音頻、視頻、動作等多種輸入輸出組合。

  4. 多智能體協作是未來藍圖:工廠將由高層規劃智能體、執行智能體、檢驗智能體組成,各自專門化且相互協作。這需要開源模型提供的彈性與可定制性,無法由單一企業完成。

實用技巧與重點

  • Cosmos Lab:NVIDIA打造的物理基礎模型部門
  • Cosmos 3:最新模型,支援文字、動作、音頻、視頻的多模態輸入輸出
  • 世界模型類型:
  • 世界仿真(World Simulation):輸入觀測+動作→輸出未來視頻/音頻
  • 世界理解(World Understanding):輸入視頻+文字→輸出文字描述
  • 物理AI應用領域:自動駕駛、工廠自動化、機器人、農業、建築
  • 開源資源位置:Hugging Face、GitHub、NVIDIA開發者部落格
  • 政策模型(Policy Model):根據視覺觀測與人類指令生成動作完成任務
  • 仿真類型:神經仿真(資料驅動)vs經典仿真(規則型)
  • 核心度量:Intelligence per watt(每瓦特的智能)

結論

開源模型與世界模型是解鎖物理AI潛力的關鍵,使專門化智能體能在邊界設備上高效執行並相互協作。

完整解析

這集播客聚焦人工智能從雲端API應用轉向邊界設備本地執行的轉變,以及NVIDIA在開源生態中的策略角色。開源模型之所以重要,核心原因是它打破了專有API的限制。當使用API時,開發者只能按服務提供商預定義的方式工作,無法針對獨特的業務需求進行創新。但開源模型不同——它附帶訓練框架、資料集與範例程式碼,讓企業能根據自有硬體配置與感測器組合進行微調。舉例來說,不同的自動駕駛汽車擁有不同數量與位置的攝影機和LiDAR感測器,沒有單一模型能完全覆蓋所有情況,這時開源模型的可定制性就成為關鍵。

進入物理AI領域時,架構考量完全改變。傳統語言模型的自迴歸Transformer架構設計用來利用API聚合(多個用戶的請求一起處理以充分利用GPU),但在嵌入式設備上,沒有這種聚合機制,導致計算能力無法充分利用。物理AI設備的推論必須即時進行,批次大小為1,這要求完全不同的架構設計,目標是最大化「每瓦特的智能」——在有限的能源預算下提供最高的性能。

NVIDIA的Cosmos實驗室開發了世界模型作為物理AI的基礎。世界模型不是單一類型,而是同時提供世界仿真與世界理解的多模態系統。世界仿真的核心功能是根據當前觀測和動作序列預測未來會發生什麼,輸出視頻或其他感測信號,這對自動駕駛的政策驗證特別有價值——開發者能在仿真環境中測試策略而非部署真實車隊。世界理解則負責解釋發生了什麼,例如機器人未完成任務的原因,通過連接世界表示與語言表示,讓系統能用人類可理解的方式說明結果。Cosmos 3將兩部分融合為單一模型,支援文字、音頻、視頻、動作等多種輸入輸出組合。

面向未來,物理AI不會是孤立的單一設備,而是複雜的多智能體生態系統。想像一間工廠:高層LLM智能體規劃整體生產流程,工廠間的機器人智能體執行搬運任務,組裝站的視覺檢驗智能體檢查品質,所有系統相互協調。這種系統需要不同的專門化智能體,各自優化於特定任務,它們能自我糾正並協作完成複雜目標。實現這一願景面臨多項挑戰:驗證多智能體系統的正確性極其困難,現有人形機器人還不適合大規模商業部署,機器人需要更好的配置性。NVIDIA認為無法靠單一企業完成這些,需要整個生態系統協作,這正是開源模型戰略的核心——讓更多開發者與研究機構參與創新。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。