KeyFrame內部研究專用

NVIDIA's AI Learns Why Copying Humans Isn't Enough

Two Minute Papers6 min英文
觀看原始影片

三句話摘要

教 AI 虛擬人物既能精確複製人類跑酷動作,又能靈活應對未見過的障礙物。 用極少的人類示範數據,透過雙路徑學習和對抗訓練,成功讓 AI 既能像人一樣優雅地移動,又能像真正的運動員一樣靈活適應新情況。 數據極少卻有效:只用 30 秒網路跑酷視頻就能訓練,打破了需要大量數據的迷思,這在深度學習領域是反直覺的成就。

重點整理

  1. 數據極少卻有效:只用 30 秒網路跑酷視頻就能訓練,打破了需要大量數據的迷思,這在深度學習領域是反直覺的成就。

  2. 雙課堂架構解決矛盾:同一個 AI 在兩個課堂同時學習——一個教它模仿人類動作(優雅但死板),一個教它解決新關卡(靈活但可能不自然),兩個目標互相制約與補充。

  3. 判別器機制是核心:訓練一個「裁判」來分辨真實人類動作 vs AI 生成動作,AI 試圖欺騙裁判同時保持通關能力,這個對抗過程迫使 AI 既自然又有效。

  4. 現實權衡:相比前代技術追蹤誤差更低,但長關卡成功率約 40%,且可能出現不自然的恢復動作,這是實用化的代價。

實用技巧與重點

  • 訓練數據:19 個視頻片段,30 秒的跑酷內容
  • 方法名稱:雙課堂學習 + 判別器訓練
  • 輸入信息:角色身體狀態、障礙物配置、目標位置
  • 量化結果:長關卡成功率約 40%;相比前代技術有更低的追蹤誤差
  • 前代技術問題:無法完成關卡,動作僵硬或作弊規避障礙
  • 資源:論文免費公開,可能稍後開源代碼
  • 工具提及:Lambda GPU 服務用於複現研究論文

結論

用極少的人類示範數據,透過雙路徑學習和對抗訓練,成功讓 AI 既能像人一樣優雅地移動,又能像真正的運動員一樣靈活適應新情況。

完整解析

教虛擬人物執行跑酷是一個經典難題:你可以讓 AI 完美複製人類視頻中的每個動作,但它會被困在那些動作裡,遇到新的障礙配置就無能為力;反過來,如果讓 AI 學會解決問題,它往往會做出不自然的動作,甚至用作弊的方式規避障礙。這篇論文提出的方案是:何不兩者兼得?

研究團隊用一個巧妙的雙課堂架構來解決這個矛盾。第一個課堂裡,AI 學習模仿人類的跑酷動作。訓練數據出奇地少——只有 19 個視頻片段、共 30 秒的內容,卻能產生流暢、自然的人類動作。但這種模仿是有天花板的,AI 無法超越訓練數據中沒有的動作。第二個課堂裡,AI 同時學習如何通過各種障礙物課關。這時關鍵來了:同一個 AI 控制器在兩個課堂裡同時學習,它既要產出像人類一樣的動作,又要有能力完成新關卡。

這個想法背後有個精巧的數學結構。研究者訓練了一個「判別器」(類似評審),讓它學會分辨真實的人類動作和 AI 生成的動作。然後用這個判別器來訓練 AI。如果 AI 的動作看起來很人工、很生硬,判別器就會給它打低分;但當 AI 的動作既自然又能適應障礙時,判別器就給予獎勵。AI 試著去欺騙判別器,判別器則變得更精銳,雙方互相進化。最後還有一個穩定項,防止細微的動作變化導致判別結果完全改變。

結果令人印象深刻。在影片中,AI 虛擬人物在各種關卡上表現得像忍者一樣靈活,不只是通過設計好的關卡,連面對未見過的障礙配置也能流暢地適應。但這不是完美的解決方案,長關卡的成功率約 40%,有時也會出現不自然的恢復動作,這是技術權衡的結果。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。