KeyFrame內部研究專用

智能体经济Agentic Economy | Nenad Tomasev | DeepMind | AlphaZero | 自动化偏差 | 委派 | 分布式智能 | 认知单一文化 | 纵深防御

最佳拍档25 min中文
觀看原始影片

三句話摘要

重新思考AI智能體的未來:從單一模型到協作網絡、從對話助手到行動執行者所帶來的經濟與安全轉變。 智能體的未來不在於打造更大的模型,而在於如何設計一套像人類社會一樣的分工協作系統,同時用制度、政策與多層防禦應對其帶來的經濟和安全挑戰。 Agent的本質轉變:從被動回答問題到主動執行任務,智能體透過工具使用權限和多步規劃能力,可完成需要人類多次指導的工作流程,但每個行動都存在失敗率,因此需防範「自動化偏差」——過度信任導致忽視錯誤。

重點整理

  1. Agent的本質轉變:從被動回答問題到主動執行任務,智能體透過工具使用權限和多步規劃能力,可完成需要人類多次指導的工作流程,但每個行動都存在失敗率,因此需防範「自動化偏差」——過度信任導致忽視錯誤。

  2. 專家分散體系優於巨型通用模型:經濟角度看,由不同專門智能體組成的協作網絡比單一龐大模型更便宜、更快、更安全;就像人類社會由專家分工組成,而非每個人都是全才。

  3. 多智能體系統的協調危機:當成千上萬Agent同時互動時,若無智慧的任務分配框架,會出現重複、衝突、獎勵操縱等問題;同時大量模型採用相同基礎架構導致「認知單一文化」,故障點相關聯。

  4. 縱深防禦應對網路陷阱:Agent在污染的互聯網環境中易遭隱藏元素、動態偽裝、對抗性例子欺騙,需多層防禦(嚴格權限管控、驗證機制、人類審核、可逆任務設計)而非單一解決方案。

實用技巧與重點

  • 模型名稱:Claude、ChatGPT、Gemini、AlphaZero
  • 應用場景:軟體編碼、科學實驗、婚禮籌備、餐廳預訂、電池設計
  • 核心概念:自動化偏差、獎勵操縱、認知單一文化、縱深防禦、委派機制
  • 安全風險:隱藏網頁元素、動態偽裝、對抗性例子、Agent越獄、高頻交易風險
  • 經濟設計:不可逆任務(購買物品)vs.可逆任務(重試預訂)需差異化風險管理
  • 參考案例:自動駕駛汽車(多年發展)、金融市場風控、醫療AI與放射科醫師協作

結論

智能體的未來不在於打造更大的模型,而在於如何設計一套像人類社會一樣的分工協作系統,同時用制度、政策與多層防禦應對其帶來的經濟和安全挑戰。

完整解析

DeepMind研究者Nenad Tomasev在最近的播客訪談中提出了一個核心洞察:未來的AI不是打造更強大的單一模型,而是讓成百上千的智能體學習像人類社會一樣分工協作。這不僅是技術進步,更意味著一種全新的經濟形態——智能體經濟的到來。但這個看似美好的願景中隱藏著複雜的問題:智能體邊界在哪?如何防止網路欺騙?上千個智能體同時互動時系統如何保持安全?

傳統大語言模型是被動的——你問它,它回答。但Agent不同,它們觀察環境、規劃步驟、執行行動。Tomasev用「身上繫著安全帶的大語言模型」來比喻Agent的現狀——依然基於語言模型但獲得了執行能力。這個轉變的意義在於,複雜的多步任務不再需要人類逐一指導。例如籌備婚禮時,不是語言模型列出餐飲名單就完事,而是Agent代為發郵件、預訂場地、購買物品。用戶從執行者變成決策者,審核和批准Agent的行動。

但這裡出現了第一個陷阱——「自動化偏差」。一旦某個Agent表現良好,人們往往過度信任它而忽視潛在錯誤。Tomasev強調,最重要的不只是參與過程,而是保持警惕。他進一步指出,Agent當前最擅長處理的是軟體編碼,因為代碼有明確的測試機制。但在科學領域,需要真實實驗反饋,風險和複雜性都高得多。即使在醫療影像診斷這類機器學習表現出超人類水平的領域,最安全的做法也是讓放射科醫師進行最終審核。

當多個Agent互動時,問題急劇升級。目前許多系統採用平行處理——多個Agent同時處理同一任務,但彼此沒有協調機制,導致重複或衝突。更危險的是,大量Agent基於相似的基礎模型(Claude、ChatGPT、Gemini等),形成「認知單一文化」,當它們做出相似決策時,故障點也會相關聯,引發系統性崩潰。此外,互聯網環境本身就是污染的——惡意網站可以設置隱藏元素欺騙Agent的爬蟲解析,或對人類和機器顯示不同內容(動態偽裝)。應對這些威脅需要縱深防禦:嚴格限制Agent權限、建立可驗證的任務框架、要求人類審核、區分可逆與不可逆任務(購買物品無法撤銷,預訂可重試)。

Tomasev提出的一個關鍵觀點是:未來的智能體經濟可能不是通用超級AGI的世界,而是由專家型專門Agent組成的協作網絡。從經濟效率看,専家棋類引擎比通用AI下棋更快更便宜,同樣地,由不同領域專家Agent組成的系統比單一龐大模型更合理。這個邏輯符合人類社會演進——分工、專業化。但當數百萬Agent以複雜方式互動時,協調變成主要難題,需要透過經濟誘因機制(而非單純技術手段)確保Agent在追求利潤時不造成危害。

最後Tomasev留了一個清醒的提醒:改變速度太快。工業革命給了人類幾代人適應,但這次調整視窗要短得多。我們不只需要技術解決方案,更需要政策、法規和社會認知的配套。這不是簡單的技術問題,而是人類如何在數位時代重建信任、契約和制度的問題。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。