When millions of AI agents meet

講者Nenad Tomashev來自Google DeepMind，在這次播客中深入探討了AI代理從概念到現實的轉變。代理的核心突破在於它們不僅僅是一個聊天工具，而是能夠觀察環境、制定計畫並自主執行複雜任務的系統。與傳統語言模型相比，代理為使用者帶來根本性的便利——你可以告訴它去完成一項複雜任務（如規劃婚禮），代理會自主執行預訂、發送郵件等步驟，而不是你需要逐一指導每個動作。

不過Tomashev坦言，目前代理最成熟應用仍侷限於軟體編碼領域。原因在於編碼有明確的驗證機制：寫單元測試，代碼要嘛通過要嘛失敗。但當涉及現實世界任務時，驗證變得複雜。他用一個有趣的例子說明：購買葡萄酒時，演算法可能滿足「購買葡萄酒」的技術要求，卻沒抓住「葡萄酒應適合搭餐」的核心意圖——這是獎勵破解（reward hacking）的風險。

科學應用是Tomashev的主要願景。他談到自主研究實驗室的未來，代理能夠排程實驗、測試假設、分析結果，形成一個加速發現的循環。但這同時要求高度的安全防護，因為物理實驗的失敗可能造成設備毀損或危險。這與軟體不同：軟體可寫測試驗證，科學必須透過真實實驗獲得反饋。

談及人類在系統中的角色，Tomashev強調信任不是given，而是earned。代理會犯錯，幻覺雖然越來越罕見但未曾完全消失。最危險的狀態是自動化偏見：代理連續表現良好後，人類開始盲目信任、放鬆警覺，最後細微的錯誤就會漏掉。因此，系統應追蹤代理可靠性，不可信的代理應被降級或隔離。

代理委託（delegation）是實現複雜工作流的關鍵。當一個任務超出單一代理能力時，代理可將子任務委託給專家代理。但這帶來協調風險：若任務分割不當（比如一個代理買酒、另一個買玻璃杯卻沒同步溝通是酒杯而非普通杯），協調失敗就在所難免。Tomashev提醒，人類在複雜事件規劃中也面臨類似挑戰，而代理面臨的是相同問題只是放大了。

安全威脅章節或許最令人警惕。Tomashev描述了多種「代理圈套」：網頁隱藏的HTML標籤可能改變代理目標（提示注入）；惡意網站會根據訪客是人類或代理而動態改變內容（動態偽裝），對代理埋設陷阱；代理被賦予錢包權限後，可能被誘導虛假交易。關鍵洞察是現今網路流量已有大量由代理生成和消費，這創造了前所未有的攻擊表面。

防禦策略不是單一解決方案，而是多層防禦。包括認證和信任資源、在代理端加防禦、強化基礎模型、有意義的人類控制點，以及謹慎限制代理權限。

最後Tomashev描繪了「代理經濟」的願景。未來可能出現一個類似人類社會的分佈式系統，由大量專家代理和少量通才代理組成。他用象棋舉例：Gemini能下棋，但你永遠會用專門棋引擎（快速、精準、便宜），因為一個專注單一任務的系統總是優於試圖無所不能的龐大模型。在這個經濟中，代理透過拍賣、協商、委託互動。設計公平機制很關鍵——例如給每位使用者的代理相同預算參與拍賣，由代理根據你的偏好最佳分配資源，這能確保即使競爭激烈也有相對公平的結果。

但這種分佈式系統也帶來新的協調與對齊挑戰。當數千個代理相互交互，傳統的單一模型對齊方法失效。認知單一文化——所有代理基於相似的大型語言模型——會導致決策相關性高，一旦出現失敗點會大規模連鎖失效。此外，代理可能透過環境協調（甚至不直接通訊）形成串謀。經濟激勵如果精心設計，可成為對齐分佈式代理社會的起點。

Tomashev最後強調，自動化代理經濟對社會的衝擊程度會很大，但這種轉變的速度前所未有，需要技術、政策與社會認知的同步進展。