KeyFrame內部研究專用

Agents' next frontier: agent-to-agent and network effects — Jean-Denis Greze, Town

AI Engineer英文
觀看原始影片

三句話摘要

LLM 代理系統如何突破企業資料孤島,在隱私與協作間找到平衡的五大策略。 企業 agent 協作的未來在於從人工決策逐步轉向由 LLM 自動執行隱私政策,同時維持必要的人類監督,讓資訊自然流動而非被孤島困鎖。 搜尋即本質:多數 LLM 應用歸根究柢是搜尋問題。理想狀態是單一 agent 能存取世界所有資訊,現實受隱私限制,故須盡量逼近這個理想。

重點整理

  1. 搜尋即本質:多數 LLM 應用歸根究柢是搜尋問題。理想狀態是單一 agent 能存取世界所有資訊,現實受隱私限制,故須盡量逼近這個理想。

  2. 信任邊界策略有天花板:在 HR 團隊或 IT 部門內給予完整存取雖有效,但隨著模型改進不會自動變好,因為瓶頸始終是人工思考,無法真正打破孤島。

  3. 隱私保護工具的折衝:構建只返回聚合資訊(如關係強度評分)而非原始資料的工具,既能突破孤島又保護隱私,但仍需人工設計和內部溝通,成本高。

  4. 自動清掃機制是突破口:在各個私密孤島內放入 AI,根據既有政策自動判斷哪些資訊可進入公司共享空間,這是最有前景且最具擴展性的方案。

實用技巧與重點

  • 五種策略:信任邊界存取、隱私保護工具、共享孤島(wiki/共享技能庫)、人類仲介、黑盒方法
  • 黑盒方法流程:無權限公開的 LLM 完整分析所有孤島 → 確定所需資訊來源 → 僅向相關人士請求批准 → 避免向無關人員發送請求
  • 自動清掃 AI 政策:LLM 評估「要求人類批准」vs「執行公司隱私政策自動分享」
  • 適用場景:10-50 人公司、高信任環境、明確知道哪些資訊不可分享(財務/HR 資料)
  • nightmare scenarios:提示注入、資訊污染(如 agent 名稱更新後舊資訊持續存在)、無意洩露敏感資訊
  • 未來方向:跨公司 agent 協作(投資銀行共享私人公司資訊進行放貸決策)

結論

企業 agent 協作的未來在於從人工決策逐步轉向由 LLM 自動執行隱私政策,同時維持必要的人類監督,讓資訊自然流動而非被孤島困鎖。

完整解析

Jean-Denis 以經濟學的 Coase 定理開場:理想狀況下,若所有人完全掌握資訊且零交易成本,會達成經濟最優決策。在 LLM 世界亦然——若某個 agent 能存取全世界資訊,決策品質最佳。但因隱私安全限制,這不可能實現。因此檢驗多 agent 系統的標準是:能否逼近這個理想狀態?

目前企業普遍採用信任邊界策略,給 HR 或 IT 團隊的 agent 近似完整存取權。這解決了立即問題,但有根本缺陷:隨著模型升級,系統不會自動變好,因為瓶頸始終是人類手動思考和標記資訊——你只是創造了新的孤島。

第二個方案是打造隱私保護工具。例如要找誰認識某財務主管,與其給 agent 全員 Gmail 存取權,不如構建一工具只返回關係強度評分。該工具內部掃描所有郵件,但對外只吐出匿名評分,再由 agent 透過 Slack 詢問特定人選。這避免了無差別存取,但仍需人工設計工具、對員工解釋隱私權衡,成本依然很高。

更有潛力的是共享孤島模式。團隊建立公司內 wiki、共享技能庫等公共空間,並部署「清掃 AI」。這個 AI 住在每個私密孤島(如個人郵件、筆記)內,懂得什麼資訊必須保密、哪些共享空間存在,定期判斷新資訊是否可安全推送到公共區域。核心問題是「什麼可以分享」,有兩路:一是 LLM 列出清單讓人批准(節省時間),二是直接讓 LLM 執行公司隱私政策自動決策。前者依然需人工,後者更激進但在小公司、高信任環境中可行。

第四種是人類仲介:我的 agent 問你的 agent「認識某人嗎」,你看到請求並批准,然後結果才返回。問題是如果全公司 100 人都被問,造成垃圾請求風暴。最創新的是黑盒方法:一個無人知曉其內部過程的 LLM 獲得完全存取,自動掃描所有孤島找到答案,但僅在「要分享資訊給第三方」時才請求人類批准。這大幅減少騷擾,但需要組織內部信任和 CISO 層級的稽核。

最後 Jean-Denis 預言未來會採「自動模式」:低敏感資訊自動共享進公共空間,高敏感始終人工審核,隨著模型變強、政策編碼更精進,自動化範圍逐步擴大。跨公司層級的 agent 協作(如投資銀行共享私人公司資訊)更是下一個前沿。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI