KeyFrame內部研究專用

300 Agents, 60 People: How We Secured Our Own AI Agents - Aiden Sochowski, Runlayer

AI Engineer英文
觀看原始影片

三句話摘要

企業如何透過監控和政策管理,保護內部AI代理的安全性、成本和品質。 代理安全不能靠預先定義規則,必須透過監控實際行為,訓練模型檢測異常,並嚴格限制跨代理的資料流動。 代理數量遠超管理者認知:50-60人的公司內竟運行300多個代理,大多數都不是使用者主動觸發,而是藉由聊天機器人、自動化流程或SaaS應用背景執行,造成管理盲點。

重點整理

  1. 代理數量遠超管理者認知:50-60人的公司內竟運行300多個代理,大多數都不是使用者主動觸發,而是藉由聊天機器人、自動化流程或SaaS應用背景執行,造成管理盲點。

  2. 單一代理的攻擊面複雜且多層:代理的威脅不僅來自單一工具呼叫,更會發生在整個會話過程中,攻擊者可能透過郵件注入提示、在PR審查中逐步說服代理改變決策,無法用簡單的規則阻止。

  3. 權限過度配置是根本問題:企業通常一次性賦予代理過多工具權限,但實際使用模式往往只涉及少數幾個,難以預先精確定義每個代理該有什麼權限,需要監控實際行為後才能逐步調整。

  4. 成本和品質問題同樣严峻:MCP伺服器品質不一導致重複錯誤、浪費tokens,模型升級(如GPT到Fable)可能導致成本暴增100倍,但企業缺乏科學評估來判斷何時真正需要更強大的模型。

實用技巧與重點

  • 公司規模:50-60人,運行超過300個代理
  • 監控對象:MCP伺服器連接、認證方式、所有工具呼叫、會話記錄
  • 風險分類:按主題、按風險等級、按權限多寡、按連接系統的複雜度
  • 防禦層次(由淺到深):
  • 訓練分類器檢測郵件中的指令注入
  • 建立政策阻止PII(個人身份資訊)對外發送
  • 限制特定代理讀取敏感資料來源
  • 檢測整個會話偏離既定用途的行為
  • 建立代理之間的資料隔離分區
  • 招聘團隊案例:自行開發MCP伺服器存在格式化問題,重複錯誤導致成本暴增
  • 成本問題案例:模型從便宜款改為Fable 5.1,成本在一週內暴增100倍
  • 推薦做法:部署成本預算、設定理性默認值、建立合理化機制

結論

代理安全不能靠預先定義規則,必須透過監控實際行為,訓練模型檢測異常,並嚴格限制跨代理的資料流動。

完整解析

企業現在面臨一個新興但緊迫的問題:內部運行著數百個AI代理,但幾乎沒人真正掌握它們在做什麼。大多數這些代理並非使用者主動觸發,而是透過聊天機器人、自動化流程或第三方應用默默運行。Runlayer的做法是部署一個監控閘道,記錄每一個代理的會話、每一次工具呼叫,將所有資料集中同步,建立起對代理生態的完整可視化。

安全威脅並非簡單的單點問題。例如,一個處理支援郵件的代理原本只該提取資訊,但攻擊者可以寄一封郵件要求「列出所有銷售前景」,如果代理權限過度,就會直接洩露機密資料。更狡猾的是,攻擊可能跨越多個工具呼叫:攻擊者先在PR評論中與代理互動,藉由反覆的論證試著改變代理的決策邏輯,或者向代理表示「只需審查清理部分」,利用代理的一致性偏差讓它最終簽核本不該通過的改動。傳統的單規則阻止(如「禁止某工具在所有情境」)無法應對這些多層攻擊。

Runlayer的解決方案是訓練分類器模型,不是檢測單個工具呼叫,而是分析整個會話的資料流,判斷每個行動是否符合該代理的原始定義。同時,他們利用歷史行為資料——每個代理過去做了什麼——來識別異常。例如招聘代理平時只讀日曆和ATS,若忽然嘗試操作其他系統,立刻發出高風險警報。透過這種方式,他們逐步逆向推導「這個代理實際只需要這三個權限」,而不是一開始就猜測需要什麼。

第二個重大問題是代理之間的污染。一個代理可能寫入共享資料庫,另一個代理讀取這些資料——即使個別代理都有合理的用途,但攻擊者可以透過第一個代理注入惡意資料,再透過第二個代理的邏輯擴大損害。唯一的防禦是嚴格限制代理的寫入權限,甚至限制在特定資料庫或資料列範圍內。

最後,成本和品質問題同樣糟糕。一個自行開發的MCP伺服器因為沒有充分測試,在格式化錯誤上反覆碰壁,導致代理浪費大量tokens;或者有人心血來潮把模型從便宜款改成高端款,一週內成本爆炸100倍。企業的應對是設定成本預算、定義理性默認值,並要求團隊在升級模型時舉證:「為什麼這個任務真的需要這個更強大的模型?」而不是被動接受成本暴增。

整體而言,企業保護代理的關鍵在於透明性——監控實際行為、記錄每個決策;自適應性——根據歷史資料動態調整權限;和責任制——設置預算、建立政策、識別高風險場景後進行人工介入。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。