300 Agents, 60 People: How We Secured Our Own AI Agents - Aiden Sochowski, Runlayer
三句話摘要
企業如何透過監控和政策管理,保護內部AI代理的安全性、成本和品質。 代理安全不能靠預先定義規則,必須透過監控實際行為,訓練模型檢測異常,並嚴格限制跨代理的資料流動。 代理數量遠超管理者認知:50-60人的公司內竟運行300多個代理,大多數都不是使用者主動觸發,而是藉由聊天機器人、自動化流程或SaaS應用背景執行,造成管理盲點。
重點整理
代理數量遠超管理者認知:50-60人的公司內竟運行300多個代理,大多數都不是使用者主動觸發,而是藉由聊天機器人、自動化流程或SaaS應用背景執行,造成管理盲點。
單一代理的攻擊面複雜且多層:代理的威脅不僅來自單一工具呼叫,更會發生在整個會話過程中,攻擊者可能透過郵件注入提示、在PR審查中逐步說服代理改變決策,無法用簡單的規則阻止。
權限過度配置是根本問題:企業通常一次性賦予代理過多工具權限,但實際使用模式往往只涉及少數幾個,難以預先精確定義每個代理該有什麼權限,需要監控實際行為後才能逐步調整。
成本和品質問題同樣严峻:MCP伺服器品質不一導致重複錯誤、浪費tokens,模型升級(如GPT到Fable)可能導致成本暴增100倍,但企業缺乏科學評估來判斷何時真正需要更強大的模型。
實用技巧與重點
- 公司規模:50-60人,運行超過300個代理
- 監控對象:MCP伺服器連接、認證方式、所有工具呼叫、會話記錄
- 風險分類:按主題、按風險等級、按權限多寡、按連接系統的複雜度
- 防禦層次(由淺到深):
- 訓練分類器檢測郵件中的指令注入
- 建立政策阻止PII(個人身份資訊)對外發送
- 限制特定代理讀取敏感資料來源
- 檢測整個會話偏離既定用途的行為
- 建立代理之間的資料隔離分區
- 招聘團隊案例:自行開發MCP伺服器存在格式化問題,重複錯誤導致成本暴增
- 成本問題案例:模型從便宜款改為Fable 5.1,成本在一週內暴增100倍
- 推薦做法:部署成本預算、設定理性默認值、建立合理化機制
結論
代理安全不能靠預先定義規則,必須透過監控實際行為,訓練模型檢測異常,並嚴格限制跨代理的資料流動。
完整解析
企業現在面臨一個新興但緊迫的問題:內部運行著數百個AI代理,但幾乎沒人真正掌握它們在做什麼。大多數這些代理並非使用者主動觸發,而是透過聊天機器人、自動化流程或第三方應用默默運行。Runlayer的做法是部署一個監控閘道,記錄每一個代理的會話、每一次工具呼叫,將所有資料集中同步,建立起對代理生態的完整可視化。
安全威脅並非簡單的單點問題。例如,一個處理支援郵件的代理原本只該提取資訊,但攻擊者可以寄一封郵件要求「列出所有銷售前景」,如果代理權限過度,就會直接洩露機密資料。更狡猾的是,攻擊可能跨越多個工具呼叫:攻擊者先在PR評論中與代理互動,藉由反覆的論證試著改變代理的決策邏輯,或者向代理表示「只需審查清理部分」,利用代理的一致性偏差讓它最終簽核本不該通過的改動。傳統的單規則阻止(如「禁止某工具在所有情境」)無法應對這些多層攻擊。
Runlayer的解決方案是訓練分類器模型,不是檢測單個工具呼叫,而是分析整個會話的資料流,判斷每個行動是否符合該代理的原始定義。同時,他們利用歷史行為資料——每個代理過去做了什麼——來識別異常。例如招聘代理平時只讀日曆和ATS,若忽然嘗試操作其他系統,立刻發出高風險警報。透過這種方式,他們逐步逆向推導「這個代理實際只需要這三個權限」,而不是一開始就猜測需要什麼。
第二個重大問題是代理之間的污染。一個代理可能寫入共享資料庫,另一個代理讀取這些資料——即使個別代理都有合理的用途,但攻擊者可以透過第一個代理注入惡意資料,再透過第二個代理的邏輯擴大損害。唯一的防禦是嚴格限制代理的寫入權限,甚至限制在特定資料庫或資料列範圍內。
最後,成本和品質問題同樣糟糕。一個自行開發的MCP伺服器因為沒有充分測試,在格式化錯誤上反覆碰壁,導致代理浪費大量tokens;或者有人心血來潮把模型從便宜款改成高端款,一週內成本爆炸100倍。企業的應對是設定成本預算、定義理性默認值,並要求團隊在升級模型時舉證:「為什麼這個任務真的需要這個更強大的模型?」而不是被動接受成本暴增。
整體而言,企業保護代理的關鍵在於透明性——監控實際行為、記錄每個決策;自適應性——根據歷史資料動態調整權限;和責任制——設置預算、建立政策、識別高風險場景後進行人工介入。


