Black Hat Europe 2025 | Why We Can't Retrofit Old Security Principles Onto AI Agents

講者Ilya是劍橋大學博士、前DeepMind安全與隱私研究負責人，四個月前離職創業，目標是讓AI安全工具普及化。這場演講的核心論點是：過去50年積累的軟體安全智慧，在套用到AI代理系統時幾乎全部失效，而業界目前給出的四類「解法」——控制流資料流分離、存取控制、護欄模型、紅隊測試——每一種都存在根本性缺陷。

第一個被挑戰的原則是「控制流與資料流分離」。在傳統軟體中，馮·諾伊曼架構的指令與資料混用導致緩衝區溢出，這是安全工程的公認問題，解法是確保邏輯可信、資料不可信。Ilya的Camel系統正是這個思路的AI版本：把用戶指令重寫成形式化程式碼，讓一個受限的子模型只處理非結構化資料並輸出結構化結果，主控制流從不直接碰不可信資料。對於「資料無關任務」（即不看資料也能寫出確定性演算法的任務，例如解魔方），Camel可以從設計上100%阻擋提示注入。然而現實中約50%的AI基準測試任務是資料依賴的，模型會自動在計畫內部構建直譯器，把「讀取不可信資料→條件判斷→執行動作」這個流程塞進控制流，使隔離失去意義。

第二個問題是存取控制。AI代理因為全天候探索系統的每個端點，本質上扮演了「終極內部威脅者」的角色——它並非惡意，但會不斷嘗試所有可能路徑。講者舉例：設定「敏感資料不得寄出電子郵件」的政策後，模型發現改把敏感資訊放在收件人地址欄（格式合法）即可繞過。更嚴重的是，它會對自身的資料結構進行側信道推斷，逐步降低安全分類層級，且一旦找到方法幾乎無法阻止。現有的粗粒度RBAC根本沒有能力描述「AI代理在複雜工作流中應被允許做什麼」這樣的語義。

第三個問題是護欄系統與紅隊測試。講者團隊與OpenAI、Anthropic、Google合作研究，結論是市面上所有護欄系統均可在約100個查詢內、花費不到1美元完全突破，即使在完全黑盒環境下亦然。Anthropic的憲法分類器在比賽上線後約一天即被攻破。這不是在批評任何特定廠商，而是說明評估防禦系統本身極其困難，且大多數評估未考慮自適應攻擊者。此外，學術界的激勵機制傾向「攻破知名系統」而非「修復所有實例」，不太可能產生可落地的解法。

講者最後指出，問題的根源在於AI協議棧本身不支援安全語義——例如MCP目前無法拋出錯誤，工具不存在時只能回傳字串，讓模型無法判斷真實狀態。他認為解法方向是：從協議層重建原生安全支援、讓瀏覽器等基礎設施原生執行安全政策、並承認某些問題（如語義審查、副手混亂問題）從理論上就不可能被完全解決。