KeyFrame內部研究專用

Zero Trust security for AI agents

Microsoft Mechanics10 min英文
觀看原始影片

三句話摘要

AI 時代的零信任安全防護——如何跨越身份、數據、工具等全層建立防線,阻擋機器速度的攻擊。 零信任在 AI 時代的核心是:每個代理都需獨立身份、即時風險評估、運行時觀測,以機器速度的防禦來對抗機器速度的攻擊。 AI 威脅的本質轉變:傳統攻擊需要破解加密或發現零日漏洞,但 AI 只需一個被盜憑證、過度授權帳戶或受害工作階段就能入侵,並能自動串聯多個低風險問題組成完整的端對端攻擊,時間成本遠低於人類攻擊者。

重點整理

  1. AI 威脅的本質轉變:傳統攻擊需要破解加密或發現零日漏洞,但 AI 只需一個被盜憑證、過度授權帳戶或受害工作階段就能入侵,並能自動串聯多個低風險問題組成完整的端對端攻擊,時間成本遠低於人類攻擊者。

  2. 身份與存取控制的重新定義:不只人類使用者需驗證身份,AI 代理也需獨立身份。條件式存取需實時評估代理風險、用戶風險、設備健康狀況,搭配無釣魚認證機制(如密鑰),確保只有授權的代理能存取資源。

  3. 最小權限原則的強制執行:AI 代理只能訪問完成任務所需的最少數據和工具。過度授權的單一誤設就可能導致秒級大規模洩露,因此需透過資料存取治理、敏感度標籤、DLP 政策等方式嚴格限制代理能接觸的文件、後端系統和 API。

  4. 運行時可觀測性的必要性:無法觀測的代理無法信任。必須記錄每個工具呼叫、API 訪問、數據查詢,並導入 SIEM 系統、異常偵測,自動指派風險等級,才能在事件發生時快速偵測與回應。

實用技巧與重點

  • 身份與存取管理工具:
  • Microsoft Entra(含條件式存取)
  • Agent ID(為代理分配獨立身份)
  • Access Packages(限時限度授權,工作完成後自動過期)
  • Agent 365(統一發現和管理所有代理)
  • 數據保護與監控:
  • Microsoft Purview(數據安全態勢管理、自動風險分級)
  • DLP 和敏感度標籤
  • Data Access Governance
  • 簽入和審計日誌
  • Microsoft Sentinel(SIEM)
  • 工具與代理防護:
  • MCP(Model Context Protocol)目錄治理
  • Azure API Management(保護自建 MCP 伺服器)
  • Microsoft Foundry(含越獄防禦、提示注入防護)
  • Microsoft Defender for Cloud Apps
  • Windows Execution Containers(識別本機 AI 代理)
  • 端點與應用防護:
  • Microsoft Intune
  • Microsoft Defender
  • Microsoft Edge(防止商用影子 AI)
  • Intune 安全基準
  • 零信任三大原則的新詮釋:
  • 明確驗證:確認身份(人或設備)與意圖(AI 或流程),每個代理獲得離散身份
  • 最小權限存取:AI 只能接觸授權目的所需的數據與工具
  • 假設漏洩:任何提示可能含惡意、任何響應可能洩漏數據、任何 AI 元件都有漏洞風險

結論

零信任在 AI 時代的核心是:每個代理都需獨立身份、即時風險評估、運行時觀測,以機器速度的防禦來對抗機器速度的攻擊。

完整解析

AI 的出現正在根本改變網路安全威脅模型。傳統上,攻擊者需要高超技能來破解加密或發現未知漏洞。但新一代 AI 模型已能自動發現存在數十年卻未被人類察覺的零日漏洞,並以機器速度利用它們。更危險的是,AI 甚至不需要新發現,只需竊取一個被盜憑證或一個過度授權的帳戶,就能自主串聯多個低風險問題組成完整攻擊鏈。這種威脅所需的時間成本遠低於人類攻擊者。

在這樣的背景下,零信任的三大原則——明確驗證、最小權限、假設漏洩——不得不做出本質調整。首先,明確驗證不只適用於人類使用者。每個 AI 代理都必須獲得獨立身份,與調用它的用戶分離,與其運行的工作負載分離。Microsoft Entra 的條件式存取機制可在每次代理請求時實時評估用戶風險、登入風險、設備健康和位置信號,並結合無釣魚認證(如密鑰)確保只有授權代理能存取。

其次,最小權限存取意味著 AI 只能接觸完成授權任務所需的數據和工具,不得更多。這要求在多個層面同時實施控制:數據層面上,DLP 和敏感度標籤即使在用戶有權打開文件時也能限制 AI 訪問;工具層面上,MCP 目錄需納入治理,未批准的工具不得運行,批准的工具也只能分配給特定代理。資料存取治理則提供粒度控制,精確限定每個代理能接觸的網站、項目和共享連結。

最後,假設漏洩在 AI 時代有了新含義:任何提示都可能含有惡意、任何響應都可能洩漏敏感數據、任何 AI 元件(SDK、MCP 連接、代理本身)都可能有漏洞。因此運行時可觀測性變得至關重要。審計日誌需記錄每個工具呼叫、API 訪問嘗試、數據查詢,導入 SIEM 系統進行異常偵測,並與告警和事件管理無縫整合。Purview 可自動根據代理的數據活動指派風險等級,支持優先調查、精準控制或即時撤銷訪問權限。

Microsoft 透過 Agent 365 統一了這些分散的控制,讓身份管理、數據安全、端點管理和安全運維各域的專家都能在自己的工具中協同工作。這不是零信任原則的改變,而是在 AI 時代的必要應用。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI