KeyFrame內部研究專用

Zero Trust security for AI agents

Microsoft Mechanics·6月30日週二·10 min英文

三句話摘要

AI 時代的零信任安全防護——如何跨越身份、數據、工具等全層建立防線,阻擋機器速度的攻擊。 零信任在 AI 時代的核心是:每個代理都需獨立身份、即時風險評估、運行時觀測,以機器速度的防禦來對抗機器速度的攻擊。 AI 威脅的本質轉變:傳統攻擊需要破解加密或發現零日漏洞,但 AI 只需一個被盜憑證、過度授權帳戶或受害工作階段就能入侵,並能自動串聯多個低風險問題組成完整的端對端攻擊,時間成本遠低於人類攻擊者。

重點整理

重點
  • 1

    AI 威脅的本質轉變:傳統攻擊需要破解加密或發現零日漏洞,但 AI 只需一個被盜憑證、過度授權帳戶或受害工作階段就能入侵,並能自動串聯多個低風險問題組成完整的端對端攻擊,時間成本遠低於人類攻擊者。

  • 2

    身份與存取控制的重新定義:不只人類使用者需驗證身份,AI 代理也需獨立身份。條件式存取需實時評估代理風險、用戶風險、設備健康狀況,搭配無釣魚認證機制(如密鑰),確保只有授權的代理能存取資源。

  • 3

    最小權限原則的強制執行:AI 代理只能訪問完成任務所需的最少數據和工具。過度授權的單一誤設就可能導致秒級大規模洩露,因此需透過資料存取治理、敏感度標籤、DLP 政策等方式嚴格限制代理能接觸的文件、後端系統和 API。

  • 4

    運行時可觀測性的必要性:無法觀測的代理無法信任。必須記錄每個工具呼叫、API 訪問、數據查詢,並導入 SIEM 系統、異常偵測,自動指派風險等級,才能在事件發生時快速偵測與回應。

實用技巧與重點

乾貨
  • 身份與存取管理工具:
  • Microsoft Entra(含條件式存取)
  • Agent ID(為代理分配獨立身份)
  • Access Packages(限時限度授權,工作完成後自動過期)
  • Agent 365(統一發現和管理所有代理)
  • 數據保護與監控:
  • Microsoft Purview(數據安全態勢管理、自動風險分級)
  • DLP 和敏感度標籤
  • Data Access Governance
  • 簽入和審計日誌
  • Microsoft Sentinel(SIEM)
  • 工具與代理防護:
  • MCP(Model Context Protocol)目錄治理
  • Azure API Management(保護自建 MCP 伺服器)
  • Microsoft Foundry(含越獄防禦、提示注入防護)
  • Microsoft Defender for Cloud Apps
  • Windows Execution Containers(識別本機 AI 代理)
  • 端點與應用防護:
  • Microsoft Intune
  • Microsoft Defender
  • Microsoft Edge(防止商用影子 AI)
  • Intune 安全基準
  • 零信任三大原則的新詮釋:
  • 明確驗證:確認身份(人或設備)與意圖(AI 或流程),每個代理獲得離散身份
  • 最小權限存取:AI 只能接觸授權目的所需的數據與工具
  • 假設漏洩:任何提示可能含惡意、任何響應可能洩漏數據、任何 AI 元件都有漏洞風險

結論

結論

零信任在 AI 時代的核心是:每個代理都需獨立身份、即時風險評估、運行時觀測,以機器速度的防禦來對抗機器速度的攻擊。

完整解析

詳細

AI 的出現正在根本改變網路安全威脅模型。傳統上,攻擊者需要高超技能來破解加密或發現未知漏洞。但新一代 AI 模型已能自動發現存在數十年卻未被人類察覺的零日漏洞,並以機器速度利用它們。更危險的是,AI 甚至不需要新發現,只需竊取一個被盜憑證或一個過度授權的帳戶,就能自主串聯多個低風險問題組成完整攻擊鏈。這種威脅所需的時間成本遠低於人類攻擊者。

在這樣的背景下,零信任的三大原則——明確驗證、最小權限、假設漏洩——不得不做出本質調整。首先,明確驗證不只適用於人類使用者。每個 AI 代理都必須獲得獨立身份,與調用它的用戶分離,與其運行的工作負載分離。Microsoft Entra 的條件式存取機制可在每次代理請求時實時評估用戶風險、登入風險、設備健康和位置信號,並結合無釣魚認證(如密鑰)確保只有授權代理能存取。

其次,最小權限存取意味著 AI 只能接觸完成授權任務所需的數據和工具,不得更多。這要求在多個層面同時實施控制:數據層面上,DLP 和敏感度標籤即使在用戶有權打開文件時也能限制 AI 訪問;工具層面上,MCP 目錄需納入治理,未批准的工具不得運行,批准的工具也只能分配給特定代理。資料存取治理則提供粒度控制,精確限定每個代理能接觸的網站、項目和共享連結。

最後,假設漏洩在 AI 時代有了新含義:任何提示都可能含有惡意、任何響應都可能洩漏敏感數據、任何 AI 元件(SDK、MCP 連接、代理本身)都可能有漏洞。因此運行時可觀測性變得至關重要。審計日誌需記錄每個工具呼叫、API 訪問嘗試、數據查詢,導入 SIEM 系統進行異常偵測,並與告警和事件管理無縫整合。Purview 可自動根據代理的數據活動指派風險等級,支持優先調查、精準控制或即時撤銷訪問權限。

Microsoft 透過 Agent 365 統一了這些分散的控制,讓身份管理、數據安全、端點管理和安全運維各域的專家都能在自己的工具中協同工作。這不是零信任原則的改變,而是在 AI 時代的必要應用。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。