KeyFrame內部研究專用

黑客“帮手”:测试超级智能AI的新方法

奇奇怪怪的短视频·3月29日週日·7 min中文

三句話摘要

AI 智能體(Agent)帶來全新安全威脅,T-MAP 以軌跡感知的自動化攻擊測試方法協助找出漏洞、強化防禦。 --- AI 智能體已從「說話」進化為「動手」,T-MAP 以 57.8% 的完整攻擊成功率揭示現有頂尖模型的嚴重防禦缺口,而它存在的意義正是讓開發者在部署前就把這些漏洞堵死。 AI 智能體的能力躍升使安全威脅等級質變:過去風險是 AI「說出」不該說的話,現在是 AI「自主執行」大規模有害任務,例如批量發送惡意郵件,兩者的傷害規模天差地別。

重點整理

重點
  • 1

    AI 智能體的能力躍升使安全威脅等級質變:過去風險是 AI「說出」不該說的話,現在是 AI「自主執行」大規模有害任務,例如批量發送惡意郵件,兩者的傷害規模天差地別。

  • 2

    傳統紅隊測試的盲點在於只看單點、忽視鏈式行為:AI 智能體的危險往往藏在一連串看似無害的操作之後,逐步累積才爆發,舊測試框架根本看不到這條鏈。

  • 3

    T-MAP 以「軌跡感知」模仿 AlphaGo 自我對弈的方式進化攻擊:它分析歷史攻擊成敗、生成新指令、執行、評判,不斷迭代,最終能找出跨多步驟的組合漏洞。

  • 4

    研究目的是防禦而非進攻:T-MAP 被定位為開發者的診斷工具,在 AI 智能體部署前主動找出弱點並加固,目標是建立可信賴的 AI 助理。

  • 5

    --

實用技巧與重點

乾貨
  • T-MAP 攻擊完全執行成功率:57.8%(有害任務從頭到尾完整執行)
  • 自動發現新攻擊手法數量:近 22 種(人類研究員未曾設計)
  • 測試對象:GPT、Gemini、Qwen1(業界頂尖、號稱安全防護最強的模型)
  • 結果:三個模型均無法完全防禦
  • T-MAP 核心機制:四步迭代循環——復盤歷史攻擊 → 生成新攻擊指令 → 執行並觀察 → 評判效果並更新武器庫
  • 全名核心概念:軌跡感知自動化測試方法(Trajectory-aware Multi-step Attack Protocol)
  • AI 智能體具備能力:登入郵箱收發信件、自主瀏覽網路、撰寫並執行程式碼
  • 類比參考:T-MAP 的學習方式類似 AlphaGo 自我對弈數百萬次
  • --

結論

結論

AI 智能體已從「說話」進化為「動手」,T-MAP 以 57.8% 的完整攻擊成功率揭示現有頂尖模型的嚴重防禦缺口,而它存在的意義正是讓開發者在部署前就把這些漏洞堵死。

完整解析

詳細

當大多數人還把 AI 視為聊天機器人時,AI 已悄然進化成能「動手做事」的智能體(Agent)。它不再只是回答問題,而是可以登入你的信箱、瀏覽網頁、甚至自己撰寫並執行程式碼。這種能力的躍升,讓安全威脅的等級發生了質的改變:過去我們擔心的是 AI 被誘導說出一句不該說的話,而現在的風險是 AI 智能體能自主、連續地執行大規模有害任務,例如在無人監督的情況下發送成千上萬封惡意郵件。

面對這種新物種,舊有的安全測試方法已明顯跟不上。傳統「紅隊測試」的邏輯是讓研究員扮演駭客、一次試探一個回應,看 AI 會不會說錯一句話。但 AI 智能體的危險恰恰不在單一步驟,而在於一連串看似無害的操作串聯後所產生的破壞力。傳統測試根本無法捕捉到這條「行為鏈」上的漏洞。

這正是 T-MAP 誕生的背景。T-MAP 是一種專為 AI 智能體設計的軌跡感知自動化攻擊測試方法,它的核心理念是「看整條線,不看單一點」——從智能體執行任務的完整軌跡中尋找可被利用的弱點。它的運作方式是一個四步迭代循環:首先復盤歷史攻擊的成敗,歸納規律;接著根據這些規律生成更刁鑽的新攻擊指令;然後將指令實際丟給目標 AI 執行;最後評判攻擊效果,把學到的經驗存入「武器庫」,再次迭代。這個過程與 AlphaGo 的自我對弈邏輯高度相似,透過不斷對戰來發現人類研究員想不到的複雜組合招數。

實測數據顯示 T-MAP 的效果相當驚人。在將完整有害任務從頭到尾執行完畢的指標上,T-MAP 達到了 57.8% 的成功率,遠超其他測試方法;它還自行發現了近 22 種全新的多步驟攻擊手法。更關鍵的是,它的測試對象包括 GPT、Gemini、Qwen 等當前公認安全防護最嚴密的頂尖模型,結果沒有一個能完全防禦。儘管如此,T-MAP 的研究團隊明確表示,這項工具的定位是開發者的「診斷盾」而非攻擊矛——在 AI 智能體正式部署前,用最強的測試武器主動找出所有薄弱環節並加固,讓走向真實世界的 AI 真正值得信賴。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。