KeyFrame內部研究專用

Black Hat Asia 2026 | Keynote: From Prompt Tricks to Autonomous Hackers

Black Hat·7月29日週三·59 min英文

三句話摘要

AI大型語言模型在自動化漏洞發現和利用中的能力現狀、限制與對安全産業的影響。 LLM在自動漏洞發現上的真正威脅在於發現低難度漏洞的規模和速度指數級增長,而非突破深度利用瓶頸——防守團隊應以此為進行防守左移的決定性推動力。 超線性縮放現象改變遊戲規則:當模型大小、數據、計算各增加2倍時,性能提升接近4倍(不是線性的2倍),這是Mythos和GPT-5.5相比前代的關鍵進步來源。

重點整理

重點
  • 1

    超線性縮放現象改變遊戲規則:當模型大小、數據、計算各增加2倍時,性能提升接近4倍(不是線性的2倍),這是Mythos和GPT-5.5相比前代的關鍵進步來源。

  • 2

    能力天花板上升快,但底線上升慢:OSFuzz評估顯示低嚴重性漏洞發現大幅增加(200-300提升至近400),但高階利用漏洞的進展稀疏,意味改進主要集中在淺層bug。

  • 3

    模型在狀態相關問題上仍有根本限制:並發、時間相關的漏洞仍然困難,因為語言模型缺乏狀態建模能力,幻覺問題也會持續困擾,即使上下文窗口擴大也無法根除。

  • 4

    防守與攻擊的非對稱性與經濟動力:攻擊者只需一次成功就能造成損害,但防守需要次次完美;同時AI成本下降推動廣泛應用,開源與frontier模型的可及性持續增加,造成攻擊面擴大。

實用技巧與重點

乾貨
  • 時間數據:2023-2026年漏洞到利用時間從5個月降至10小時;Palauja Network在不到3週內完成一年份的滲透測試
  • 模型能力指標:Mythos超線性改進(2x大小+2x數據+2x計算≈4x性能);Opus 4.6近零利用成功率→Mythos成功率大幅提升
  • 漏洞發現分佈(OSFuzz評估):低階(Tier 1-2)從200-300升至近400;中階有適度增長;高階(Tier 5控制流劫持)才10個
  • 工具與平台:Hugging Face、Mistral(歐洲開源)、Qwen、OpenClimate等開源方案;Project Glasswing、Anthropic研究報告
  • 國家策略差異:美國focus推理能力(Anthropic、OpenAI、Google、Meta);中國可能更重視推理硬體與製造;歐洲透過開源(Mistral)平衡資源劣勢
  • 成本案例:Ari在OpenAI的一次失敗訓練運行成本$500萬;模型訓練NDA保護具體成本數據

結論

結論

LLM在自動漏洞發現上的真正威脅在於發現低難度漏洞的規模和速度指數級增長,而非突破深度利用瓶頸——防守團隊應以此為進行防守左移的決定性推動力。

完整解析

詳細

Ari Herbert-Voss曾是OpenAI第一位安全員工,現運營自動化攻擊安全公司,在本次演講中深入剖析了LLM在漏洞發現領域的能力邊界。他首先澄清LLM的本質——它們其實是對訓練數據的壓縮表示,透過預測序列中下一個token(類似手機鍵盤的自動完成)來工作。關鍵突破來自「超線性縮放假設」:當模型大小、訓練數據、計算資源各增加2倍時,性能提升並非線性的2倍,而是接近4倍。這解釋了為何Mythos和GPT-5.5相比前代出現質的躍升。

然而,能力的進步並非均勻分布。Ari引用Anthropic的OSFuzz評估數據,Mythos在發現低嚴重性漏洞時大幅躍進(從200-300個增至近400個),卻在深度利用漏洞上進展稀缺(只有10個Tier 5級控制流劫持漏洞)。這反映了一個重要現實:模型在淺層、有充分文檔支持的bug上表現優異,但在需要複雜推理的利用鏈上仍需靠運氣。此外,模型對狀態相關問題根本困難——並發、時間序列、分佈式系統的state追蹤,因為語言模型本質上缺乏state建模能力,幻覺問題也會持續存在。

從攻防動態看,時間線在加速:2023-2026年間,漏洞到利用的平均時間從5個月縮至10小時。但Ari強調防守與攻擊存在根本非對稱性:防守需要次次成功,攻擊者只需一次成功。雖然frontier模型(Mythos、GPT-5.5)性能最優,但開源社群透過足夠的專家級脚手架也能達到接近的水準。不同國家採取差異化策略——美國專注reasoning能力,中國因製造背景可能更重視推理優化,歐洲透過開源(如Mistral)補償資源劣勢。經濟壓力不斷推動AI能力的民主化,Ari認為這對防守反而是機遇,迫使組織進行本應早就做的工程工作。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 安全」的內容

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist
168 min
AI 安全英文PODCAST8月25日

SN 1093: Tokens in the Stream - Why LLMs are inherently insecure and prompt injection will persist

Security Now

  • Token 流的基礎設計:LLM 不具備狀態管理能力,所有輸入都被視為等值的 token 序列。系統無法區分「這是系統指令」和「這是外部資料」,只能依靠訓練期間習得的格式識別能力,這本質上是脆弱的。
  • 格式標籤的虛幻邊界:系統標籤、使用者標籤、工具標籤等都只是特殊 token,模型被訓練成「該尊重系統標籤的命令」,但 token 流裡沒有硬性邊界。移除標籤格式後,攻擊成功率從 61% 跌至 10%,證明安全性完全依賴於格式。
  • 蒸餾與超級模型現象:企業用較成熟模型的輸出訓練新模型(蒸餾),相當於把前一代模型的行為與缺點複製給下一代。即使競爭對手未直接存取,互聯網上充滿 AI 生成內容,導致模型行為自然收斂,難以追蹤蒸餾是否發生。
Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker
22 min
AI 安全中文8月20日

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

AI Engineer

  • 1. 代理權限動態擴張的根本問題
  • 當代理被要求調查延遲尖峰時,它會自動擴展訪問需求——先請求日誌訪問,再要求 GitHub 儲存庫權限,最後要求 Slack 訪問。每一步都超越了信任邊界,最終導致代理擁有不受控制的全系統訪問權。傳統軟體可以提前定義權限,但自主代理的需求在運行時動態變化,這是核心難題。
  • 2. 多模型、多平台的統一防控需求
SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI
8 min
AI 安全英文PODCAST8月19日

SANS Stormcast Wednesday, August 19th, 2026: Copilot as Whitstleblower; GEEKOM Bad Driver; Medusa Update; Encrypted AI

SANS Stormcast

  • AI 系統的存取控制難以真正實施,因為一旦資料被 AI 系統存取,攻擊者總能找到繞過安全防護的方式提取資料。伺服器端請求偽造(SSRF)在聊天機器人中常見,攻擊者可騙誘 AI 系統向指定 URL 發送請求並將響應內容洩露給攻擊者。
  • Copilot 漏洞的完整利用鏈包括三個步驟:預填含惡意提示的 URL、誘導使用者點擊、利用 AI 的網頁擷取能力將敏感資料外洩到攻擊者控制的伺服器。Microsoft 的修補方案是限制允許的連結類型,犧牲了與其他系統的整合便利性以換取安全性。