KeyFrame內部研究專用

[un]prompted.au 2026 - ExploitBench - Seunghyun Lee

Unprompted au33 min英文
觀看原始影片

三句話摘要

評估AI模型能否自動開發軟體漏洞利用程式的基準測試「Exploit Bench」 AI模型已具備獨立開發複雜漏洞利用的新興前沿能力,Exploit Bench透過分層評估與密集驗證獎勵機制提供了首個真實、持續演進的長視野任務基準,未來透過不斷更新資料和擴展測試範圍才能準確衡量這項能力的真實發展。 利用過程分層評估:漏洞利用非一步到位,而是觸發漏洞→有限控制→完全任意讀寫→任意程式碼執行的漸進過程。Exploit Bench透過16個檢查點評估每個階段進展,而非只測量最終成功失敗,避免捨棄96.6%有進展但未完成的運行。

重點整理

  1. 利用過程分層評估:漏洞利用非一步到位,而是觸發漏洞→有限控制→完全任意讀寫→任意程式碼執行的漸進過程。Exploit Bench透過16個檢查點評估每個階段進展,而非只測量最終成功失敗,避免捨棄96.6%有進展但未完成的運行。

  2. 真實漏洞來源與客觀驗證:所有41個漏洞源自V8官方漏洞追蹤器,每個都曾在野外被實際利用,確保基準的真實性與重要性。評估採用確定性預言機進行,完全排除LLM主觀判斷,例如檢驗「地址原始操作」時會生成隨機堆物件驗證返回值準確性。

  3. 模型能力存在明顯階差:較小模型只達T4層級(能引發崩潰但無法構建有意義原始操作),高端模型如Claude 3 Opus Preview和GPT-5.5達T1層級(任意程式碼執行),分別成功利用16和3個漏洞,增加轉數預算能進一步提升性能。

  4. 記憶化風險與動態防禦:100%完美評分可能源於訓練資料記憶化而非真正利用能力,因此需持續添加新漏洞、採用CTF式動態評分機制、擴展測試範圍,同時V8沙盒防禦有效果證明(2025年後漏洞逃脫率從30%降至9%)。

實用技巧與重點

  • 評估架構
  • 評估漏洞數:41個V8 JavaScript引擎漏洞
  • 層級與檢查點:5個層級(T5覆蓋→T4重現→T3沙盒內→T2沙盒外→T1完全控制),共16個檢查點
  • 測試規模:1,106次運行,9個模型
  • 評估結果
  • 達到最高層級(任意程式碼執行)比例:3.4%
  • Claude 3 Opus Preview達到完全控制的漏洞數:16個
  • GPT-5.5達到完全控制的漏洞數:3個
  • GPT-5.5增加轉數效果:300轉→4個ACE,600轉→4個ACE,1000轉→4個ACE,3000轉→14個ACE
  • 防禦有效性統計
  • 2025年前V8漏洞沙盒逃脫率:≈30%
  • 2025年後V8漏洞沙盒逃脫率:≈9%
  • 模型評估方式
  • 原始模型評估、簡單迴圈代理、自動提示機制、廠商官方代理
  • 具體案例
  • CVE-2023-6702:Claude 3 Opus透過反轉跨iframe隨機數生成器狀態,將不可控隨機值轉化為可預測目標值
  • CVE-2024-0519:首次公開利用,Claude 3 Opus透過假設驗證迴圈獨立發現新的利用方法

結論

AI模型已具備獨立開發複雜漏洞利用的新興前沿能力,Exploit Bench透過分層評估與密集驗證獎勵機制提供了首個真實、持續演進的長視野任務基準,未來透過不斷更新資料和擴展測試範圍才能準確衡量這項能力的真實發展。

完整解析

Exploit Bench基準起源於2025年初,講者在使用Claude Code搭配Opus 4進行Chrome V8引擎漏洞利用開發時發現:寫作第一個利用程式很有趣,但第20個就變得繁瑣。更關鍵的是,傳統基準測試只測量成功或失敗的二元結果,無法衡量利用過程的漸進式進展。這催生了Exploit Bench的核心創新——將漏洞利用視為分層過程。

漏洞利用本質上是一個多階段的攻擊鏈。攻擊者需先觸發漏洞代碼造成崩潰,然後獲得有限的記憶體控制能力,逐步突破限制達成完全的任意讀寫,最後實現任意程式碼執行。相比於Cyber Gym(只檢查AddressSanitizer崩潰)或Exploit Gym(僅測量最終標誌獲取),Exploit Bench對每一個階段都進行評估。統計資料顯示,在1,106次運行涵蓋9個模型和41個漏洞的測試中,僅3.4%的運行達到最高層級。若只進行二元評估就會完全忽視剩餘96.6%已取得進展但未完成的運行,這是傳統基準的重大盲點。

基準的設計堅持真實性:測試對象是V8 JavaScript引擎,被廣泛應用於瀏覽器、伺服器端執行時和編碼解碼器。所有41個漏洞均源自V8安全團隊維護的官方漏洞追蹤器,代表曾在野外被真正利用過的實際安全威脅。評估過程採用確定性預言機進行驗證,完全不依賴LLM主觀判斷。例如驗證「地址原始操作」能力時,系統會要求模型實現一個函式,經過驗證器生成隨機堆物件並檢驗返回值是否準確對應物件指標,這是純機械化的檢驗。

結果凸顯了模型間的明顯能力差異。較小的模型只能達到T4層級(漏洞重現),表現為能引發崩潰但無法構建有意義的原始操作。中等規模模型達到T3層級(沙盒內有限原始操作)。而高端模型如Claude 3 Opus Preview和GPT-5.5則能達到T1層級(任意程式碼執行),分別成功利用16和3個漏洞。增加轉數預算(turn budget)能顯著提升性能,這類似於模糊測試中決定何時停止的問題,GPT-5.5在3,000轉預算下達到14個任意程式碼執行,相比300轉的4個有明顯提升。

兩個具體案例深刻展現了高端模型的利用能力。在CVE-2023-6702上,Claude 3 Opus Preview發現V8誤將隨機數作為指標讀取的漏洞,但並非直接物件噴灑(object spray)碰運氣,而是巧妙地反轉跨iframe的隨機數生成器狀態,將不可控的隨機值轉化為完全可預測的目標值。更驚人的是CVE-2024-0519案例——這是一個完全無公開資料的漏洞,沒有任何公開撰寫或概念證明,只有研究人員發現了某些不一致性但未能構建可利用的原始操作。Claude 3 Opus Preview透過讀取大量原始碼並在龐大的思維塊中進行假設驗證迴圈,獨立發現了這個漏洞的利用方法。這四次迴圈的假設驗證過程既未使用自訂工具也未依賴複雜代理框架,完全由單一模型思維過程完成。

然而,某些模型的100%完美評分引起了警惕。高分可能源於對訓練資料中漏洞的記憶化而非真正的利用能力——不僅可以記憶化整個利用程序,甚至可以記憶化單個在多個目標版本上都能工作的漏洞。為此團隊採取多層防禦:持續添加新漏洞(V8的常數bug流確保了持續的資料來源)、採用CTF式動態評分機制(廣泛解決的漏洞得分逐漸下降)、擴展測試對象(從孤立的V8二進位檔到真實Chrome環境,從JavaScript引擎延伸至核心或使用者態二進位檔)。防禦側也並非無計可施——V8沙盒對逃脫企圖的防禦效果明顯,2025年前漏洞的沙盒逃脫率約30%,但2025年後更強化的沙盒實現使逃脫率下降至9%,證明了分層防禦的實際有效性。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。