[un]prompted.au 2026 - ExploitBench - Seunghyun Lee
三句話摘要
評估AI模型能否自動開發軟體漏洞利用程式的基準測試「Exploit Bench」 AI模型已具備獨立開發複雜漏洞利用的新興前沿能力,Exploit Bench透過分層評估與密集驗證獎勵機制提供了首個真實、持續演進的長視野任務基準,未來透過不斷更新資料和擴展測試範圍才能準確衡量這項能力的真實發展。 利用過程分層評估:漏洞利用非一步到位,而是觸發漏洞→有限控制→完全任意讀寫→任意程式碼執行的漸進過程。Exploit Bench透過16個檢查點評估每個階段進展,而非只測量最終成功失敗,避免捨棄96.6%有進展但未完成的運行。
重點整理
利用過程分層評估:漏洞利用非一步到位,而是觸發漏洞→有限控制→完全任意讀寫→任意程式碼執行的漸進過程。Exploit Bench透過16個檢查點評估每個階段進展,而非只測量最終成功失敗,避免捨棄96.6%有進展但未完成的運行。
真實漏洞來源與客觀驗證:所有41個漏洞源自V8官方漏洞追蹤器,每個都曾在野外被實際利用,確保基準的真實性與重要性。評估採用確定性預言機進行,完全排除LLM主觀判斷,例如檢驗「地址原始操作」時會生成隨機堆物件驗證返回值準確性。
模型能力存在明顯階差:較小模型只達T4層級(能引發崩潰但無法構建有意義原始操作),高端模型如Claude 3 Opus Preview和GPT-5.5達T1層級(任意程式碼執行),分別成功利用16和3個漏洞,增加轉數預算能進一步提升性能。
記憶化風險與動態防禦:100%完美評分可能源於訓練資料記憶化而非真正利用能力,因此需持續添加新漏洞、採用CTF式動態評分機制、擴展測試範圍,同時V8沙盒防禦有效果證明(2025年後漏洞逃脫率從30%降至9%)。
實用技巧與重點
- 評估架構
- 評估漏洞數:41個V8 JavaScript引擎漏洞
- 層級與檢查點:5個層級(T5覆蓋→T4重現→T3沙盒內→T2沙盒外→T1完全控制),共16個檢查點
- 測試規模:1,106次運行,9個模型
- 評估結果
- 達到最高層級(任意程式碼執行)比例:3.4%
- Claude 3 Opus Preview達到完全控制的漏洞數:16個
- GPT-5.5達到完全控制的漏洞數:3個
- GPT-5.5增加轉數效果:300轉→4個ACE,600轉→4個ACE,1000轉→4個ACE,3000轉→14個ACE
- 防禦有效性統計
- 2025年前V8漏洞沙盒逃脫率:≈30%
- 2025年後V8漏洞沙盒逃脫率:≈9%
- 模型評估方式
- 原始模型評估、簡單迴圈代理、自動提示機制、廠商官方代理
- 具體案例
- CVE-2023-6702:Claude 3 Opus透過反轉跨iframe隨機數生成器狀態,將不可控隨機值轉化為可預測目標值
- CVE-2024-0519:首次公開利用,Claude 3 Opus透過假設驗證迴圈獨立發現新的利用方法
結論
AI模型已具備獨立開發複雜漏洞利用的新興前沿能力,Exploit Bench透過分層評估與密集驗證獎勵機制提供了首個真實、持續演進的長視野任務基準,未來透過不斷更新資料和擴展測試範圍才能準確衡量這項能力的真實發展。
完整解析
Exploit Bench基準起源於2025年初,講者在使用Claude Code搭配Opus 4進行Chrome V8引擎漏洞利用開發時發現:寫作第一個利用程式很有趣,但第20個就變得繁瑣。更關鍵的是,傳統基準測試只測量成功或失敗的二元結果,無法衡量利用過程的漸進式進展。這催生了Exploit Bench的核心創新——將漏洞利用視為分層過程。
漏洞利用本質上是一個多階段的攻擊鏈。攻擊者需先觸發漏洞代碼造成崩潰,然後獲得有限的記憶體控制能力,逐步突破限制達成完全的任意讀寫,最後實現任意程式碼執行。相比於Cyber Gym(只檢查AddressSanitizer崩潰)或Exploit Gym(僅測量最終標誌獲取),Exploit Bench對每一個階段都進行評估。統計資料顯示,在1,106次運行涵蓋9個模型和41個漏洞的測試中,僅3.4%的運行達到最高層級。若只進行二元評估就會完全忽視剩餘96.6%已取得進展但未完成的運行,這是傳統基準的重大盲點。
基準的設計堅持真實性:測試對象是V8 JavaScript引擎,被廣泛應用於瀏覽器、伺服器端執行時和編碼解碼器。所有41個漏洞均源自V8安全團隊維護的官方漏洞追蹤器,代表曾在野外被真正利用過的實際安全威脅。評估過程採用確定性預言機進行驗證,完全不依賴LLM主觀判斷。例如驗證「地址原始操作」能力時,系統會要求模型實現一個函式,經過驗證器生成隨機堆物件並檢驗返回值是否準確對應物件指標,這是純機械化的檢驗。
結果凸顯了模型間的明顯能力差異。較小的模型只能達到T4層級(漏洞重現),表現為能引發崩潰但無法構建有意義的原始操作。中等規模模型達到T3層級(沙盒內有限原始操作)。而高端模型如Claude 3 Opus Preview和GPT-5.5則能達到T1層級(任意程式碼執行),分別成功利用16和3個漏洞。增加轉數預算(turn budget)能顯著提升性能,這類似於模糊測試中決定何時停止的問題,GPT-5.5在3,000轉預算下達到14個任意程式碼執行,相比300轉的4個有明顯提升。
兩個具體案例深刻展現了高端模型的利用能力。在CVE-2023-6702上,Claude 3 Opus Preview發現V8誤將隨機數作為指標讀取的漏洞,但並非直接物件噴灑(object spray)碰運氣,而是巧妙地反轉跨iframe的隨機數生成器狀態,將不可控的隨機值轉化為完全可預測的目標值。更驚人的是CVE-2024-0519案例——這是一個完全無公開資料的漏洞,沒有任何公開撰寫或概念證明,只有研究人員發現了某些不一致性但未能構建可利用的原始操作。Claude 3 Opus Preview透過讀取大量原始碼並在龐大的思維塊中進行假設驗證迴圈,獨立發現了這個漏洞的利用方法。這四次迴圈的假設驗證過程既未使用自訂工具也未依賴複雜代理框架,完全由單一模型思維過程完成。
然而,某些模型的100%完美評分引起了警惕。高分可能源於對訓練資料中漏洞的記憶化而非真正的利用能力——不僅可以記憶化整個利用程序,甚至可以記憶化單個在多個目標版本上都能工作的漏洞。為此團隊採取多層防禦:持續添加新漏洞(V8的常數bug流確保了持續的資料來源)、採用CTF式動態評分機制(廣泛解決的漏洞得分逐漸下降)、擴展測試對象(從孤立的V8二進位檔到真實Chrome環境,從JavaScript引擎延伸至核心或使用者態二進位檔)。防禦側也並非無計可施——V8沙盒對逃脫企圖的防禦效果明顯,2025年前漏洞的沙盒逃脫率約30%,但2025年後更強化的沙盒實現使逃脫率下降至9%,證明了分層防禦的實際有效性。


