[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh
三句話摘要
利用 AI 模型(Claude 與本地模型)在 Windows 系統中高效發現和驗證零日漏洞的完整工作流程。 AI 已經成為發現複雜安全漏洞的高效工具,不僅 Frontier 模型如此,本地模型也已達到可實際進行專業安全研究的水準,關鍵是建構適當的驗證機制和反饋迴圈。 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
重點整理
超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
驗證成為新的人類工作職責:AI 發現漏洞後,人類的角色轉變為驗證真實性,包括靜態代碼審查、動態除錯執行路徑驗證、防止模型作弊(改變系統設定)。建構適當的反饋迴圈(如 Windows VM 環境)是進行有效驗證的關鍵。
本地模型的實用可行性:Qwen 3.2 到 3.8、GLM 5.3 等本地模型雖然需要更多迭代和遞進式提示,但已能完成漏洞發現、驗證和 PoC 開發,可在家庭機器上運行,提供更多隱私和控制權。
實用技巧與重點
- 時間統計與效率:
- 第一個漏洞發現:1 小時 16 分鐘
- 實際代碼分析時間:13 分鐘
- 第二個漏洞(寫入型)發現:25 分鐘
- PoC 開發時間:約 30 分鐘(從想法到可執行程式碼)
- 訊息交互統計:
- 讀取漏洞發現:72 條訊息
- 寫入漏洞發現:更少
- PoC 開發:更多訊息數量
- 測試的本地模型:
- Qwen 3.2、Qwen 3.8
- GLM 5.2、GLM 5.3
- Gemma、Llama
- 發現的漏洞類型:
- 任意讀取(arbitrary read)
- 寫入型漏洞(use-after-free via write-what-where)
- 研究環境工具:
- Windows VM
- 編譯器、除錯器、反編譯工具(如 Ghidra)
- PowerShell、Python、C 語言環境
- MSRC 提交要求:
- 可達性證明(reachability proof)
- 概念驗證程式碼或利用代碼
- 除錯器証據不足以獲得最高賞金
- 模型成功率(根據基準測試):
- Qwen 3.2:單次發現漏洞
- GLM 5.3:發現漏洞且能構建 PoC
- 大多數模型需 2-3 次迭代或漸進式提示才能成功
- 給予多次機會後,大部分模型能成功
結論
AI 已經成為發現複雜安全漏洞的高效工具,不僅 Frontier 模型如此,本地模型也已達到可實際進行專業安全研究的水準,關鍵是建構適當的驗證機制和反饋迴圈。
完整解析
John Macintosh 在演講中分享了一個完整的 AI 驅動安全研究案例。在看到 Lori Wire 的 MCP 演示後,他開始嘗試將 AI 應用於漏洞狩獵。使用 Claude Opus 4.8,他在短短 1 小時 16 分鐘內發現了 Windows 系統中的第一個零日漏洞。令人驚訝的是,雖然總時間很短,但其中近 1 小時花在設置 Windows 研究環境上,真正進行代碼分析的時間僅有 13 分鐘。隨後,第二個漏洞(涉及更複雜的併發問題)在 25 分鐘內被發現。
他採用的狩獵模式包括六個關鍵步驟。首先設定明確的目標(例如發現本地提權漏洞),然後利用既有的漏洞補丁資料庫提供上下文,讓模型了解該服務常見的安全問題模式。接著構建適當的研究環境——他稱之為「rig」,包括編譯器、除錯器等工具。然後進入一個循環的狩獵過程:進行偵查以建立搜尋優先級、發展潛在線索、驗證每個發現。這個循環會重複多次,每次迭代都能帶來新的見解。值得注意的是,模型展現了學習能力。在多次失敗的狩獵後,它開始識別漏洞的特定模式——特別是併發相關的問題——然後有針對性地搜尋相應漏洞,最終發現了寫入型漏洞。
驗證過程成為整個工作流中最重要的人類工作。講者強調了「信任但驗證」的原則。AI 可能會產生假陽性發現,因此需要多層驗證。靜態驗證包括多個 AI 代理確認相同的發現,或人工檢查反編譯代碼。對於複雜的問題(如併發相關的漏洞),需要動態驗證——在 Windows VM 上運行程式碼並在除錯器中觀察實際執行路徑。有時需要「刺激」模型進行二次檢查,或防止模型通過改變系統設定而作弊(這樣會破壞漏洞的真實性)。
最後的挑戰是構建概念驗證程式碼。這需要解決多個工程問題,如精確的堆記憶體操作、執行緒同步、指標操作等。讀取型漏洞的 PoC 用 PowerShell 和 Python 開發,而寫入型漏洞則需要用 C 語言以處理複雜的記憶體操作。有趣的是,Claude 的安全防護有時會阻止正當的安全研究工作,講者不得不通過社交工程的方式(引用 MSRC 官方要求)來說服模型進行必要的任務。
最後,講者測試了本地模型是否能執行相同的工作。他建立了一個基準,包括 30 個技術概念和三個主要任務:漏洞發現、漏洞驗證、PoC 開發。結果表明,Qwen 3.2 甚至在單次嘗試中就能發現漏洞,GLM 5.3 能完整完成發現和 PoC 開發任務。雖然本地模型通常需要多次迭代或更多提示才能成功,但它們確實能運行在家庭機器上(例如 Mac 集群),提供了更多的隱私和控制權。講者認為,任何 Qwen 3.8 或更高版本的模型都已具備進行此類工作的能力,而這在六個月前還是不可能的。


