KeyFrame內部研究專用

Teaching AI to Find Real Vulnerabilities — David Brumley, Bugcrowd

AI Engineer27 min中文
觀看原始影片

三句話摘要

如何設計強化學習環境教導 AI 模型進行網路安全任務,以及前沿模型在高價值漏洞利用上的真實能力評估。 網路安全的強化學習並不神秘,關鍵在於設計正確的評分 Oracle、承認多漏洞的現實、用開放審計替代單一目標,以及在真實高價值目標上測試才能看出模型的真實能力。 強化學習需要確定性評分器而非 LLM 當裁判 — 用程式碼驗證真實的漏洞利用(能否奪取旗幟、控制流劫持、任意程式碼執行),而不能信任 LLM 自我評估,否則會陷入幻覺。

重點整理

  1. 強化學習需要確定性評分器而非 LLM 當裁判 — 用程式碼驗證真實的漏洞利用(能否奪取旗幟、控制流劫持、任意程式碼執行),而不能信任 LLM 自我評估,否則會陷入幻覺。

  2. 單漏洞假設是錯誤的,多漏洞才是現實 — DARPA 的 6000 萬美元競賽都意外出現了 50% 的多漏洞,現有基準如 Cyber Gym 限制模型只找最簡單的漏洞,導致無法學習更高階能力。

  3. 審計任務用開放世界替代完美問題 — 不再要求找「這個」漏洞,改為要求找出所有漏洞並提交證明,用堆疊回溯區分多個獨立錯誤,精確率/召回率平衡已知與未知漏洞的發現。

  4. 高價值目標測試才能看出模型真實水平差異 — V8 完全沙箱逃逸測試顯示 Claude 73% 成功率、GPT 68%、Gemini/Kimmy 0%;Claude 甚至發現了公開無解法的 CVE,說明能力來自推理而非記憶。

實用技巧與重點

  • 關鍵競賽與案例:
  • picoCTF:每年約 100 萬高中生參加
  • Richard Zhu(fluorescence):2 年學習後贏得 Pwn2Own,獲得 375,000 美元現金+全新特斯拉
  • George Hotz:第一個破解 iPhone 的人
  • DARPA Cyber Grand Challenge:6000 萬美元投入,50% 的挑戰存在未知漏洞
  • AIxCC:18 個 DEF CON 漏洞中有 18 個都是意外發現
  • 強化學習環境的關鍵組成:
  • 容器化易復現的有漏洞程式
  • 確定性評分 Oracle(非 LLM)
  • MCP 介面暴露讀寫、setup、評分功能
  • 精確率/召回率兩軸評分
  • V8 測試資料(41 個漏洞):
  • 觸發崩潰:GPT-5.5、Claude 95%,Gemini 50%
  • 任意程式碼執行:Claude 73%、GPT 68%、Gemini/Kimmy 0%
  • Claude 完整沙箱逃逸成功:30/41(73%)
  • 關鍵 CVE 案例:
  • CVE-2023-6707:Claude 逆向 JavaScript math.random,偽造 ROP 指標
  • CVE-2024-7965:Claude 發現新 WASM 路徑,超越專家認為的可行性
  • CVE-2024-0519:發現無公開利用方法的零日漏洞
  • 釋出資源:
  • exploitbench.ai:可下載完整資料集與 Docker 環境
  • MCP 介面可直接與 Claude 互動
  • 所有轉錄資料公開(除 Claude 因保密協議外)

結論

網路安全的強化學習並不神秘,關鍵在於設計正確的評分 Oracle、承認多漏洞的現實、用開放審計替代單一目標,以及在真實高價值目標上測試才能看出模型的真實能力。

完整解析

強化學習如何才能真正教會 AI 進行網路安全任務?講者 David Brumley(卡內基美隆終身教授、Bugcrowd 首席 AI 官)從他 20 多年的研究經驗出發,指出這個問題的本質在於「設定正確的任務目標」。他用一個真實故事開場:一位 17 歲的高中生透過自學從簡單到複雜的 CTF 題逐步進階,兩年後成為 Pwn2Own 冠軍並贏得特斯拉汽車和 37.5 萬美元——而教會 AI 模型的方式應該完全相同,需要兩個維度的遞進設計。

第一個維度是目標難度:從玩具程式到開源軟體。第二個維度是攻擊難度的分級:能否找到 bug、能否觸發崩潰、能否進行任意讀寫、能否完全控制程式。然而,Brumley 發現現有基準測試(如 CyberGym、CyberBench)存在致命缺陷——它們假設程式只有一個漏洞,但實際上這幾乎不可能。DARPA 投入 6000 萬美元精心設計的 Cyber Grand Challenge 中,50% 的挑戰都意外包含多個漏洞;DEF CON 的 AIxCC 競賽也發現了 18 個未預料的漏洞。結果就是 AI 模型在這些基準上總是重複找最簡單的漏洞,無法進一步學習。

為了解決這個問題,Brumley 團隊提出了「審計任務」新方法。與其要求 AI 找「那個」特定漏洞,改為要求找出「所有」漏洞並提交證明。AI 可以自由發現多個漏洞,評分器透過堆疊回溯區分不同的錯誤,然後用精確率和召回率來評分——精確率防止 AI 提交無關輸入製造噪音,召回率確保它找出已知漏洞。這種開放世界的設計甚至允許 AI 發現人類未知的漏洞,而不是被人工限制。

在與 OpenAI 和 Anthropic 合作的最新實驗中,團隊選擇了 Chrome 瀏覽器的 V8 JavaScript 引擎作為高價值目標。V8 不僅驅動 Chrome,還執行 Node.js、Edge 瀏覽器和 Cloudflare Workers——攻破它意味著能入侵多個系統。團隊設計了 16 層遞進的能力梯子,測試了 41 個真實 V8 漏洞。結果顯示:在簡單的「崩潰」任務上,Claude、GPT-5.5 都達到 95% 成功率,看起來沒區別;但在真正的「完全沙箱逃逸」上,Claude 達到 73% 成功率,GPT 68%,而 Gemini 和開源模型則是 0%。更令人印象深刻的是,Claude 甚至發現了既沒有公開利用方法的 CVE,也有突破專家認為「在 x86 上不可能」的限制的情況——這些都是創意推理,不是死記硬背。

Brumley 強調了開放科學與安全的兩難:釋出這些基準確實推進了科學,但 AI 模型正在創造高價值目標的真實攻擊手段。團隊目前的做法是使用 10 年來與 DARPA 合作發現的獨特零日漏洞來訓練強化學習環境,確保模型看不到的都是真正的新漏洞,從而驗證它們真的在學習而非記憶。合作公司每月可獲得多達 10,000 個訓練環境。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。