KeyFrame內部研究專用

Heather Adkins & Four Flynn - Evaluating Threats & Automating Defense at Google | [un]prompted 2026

unprompted·3月25日週三·20 min英文

三句話摘要

Google 和 DeepMind 發表自動化漏洞發現和修復的 AI 系統,目標是消除地球上所有軟體漏洞。 透過 Big Sleep 和 Code Minder,Google 正將頂尖安全研究員的專業知識編碼成 AI 系統,將漏洞發現和修復從手工作業轉變為可規模化的自動化流程,這是應對迫在眉睫的「AI 漏洞爆炸」時代的必要之舉。 漏洞數量爆炸性增長:NVD 待分析隊列積壓 30,000 個漏洞,2014-2015 年間 CVE 記錄漏洞增加 35%。十億美元級創投資金流入漏洞發現領域,意味著自動化發現漏洞的時代已來臨,現有 CVSS 評分系統將逐漸失效。

重點整理

重點
  • 1

    漏洞數量爆炸性增長:NVD 待分析隊列積壓 30,000 個漏洞,2014-2015 年間 CVE 記錄漏洞增加 35%。十億美元級創投資金流入漏洞發現領域,意味著自動化發現漏洞的時代已來臨,現有 CVSS 評分系統將逐漸失效。

  • 2

    Big Sleep 的核心創新:不是簡單提示 LLM 找 bug,而是建立自我反饋的智能體框架,模擬 Project Zero 專業研究員的工作方式——構建假設、運用調試器和代碼瀏覽器驗證、反覆迭代,最後產生漏洞利用證明和高品質報告,確保每個發現的漏洞都真實可利用。

  • 3

    Code Minder 的多層驗證設計:生成補丁候選後,需通過模糊測試、形式化驗證、差異化測試等多個驗證器,確保補丁既能修復漏洞,又不破壞程式功能,並符合開發者的編碼風格,只有全部通過才發佈,失敗經驗回饋至 LLM 上下文進行改進。

  • 4

    實現路徑的完整性:設想終極目標是既修復遺留代碼中的漏洞,也主動加固現有代碼,並讓全新代碼從一開始就採用安全框架——形成發現、修復、預防的完整閉環。

實用技巧與重點

乾貨
  • Big Sleep 相關資料:
  • 方法論基礎:2017 年 RAND 公司研究表明,經驗豐富的漏洞研究員發現深層漏洞約需 1 個月,利用需 22 天
  • 核心工具:調試器、代碼瀏覽器、Python 解釋器
  • 工作流程:構建假設 → 驗證假設 → 檢驗成功/失敗 → 反覆迴圈 → 產生漏洞利用程序 → 產生報告
  • 漏洞類型:嚴重記憶體安全漏洞,深層嵌入於代碼,非淺層 XSS 或整數溢出
  • 報告撰寫工具:Gemini(非人類)
  • 內部驗證成果:除 5 個外,所有發現的漏洞已被修復
  • 公開追蹤網址:google.com/projectzero(問題追蹤系統)
  • Code Minder 相關資料:
  • 漏洞來源:Big Sleep 驗證漏洞或其他來源
  • 補丁驗證技術:
  • 模糊測試(應用前後對變數進行)
  • 形式化驗證(證明功能等效性)
  • 差異化測試(通過惡意輸入確認漏洞仍存在)
  • LLM 審視(使用精心設計的自由提示)
  • 自動化成果:178 個開源修復程序
  • 應用庫例:libwebp、Chrome V8、FFmpeg
  • 加固工作:Chrome 代碼庫中的指針安全加固
  • 核心理念與限制:
  • 三個補丁要求:修復漏洞 + 不破壞功能 + 尊重原開發者風格
  • 品質優先策略:寧可過度謹慎驗證,也要確保社區信任
  • 承認的困境:即使補丁完美,全球某些地區仍難以及時應用修補程序

結論

結論

透過 Big Sleep 和 Code Minder,Google 正將頂尖安全研究員的專業知識編碼成 AI 系統,將漏洞發現和修復從手工作業轉變為可規模化的自動化流程,這是應對迫在眉睫的「AI 漏洞爆炸」時代的必要之舉。

完整解析

詳細

Google 和 DeepMind 團隊在演講中揭示了一個令人矚目的現象:軟體漏洞的數量正以災難性速度增長。國家漏洞數據庫(NVD)積壓了 30,000 個待分析漏洞,而 2014-2015 年間獲得 CVE 編號的漏洞就增加了 35%。更重要的是,十億美元級的創業資本正流向漏洞發現和紅隊測試領域,這意味著不久的將來,開源黑客工具結合 AI 代理框架將能自動發現幾乎每個系統中的每個漏洞。在這樣的未來,傳統的 CVSS 評分系統將失去意義,業界必須重新思考漏洞管理的哲學。

基於這一認知,Google 的 Project Zero 團隊和 DeepMind 開發了兩個互補的系統。Big Sleep 是一個漏洞發現引擎,創新之處在於它不是簡單地利用 LLM 的代碼理解能力,而是試圖複製 Project Zero 頂尖安全研究員的工作模式。研究員之所以能發現深層漏洞,在於他們對特定代碼庫的精通、對歷史安全漏洞的掌握,以及對代碼架構的深刻理解。Big Sleep 透過一個自我反饋的智能體框架來模擬這種專業過程:它根據過去的錯誤構建假設,例如「這部分代碼可能存在漏洞」,然後利用調試器、代碼瀏覽器和 Python 解釋器等工具進行驗證,根據反饋不斷調整,最終產生漏洞利用程序。這種迭代過程確保了零誤報率——每個發現的漏洞都真實可被利用。最後,由 Gemini 模型生成的高品質報告提供逐步分析和漏洞證明代碼,使得即使非專業開發者也能理解並修復漏洞。

但發現漏洞只是問題的一半。Code Minder 隨之而來,負責自動化修復。補丁生成本身相對簡單,但驗證補丁才是難點。Code Minder 的核心是一個可插拔的多層驗證系統。首先,系統生成多個補丁候選方案,然後通過模糊測試確保補丁不會破壞原有功能;透過形式化驗證證明修改後的代碼在邏輯上等效;透過差異化測試確認漏洞確實被修復;最後請 LLM 用精心設計的提示進行審視。只有當所有驗證器都通過後,補丁才會被考慮發佈給社區。倘若驗證失敗,失敗的經驗會被回饋至 LLM 的上下文窗口,幫助系統從錯誤中學習並嘗試改進,直至產生可接受的補丁。迄今為止,Code Minder 已自動生成 178 個開源修復程序,應用於 libwebp、Chrome V8 等知名項目。

團隊的最終願景更加宏大:既修復現有遺留代碼中的漏洞,也主動加固代碼以預防潛在漏洞,更在全新代碼開發階段就內嵌安全框架。這形成了一個發現、修復、預防的完整閉環。但他們坦誠,即使補丁再完美,全球某些地區仍難以及時應用修補程序——這是 AI 無法直接解決的人類和制度層面的挑戰。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。