[un]prompted.au 2026 - Before the CVE: Mining Open-Source Commits for N Day Vulner... - Dimi Trizna
三句話摘要
用 AI 技術從開源軟體的公開補丁中發現 N-day 漏洞(CVE 發布前的已知漏洞窗口),並通過成本優化的方式擴展到整個軟體生態。 透過 AI 掃描開源補丁,我們能在 CVE 發行前發現潛藏漏洞,但成功的關鍵不在於用最強大的模型,而在於選對工具、設計可擴展的架構,以及在引入自動化時不犧牲安全隔離。 N-day 漏洞的規模與影響
重點整理
N-day 漏洞的規模與影響
論文分析 100 萬個 commit,發現 2% 含有安全信號;其中僅 5% 對應已發行的 CVE。這表示絕大多數修補工作發生在 CVE 公開前,使用者對這些潛在威脅毫不知情。OpenClaw 曾在未發行 CVE 的情況下無聲地修補 Git hook RCE 漏洞,持續 2 週都沒有用戶意識到。
簡單方法的有效性與可擴展性
與複雜的 AI agent 相比,單純傳入 commit diff 並詢問「這是補丁嗎?」的簡單方法只犧牲 5% 的召喚率,但速度與成本下降 10 倍。在需要掃描數十萬個 commit 時,這種權衡變得關鍵。小型模型(Luna)反而比大型模型(Astra、Claude)表現更佳,顯示並非所有任務都需要最強大的模型。
SBOM 重用原理與經濟效益
npm 生態中最常用的 20 個函式庫跨越 85% 以上的專案;Python 生態分布更分散,但掃描 500 個套件仍可覆蓋超過半數生態。若一次掃描函式庫的所有 commit,所有使用該函式庫的專案都能重用結果,大幅提升規模化的經濟性。
安全隔離的必要性
從 GitHub 等版本控制系統直接讀取 commit 存在 prompt injection、供應鏈攻擊風險。透過四層策略化解:架構選擇(避免複雜 agent,只用簡單查詢)、獨特 XML 標籤隔離、沙箱環境限制、監控工具行為與模型輸出。
實用技巧與重點
- 核心數據與比例
- 100 萬 commit 分析:2% 含安全信號 → 5% 對應 CVE → 77% 在 CVE 發行前已推出補丁
- 補丁與 CVE 發行的時間差:最短數小時至數月,Axios CVE 差 5 個月(2025 年 10 月 30 日 commit、2026 年 4 月 8 日 CVE)
- 40 個目標函式庫、300 個 commit 組成測試資料集
- 模型性能對比
- | 模型 | 召喚率 | 成本 | 備註 |
- |------|--------|------|------|
- | Luna | 高 | $100/100k commits | 最佳成本效益 |
- | Deepseek | 高 | 較佳 | 新推出,表現穩定 |
- | Sonnet | 最高 | 高 | 準確但昂貴 |
- | Astra | 低 | - | Cyber policy 拒絕,不可用 |
- | Claude Fable | 低 | - | 安全限制過嚴 |
- 生態覆蓋統計(npm vs Python)
- npm:最常見函式庫覆蓋 92% 專案;前 20 個函式庫覆蓋 85% 專案
- Python:最常見函式庫覆蓋 53% 專案;前 500 個套件覆蓋 50% 生態
- 掃描成本:npm 前 500 個套件約 $98(Luna);Python 同量約可接受
- 工具與框架
- SBOM(Software Bill of Materials):標準化軟體組成表示,含時間戳、版本、依賴資訊
- SCA 掃描器(Sneak bot):檢查函式庫漏洞,但在 CVE 發行前無法識別 N-day
- Git 技術:blame、commit 回溯、歷史檢查、後門檢測
- 安全隔離策略
- 架構隔離:簡單查詢而非複雜 agent,限制工具存取
- 文字隔離:動態生成唯一 XML 標籤,阻止 prompt injection
- 沙箱隔離:無網路存取,僅存取本地 artifactory
- 監控:OpenTelemetry、模型行為檢查、小型模型監督大型模型
結論
透過 AI 掃描開源補丁,我們能在 CVE 發行前發現潛藏漏洞,但成功的關鍵不在於用最強大的模型,而在於選對工具、設計可擴展的架構,以及在引入自動化時不犧牲安全隔離。
完整解析
軟體供應鏈的隱藏風險比大多數開發者想像的要深遠。當我們使用開源套件時,我們實際上是在信任來自世界各地的陌生人編寫的程式碼。這些程式碼由不同的維護者管理,他們以各自的節奏發布更新。當安全研究者發現漏洞時,通常會向維護者提交報告,維護者開始修補工作,同時與 CVE(公共漏洞與暴露)部門協調。從維護者發布補丁到 CVE 正式發行,中間存在一個被稱為「N-day 窗口」的危險時段——漏洞事實上已被公開修復,但全世界的使用者還不知道需要更新。
這個問題的規模令人震驚。根據學術論文分析,超過 100 萬個 commit 中,有 2% 含有安全修復信號。但令人擔憂的是,這些修復中僅有 5% 最終對應到已發行的 CVE。換句話說,77% 的補丁在 CVE 公開前就已推出。講者舉例說明,Axios 這類常見套件曾經歷過長達 5 個月的 N-day 窗口。如果使用者依賴 SCA(軟體成分分析)掃描器來追蹤漏洞,他們在這整個時期內都將陷入盲區,因為掃描器無法識別尚未發行的 CVE。
為了解決這個問題,講者所在的 AI 安全團隊應用了最新的大型語言模型技術。他們建置了一套框架,能自動掃描 40 個高風險開源函式庫的所有 commit,並識別其中的補丁。核心洞察是不需要複雜的 AI agent:簡單地將 commit diff 輸入模型並詢問「這是否為補丁?」就足夠了。雖然這種簡化方法的召喚率下降 5%,但速度與成本卻下降了 10 倍,這在需要掃描數十萬個 commit 時變得至關重要。
成本優化來自於聰明的架構設計和 SBOM(軟體物料清單)重用。npm 生態中,最常用的 20 個函式庫跨越 85% 以上的專案;一次掃描便可造福所有使用這些函式庫的使用者。實驗結果顯示,Luna(GPT 最小版本)以 $100 的成本掃描 10 萬個 commit,提供最佳成本效益,反而超越了 Claude 和 Astra 等大型模型。後者在這類任務中表現較差,部分原因是過度嚴格的安全政策導致拒絕執行任務。
然而,從公開的 Git 來源讀取 commit 引入了新的安全風險。Prompt injection 攻擊無所不在,commit 訊息與拉取請求中充斥著注入嘗試;過去曾有供應鏈妥協事件通過 PR 審查機器人或 commit 發生。講者團隊應用了四層隔離策略來防範:首先,選擇簡單的查詢而非複雜 agent,即使模型被劫持也無法取得工具或秘密;其次,使用動態生成的唯一 XML 標籤將不可信輸入包裹,攻擊者無法猜測關閉標籤;第三,將 agent 隔離在無網路存取的沙箱中;最後,持續監控工具執行、prompt 內容與模型行為,甚至用小型、受信任的模型來監督更大的模型。
這項工作也暗示了 CVE 生態本身的演變。講者的團隊最近被任命為 CNA(CVE 編號授權機構),能夠更快速、大量地發行 CVE。這反映了 AI 時代對漏洞協調流程的重新思考——傳統的手動審核可能跟不上自動化發現的步伐。儘管如此,講者坦誠地承認,這些解決方案是否能根本性地改善問題仍然未知。真正的答案可能需要重新定義整個軟體信任與驗證的範式。


