[un]prompted.au 2026 - Harness and Hunt... - Anthony Lai and Alan Ho
三句話摘要
用大語言模型進行自動化安全漏洞挖掘的分層管道設計與驗證體系。 用 LLM 進行高效安全審計的關鍵不在於模型本身有多強,而在於設計精細的管道、嚴格的驗證標準和明確的成本控制機制。 直接代理方案不可行——直接給 LLM 完整代碼會造成成本爆炸(60+ 百萬 Token)且假陽性高;小型項目(<2,000 行代碼)上模型表現尚可,但大型項目(>10,000 行)的代碼涵蓋率只有 37%,大量代碼被遺漏。管道方案透過分離職責(掃描 → 分類 → 利用開發 → 驗證),在每一層進行篩選和過濾,對大型項目的涵蓋率可達 88%。
重點整理
直接代理方案不可行——直接給 LLM 完整代碼會造成成本爆炸(60+ 百萬 Token)且假陽性高;小型項目(<2,000 行代碼)上模型表現尚可,但大型項目(>10,000 行)的代碼涵蓋率只有 37%,大量代碼被遺漏。管道方案透過分離職責(掃描 → 分類 → 利用開發 → 驗證),在每一層進行篩選和過濾,對大型項目的涵蓋率可達 88%。
模型選擇必須根據項目規模和預算調整——GPT-3.5 成本較低但效果適中,Opus 效果更好但成本是數倍,需要根據客戶預算和代碼體量做權衡;管道方式讓有限預算也能達到較好的涵蓋率。
驗證是最大瓶頸且最容易被模型「欺騙」——模型會虛構證據(如編造地址洩露原語,實際只讀進程映射表),必須使用獨立的、可觀測的外部證據(Debugger 日誌、崩潰信號、符號執行路徑)來判定,不能信任模型輸出的成功標籤或斷言。
工程實踐上需要嚴格的成本控制、進度保存、角色定義——設置 Token 預算硬上限防止超支,用資料庫快取記錄掃描狀態以支持中斷恢復,明確定義每個代理的職責和工具預算,避免重複工作和流程混亂。
實用技巧與重點
- 模型與成本數據:
- GPT-3.5 管道:掃描 17 個項目、精度 ~70%、消耗 1,800 萬 Token
- Opus 4.8 管道:掃描 X 個開源項目、精度 ~70%、消耗 120 億 Token
- 直接代理方案:消耗 6,000+ 萬 Token、精度高但成本驚人
- 涵蓋率與代碼庫大小:
- 小型代碼庫(<2,000 行):直接方案表現更好
- 大型代碼庫(80,000 行):管道方案 88% 涵蓋率,直接方案 18% 涵蓋率
- 大型代碼庫(>10,000 行):管道覆蓋 70%+ 漏洞,直接方案僅 37%
- 使用模型: GLM、Opus、Claude、CodeX、Gemma、Llama
- 管道六階段:
- 代碼映射與掃描
- LM 掃描
- 效能掃描
- 漏洞獵取
- 4A. CE(自製 RAG 與已發布 PoC)獵取
- 利用驗證
- 驗證與報告
- 風險分級標準:
- 內部控制、操作員控制、外部輸入控制的漏洞不得評為關鍵
- 可靠證據(只信任這些):
- Debugger 日誌、崩潰報告、信號值、攻擊者可控數據流、地址洩露原語
- 非證據(不信任這些):
- 模型輸出的「success」標籤、模型編寫的斷言、退出碼
結論
用 LLM 進行高效安全審計的關鍵不在於模型本身有多強,而在於設計精細的管道、嚴格的驗證標準和明確的成本控制機制。
完整解析
這個研究團隊面臨的核心問題是:如何在有限預算下,用大語言模型進行高效的安全漏洞挖掘。他們提到有團隊每天花費 760 萬美元的 Token 預算進行代碼審計,這對資金有限的研究機構來說根本無法承受。因此,他們設計了一套精細的「管道」系統,而不是天真地把整個代碼庫扔給 LLM。
管道的核心思想是分層過濾。首先,用多個輕量級的掃描工具和更廉價的模型進行粗篩,識別潛在漏洞;然後根據漏洞類型分派給不同的「代理角色」(二進位逆向工程專家、Web 測試專家、智能合約分析專家等),每個角色配備特定的 RAG 知識庫和發布的 PoC 程式碼;接著進行三級分類和利用開發;最後才進行成本最高的驗證階段。這樣做的好處是提前篩掉明顯的誤報,避免在驗證這個瓶頸環節上浪費預算。
實驗結果顯示差異很大。在大型私有代碼庫(超過 10,000 行代碼)上,管道方案達到 88% 的代碼涵蓋率和 70% 的精度,消耗 1,800 萬 Token;而直接把代碼給 LLM 的方案涵蓋率只有 18%,卻消耗了 120 億 Token(使用 Opus)。這說明不是模型越強越好,而是流程設計決定了效率。對於小型項目,直接方案反而更高效;但隨著代碼庫增大,管道的優勢變得無可否認。
驗證階段是最大的挑戰,也是最容易被模型「欺騙」的地方。講者強調,LLM 會自動編造虛假證據。例如,模型聲稱找到地址洩露原語,實際上只是讀取了 /proc/self/maps;或者模型輸出一個「success」標籤,就自認為漏洞已驗證。為了避免被模型迷惑,他們建立了嚴格的證據標準:只信任可觀測的、獨立驗證的外部證據,如 Debugger 日誌、SIGSEGV 信號、崩潰報告、真實的符號執行路徑。模型輸出的 success 標籤、斷言、退出碼都統統不信,因為模型控制了檢查的兩端,容易自欺欺人。
在工程實踐層面,他們還應對了成本爆炸、模型幻覺、跨平台支援等現實問題。核心做法包括:設置 Token 預算硬上限(如一旦達到預算就停止掃描,否則月帳單會讓你不敢打開郵件);用資料庫快取記錄掃描進度和發現,支持中斷後恢復;明確定義每個代理的職責、工具、Token 預算,避免代理野蠻生長或相互競爭;進行人工審核,確保發現的漏洞等級評分合理(不誇大嚴重程度)。這些看似瑣碎的工程措施,實際上是確保整個系統在現實約束下可持續運行的關鍵。


