AI in Bug Reports: When to Use LLMs and When Not To
三句話摘要
AI 輔助漏洞挖掘的現況與侷限：LLM 需要學會懷疑自己的輸出。 LLM 要成為真正的 Web3 安全審計員，關鍵不在於生成更多報告，而在於學會自我驗證；在此之前，你的批判性思維才是 AI 輸出品質的最後防線。 LLM 生成的漏洞報告品質問題根源是「checklist 式提示」：模型被訓練成說出聽起來正確的話，而非真正正確的話，導致大量使用「可能導致」「或許會引發」等模糊措辭，缺乏具體攻擊鏈。
重點整理
重點- 1
LLM 生成的漏洞報告品質問題根源是「checklist 式提示」：模型被訓練成說出聽起來正確的話，而非真正正確的話，導致大量使用「可能導致」「或許會引發」等模糊措辭，缺乏具體攻擊鏈。
- 2
自我驗證能力缺失是當前最核心的瓶頸：LLM 不理解鏈上狀態，無法獨立推理某個攻擊路徑是否真實可執行，這點在技術細節改善後仍未解決。
- 3
資深研究員更能從 AI 獲利，因為他們具備「情境化提示」與「對抗性驗證」能力：不懂漏洞本身的研究員無法判斷模型何時在自信地捏造事實，也不知道該從哪個方向追問。
- 4
LLM 現階段最有效的用途是加速學習與輔助前期分析：包括理解陌生協議、快速讀懂程式碼、搭建 PoC 框架、識別值得深入審查的入口點，而非直接生成漏洞報告。
實用技巧與重點
乾貨- 受訪者中 100% 已在漏洞挖掘流程中使用 LLM
- 曾靠 AI 協助找到漏洞並獲得賞金的研究員僅 30%
- 70% 安全研究員認為 AI 將在 5 年內 達到人類審計師水準
- 20% 認為只需 1 年
- Bug Bounty 領域對此時程更保守，但仍超過半數認為 5 年以內
- 常見假陽性類型：re-entrancy、rounding issue、admin function fund theft
- 主要抱怨：false positive 多、大型程式碼庫塞不進 context、不理解真實鏈上資料、過度自信
- 研究員期望的改進：更好的程式碼意圖標準化、自我驗證能力、可整合進 agentic workflow 的工具
- 講者身份：Alejandro Munos McDonald，Unifi 安全研究員 & 首席智能合約分類員
結論
結論“LLM 要成為真正的 Web3 安全審計員，關鍵不在於生成更多報告，而在於學會自我驗證；在此之前，你的批判性思維才是 AI 輸出品質的最後防線。”
完整解析
詳細當 ChatGPT 剛問世時，Web3 安全平台立刻被一波 AI 生成的漏洞報告淹沒。這些報告的共同特徵是充滿聽起來嚴重的措辭——「可能導致資金損失」「或許引發重入攻擊」——但缺乏任何具體的攻擊路徑或鏈上狀態分析。講者 Alejandro 每天閱讀大量 bug report，他把這類報告形容為「Web3 填字遊戲」，模型只是把好聽的術語隨機組合在一起，背後沒有真實的推理。問題根源是研究員直接把 checklist 式的漏洞清單餵給 LLM，讓它逐項套用，而沒有引導模型深入思考某個漏洞在特定協議的情境下是否真的可被利用。
為了掌握 AI 在 Web3 安全研究中的實際使用現況，Alejandro 進行了一項問卷調查。結果顯示，所有受訪研究員都已在使用 LLM，但真正因 AI 協助而獲得賞金的僅有 30%，且這群人普遍是資深研究員。這個差距揭示了核心問題：LLM 的輸出品質高度依賴使用者的「情境化提示」能力——你得先懂這個漏洞，才能知道從哪個角度追問、何時該對模型的輸出提出質疑。新手研究員若把 LLM 當成漏洞自動產生器，往往看不出模型何時在自信地捏造根本不存在的攻擊。
目前 LLM 最明顯的技術弱點是「自我驗證」。模型可以描述一個協議的功能邏輯，也能識別出代碼模式，但它不理解鏈上的真實狀態，無法獨立推理出「這個攻擊在區塊 X 的狀態下是否真的可執行」。因此，研究員必須扮演對抗性思考者的角色，主動去驗證 AI 產出的每一個假設。社群對未來的期望很明確：需要的不是更會寫報告的 AI，而是能夠驗證自己輸出的 AI，背後需要更好的程式碼意圖標準化規格，以及可整合進 agentic workflow 的驗證工具。
在未來展望上，約 70% 的受訪安全研究員認為 AI 能在 5 年內達到人類審計師水準，20% 甚至認為只需 1 年。但在此之前，LLM 最有效的定位是「加速器」而非「替代者」：用來快速理解陌生協議、搭建 PoC 初始框架、找出值得深入審查的入口點。Alejandro 以一句話作結：若 AI 要真正獨立審計程式碼，它必須學會人類研究員早就掌握的能力——懷疑自己。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
