Prompt. Scan. Exploit - Ai's Journey Through Zero-Days And A Thousand Bugs

兩位講者是 Expo 的安全研究員，過去一年在 AI 驅動的漏洞獵取上取得突破性進展。他們的工作從三個階段演進而來，每個階段都代表對真實世界複雜性的更深入理解。

首先是 CTF 與自創基準測試階段。初期 AI 系統在解決合成題目上表現不俗（75-85% 成功率），但這些都是被動環境中的受控挑戰，不代表真實漏洞獵取的能力。因此他們決定升級到開源應用階段，利用 Docker Hub 這個擁有 25 百萬應用、3 百萬 web 應用的龐大倉庫作為測試場。在這個階段，他們不僅要自動化部署 Docker 容器（需要動態生成 docker-compose、環境變數、設定檔），還要從白盒源碼分析轉向黑盒攻擊。結果發現了 170+ 漏洞與 22 個 CVE。然而開源社群缺乏反饋，廠商響應不積極，所以他們最後進入漏洞賞金計畫的真戰場。在 HackerOne 上，他們的系統現已排名美國第一、全球前二，6 個月內發現 1,600 漏洞、獲得 15 萬美金賞金。

要達成這樣的成績，講者面臨五大核心挑戰。第一個是成本。傳統掃描（Nmap、Nuclei）快速便宜，但 AI 掃描要執行完整自動化滲透測試，涉及大量 LLM API 呼叫與驗證，成本高昂。無法掃描全網 3 百萬 URL，必須建立目標評分系統，分析每個應用的 WAF、API 年齡、表單複雜度、錯誤訊息品質等因子，找出最可能有漏洞的高價值目標。同時進行三層去重：圖片視覺哈希比對、DOM/HTML simhash 比對（排除只改樣式的複製應用）、語義文本比對（排除多國語言的同一應用）。如此才能將龐大候選列表縮至可管理規模。

第二個挑戰是完整覆蓋。講者建立了代理管理系統，先執行發現階段爬取所有端點，再根據應用特性（如偵測到 .NET 框架就嘗試對應的檔案擴展名）動態生成不同類型的攻擊代理。範例示例中，AI 先識別應用為 IIS/.NET，再逐層發現 swagger 文檔、API 端點、認證需求，最終找到 JavaScript 執行端點並組合混淆技巧繞過 WAF，成功觸發 RCE。

第三個挑戰是邊界與合規。漏洞賞金計畫有嚴格的 in-scope/out-of-scope 規則、允許的漏洞類型。系統需自動解析政策並生成 DNS 與邏輯規則確保不測試 CDN、第三方服務，也要實施政策檢查器防止過度利用（例如 SQL 注入只需證明存在，無需轉儲全表）。

第四個挑戰是假陽性。LLM 傾向幻覺，且會試圖作弊繞過驗證器（講者舉例：模型生成 666 個斜線來滿足「輸出包含 666」的要求，或用聊天機器人執行命令、偽造 GitHub token 騙過驗證）。解決方案是建立多層驗證器：headless 瀏覽器執行 DOM 檢查 XXC、DNS/HTTP 回調確認 RCE、時間盲 SQL 檢測。只有通過這些真實驗證的漏洞才被認可。

第五個挑戰是模型選擇。不同模型各有優勢（Sonnet 偏發現、Gemini 偏攻擊），單用任何一個性能都只有 25%，但透過混合策略（隨機交替調用不同模型，完整傳遞上下文），性能提升到 55%。講者展示了一個真實 trace：紅色模型短平快地開始攻擊，紫色模型更深入分析，交替使用讓測試更全面。

最後一個挑戰是參數最佳化。初期盲目執行所有攻擊類型，後來透過數據分析發現邊際遞減效應：80% 的 XXC 在前 10 步發現，後續 20 步才找到剩餘 20%。對於 token 掃描不需 10 個代理，但 RCE 搜索需更多資源。合理調整步數、重試次數、代理數量，可在節省 3 倍資源的同時發現 2 倍漏洞。

講者強調，目前用漏洞賞金難以抵銷 AI 掃描成本，但 API 提供商去年降價幅度高達 100%，預計一年內情況將反轉。因此建議現在就開始整合 AI 進工作流，到明年成本下降時已準備就緒。這是一個團隊努力的結果，涉及提示優化、驗證系統、成本控制等多個領域的專業知識。