[un]prompted.au 2026 - Build the Tooling, Don't Be the Tooling - Casey Ellis
三句話摘要
使用 AI 建構確定性工具鏈,自動找出漏洞回報對象與聯絡方式。 用強大模型提取確定性策略,再搭建自動改進迴圈,能讓 AI 系統在本質上概率性的問題上持續提升品質。 問題到工具的轉換:Casey 觀察到安全研究員因為找不到聯絡人而公開披露漏洞,這個「寬容度問題」(attribution + contact)於是成為 AI 應用的好時機——因為它本質上是概率性、無法 100% 完美的問題,恰好符合 LLM 的特性。
重點整理
問題到工具的轉換:Casey 觀察到安全研究員因為找不到聯絡人而公開披露漏洞,這個「寬容度問題」(attribution + contact)於是成為 AI 應用的好時機——因為它本質上是概率性、無法 100% 完美的問題,恰好符合 LLM 的特性。
使用強大模型提取確定性策略:與其直接用 LLM 回答查詢(容易產生幻覺),Casey 改用「學習法」——先用最強大的模型(Claude/Opus)得到正確答案,再問這些模型「你怎麼做的?」,讓它們寫出能被弱模型執行的確定性工具鏈。
雙層自動改進迴圈:第一層檢查誤報(每三天抽樣 100 個答案,用兩個模型交叉驗證找出錯誤),第二層檢查漏報(模型主動提議新的查詢策略),形成自我強化的產品循環。
MCP 優先設計:認為未來會是「模型對模型」(clank-to-clank) 通訊,優先支援 MCP 整合,讓工具鏈能無縫進入安全研究者的現有工具棧。
實用技巧與重點
- 成果數據:54,000 次查詢(4 個月內);16 種查詢類型;自動改進迴圈自行增加大部分類型
- 模型堆疊:主要使用 Claude/Opus;本地執行 Qwen 38B(代碼微調)
- 技術基礎:Dan Meisler 的 PA AI 多代理框架;Ideal State Agreement(ISA)定義;MCP 整合
- 自動改進流程:3 天週期 → 抽樣 100 筆 → 雙模型驗證 → 找出根本原因 → 提案修復 → 測試 → 回歸測試 → 部署
結論
用強大模型提取確定性策略,再搭建自動改進迴圈,能讓 AI 系統在本質上概率性的問題上持續提升品質。
完整解析
Casey Ellis 在這場演講中分享了一個用 AI 解決安全研究中實際問題的案例。問題很簡單卻影響深遠:當安全研究者發現漏洞時,他們面臨兩大困難——判斷這個漏洞屬於誰(歸屬問題),以及找到正確的聯絡方式回報。這個問題跨越網域、軟體倉庫、硬體等各種形式,而且沒有通用的數據庫。Casey 看到越來越多研究者因為聯繫不上而直接公開披露漏洞(所謂的「slopdemic」),於是決定用 AI 來解決這個問題。
傳統做法是直接問 LLM 「這個域名誰擁有?」,但這會陷入幻覺和非確定性的陷阱。Casey 的創意做法是使用「反向提取」——先用最強大的模型(Claude/Opus)在真實案例上找出正確答案,然後問這些模型「你怎麼得到這個答案的?」,讓它們反向工程出一套確定性的工具鏈(如檢查 WHOIS 記錄、掃描 security.txt、查詢 GitHub 帳號等)。這樣就能用更輕量的模型或直接的邏輯來執行,避免幻覺。
系統建好後,Casey 設計了兩層自動改進迴圈確保品質持續提升。第一層專注誤報:每三天抽樣 100 個過去的查詢結果,用兩個獨立模型重新評估,找出系統給出了錯誤聯絡方式的情況,然後追查根本原因(某個查詢策略失效了?資料來源變了?),提案修復並迭代測試。第二層專注遺漏:當某個查詢類型頻繁無結果時,系統會向 LLM 提議「我們可以加什麼新策略?」,LLM 提案後會自動編寫、測試並整合新工具。這形成一個自我強化的產品循環:答案越準確,使用者越多 → 數據越豐富 → 改進越快 → 答案更準確。
四個月後,系統已處理 54,000 次查詢,支援 16 種查詢類型,其中大部分是由自動改進迴圈自行擴展的。Casey 強調,這套方法的核心不在於工程能力,而在於產品思維——理解「什麼才是好的狀態」(ISA),然後讓系統自動迭代逼近那個狀態。他也採取了 MCP(Model Context Protocol)優先的設計,預期未來安全工具會透過 AI 代理之間的 API 連接,而非人工操作。


