KeyFrame內部研究專用

[un]prompted.au 2026 - Build the Tooling, Don't Be the Tooling - Casey Ellis

Unprompted au16 min英文
觀看原始影片

三句話摘要

使用 AI 建構確定性工具鏈,自動找出漏洞回報對象與聯絡方式。 用強大模型提取確定性策略,再搭建自動改進迴圈,能讓 AI 系統在本質上概率性的問題上持續提升品質。 問題到工具的轉換:Casey 觀察到安全研究員因為找不到聯絡人而公開披露漏洞,這個「寬容度問題」(attribution + contact)於是成為 AI 應用的好時機——因為它本質上是概率性、無法 100% 完美的問題,恰好符合 LLM 的特性。

重點整理

  1. 問題到工具的轉換:Casey 觀察到安全研究員因為找不到聯絡人而公開披露漏洞,這個「寬容度問題」(attribution + contact)於是成為 AI 應用的好時機——因為它本質上是概率性、無法 100% 完美的問題,恰好符合 LLM 的特性。

  2. 使用強大模型提取確定性策略:與其直接用 LLM 回答查詢(容易產生幻覺),Casey 改用「學習法」——先用最強大的模型(Claude/Opus)得到正確答案,再問這些模型「你怎麼做的?」,讓它們寫出能被弱模型執行的確定性工具鏈。

  3. 雙層自動改進迴圈:第一層檢查誤報(每三天抽樣 100 個答案,用兩個模型交叉驗證找出錯誤),第二層檢查漏報(模型主動提議新的查詢策略),形成自我強化的產品循環。

  4. MCP 優先設計:認為未來會是「模型對模型」(clank-to-clank) 通訊,優先支援 MCP 整合,讓工具鏈能無縫進入安全研究者的現有工具棧。

實用技巧與重點

  • 成果數據:54,000 次查詢(4 個月內);16 種查詢類型;自動改進迴圈自行增加大部分類型
  • 模型堆疊:主要使用 Claude/Opus;本地執行 Qwen 38B(代碼微調)
  • 技術基礎:Dan Meisler 的 PA AI 多代理框架;Ideal State Agreement(ISA)定義;MCP 整合
  • 自動改進流程:3 天週期 → 抽樣 100 筆 → 雙模型驗證 → 找出根本原因 → 提案修復 → 測試 → 回歸測試 → 部署

結論

用強大模型提取確定性策略,再搭建自動改進迴圈,能讓 AI 系統在本質上概率性的問題上持續提升品質。

完整解析

Casey Ellis 在這場演講中分享了一個用 AI 解決安全研究中實際問題的案例。問題很簡單卻影響深遠:當安全研究者發現漏洞時,他們面臨兩大困難——判斷這個漏洞屬於誰(歸屬問題),以及找到正確的聯絡方式回報。這個問題跨越網域、軟體倉庫、硬體等各種形式,而且沒有通用的數據庫。Casey 看到越來越多研究者因為聯繫不上而直接公開披露漏洞(所謂的「slopdemic」),於是決定用 AI 來解決這個問題。

傳統做法是直接問 LLM 「這個域名誰擁有?」,但這會陷入幻覺和非確定性的陷阱。Casey 的創意做法是使用「反向提取」——先用最強大的模型(Claude/Opus)在真實案例上找出正確答案,然後問這些模型「你怎麼得到這個答案的?」,讓它們反向工程出一套確定性的工具鏈(如檢查 WHOIS 記錄、掃描 security.txt、查詢 GitHub 帳號等)。這樣就能用更輕量的模型或直接的邏輯來執行,避免幻覺。

系統建好後,Casey 設計了兩層自動改進迴圈確保品質持續提升。第一層專注誤報:每三天抽樣 100 個過去的查詢結果,用兩個獨立模型重新評估,找出系統給出了錯誤聯絡方式的情況,然後追查根本原因(某個查詢策略失效了?資料來源變了?),提案修復並迭代測試。第二層專注遺漏:當某個查詢類型頻繁無結果時,系統會向 LLM 提議「我們可以加什麼新策略?」,LLM 提案後會自動編寫、測試並整合新工具。這形成一個自我強化的產品循環:答案越準確,使用者越多 → 數據越豐富 → 改進越快 → 答案更準確。

四個月後,系統已處理 54,000 次查詢,支援 16 種查詢類型,其中大部分是由自動改進迴圈自行擴展的。Casey 強調,這套方法的核心不在於工程能力,而在於產品思維——理解「什麼才是好的狀態」(ISA),然後讓系統自動迭代逼近那個狀態。他也採取了 MCP(Model Context Protocol)優先的設計,預期未來安全工具會透過 AI 代理之間的 API 連接,而非人工操作。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。