KeyFrame內部研究專用

AI Won’t Replace Auditors, But It Will Replace the Lazy Ones

DeFi Security Summit - DSS·11月23日週日·6 min英文

三句話摘要

AI 不會取代審計師,而是透過工具整合淨化產業,讓最優秀的審計師專注於機器無法做的工作。 未來審計不是 AI 替代人類,而是工具承接繁瑣工作,讓審計師回歸思考協議邏輯和經濟激勵這些機器無法觸及的核心價值。 當前產業困境:頂級的 20-30% 審計師承接不了所有案件,而普通審計師過度依賴既有的漏洞模板和模板流程,導致無法深入思考攻擊面和協議邏輯,最終 90% 被審計的協議仍然被利用。

重點整理

重點
  • 1

    當前產業困境:頂級的 20-30% 審計師承接不了所有案件,而普通審計師過度依賴既有的漏洞模板和模板流程,導致無法深入思考攻擊面和協議邏輯,最終 90% 被審計的協議仍然被利用。

  • 2

    根本問題是分工缺失:審計師被時間壓力迫使只能找已知模式,無法空出認知資源去理解協議設計意圖、激勵結構誤配和經濟攻擊向量,這些才是人類審計師獨有的價值。

  • 3

    AI 與工具的角色界定:確定性工具(靜態分析、模糊測試)和代理系統應該承接所有穷举性、重複性工作,讓審計師把時間用在理解協議邏輯、與團隊對話和發現深層設計缺陷。

  • 4

    未來審計模式:協議團隊先用內部工具自審(可結合 AI),審計師只評估工具結果和進行邏輯分析,而非承載全部工作負荷,這樣才能區分優秀與平庸的審計師。

實用技巧與重點

乾貨
  • 90% 被審計的協議在 2022 年起仍然被利用
  • 頂級審計師(前 5、20、30%)無法接手所有審計案件
  • 常見工具能力:靜態分析、模糊測試(fuzzing)、代碼路徑穷举探索、變異測試(mutation testing)
  • 審計模式關鍵詞:確定性工具、代理系統(agentic systems)、LLM wrapper、CI/CD 管道集成、內部工具採用

結論

結論

未來審計不是 AI 替代人類,而是工具承接繁瑣工作,讓審計師回歸思考協議邏輯和經濟激勵這些機器無法觸及的核心價值。

完整解析

詳細

審計行業當前面臨一個看似矛盾的現象:儘管有大量審計活動發生,但從 2022 年開始,約 90% 被審計的協議仍然遭到利用。講者指出,這不是審計師數量不足的問題,而是工作方式的低效。頂級的 20-30% 審計師承接不了所有案件,而其他審計師則被迫採用模板化的檢查流程——看見過的漏洞就套用已知的檢測方法,而不是花時間去理解這個協議到底想做什麼、其攻擊面在哪裡。

根本問題在於時間被浪費在機器擅長的重複性工作上。審計師花費大量時間進行模糊測試、靜態分析、代碼路徑探索這類確定性的搜索任務,導致沒有認知資源去思考最關鍵的問題:這個協議的設計意圖是什麼?激勵結構有沒有誤配?是否存在經濟層面的攻擊向量?這些問題只有人類能透過深入思考、與團隊對話和架構直覺來解決。

講者主張一個明確的分工模式:機器(AI 和確定性工具)負責所有穷举、繁瑣、可自動化的工作;人類(審計師)專注於邏輯分析、意圖理解和創意問題發現。未來的最佳實踐應該是,協議團隊先用內部工具進行穷举式的自審,利用變異測試、代理系統等技術篩選出潛在漏洞,然後審計師不是從頭逐行檢查,而是評估工具結果的品質、理解協議邏輯、尋找工具遺漏的深層缺陷。只有這樣,優秀的審計師才能被 set up for success,平庸的審計師也會因為沒有工具的彌補而無所遁形,最終整個行業才能升級。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。