Joshua Saxe - The Hard Part Isn’t Building the Agent: Measuring Effectiveness | [un]prompted 2026
三句話摘要
自主AI網絡防禦系統無法用傳統機器學習指標評估，需要多維度整體評分方法。 網絡安全的自主AI系統評估無法依賴傳統ML指標，必須像面試人類決策者一樣評估AI代理在不確定性下的推理過程和決策品質。 傳統評估框架完全不適用：精確率、召回率、F分數等指標假設存在「預言機」（完美的真實標籤），但網絡安全領域根本無法獲得乾淨的標籤。面對停機問題、雙重用途工具等計算科學困境，標籤本身就充滿噪音。
重點整理
重點- 1
傳統評估框架完全不適用：精確率、召回率、F分數等指標假設存在「預言機」（完美的真實標籤），但網絡安全領域根本無法獲得乾淨的標籤。面對停機問題、雙重用途工具等計算科學困境，標籤本身就充滿噪音。
- 2
標籤噪音是硬瓶頸：模擬顯示，若標籤中只有1-3%的錯誤翻轉率，即使是完美的AI系統的性能測量也會急劇下降，形成無法突破的「噪聲上限」，使得無法判斷系統是否真正改進。
- 3
評估應採用多維整體評分：不應將複雜推理簡化為單一的0/1結果。應檢視代理是否收集正確證據、基於第一性原理推理、清晰解釋決策，評分標準應覆蓋證據收集、政策理解、推理品質、日誌透明度、決策準確性等多個維度。
- 4
實踐路徑：樣本→自動評分→迭代爬山→部署監控：用100個樣本訓練LLM評委進行大規模自動評分，團隊根據明確的部署標準不斷改進所有維度直到達標，部署後持續監控確保系統穩定。這個過程雖然佔團隊時間50%，但實際效率提升10倍。
實用技巧與重點
乾貨- 核心數據與問題：
- SOC分析師之間的意見分歧率達兩位數（10%以上）
- 訪問管理評估者對於誰應有權限的意見分歧率達兩位數
- 模擬結果：標籤翻轉率從0.5%增加到3%時，系統性能測量能力急劇下降
- 評估流程時間佔比：團隊時間的約50%
- 效率提升：10倍
- 評估方法的多維度指標：
- 證據收集質量（Evidence Collection）
- 政策理解（Policy Understanding）
- 第一性原理推理（First-Principles Reasoning）
- 決策說明清晰度（Explainability）
- 可聽見的日誌輸出（Auditable Logging）
- 決策準確性（Decision Accuracy）
- 樣本量：
- 100個樣本足以訓練LLM評委開始進行基於整體評分標準的分析
- 理論困境：
- 停機問題：無法確知程式是否沒有錯誤
- 狀態空間爆炸：無法預測補丁是否導致程式崩潰
- 雙重用途問題：很多二進制文件既有正當用途也可能惡意使用
結論
結論“網絡安全的自主AI系統評估無法依賴傳統ML指標，必須像面試人類決策者一樣評估AI代理在不確定性下的推理過程和決策品質。”
完整解析
詳細網絡安全領域正面臨一個根本性的評估危機。隨著AI攻擊成本下降，組織需要部署自主防禦系統來應對，但我們目前使用的評估方法完全不適合這個領域。傳統機器學習繼承了計算機視覺等領域的評估指標——精確率、召回率、F分數、ROC曲線等——這些指標有個核心假設：存在一個「預言機」提供完美且無誤的真實標籤。在貓狗分類中這沒問題，但在網絡安全中這個假設崩潰了。
問題來自多個層面。首先是計算理論層面：評估代碼補丁是否正確涉及停機問題，評估惡意軟體涉及不可計算的問題，這些根本上無法確定「正確答案」。其次是社會層面：很多網絡工具是雙重用途的，人類專家對於二進制文件是否真正惡意都會有分歧。最關鍵的是實踐層面的標籤噪音——研究顯示SOC分析師之間對於警報是否值得調查的意見分歧率達兩位數，訪問管理評估者對於誰應有敏感數據庫權限的意見也高度分歧。講者透過模擬演示了這個問題的嚴重性：如果標籤中只有1%的錯誤翻轉（真陽性變假陽性），當噪音增加到3%時，即使是完美的AI系統的性能測量也會變得極度不準確，形成一個無法突破的「噪聲上限」。
這導致了一個深層的矛盾：傳統評估框架試圖將AI代理的複雜推理簡化為單一的二元決策（0或1），然後計算彙總統計數據，但這個簡化過程丟失了所有有意義的資訊。想像一個AI代理生成了十萬個思考、工具調用和推理令牌，最終卻被簡化為一個受污染的標籤，這完全浪費了推理能力。
解決方案是根本性改變評估思路：將AI代理視為在不確定性下做決策的「人類等價物」，而不是簡單的分類器。評估應該檢視推理過程質量、證據收集是否正確、是否根據基本原理推理、解釋是否清楚充分，就像面試一位安全工程師一樣。具體做法是建立多維度的整體評分標準，涵蓋證據收集、政策理解、推理品質、決策說明清晰度等方面，每個維度都有噪音，但組合起來提供對系統真實表現的全面理解。實踐中，只需100個樣本就足以訓練一個LLM評委來自動執行這種評分過程，實現大規模評估。
部署流程應該這樣設計：首先與領導層定義明確的部署標準（通常涵蓋所有多維度指標），然後團隊像「爬山」一樣持續改進所有這些指標，直到達到部署標準後才實際部署，部署後繼續監控確保系統穩定狀態。雖然評估過程可能佔團隊時間的50%，但實際上能提升整體效率十倍，因為評估的迭代反饋讓改進有方向、有目標。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
