Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics
三句話摘要
如何正確評估 AI 代理並避免被單一指標和公開基準測試誤導。 --- 評估 AI 代理的關鍵不是相信任何單一指標,而是像偵探般追根究柢:建構反映實際業務的評估環境、多變數控制、完整可觀察性資料蒐集,以及生產環境驗證。 測試框架和配置對結果的決定性影響:同一個模型在不同測試框架下表現相差 30% 以上。Opus 5 在 OpenHands 框架表現優異,但換到其他框架後 Astra 反而更好。這說明選擇合適的評估環境直接影響模型選擇決策,不能盲目相信任何單一基準測試。
重點整理
測試框架和配置對結果的決定性影響:同一個模型在不同測試框架下表現相差 30% 以上。Opus 5 在 OpenHands 框架表現優異,但換到其他框架後 Astra 反而更好。這說明選擇合適的評估環境直接影響模型選擇決策,不能盲目相信任何單一基準測試。
區分公開基準與內部評估的目的和限制:公開基準如 Terminal Bench 只是用來了解市場全貌和列出候選方案,不應過度依賴。律師事務所不需要關心終端開發任務基準。應設計能反映自身實際業務環境的內部評估框架。
系統性控制多個評估變數:工作負載覆蓋(選擇代表軟體開發生命週期各階段的任務),執行次數(應對模型的非決定論特性),配置組合交互效應,以及完整的可觀察性資料蒐集(保留所有交易跟蹤)。
根據業務優先級選擇正確的度量方式:不應被單一分數迷惑。以搜尋工具為例,Claude 返回 295 個檔案但只需 6 個,若優化 F1 分數就是浪費,但若業務要求完整涵蓋就值得。公開基準的單一數字往往隱藏了這些重要細節。
--
實用技巧與重點
- 模型與框架對比
- OpenHands 框架:Opus 5 表現更優
- 其他框架:Astra 表現更好(相差 30% 以上)
- 工作負載分類案例
- Q&A 任務(簡易到複雜問題)
- 儀表板建構
- 應用程式建構
- 工具可用性檢測流程
- 檢查工具是否可用
- 檢查工具是否被呼叫
- 檢查工具返回值
- 檢查最終任務結果
- 搜尋工具對比數據
- Grep 方案:返回 295 個檔案,實際只需 6 個
- 精確度與召回率的平衡取決於業務需求
- 假警報率計算案例
- 假警報率 1%
- 100 萬次請求 = 10,000 次人工審查
- 大多數組織無法承載此審查量
- 評估工具與資源
- Code Scale Bench(Sourcegraph 開發的公開基準)
- Turbo Bench 4(廣泛使用的程式碼代理基準)
- 300 頁評估設計與追蹤可靠性程序文件(GitHub 提供)
- --
結論
評估 AI 代理的關鍵不是相信任何單一指標,而是像偵探般追根究柢:建構反映實際業務的評估環境、多變數控制、完整可觀察性資料蒐集,以及生產環境驗證。
完整解析
Stephanie Jarmak 從她在 Sourcegraph 和現職 Omni Analytics 的經驗出發,深入闡述評估 AI 代理時常見的陷阱和解決方案。她開場便點出核心問題:許多人對公開基準測試的結果過度信任,卻往往無法預測代理在自己環境中的實際表現。
她首先用具體案例說明了測試框架的決定性影響。在測試程式碼搜尋 MCP 工具時,改變初始提示後成本下降 28%,乍看是優化成功,但實際上代理還是沒有使用該工具。成本數據吸引注意力,卻分散了對核心測量目標的焦點。更有説服力的例子是,Opus 5 和 Astra 兩款模型在 OpenHands 框架中前者優於後者,但換成另一個框架後,Astra 的表現竟然好 30% 以上。這個案例有力地說明,框架和配置的選擇對評估結果有巨大影響,遠超過模型本身的差異。
基於這個認知,她明確區分了「公開基準測試」和「內部評估」的概念與用途。公開基準如 Terminal Bench 主要是為了了解整個市場的大致狀況,作為候選方案的篩選工具。但不同行業、不同用途的組織應該設計自己的評估框架。以律師事務所為例,除非要集成程式碼代理,否則不應過度依賴專為終端開發設計的基準結果。內部評估才是真正重要的,它應該反映組織的實際工作環境和業務優先級。
在設計內部評估時,講者強調需要系統性地控制多個變數。首先是工作負載覆蓋。她構建 Code Scale Bench 的原因就是當時的主流基準只關注除蟲,但開發者實際需要處理程式碼理解、功能開發、測試等多種任務,代理在不同任務上的表現差異很大。其次是執行次數,因為 LLM 的非決定論特性意味著多次執行可能得出不同結果,需要了解變異幅度。第三是配置組合的交互效應,一個改變不是孤立的,可能會影響其他配置的表現。最後是完整的可觀察性資料蒐集—保留所有交易跟蹤和日誌,才能在發現問題時進行事後分析。
講者特別強調,選擇正確的度量方式至關重要。她以搜尋工具對比為例:Claude 返回 295 個檔案但實際只需 6 個。如果優化目標是 F1 分數(精確度和召回率的平衡),這 295 個結果就是浪費;但如果業務要求盡可能包含所有相關資訊,高召回率可能就是必需的。公開基準的單一分數往往隱藏了這些細節,看起來很漂亮的數字可能不適合你的實際業務。
在實施層面,她介紹了如何建構安全的自動化系統。她設計的軟體工廠中,允許代理在低風險決策上自主行動,但對高風險操作要求人工確認。關鍵是明確界定自主部分和需要人工介入的部分,以及如何向上升級。她提到的一個實例是假警報率問題:1% 的假警報率看起來微不足道,但對應 100 萬個請求時就是 10,000 次人工審查,這超過了大多數組織的人力容量,因此需要調整警報閾值和影響範圍的評估。
最後,她強調所有評估都應指向一個目標:在生產環境中驗證。即使內部評估完美無缺,實際使用者的互動模式和工作負載可能完全不同。通過影子部署等方式逐步蒐集生產資料,建立完整的監測系統,才能真正理解代理的表現。生產環境才是最終的真相檢驗,所有評估設計都應該以此為導向。
---


