KeyFrame內部研究專用

Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics

AI Engineer英文
觀看原始影片

三句話摘要

如何正確評估 AI 代理並避免被單一指標和公開基準測試誤導。 --- 評估 AI 代理的關鍵不是相信任何單一指標,而是像偵探般追根究柢:建構反映實際業務的評估環境、多變數控制、完整可觀察性資料蒐集,以及生產環境驗證。 測試框架和配置對結果的決定性影響:同一個模型在不同測試框架下表現相差 30% 以上。Opus 5 在 OpenHands 框架表現優異,但換到其他框架後 Astra 反而更好。這說明選擇合適的評估環境直接影響模型選擇決策,不能盲目相信任何單一基準測試。

重點整理

  1. 測試框架和配置對結果的決定性影響:同一個模型在不同測試框架下表現相差 30% 以上。Opus 5 在 OpenHands 框架表現優異,但換到其他框架後 Astra 反而更好。這說明選擇合適的評估環境直接影響模型選擇決策,不能盲目相信任何單一基準測試。

  2. 區分公開基準與內部評估的目的和限制:公開基準如 Terminal Bench 只是用來了解市場全貌和列出候選方案,不應過度依賴。律師事務所不需要關心終端開發任務基準。應設計能反映自身實際業務環境的內部評估框架。

  3. 系統性控制多個評估變數:工作負載覆蓋(選擇代表軟體開發生命週期各階段的任務),執行次數(應對模型的非決定論特性),配置組合交互效應,以及完整的可觀察性資料蒐集(保留所有交易跟蹤)。

  4. 根據業務優先級選擇正確的度量方式:不應被單一分數迷惑。以搜尋工具為例,Claude 返回 295 個檔案但只需 6 個,若優化 F1 分數就是浪費,但若業務要求完整涵蓋就值得。公開基準的單一數字往往隱藏了這些重要細節。

  5. --

實用技巧與重點

  • 模型與框架對比
  • OpenHands 框架:Opus 5 表現更優
  • 其他框架:Astra 表現更好(相差 30% 以上)
  • 工作負載分類案例
  • Q&A 任務(簡易到複雜問題)
  • 儀表板建構
  • 應用程式建構
  • 工具可用性檢測流程
  • 檢查工具是否可用
  • 檢查工具是否被呼叫
  • 檢查工具返回值
  • 檢查最終任務結果
  • 搜尋工具對比數據
  • Grep 方案:返回 295 個檔案,實際只需 6 個
  • 精確度與召回率的平衡取決於業務需求
  • 假警報率計算案例
  • 假警報率 1%
  • 100 萬次請求 = 10,000 次人工審查
  • 大多數組織無法承載此審查量
  • 評估工具與資源
  • Code Scale Bench(Sourcegraph 開發的公開基準)
  • Turbo Bench 4(廣泛使用的程式碼代理基準)
  • 300 頁評估設計與追蹤可靠性程序文件(GitHub 提供)
  • --

結論

評估 AI 代理的關鍵不是相信任何單一指標,而是像偵探般追根究柢:建構反映實際業務的評估環境、多變數控制、完整可觀察性資料蒐集,以及生產環境驗證。

完整解析

Stephanie Jarmak 從她在 Sourcegraph 和現職 Omni Analytics 的經驗出發,深入闡述評估 AI 代理時常見的陷阱和解決方案。她開場便點出核心問題:許多人對公開基準測試的結果過度信任,卻往往無法預測代理在自己環境中的實際表現。

她首先用具體案例說明了測試框架的決定性影響。在測試程式碼搜尋 MCP 工具時,改變初始提示後成本下降 28%,乍看是優化成功,但實際上代理還是沒有使用該工具。成本數據吸引注意力,卻分散了對核心測量目標的焦點。更有説服力的例子是,Opus 5 和 Astra 兩款模型在 OpenHands 框架中前者優於後者,但換成另一個框架後,Astra 的表現竟然好 30% 以上。這個案例有力地說明,框架和配置的選擇對評估結果有巨大影響,遠超過模型本身的差異。

基於這個認知,她明確區分了「公開基準測試」和「內部評估」的概念與用途。公開基準如 Terminal Bench 主要是為了了解整個市場的大致狀況,作為候選方案的篩選工具。但不同行業、不同用途的組織應該設計自己的評估框架。以律師事務所為例,除非要集成程式碼代理,否則不應過度依賴專為終端開發設計的基準結果。內部評估才是真正重要的,它應該反映組織的實際工作環境和業務優先級。

在設計內部評估時,講者強調需要系統性地控制多個變數。首先是工作負載覆蓋。她構建 Code Scale Bench 的原因就是當時的主流基準只關注除蟲,但開發者實際需要處理程式碼理解、功能開發、測試等多種任務,代理在不同任務上的表現差異很大。其次是執行次數,因為 LLM 的非決定論特性意味著多次執行可能得出不同結果,需要了解變異幅度。第三是配置組合的交互效應,一個改變不是孤立的,可能會影響其他配置的表現。最後是完整的可觀察性資料蒐集—保留所有交易跟蹤和日誌,才能在發現問題時進行事後分析。

講者特別強調,選擇正確的度量方式至關重要。她以搜尋工具對比為例:Claude 返回 295 個檔案但實際只需 6 個。如果優化目標是 F1 分數(精確度和召回率的平衡),這 295 個結果就是浪費;但如果業務要求盡可能包含所有相關資訊,高召回率可能就是必需的。公開基準的單一分數往往隱藏了這些細節,看起來很漂亮的數字可能不適合你的實際業務。

在實施層面,她介紹了如何建構安全的自動化系統。她設計的軟體工廠中,允許代理在低風險決策上自主行動,但對高風險操作要求人工確認。關鍵是明確界定自主部分和需要人工介入的部分,以及如何向上升級。她提到的一個實例是假警報率問題:1% 的假警報率看起來微不足道,但對應 100 萬個請求時就是 10,000 次人工審查,這超過了大多數組織的人力容量,因此需要調整警報閾值和影響範圍的評估。

最後,她強調所有評估都應指向一個目標:在生產環境中驗證。即使內部評估完美無缺,實際使用者的互動模式和工作負載可能完全不同。通過影子部署等方式逐步蒐集生產資料,建立完整的監測系統,才能真正理解代理的表現。生產環境才是最終的真相檢驗,所有評估設計都應該以此為導向。

---

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。