KeyFrame內部研究專用

The Future of Evals: From LLM as a Judge to Agent as a Judge — Aparna Dhinakaran, Arize AI

AI Engineer6 min英文
觀看原始影片

三句話摘要

Arize 發表代理評估的演進方向:從傳統 LLM 評判轉向「代理作為評委」的新範式。 AI 代理的評估已進入新時代——從靜態評分標準轉向動態代理評委,以適應系統複雜度的指數級增長。 評估的複雜度隨代理進化而跳躍:2023 年只需評估單一問題回答,2024 年代理加入工具調用、推理、長期任務執行後,每次系統的故障方式都質變,需要本質不同的評估方法。

重點整理

  1. 評估的複雜度隨代理進化而跳躍:2023 年只需評估單一問題回答,2024 年代理加入工具調用、推理、長期任務執行後,每次系統的故障方式都質變,需要本質不同的評估方法。

  2. 傳統 LLM 評判者的侷限性:LLM 評委只能給出固定評分標準和固定分數,但代理每次使用者交互都走不同軌跡(動態流程),導致傳統評估無法捕捉上下文忽略、循環卡頓、工具重複調用等問題。

  3. 代理評委的適應性:Signal 可讀取執行痕跡、識別問題模式、發現確定性評分標準永遠無法解決的細微故障(如工具被長時間反覆調用、軌跡效率低下),並主動提交修復方案。

  4. 三層評估體系的未來:確定性評估、LLM 作為評委、代理作為評委三種方法各有所用,未來的成熟評估系統需要結合全部三層。

實用技巧與重點

  • Arize 的評估規模
  • 每月超過 1 億次評估
  • 平均團隊執行約 12 個不同評估任務
  • 頂尖團隊執行 3,800+ 個不同評估任務
  • Signal 工具特性
  • 長期運行的代理
  • 可讀取執行痕跡(trace data)
  • 發現問題模式與故障類型
  • 可提交 PR 提出修復方案
  • 代理系統演化軌跡
  • 2023 年:單一問題回答
  • 2024 年:工具調用、推理能力、深度研究、子代理派遣
  • 2025 年+:在真實世界數據上執行循環、長期任務
  • Arize 內部代理案例(Alex)
  • 增強記憶能力
  • 建立動態 UI 能力
  • 海量痕跡搜尋能力
  • 已發現的失敗模式:上下文忽略、時間感知缺陷、無限循環

結論

AI 代理的評估已進入新時代——從靜態評分標準轉向動態代理評委,以適應系統複雜度的指數級增長。

完整解析

Aparna 開場指出,評估已從個別技能演變成所有嚴肅 AI 團隊的核心投資。Arize 與業界頂尖團隊合作,每月處理超過 1 億次評估,觀察到一個關鍵現象:系統複雜度每年都在跳躍式成長。2023 年時,評估的對象是單純回答問題的模型;到了 2024 年,前沿模型開始加入工具調用、多步推理、代理派遣等能力;如今 AI 系統在真實世界數據上執行長期循環,每一次複雜度的躍升都代表一種本質上不同的故障類型。

傳統的評估工具無法適應這種變化。LLM 作為評委——即使用固定的評分標準和 Prompt 來評估系統輸出——在單一問題上有效,但對動態代理系統無效。Arize 自家開發的代理 Alex 是個真實案例:雖然它擁有增強記憶、動態 UI 生成、海量痕跡搜尋等能力,卻會在不知道某事何時發生的情況下忽視上下文、陷入無限循環。這些故障既不是確定性流程能事先預測的,也不是靜態評分標準能評判的。

基於這個洞察,Arize 提出一個根本性的轉變:既然代理系統本身具有適應性和動態性,最適合評估代理的方法就是讓另一個代理來評估它。Aparna 將此分為三層體系:確定性評估(檢查預定義規則)、LLM 評委(應用固定評分標準)、代理評委(動態追蹤與模式分析)。大多數團隊目前停留在前兩層,但未來趨勢是結合全部三層。

Arize 推出的新工具 Signal 實現了「代理作為評委」的概念。Signal 是一個長期運行的代理,持續讀取系統執行的痕跡數據,發現問題模式,並識別傳統 LLM 評委永遠無法檢測的失敗類型——例如同一工具被反覆長時間調用、軌跡效率低下、上下文被遺忘。更進一步,Signal 不僅發現問題,還能分析根本原因,提交包含修復建議的 PR。這種方法使評估從被動檢查演變成主動的持續改進循環。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。