Rethinking Environments for Long-Horizon Work — Rayan Garg, Theta Software
三句話摘要
定義和評測 AI 代理完成長期任務的能力標準，以及如何設計有效的評判系統。 評測 AI 代理的長期任務能力需要多維度細緻化的指標體系和評判器設計，而不能依賴單一基準或過度簡化的評分標準。 「長期」是標量度量，定義會隨時間演進。 一年前被認為是長期的任務標準，在今天可能不再算長期。重點不是絕對時間長度，而是相對於模型能力的變化而言。
重點整理
重點- 1
「長期」是標量度量，定義會隨時間演進。 一年前被認為是長期的任務標準，在今天可能不再算長期。重點不是絕對時間長度，而是相對於模型能力的變化而言。
- 2
多視角評估模型能力不可或缺。 人類基準（如 Meter 的 16 小時標準）與模型指標（token 消耗、執行步驟、工具調用數）各有盲點，單獨任何一個都無法全面反映真實能力，必須並行考慮。
- 3
環境複雜度由三個維度定義：工具協調、狀態變化、模糊性。 順序複雜度（早期決策影響後期結果）比並行複雜度（獨立任務同時進行）更能衡量真實能力。代理需在不完全資訊下執行、探索和適應。
- 4
評判器本身必須是代理，能實時訪問環境狀態。 驗證代理的工作不能只看軌跡紀錄，必須像代理一樣查看日誌、資料庫、部署結果等實際環境狀態，但需嚴格限制為讀取權限。
實用技巧與重點
乾貨- 衡量指標：
- Meter 基準：50% 成功率、16 小時人類工作量閾值
- 人類視角 vs 模型視角（token 數、步驟數、工具調用數）
- 環境複雜度維度：
- 工具協調複雜度：Grafana、GitHub、AWS CloudWatch 等外部依賴數量
- 狀態變化複雜度：並行 vs 順序複雜度
- 模糊性：啟動時提供的資訊完整度
- 評判方法：
- 確定性驗證器 + 評判模型混合
- 動態評估時間評分標準
- 部分分數（假設前一步正確再評後續）
- 品質保證測試：黃金標準、無操作差異、覆蓋度、專家協議
- 現有基準缺陷：
- GDP Value 工具台：主要 Excel 財務計算任務
- Apex Agent：專注投銀（IB）業務
- 平均人工時間遠低於 16 小時標準，無法算長期任務
- Apex Agent Pass 57% = 任務約 100% 完成（基準已飽和）
- 缺少信貸、債務、風險等金融領域工作
- 獎勵訊號細粒度不足（需 20 主標準 × 10 子標準）
- 自有數據：
- 50 個任務樣本，人類平均 15 小時完成
- 模型在所有金融領域仍面臨巨大挑戰
結論
結論“評測 AI 代理的長期任務能力需要多維度細緻化的指標體系和評判器設計，而不能依賴單一基準或過度簡化的評分標準。”
完整解析
詳細這場演講核心議題是：隨著 AI 代理自主工作時間窗口快速擴大，我們如何定義與評測「長期任務」能力。兩位講者來自 Theta Software，強調「長期」不是絕對概念，而是相對的標量度量。一年前的長期定義可能已不適用，因為模型能力和基準本身都在演進。
衡量模型能力的傳統方式有兩種路徑。第一種是人類基準法——以人類完成任務所需時間作錨點。Meter 基準設定了 16 小時人類工作量作為評測門檻，具體依測試者專業水平、任務設計方法而異。第二種是模型指標法——看 token 消耗、執行步驟、工具調用次數。但這種方法噪音極大，因為不同模型、不同框架的 token 效率差異巨大。關鍵洞察是：這兩個視角都不完整，必須並行考慮才能理解真實能力。
環境複雜度評測涉及三個維度。工具協調複雜度指代理需操作多少外部系統（Grafana 看日誌、GitHub 管 CI/CD、AWS 讀寫資料庫等）。狀態變化複雜度區分並行和順序兩類——並行是多個獨立任務同時處理、狀態變化獨立；順序是早期決策影響後期結果、存在因果鏈。順序複雜度更能衡量真實能力。模糊性維度指啟動時的資訊完整度——人類工作充滿模糊性，代理也應學會在不完全資訊下探索和決策。
最具創新意義的是重新定義評判器角色。傳統做法認為評判器只檢查代理軌跡；新認知是評判器本身必須是完整代理，具備實時訪問環境能力。例子：驗證代理是否修復了部署失敗，必須檢查 GitHub CI 日誌、AWS 日誌、實際部署結果——僅看代理聲稱做了什麼不夠。評判器需讀取權限但不能寫入，避免污染環境。長軌跡需結構化處理——分解成階段、標記關鍵點、補充元數據——使其可查詢可分析，評判器才能定位故障點並驗證。
評分標準本身需嚴格品質保證。方法包括確定性驗證器與評判模型結合、動態評分（給予部分分數、假設前步正確後評後步）。每個評分標準須經黃金標準驗證、無操作差異測試、覆蓋度檢查、專家協議驗證，特別是 AI 參與創建評分標準時。獎勵訊號的細粒度極其重要——粗粒度獎勵難以引導模型學習。
最後，講者批評現有金融基準缺陷。GDP Value 和 Apex Agent 基準的任務平均人工時間遠低於 16 小時，不符合長期任務定義。Apex Agent 的 57% Pass 率實際意指任務約 100% 完成，顯示基準已飽和。涵蓋範圍窄——GDP Value 主要 Excel 任務、Apex Agent 專注投銀業務，缺少信貸、債務、風險等關鍵金融工作。最關鍵的是獎勵訊號不夠細緻，需要 20 個主標準乘以 10 個子標準才能提供足夠學習信號。講者自有測試顯示 50 個任務樣本中人類平均需 15 小時，模型在所有金融領域仍面臨巨大挑戰。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
