KeyFrame內部研究專用

Computer Use at the Edge of the Statistical Precipice — Pierluca D'Oro, Programma Labs

AI Engineer17 min中文
觀看原始影片

三句話摘要

計算機使用代理(Computer Use Agents)的基準測試評估方法論與設計原則。 嚴格的基準測試設計不是可選的工程細節,而是避免自欺欺人的防線——唯有多維度的環境隨機化與準確的不確定性度量,才能確保評分反映真實世界性能。 Replay Agent 的悖論:將前沿模型在基準測試中的成功軌跡記錄成無腦重放腳本,結果這個不足 1MB 的腳本在標準基準上表現與原模型相同甚至更好,說明基準測試本身存在被套路的結構問題。

重點整理

  1. Replay Agent 的悖論:將前沿模型在基準測試中的成功軌跡記錄成無腦重放腳本,結果這個不足 1MB 的腳本在標準基準上表現與原模型相同甚至更好,說明基準測試本身存在被套路的結構問題。

  2. Pass@K 指標的隱患:現有評估方法在確定性環境下本質上是在測試 replay agent 的性能,形式上的「多次嘗試」實際無法對抗環境的可預測性,使指標失效。

  3. PRISMP 環境設計原則:透過多因子變化(改變數據、UI、初始狀態)、驗證系統、沙盒隔離、驗證者機制和現實度約束,構建難以被套路的基準環境。

  4. 不確定性的準確度量:實務中信心區間覆蓋率僅 17-20%(遠低於預期 95%),需要同時考量動作變異性和環境變異性,避免在關鍵部署決策上因測量誤差付出代價。

實用技巧與重點

  • Replay agent 大小:少於 1MB(對應數百任務基準)
  • DigiWord 基準規模:15 個 Android 應用、387 個已驗證場景、320 萬個配置、潛在擴展至數十億組合
  • 信心區間覆蓋率實測:17-20%(期望 95%)
  • 設計原則縮寫:PRISMP(Principle-based 環境設計框架,包含多因子、驗證、沙盒、驗證者、現實度五個維度)
  • 驗證系統架構:參數化任務模板 → 編譯器式驗證 → 模擬數據 → 配置生成與檢查
  • 變異軸度:初始狀態、傳送數據量、聯絡人/郵件內容、UI 主題、起始畫面

結論

嚴格的基準測試設計不是可選的工程細節,而是避免自欺欺人的防線——唯有多維度的環境隨機化與準確的不確定性度量,才能確保評分反映真實世界性能。

完整解析

Computer use agents 的評估面臨一個深刻的方法論危機。演講者首先引入了「replay agent」的概念——這是一種極簡的對照組:將前沿大模型在基準測試中的成功軌跡(點擊、輸入、滾動序列)原樣記錄下來,編譯成一份盲目重放的腳本。看似無用的重放代理,在 OS World 和 Mobile World 等標準基準上卻能達到與原始前沿模型相近或更高的成功率。這個悖論性的發現指向一個不舒服的真相:現有基準測試擁有可被套路的確定性結構。

更糟的是,廣泛使用的 Pass@K 指標(K 次嘗試中至少一次成功的概率)在確定性環境中本質上等於在測試 replay agent 本身,形同虛設。這暴露的並非個別缺陷,而是整個評估框架的兩大類系統性問題:環境設計與指標設計。

為此,演講者提出了一套 PRISMP 環境設計原則。核心思想是通過多因子變化破壞環境的確定性——每次任務執行時,系統隨機改變傳送的數據內容、UI 主題、起始畫面等維度。但隨機生成容易產生無效配置,解決方案是建立編譯器式的驗證系統:從參數化任務模板出發,針對每個變異組合檢驗其有效性,只保留通過驗證的配置。基於這套方法論,研究團隊開發了 DigiWord 基準——包含 15 個 Android 應用、387 個已驗證場景,通過組合多個變異軸可生成 320 萬個配置,未來可輕鬆擴展至數十億級別。在這個健全的環境上重新評估 replay agent,其性能會顯著下滑,驗證了設計方法的有效性。

評估中同樣關鍵的是對不確定性的準確度量。現實中存在兩個獨立的變異來源:模型的隨機動作決策與環境自身的多因子變化。傳統的信心區間計算往往低估這種聯合不確定性——實測覆蓋率僅 17-20%,遠低於預期的 95%。這意味著當決策者基於虛假的高信度進行模型部署選擇時,4% 的真實性能差異會被完全忽視,導致長期決策失誤。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。