KeyFrame內部研究專用

How We Took an AI Agent From 41% to 97% Accurate - Milind Sunil Shah, Brainbase Labs

AI Engineer英文
觀看原始影片

三句話摘要

通過系統化框架迭代,將後台業務自動化代理的準確度從 41% 提升至 97%。 系統化地定義業務規則、建立多層級評估機制、從窄到寬的遞增迭代,是將後台自動化代理從不可用提升到近乎完美的關鍵。 前期溝通定義成功標準:與客戶明確討論任務內容、執行時間、成本預期、準確度目標、邊界情況的假設限制,確保所有參與者對成功的定義達成一致。

重點整理

  1. 前期溝通定義成功標準:與客戶明確討論任務內容、執行時間、成本預期、準確度目標、邊界情況的假設限制,確保所有參與者對成功的定義達成一致。

  2. 詞彙與規則檔案的重要性:將所有業務邏輯顯式定義(如「大披薩」的定義、遞送不等於自取、折扣計算方式),代理不會猜測,避免每項決策時都採取不確定的假設。

  3. 多層級評估機制:使用程式碼自動檢查(結構性驗證)、LM 作為裁判(邏輯判斷)、代理作為裁判(多輪驗證輸出物件),確保不同層面的正確性都被捕捉。

  4. 從窄到寬的遞增迭代:初版只涵蓋單一應用、單一商品、單一城市,測量建立基線,然後逐步擴展範圍,每次迭代根據失敗案例調整指令而非直接更換模型。

實用技巧與重點

  • 六步框架:Kickoff(前期準備)→ Anthology(詞彙定義)→ Benchmarks(基準測試)→ First Agent(首版代理)→ Iterating(迭代)→ Handoff(交接)
  • Domino's 案例數據:
  • 版本 1:41% 準確度、$2 per source、>120 分鐘執行時間
  • 版本 11:97% 準確度、$1 per source、71 分鐘執行時間
  • 客戶規模:20,000+ 門市、90+ 市場、原始作業:分析師每日 2 小時手動作業
  • 評估方法:
  • Code-based evals:檢查每個 ID 是否被替換、折扣計算是否正確、價格波動幅度
  • LM as judge:檢查正確項目選擇、折扣應用
  • Agent as judge:驗證每個標記的價格是否有效
  • 具體規則調整:
  • 簡單規則:加入指示「檢查整個頁面而不只是連結指向的段落」
  • 複雜規則:改進瀏覽器行為(優先檢查 HTML DOM 的圖片標題和文字,限制放大倍數),結果減少 1/3 的圖片讀取、降低 50% 成本
  • 客戶交接機制:代理按排程(每日或手動觸發)自動執行,分析師只檢查例外情況,每個發現的錯誤自動轉換為基準測試案例

結論

系統化地定義業務規則、建立多層級評估機制、從窄到寬的遞增迭代,是將後台自動化代理從不可用提升到近乎完美的關鍵。

完整解析

Brainbase 與 Domino's 合作開發自動化代理,用於監控競爭對手的披薩價格。這個項目的複雜之處在於每個看似簡單的步驟(打開競爭網站、選擇門市、比較遞送與自取價格、找到促銷、寫入試算表)只要有一項出錯,整份報告就會失效。原先由分析師每日手動投入 2 小時完成,且每個儲存格都需人工驗證。

團隊採用系統化的六步框架。首先在「前期準備」階段與客戶討論目標,明確定義準確度標準、執行成本、判斷邊界情況的規則。接著進入「詞彙定義」階段,將所有業務邏輯顯式化:例如「大披薩」包含單品或套餐、遞送與自取是不同概念、折扣應該採用結帳時的價格而非原價。未明確定義的術語會導致代理做出錯誤假設,這一步至關重要。

「基準測試」階段使用客戶過去的實際案例建立測試環境。由於行動應用程式與網站的資料結構不同,團隊採用截圖方式記錄代理行為。評估標準分三層:程式碼自動檢查(結構性驗證如 ID 替換、折扣計算),LM 作為裁判(判斷項目選擇是否正確),代理自身作為裁判(多輪驗證標記的價格是否真有問題)。

首版代理的準確度只有 41%,但這個數據很寶貴,因為它建立了改進的基線。團隊採取窄化範圍的策略:先只做一個應用程式、一種商品、一個城市,測量性能後再逐步擴展。迭代過程發現兩類典型問題。第一類是規則缺失:代理找到披薩後就停下來,沒檢查整個頁面是否有更便宜選項,簡單的規則調整就解決了。第二類是行為最佳化:代理盲目檢查所有 26 張促銷圖片並反覆放大,陷入迴圈。分析 HTML DOM 後,改進指示優先檢查文字和圖片標題,限制放大倍數,結果減少 1/3 的圖片讀取次數,成本降低超過 50%。

最終準確度達 97%,每來源成本從 $2 降至 $1,執行時間從 129 分鐘縮至 71 分鐘。交接階段確保客戶擁有持續改進的能力:代理按排程自動執行,分析師只檢查標記的例外,每個錯誤自動轉換為基準測試案例,客戶可獨立調整簡單規則。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。