KeyFrame內部研究專用

Agents Building Agents - Alfonso Graziano, Nearform

AI Engineer30 min英文
觀看原始影片

三句話摘要

利用 AI 編碼助手與規格級開發技術,通過自動化循環迭代和用戶反饋系統地改進 AI 代理的可靠性與準確性。 用編碼代理搭建完整的測試與反饋迴路(spec 環境、evals、實際用戶 traces),AI 可以自主且可靠地改進 AI 代理,勝於人工優化。 Golden Dataset 與評估基礎 — 與領域專家共同定義代理在各種輸入情況下的預期輸出,建立基線測試。評估不只是檢查數字正確,還包括代理應該調用哪些工具、工具的調用順序等複雜邏輯,形成非確定性環境下的測試套件。

重點整理

  1. Golden Dataset 與評估基礎 — 與領域專家共同定義代理在各種輸入情況下的預期輸出,建立基線測試。評估不只是檢查數字正確,還包括代理應該調用哪些工具、工具的調用順序等複雜邏輯,形成非確定性環境下的測試套件。

  2. 自動化改進循環(Auto Agent) — 編碼代理可自主執行迭代優化:創建假設 → 修改代理代碼 → 執行評估 → 生成報告 → 判斷改進或回滾。實測從 18% 基線準確率改進到 83%(10 次迭代),甚至在已優化的生產代理上發現人類未發現的優化方式,達成 +10% 提升。

  3. 從實際用戶反饋改進 — 收集生產環境中真實用戶的使用 traces(包括輸入、工具調用、耗時、 token 消耗),搭配用戶反饋(讚/貶 + 註解)或領域專家的註解,聚類失敗模式,與專家驗證後生成修復提案並實施,將發現的失敗模式納入 golden dataset 防止回歸。

  4. Harness Engineering 理念 — 為編碼代理打造完整的工作環境包括:規格環境(將失敗轉為 spec)、品質門檻(單元測試、評估)、LLM 代碼審查、上下文工程(提供正確資訊)與可觀測性(生產監控)。

實用技巧與重點

  • 工具與框架
  • Maestra(代理構建框架)
  • Claude Code(編碼代理)
  • Auto Agent(自動優化循環)
  • Traces 存儲格式:JSON
  • 具體數據
  • 基礎數學代理:基線 18% → 10 迭代後 83%
  • 生產代理優化結果:+10% 準確率提升
  • 真實案例:67% 基線 → 10 迭代後 86%
  • 反饋分析樣本:114 條 traces
  • 流程步驟
  • 創建優化工作(markdown 文件):定義目標、目標倉庫、指標
  • 生成基線:執行一次評估,輸出基線報告
  • 優化循環:分支 → 假設 → 修改代理 → 執行評估 → 報告 → 改進判定 → 保留/回滾
  • 用戶反饋改進:蒐集 traces → 反饋/註解 → 聚類 → 專家驗證 → 修復方案 → 實施 → 生產測試
  • 常見失敗模式
  • 缺失工具(網頁搜尋、取得等)
  • 系統提示不足
  • 上下文檢索不夠
  • Markdown 格式問題、超連結未超連結、格式不一致

結論

用編碼代理搭建完整的測試與反饋迴路(spec 環境、evals、實際用戶 traces),AI 可以自主且可靠地改進 AI 代理,勝於人工優化。

完整解析

AI 代理雖然強大但面臨幻覺、非確定性、高成本等問題。講者提出的解決方案核心是建立測試與改進機制。首先,需要與領域專家共同構建 golden dataset——定義代理應處理的輸入與預期輸出。在簡單情況下,輸出可能是數字或文本;在實際場景中,輸出常是「代理應調用某工具並傳入特定參數」或「代理應按順序調用多個工具」。基於此 dataset,設計評估器(scorer)計算準確率,建立改進的基線。

編碼代理可自動改進目標代理。以簡單的數學代理為例,初始沒有任何工具,基線準確率僅 18%。講者開發的 auto agent 系統通過循環執行改進:每次迭代創建新分支,生成假設(例如「添加計算器工具」),修改代理代碼,執行評估,並根據指標決定保留或回滾。該系統甚至發現了人類優化者未能找到的改進方式。實測結果顯示,從 67% 的生產代理基線,經約 10 次迭代可達 86%。

改進不僅依靠評估數據,更重要的是生產環境的實際反饋。系統蒐集用戶與代理的互動 traces——包括工具調用、耗時、token 消耗等——並邀請用戶提供反饋(讚/貶加註解)或由領域專家直接註解。當積累足夠反饋後,編碼代理執行聚類分析,識別失敗模式集群。編碼代理可存取代理的完整代碼與 traces 細節,進行根因分析,最後提出修復方案供人工審核與優先順序化。確認修復後,編碼代理實施變更,並將新發現的失敗模式加入 golden dataset 與評估器中,防止未來回歸。

這整套流程得以運作,是因為「harness engineering」——為編碼代理建構完整的工作環境。包括:將失敗轉為規格、建立品質門檻(評估、單元測試、LLM 代碼審查)、提供上下文工程(清楚的指示與約束)、生產環測。編碼代理得以驗證自己的改動、理解反饋並自主改進。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。