Agents Building Agents - Alfonso Graziano, Nearform
三句話摘要
利用 AI 編碼助手與規格級開發技術，通過自動化循環迭代和用戶反饋系統地改進 AI 代理的可靠性與準確性。 用編碼代理搭建完整的測試與反饋迴路（spec 環境、evals、實際用戶 traces），AI 可以自主且可靠地改進 AI 代理，勝於人工優化。 Golden Dataset 與評估基礎 — 與領域專家共同定義代理在各種輸入情況下的預期輸出，建立基線測試。評估不只是檢查數字正確，還包括代理應該調用哪些工具、工具的調用順序等複雜邏輯，形成非確定性環境下的測試套件。
重點整理
重點- 1
Golden Dataset 與評估基礎 — 與領域專家共同定義代理在各種輸入情況下的預期輸出，建立基線測試。評估不只是檢查數字正確，還包括代理應該調用哪些工具、工具的調用順序等複雜邏輯，形成非確定性環境下的測試套件。
- 2
自動化改進循環（Auto Agent） — 編碼代理可自主執行迭代優化：創建假設 → 修改代理代碼 → 執行評估 → 生成報告 → 判斷改進或回滾。實測從 18% 基線準確率改進到 83%（10 次迭代），甚至在已優化的生產代理上發現人類未發現的優化方式，達成 +10% 提升。
- 3
從實際用戶反饋改進 — 收集生產環境中真實用戶的使用 traces（包括輸入、工具調用、耗時、 token 消耗），搭配用戶反饋（讚/貶 + 註解）或領域專家的註解，聚類失敗模式，與專家驗證後生成修復提案並實施，將發現的失敗模式納入 golden dataset 防止回歸。
- 4
Harness Engineering 理念 — 為編碼代理打造完整的工作環境包括：規格環境（將失敗轉為 spec）、品質門檻（單元測試、評估）、LLM 代碼審查、上下文工程（提供正確資訊）與可觀測性（生產監控）。
實用技巧與重點
乾貨- 工具與框架
- Maestra（代理構建框架）
- Claude Code（編碼代理）
- Auto Agent（自動優化循環）
- Traces 存儲格式：JSON
- 具體數據
- 基礎數學代理：基線 18% → 10 迭代後 83%
- 生產代理優化結果：+10% 準確率提升
- 真實案例：67% 基線 → 10 迭代後 86%
- 反饋分析樣本：114 條 traces
- 流程步驟
- 創建優化工作（markdown 文件）：定義目標、目標倉庫、指標
- 生成基線：執行一次評估，輸出基線報告
- 優化循環：分支 → 假設 → 修改代理 → 執行評估 → 報告 → 改進判定 → 保留/回滾
- 用戶反饋改進：蒐集 traces → 反饋/註解 → 聚類 → 專家驗證 → 修復方案 → 實施 → 生產測試
- 常見失敗模式
- 缺失工具（網頁搜尋、取得等）
- 系統提示不足
- 上下文檢索不夠
- Markdown 格式問題、超連結未超連結、格式不一致
結論
結論“用編碼代理搭建完整的測試與反饋迴路（spec 環境、evals、實際用戶 traces），AI 可以自主且可靠地改進 AI 代理，勝於人工優化。”
完整解析
詳細AI 代理雖然強大但面臨幻覺、非確定性、高成本等問題。講者提出的解決方案核心是建立測試與改進機制。首先，需要與領域專家共同構建 golden dataset——定義代理應處理的輸入與預期輸出。在簡單情況下，輸出可能是數字或文本；在實際場景中，輸出常是「代理應調用某工具並傳入特定參數」或「代理應按順序調用多個工具」。基於此 dataset，設計評估器（scorer）計算準確率，建立改進的基線。
編碼代理可自動改進目標代理。以簡單的數學代理為例，初始沒有任何工具，基線準確率僅 18%。講者開發的 auto agent 系統通過循環執行改進：每次迭代創建新分支，生成假設（例如「添加計算器工具」），修改代理代碼，執行評估，並根據指標決定保留或回滾。該系統甚至發現了人類優化者未能找到的改進方式。實測結果顯示，從 67% 的生產代理基線，經約 10 次迭代可達 86%。
改進不僅依靠評估數據，更重要的是生產環境的實際反饋。系統蒐集用戶與代理的互動 traces——包括工具調用、耗時、token 消耗等——並邀請用戶提供反饋（讚/貶加註解）或由領域專家直接註解。當積累足夠反饋後，編碼代理執行聚類分析，識別失敗模式集群。編碼代理可存取代理的完整代碼與 traces 細節，進行根因分析，最後提出修復方案供人工審核與優先順序化。確認修復後，編碼代理實施變更，並將新發現的失敗模式加入 golden dataset 與評估器中，防止未來回歸。
這整套流程得以運作，是因為「harness engineering」——為編碼代理建構完整的工作環境。包括：將失敗轉為規格、建立品質門檻（評估、單元測試、LLM 代碼審查）、提供上下文工程（清楚的指示與約束）、生產環測。編碼代理得以驗證自己的改動、理解反饋並自主改進。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
