Improving Agents is a Data Mining Problem — Vivek Trivedy, LangChain

軟體工程的代碼閱讀方法在 agent 世界失效了。傳統代碼你可以看著函式調用、控制流大致理解邏輯，但 agents 由動態提示詞、工具、hooks、中介件、甚至互相調用的其他 agents 組成——prompt 的改變如何影響醫療與法律領域的 agent 表現完全不同，人腦無法預測。過去四年我們交換了確定性換取自主性，現在需要工具來理解這些自主運行的系統。

Langchain 的做法是中央化所有 agent 生成的數據到一個 tracing project，然後派遣 agents 去讀取其他 agents 的 traces。這樣可以找出用戶滿意與不滿的交互案例、檢測 agent 在長 context 下是否性能衰減、跨模型比較（GPT-5.5 vs GLM-5.2 同一任務表現如何）、觀察細粒度的實際行為。數據現在是最小的——未來 agents 將在月、週、日尺度上大規模運行，數據量會呈指數成長，所以需要開發高效的 agent-to-agent 挖掘系統，而不是直接把所有 traces 餵給另一個 agent 的 context。

在 Harvey 的法律基準測試合作中，Langchain 驗證了開源模型的驚人潛力。先用 Opus 和 GPT-5.5 驗證任務可行性，確認後開始探索開源模型。通過 harness 工程（改進 prompt、給模型更多指導）和領域特定微調，9B、13B 模型可以達到 Opus 級性能，成本只需 1/100 到 1/10。還有個經濟學轉變：高推理負載下，購買獨立集群並獲得無限推理 > 按 token 計費。

LangSmith Engine 自動化了這個循環的三個關鍵應用：第一，知識蒸餾——從大模型的好 traces 提取例子，微調小模型模擬其行為；第二，評估生成——agent 行為由其評估定義，自動從 traces 生成評估能覆蓋真實使用模式；第三，人類內容準備——法律、醫療等高信任領域需要人類審查，但無法手動讀取百萬級 traces，自動摘要很關鍵。

策略上遵循古典機器學習原則：找到好的擬合函數（fit function）和好數據。實踐上先做 harness 工程（2 分鐘反饋循環），直到天花板再嘗試微調。持續學習需要三維度同時推進：訓練數據（觀察 traces）、harness 更新（因為模型按 harness 被訓練）、記憶優化（agents 不能只是 append-only 日誌，需要高效更新機制，類似人類"睡眠"時整理記憶）。