KeyFrame內部研究專用

Improving Agents is a Data Mining Problem — Vivek Trivedy, LangChain

AI Engineer20 min英文
觀看原始影片

三句話摘要

通過追蹤數據挖掘與持續實驗,建立自動化迴圈來系統性改進 AI agents 的性能和成本效益。 啟用 tracing 並用另一個 agent 自動分析是最簡單的開始,通過 traces 挖掘出的信號可以驅動可測量的 agent 改進。 Traces 是理解 agents 的基礎 — Agent 在環境中每次運行都產生 traces(工具調用、API 請求、輸出等),比起傳統代碼閱讀無法預測 prompt 改變的影響,traces 提供了細粒度的實際行為信號。

重點整理

  1. Traces 是理解 agents 的基礎 — Agent 在環境中每次運行都產生 traces(工具調用、API 請求、輸出等),比起傳統代碼閱讀無法預測 prompt 改變的影響,traces 提供了細粒度的實際行為信號。

  2. 數據驅動的分層優化 — 先用 harness 工程快速迭代(2 分鐘反饋),達到天花板後轉向模型微調;再用 traces 中的真實例子做知識蒸餾,訓練小模型(9B~13B)來取代大模型。

  3. 經濟學的轉移 — 高推理負載下,從按 token 計費轉向獨立運行集群的硬體成本更便宜;開源模型搭配領域特定微調可匹配 Opus 級性能卻便宜 1~2 個數量級。

  4. 持續學習的三維度改進 — 必須同時更新訓練數據(觀察 traces)、harness/提示詞(因為模型按 harness 模式訓練)、記憶結構(高效更新而非 append-only)。

實用技巧與重點

  • 產品與工具:
  • LangSmith Engine(自動化 trace 挖掘、評估生成、人類反饋準備)
  • Langchain 開源模型微調服務
  • 成本對比案例:
  • Harvey 法律基準測試:開源模型成本達 Opus 的 1/100 ~ 1/10
  • 推薦模型規模:9B、13B 模型
  • 改進策略三層次:
  • Harness 工程反饋時間:約 2 分鐘
  • 推薦流程:快速收集反饋 → Harness 工程 → 模型微調 → 再做 Harness 工程
  • 微調技術:知識蒸餾(Distillation SFT)、評估生成、人類審查內容
  • 模型選擇流程:
  • 驗證任務可行性:優先用 Opus、GPT-5.5
  • 探索替代方案:試驗開源模型並進行 harness 工程
  • 達到性能天花板後:進行領域特定微調

結論

啟用 tracing 並用另一個 agent 自動分析是最簡單的開始,通過 traces 挖掘出的信號可以驅動可測量的 agent 改進。

完整解析

軟體工程的代碼閱讀方法在 agent 世界失效了。傳統代碼你可以看著函式調用、控制流大致理解邏輯,但 agents 由動態提示詞、工具、hooks、中介件、甚至互相調用的其他 agents 組成——prompt 的改變如何影響醫療與法律領域的 agent 表現完全不同,人腦無法預測。過去四年我們交換了確定性換取自主性,現在需要工具來理解這些自主運行的系統。

Langchain 的做法是中央化所有 agent 生成的數據到一個 tracing project,然後派遣 agents 去讀取其他 agents 的 traces。這樣可以找出用戶滿意與不滿的交互案例、檢測 agent 在長 context 下是否性能衰減、跨模型比較(GPT-5.5 vs GLM-5.2 同一任務表現如何)、觀察細粒度的實際行為。數據現在是最小的——未來 agents 將在月、週、日尺度上大規模運行,數據量會呈指數成長,所以需要開發高效的 agent-to-agent 挖掘系統,而不是直接把所有 traces 餵給另一個 agent 的 context。

在 Harvey 的法律基準測試合作中,Langchain 驗證了開源模型的驚人潛力。先用 Opus 和 GPT-5.5 驗證任務可行性,確認後開始探索開源模型。通過 harness 工程(改進 prompt、給模型更多指導)和領域特定微調,9B、13B 模型可以達到 Opus 級性能,成本只需 1/100 到 1/10。還有個經濟學轉變:高推理負載下,購買獨立集群並獲得無限推理 > 按 token 計費。

LangSmith Engine 自動化了這個循環的三個關鍵應用:第一,知識蒸餾——從大模型的好 traces 提取例子,微調小模型模擬其行為;第二,評估生成——agent 行為由其評估定義,自動從 traces 生成評估能覆蓋真實使用模式;第三,人類內容準備——法律、醫療等高信任領域需要人類審查,但無法手動讀取百萬級 traces,自動摘要很關鍵。

策略上遵循古典機器學習原則:找到好的擬合函數(fit function)和好數據。實踐上先做 harness 工程(2 分鐘反饋循環),直到天花板再嘗試微調。持續學習需要三維度同時推進:訓練數據(觀察 traces)、harness 更新(因為模型按 harness 被訓練)、記憶優化(agents 不能只是 append-only 日誌,需要高效更新機制,類似人類"睡眠"時整理記憶)。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI