KeyFrame內部研究專用

Bringing Continual Learning into Enterprises — Samuel Denton, Applied Compute

AI Engineer19 min中文
觀看原始影片

三句話摘要

在企業應用中透過離線與線上蒸餾實現持續學習。 蒸餾不需完美答案,線上與離線結合才是在真實企業環境中實現可持續改進的關鍵。 蒸餾不需完美的黃金答案:傳統蒸餾假設存在可參考的標準答案,但應用計算展示即使在沒有完美標準的情況下,也能透過離線生產追蹤發現可改進的行為模式,從而指導學生模型學習特定的行為改變。

重點整理

  1. 蒸餾不需完美的黃金答案:傳統蒸餾假設存在可參考的標準答案,但應用計算展示即使在沒有完美標準的情況下,也能透過離線生產追蹤發現可改進的行為模式,從而指導學生模型學習特定的行為改變。

  2. 2×2 矩陣框架提供漸進式價值累積:第一象限(離線追蹤+離線提示)能免費改進現有系統,第四象限(線上追蹤+線上提示)則實現持續改進的飛輪,兩者結合涵蓋企業的全部需求。

  3. 線上動態提示優於靜態提示:透過在部署時根據模型實際行為動態生成提示,能實現更精準的行為改正,而靜態提示的效果遠不足以應對複雜的生產環境變化。

  4. 時序對齐與選擇性學習是實踐要點:提示應在距離需要改進的步驟較近時注入,並使用 LLM 評判器過濾無關詞元,避免教師模型的偏好造成學生模型的災難性退化。

實用技巧與重點

  • 數據與案例:
  • SWE-bench 任務:工具調用完成率從 22% 提升至 60%,測試通過率穩定甚至略升
  • 超連結格式糾正:線上提示實現 15% 升至 80%;離線提示僅略微改進
  • 原始模型需 80 次迭代完成任務,目標改為 40 次迭代前
  • 蒸餾框架與方法:
  • 光譜維度:單次離線批次 → 日批次 → 部分線上 → 完全線上統一引擎
  • 2×2 矩陣四象限:
  • 第一象限:離線追蹤+離線提示(已知評分標準或行為先驗)
  • 第二象限:線上追蹤+離線提示(發現新行為後引入靜態提示)
  • 第三象限:離線追蹤+線上提示(策略回滾步驟後生成線上提示)
  • 第四象限:線上追蹤+線上提示(根據部署動態生成提示的完整飛輪)
  • 離線提示內容示例:「你已接近 40 次轉彎極限,只剩約三圈。請盡快完成並驗證修復方案,呼叫此工具。」
  • 線上提示內容示例:「在上次部署中,你這樣格式化超連結。下次,務必改為這樣格式化。」
  • 核心技巧:
  • 步驟級提示注入:判斷器決定在部署哪個階段注入提示
  • 相關性遮罩自蒸餾(Relevance Mask Self-Distillation):LLM 評判器過濾教師模型的無關詞元
  • 近距蒸餾:僅在提示後數步進行蒸餾,避免 KL 學習訊號衰減

結論

蒸餾不需完美答案,線上與離線結合才是在真實企業環境中實現可持續改進的關鍵。

完整解析

應用計算公司的平台研究團隊針對企業持續學習提出了一套系統性的蒸餾框架,核心洞察是傳統蒸餾方法過度依賴完美的黃金標準答案。在真實企業環境中,這樣的答案往往不存在,但從生產追蹤數據中仍能提取有價值的改進信號。講者首先引入蒸餾的光譜概念,從完全離線的一次性批處理(基於既往生產痕跡學習)跨越到完全線上的即時學習(邊服務邊訓練)。

進一步深化這個思路,應用計算設計了一個 2×2 矩陣框架,其中追蹤類型(離線/線上)和提示來源(離線/線上)正交組合。第一象限代表離線追蹤結合離線提示,適合企業當天就想改進現有系統的需求;第四象限代表線上追蹤結合線上提示,實現持續改進的完整飛輪。應用計算特別關注這兩個象限,因為它們涵蓋了大多數企業的實際需求。

在第一象限案例中,團隊使用 Qwen 3.5 Instruct 在 SWE-bench 進行實驗。原模型通常需 80 次迭代才能完成任務提交,目標改為 40 迭代前完成。透過注入離線提示——包含「你已接近 40 次轉彎極限,只剩約三圈」這類指引——該團隊將工具完成呼叫率從 22% 提升至 60%,同時測試通過率保持穩定甚至略有上升。這證明了即使不改動工具定義,也能透過提示引導模型改變行為。

第四象限展示了更強大的適應能力。一個真實案例涉及教導編碼代理使用特定的超連結格式。傳統的獎勵或 SFT 微調都導致模型整體效能下降,但透過線上提示——根據部署時模型的實際表現動態生成「記住上次部署你這樣格式化超連結,下次改為這樣」的指引——超連結格式正確率從 15% 躍升至 80%。相比之下,靜態離線提示的效果遠遠不足。團隊還分享了兩項實踐技巧:步驟級提示注入(用判斷器決定在部署流程的哪個階段注入),以及相關性遮罩自蒸餾(用 LLM 評判器篩選教師模型中的無關詞元),並發現近距蒸餾的效果最佳,因為 KL 學習訊號會隨距離衰減。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。