Bringing Continual Learning into Enterprises — Samuel Denton, Applied Compute
三句話摘要
在企業應用中透過離線與線上蒸餾實現持續學習。 蒸餾不需完美答案，線上與離線結合才是在真實企業環境中實現可持續改進的關鍵。 蒸餾不需完美的黃金答案：傳統蒸餾假設存在可參考的標準答案，但應用計算展示即使在沒有完美標準的情況下，也能透過離線生產追蹤發現可改進的行為模式，從而指導學生模型學習特定的行為改變。
重點整理
重點- 1
蒸餾不需完美的黃金答案：傳統蒸餾假設存在可參考的標準答案，但應用計算展示即使在沒有完美標準的情況下，也能透過離線生產追蹤發現可改進的行為模式，從而指導學生模型學習特定的行為改變。
- 2
2×2 矩陣框架提供漸進式價值累積：第一象限（離線追蹤+離線提示）能免費改進現有系統，第四象限（線上追蹤+線上提示）則實現持續改進的飛輪，兩者結合涵蓋企業的全部需求。
- 3
線上動態提示優於靜態提示：透過在部署時根據模型實際行為動態生成提示，能實現更精準的行為改正，而靜態提示的效果遠不足以應對複雜的生產環境變化。
- 4
時序對齐與選擇性學習是實踐要點：提示應在距離需要改進的步驟較近時注入，並使用 LLM 評判器過濾無關詞元，避免教師模型的偏好造成學生模型的災難性退化。
實用技巧與重點
乾貨- 數據與案例：
- SWE-bench 任務：工具調用完成率從 22% 提升至 60%，測試通過率穩定甚至略升
- 超連結格式糾正：線上提示實現 15% 升至 80%；離線提示僅略微改進
- 原始模型需 80 次迭代完成任務，目標改為 40 次迭代前
- 蒸餾框架與方法：
- 光譜維度：單次離線批次 → 日批次 → 部分線上 → 完全線上統一引擎
- 2×2 矩陣四象限：
- 第一象限：離線追蹤+離線提示（已知評分標準或行為先驗）
- 第二象限：線上追蹤+離線提示（發現新行為後引入靜態提示）
- 第三象限：離線追蹤+線上提示（策略回滾步驟後生成線上提示）
- 第四象限：線上追蹤+線上提示（根據部署動態生成提示的完整飛輪）
- 離線提示內容示例：「你已接近 40 次轉彎極限，只剩約三圈。請盡快完成並驗證修復方案，呼叫此工具。」
- 線上提示內容示例：「在上次部署中，你這樣格式化超連結。下次，務必改為這樣格式化。」
- 核心技巧：
- 步驟級提示注入：判斷器決定在部署哪個階段注入提示
- 相關性遮罩自蒸餾（Relevance Mask Self-Distillation）：LLM 評判器過濾教師模型的無關詞元
- 近距蒸餾：僅在提示後數步進行蒸餾，避免 KL 學習訊號衰減
結論
結論“蒸餾不需完美答案，線上與離線結合才是在真實企業環境中實現可持續改進的關鍵。”
完整解析
詳細應用計算公司的平台研究團隊針對企業持續學習提出了一套系統性的蒸餾框架，核心洞察是傳統蒸餾方法過度依賴完美的黃金標準答案。在真實企業環境中，這樣的答案往往不存在，但從生產追蹤數據中仍能提取有價值的改進信號。講者首先引入蒸餾的光譜概念，從完全離線的一次性批處理（基於既往生產痕跡學習）跨越到完全線上的即時學習（邊服務邊訓練）。
進一步深化這個思路，應用計算設計了一個 2×2 矩陣框架，其中追蹤類型（離線/線上）和提示來源（離線/線上）正交組合。第一象限代表離線追蹤結合離線提示，適合企業當天就想改進現有系統的需求；第四象限代表線上追蹤結合線上提示，實現持續改進的完整飛輪。應用計算特別關注這兩個象限，因為它們涵蓋了大多數企業的實際需求。
在第一象限案例中，團隊使用 Qwen 3.5 Instruct 在 SWE-bench 進行實驗。原模型通常需 80 次迭代才能完成任務提交，目標改為 40 迭代前完成。透過注入離線提示——包含「你已接近 40 次轉彎極限，只剩約三圈」這類指引——該團隊將工具完成呼叫率從 22% 提升至 60%，同時測試通過率保持穩定甚至略有上升。這證明了即使不改動工具定義，也能透過提示引導模型改變行為。
第四象限展示了更強大的適應能力。一個真實案例涉及教導編碼代理使用特定的超連結格式。傳統的獎勵或 SFT 微調都導致模型整體效能下降，但透過線上提示——根據部署時模型的實際表現動態生成「記住上次部署你這樣格式化超連結，下次改為這樣」的指引——超連結格式正確率從 15% 躍升至 80%。相比之下，靜態離線提示的效果遠遠不足。團隊還分享了兩項實踐技巧：步驟級提示注入（用判斷器決定在部署流程的哪個階段注入），以及相關性遮罩自蒸餾（用 LLM 評判器篩選教師模型中的無關詞元），並發現近距蒸餾的效果最佳，因為 KL 學習訊號會隨距離衰減。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
