KeyFrame內部研究專用

Your Fine-Tuned Model Is Tech Debt: A 50x ROI House of Cards — Dan Bjornn, Lease End

AI Engineer16 min中文
觀看原始影片

三句話摘要

LLM 應用開發中微調 vs 提示工程的實戰對比:為什麼改用系統提示和技能架構效果更好。 在大多數商業場景中,投資優化系統提示、上下文設計和模型不可知架構,會比微調模型更高效、更經濟、更靈活。 RAG 方法的限制:早期使用工作流式 RAG 系統,雖然搜尋客戶訊息和相關職位,但無法有效處理複雜對話情境,經常出現邏輯錯誤(如誤觸發電話)。

重點整理

  1. RAG 方法的限制:早期使用工作流式 RAG 系統,雖然搜尋客戶訊息和相關職位,但無法有效處理複雜對話情境,經常出現邏輯錯誤(如誤觸發電話)。

  2. 微調的隱形成本:微調看似能解決問題,實則帶來「結晶化稅」—每修改一個問題就會引發其他連鎖問題,需要持續重新訓練,流程耗時一週且高度複雜。

  3. 技能與上下文才是關鍵:受 Claude Code 啟發,發現改用模型不可知的技能架構搭配系統提示,只需調整提示詞而非重新訓練,在保持靈活性的同時大幅提升準確度。

  4. 微調應該是最後手段:微調僅在三種特殊情況有效:需要離線運行、有嚴格隱私要求、或完全無法使用 API。其他情況都應先嘗試優化上下文和提示詞。

實用技巧與重點

  • 產品收入:12 億美元資金,50倍 ROI
  • 時間改進:問題修復週期從 7 天 → 1 小時以內
  • 方法轉變:RAG → workflow-based → skills/tools/resources 架構
  • 支援模型:OpenAI、Anthropic、其他任何模型(模型不可知設計)
  • 部署方式:調整系統提示後,驗證效能 → 迭代 → 上傳 MD 檔案到 S3 部署
  • 成本影響:每條訊息 API 成本上升,但總成本下降(因省去微調開銷)

結論

在大多數商業場景中,投資優化系統提示、上下文設計和模型不可知架構,會比微調模型更高效、更經濟、更靈活。

完整解析

這個案例源自一家用 LLM 協助客戶聯繫銷售團隊的公司。初期他們構建了工作流式系統,以向量資料庫儲存客戶訊息和相關職位,藉由檢索增強生成(RAG)提升回應精度。然而這個方法遭遇瓶頸:系統無法正確理解何時應該發起電話、何時應該延後、如何正確觸發提醒。典型的失敗例子是,LLM 在只應該發送「明天會聯絡」訊息時,卻自行決定立刻打電話給客戶。

面對這些問題,團隊最初的想法是使用微調來教會模型更精準的行為。微調確實改進了準確度並創造出實際業務價值(12 億美元資金)。但在運營過程中,他們發現微調帶來了難以管理的複雜性。每當他們修正一個問題,比如改正客戶訊息的發送邏輯,往往就會觸發其他領域的新問題。這種互相牽制的現象被稱為「結晶化稅」。這導致每週都得經歷完整的問題收集、數據準備、模型訓練、效能驗證的迴圈,耗時且成本高昂。

轉機出現在年中。講者注意到在使用 Claude Code 進行編碼任務時,改變 skills(技能)、resources(資源)和 context(上下文)往往比重新訓練模型更有效。受此啟發,團隊決定在自己的系統中套用類似理念。他們設計了一個模型不可知的代理框架,不再依賴模型微調,而是通過優化系統提示、構建專門的技能模組、並給予更精豐富的上下文來改進效能。具體做法是:發現問題 → 調整受影響技能的系統提示 → 在生產資料集上驗證效能 → 迭代幾次後,直接上傳 Markdown 檔案到 S3 完成部署。

這個重構帶來了三個量級的改善。首先,從發現問題到生產部署的時間從七天壓縮到不到一小時。其次,回應準確度大幅超越微調模型的表現。第三,他們終於獲得了模型選擇的自由—可以使用 OpenAI、Anthropic 或任何其他模型供應商,無需被鎖定在特定廠商的微調版本。唯一的權衡是每條訊息的 API 成本略高(因為使用了更強大的基礎模型),但因為省卻了微調基礎設施和持續維護的成本,總體運營成本反而下降。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。