KeyFrame內部研究專用

How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

AI Engineer英文
觀看原始影片

三句話摘要

Revolut 如何透過自主託管開源大型語言模型 GLM,在降低成本至十分之一的同時大幅提升工程效率。 自主託管開源模型的真正價值在於,透過消除上下文切換成本而達成超越雲端方案的工程效率,前提是願意投入工程精力進行系統優化,這樣可以同時實現成本十分之一的經濟效益。 成本與效能的反向關係被打破 — 雲端 AI(Gemini、Claude Code)的高費用(月費達千元以上)限制了工程師的使用,導致需要節省 token。自主託管 GLM 反而提供更高效能(70% lead time 提升)且成本十分之一,這源自無限 token 預算下工程師能處理更多非編碼任務。

重點整理

  1. 成本與效能的反向關係被打破 — 雲端 AI(Gemini、Claude Code)的高費用(月費達千元以上)限制了工程師的使用,導致需要節省 token。自主託管 GLM 反而提供更高效能(70% lead time 提升)且成本十分之一,這源自無限 token 預算下工程師能處理更多非編碼任務。

  2. 工程時間真正消耗在上下文切換,而非編碼本身 — lead time 改進(70%)明顯大於 coding time(60%),反映出工程師大量時間被信箱、Jira、Confluence 佔用;當 AI 可無限使用時,這些隱性成本才會被優化掉。

  3. 性能優化需要系統化的參數調教而非資源堆砌 — 初期部署達不到可用標準(TTFT 超過 10 秒),但在維持 GPU 數量不變的前提下,透過量化(FP4 vs FP8)、張量平行化(TP8)、KV 快取優化(>90% 命中率)等手段,在 4 個月內實現 88% 性能改進。

實用技巧與重點

  • 公司規模:8000 萬客戶,45 個市場,2,000 名工程師
  • AI 導入時間軸:2025 年 1 月(Gemini)→ 2 月(Cloud Code)→ 2026 年 1 月(大規模推出)→ 4 月(開源模型自主託管)
  • 效率數據:Gemini 後 lead time +10%、coding time +20%;GLM 後 lead time +70%、coding time +60%
  • 硬體配置:56 個 NVIDIA B200 GPU 用於 GLM-5B(800 億參數)推理
  • 性能目標:時間到首個 token(TTFT)< 3 秒;吞吐量 200 token/秒;離峰期可達 800 token/秒
  • 成本指標:自主託管每百萬 token 30 美分;為 Anthropic + OpenAI 成本的 1/10;帳單固定,無月末驚人費用
  • 優化成果(4 月~8 月):要求量 3→7+ req/s(+76%),TTFT 10+秒→1.6 秒(88% 改進),GPU 數不變
  • 量化策略:FP4 量化相比 FP8 節省 40% GPU 記憶體且無精度損失;長上下文(256k)非必要;KV 快取命中率需 >90%
  • 張量平行化:即使 GLM 可用 TP4,實際部署需 TP8 以獲得足夠 KV 快取空間
  • 模型與路由:GLM 作主要編碼模型(文本),影像任務路由至 Gemini 或其他視覺模型;所有端點均 OpenAI API 相容
  • 合規性:所有推理在 EU/US 伺服器,無數據流向中國;所有任務保持人類在迴路;使用沙箱限制 AI 操作類型(如允許 Git 但禁止 Gradle);KV 快取命中率、speculative decoding、sequential pre-fill、PGD zag 等優化技術

結論

自主託管開源模型的真正價值在於,透過消除上下文切換成本而達成超越雲端方案的工程效率,前提是願意投入工程精力進行系統優化,這樣可以同時實現成本十分之一的經濟效益。

完整解析

Revolut 面臨的根本問題在於 AI 成本控制與工程效率的平衡。這家擁有 2,000 名工程師的歐洲數位銀行從 2025 年 1 月開始引入 Gemini,隨後在 2 月試驗 Cloud Code。雖然這些雲端解決方案帶來了可見的進展——Gemini 實現 10% 的 lead time 改進和 20% 的 coding time 改進——但隨之而來的成本卻令人擔憂:工程師的月均 AI 支出高達千元至萬元,投資回報率嚴重不足。為了應對這一困境,公司從 4 月開始探索自主託管開源模型的可行性。

轉折點出現在採用開源模型 GLM 後。這個擁有 800 億參數的大型編碼模型在自主託管的架構下,不僅成本降至十分之一(每百萬 token 30 美分),性能改進更是驚人:lead time 達到 70% 的提升,coding time 達到 60% 的提升。這種反差激發了對工程時間真實消耗的重新思考。數據顯示,lead time 的改進幅度大於 coding time,這揭示了一個關鍵洞察:工程師真正的時間瓶頸並非編碼本身,而是信箱管理、Jira 流程、Confluence 文件檢索等上下文切換成本。當 AI 從有限 token 預算轉變為無限供應時,工程師可以自由地將 AI 用於這些隱性任務,從而實現遠超編碼效率的整體時間節省。

要支撐 2,000 名工程師的無限使用需求,Revolut 部署了 56 個 NVIDIA B200 GPU 來運行 GLM。然而,初期的結果遠未達到可用標準:時間到首個 token(TTFT)高達 10 秒以上,完全無法滿足日常開發工作的交互需求。David 強調,原始部署與優化部署之間的懸崖在於系統對工作負載特性的適應性。性能優化涵蓋多個層面:量化策略採用 FP4 而非 FP8,能在無精度損失的情況下節省 40% 的 GPU 記憶體;張量平行化根據工作負載調整(從理論上的 TP4 增加至實際需要的 TP8);以及至關重要的 KV 快取命中率優化,必須維持在 90% 以上。從 4 月到 8 月的四個月間,Revolut 在不增加 GPU 數量的約束下,實現了 88% 的性能改進(TTFT 從 10+ 秒降至 1.6 秒),同時應對了 76% 的需求增長。這一成就證明性能瓶頸並非硬體資源,而在於精細化的系統調優。

部署策略上,GLM 專責編碼任務並使用 OpenAI API 相容介面,使其無縫整合到包括 Claude Code 在內的開發工具鏈。當涉及影像識別需求時,系統透過路由機制將任務轉發至 Gemini 或其他專業視覺模型,如 Gemini Flash 5G(供 UI 設計師使用)。在合規性方面,身為 EU 監管銀行的 Revolut 採取了多層防護:所有推理在 EU 或 US 伺服器上進行,無任何數據流向中國;透過沙箱機制明確限制 AI 能執行的操作類型(例如允許 Git 但禁止 Gradle),以向監管機構證明這是帶有人類監督的輔助工具而非自主代理;強化開放遙測系統以捕捉所有事件日誌,確保任何事故都可以完整溯源。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。