How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut
三句話摘要
Revolut 如何透過自主託管開源大型語言模型 GLM,在降低成本至十分之一的同時大幅提升工程效率。 自主託管開源模型的真正價值在於,透過消除上下文切換成本而達成超越雲端方案的工程效率,前提是願意投入工程精力進行系統優化,這樣可以同時實現成本十分之一的經濟效益。 成本與效能的反向關係被打破 — 雲端 AI(Gemini、Claude Code)的高費用(月費達千元以上)限制了工程師的使用,導致需要節省 token。自主託管 GLM 反而提供更高效能(70% lead time 提升)且成本十分之一,這源自無限 token 預算下工程師能處理更多非編碼任務。
重點整理
成本與效能的反向關係被打破 — 雲端 AI(Gemini、Claude Code)的高費用(月費達千元以上)限制了工程師的使用,導致需要節省 token。自主託管 GLM 反而提供更高效能(70% lead time 提升)且成本十分之一,這源自無限 token 預算下工程師能處理更多非編碼任務。
工程時間真正消耗在上下文切換,而非編碼本身 — lead time 改進(70%)明顯大於 coding time(60%),反映出工程師大量時間被信箱、Jira、Confluence 佔用;當 AI 可無限使用時,這些隱性成本才會被優化掉。
性能優化需要系統化的參數調教而非資源堆砌 — 初期部署達不到可用標準(TTFT 超過 10 秒),但在維持 GPU 數量不變的前提下,透過量化(FP4 vs FP8)、張量平行化(TP8)、KV 快取優化(>90% 命中率)等手段,在 4 個月內實現 88% 性能改進。
實用技巧與重點
- 公司規模:8000 萬客戶,45 個市場,2,000 名工程師
- AI 導入時間軸:2025 年 1 月(Gemini)→ 2 月(Cloud Code)→ 2026 年 1 月(大規模推出)→ 4 月(開源模型自主託管)
- 效率數據:Gemini 後 lead time +10%、coding time +20%;GLM 後 lead time +70%、coding time +60%
- 硬體配置:56 個 NVIDIA B200 GPU 用於 GLM-5B(800 億參數)推理
- 性能目標:時間到首個 token(TTFT)< 3 秒;吞吐量 200 token/秒;離峰期可達 800 token/秒
- 成本指標:自主託管每百萬 token 30 美分;為 Anthropic + OpenAI 成本的 1/10;帳單固定,無月末驚人費用
- 優化成果(4 月~8 月):要求量 3→7+ req/s(+76%),TTFT 10+秒→1.6 秒(88% 改進),GPU 數不變
- 量化策略:FP4 量化相比 FP8 節省 40% GPU 記憶體且無精度損失;長上下文(256k)非必要;KV 快取命中率需 >90%
- 張量平行化:即使 GLM 可用 TP4,實際部署需 TP8 以獲得足夠 KV 快取空間
- 模型與路由:GLM 作主要編碼模型(文本),影像任務路由至 Gemini 或其他視覺模型;所有端點均 OpenAI API 相容
- 合規性:所有推理在 EU/US 伺服器,無數據流向中國;所有任務保持人類在迴路;使用沙箱限制 AI 操作類型(如允許 Git 但禁止 Gradle);KV 快取命中率、speculative decoding、sequential pre-fill、PGD zag 等優化技術
結論
自主託管開源模型的真正價值在於,透過消除上下文切換成本而達成超越雲端方案的工程效率,前提是願意投入工程精力進行系統優化,這樣可以同時實現成本十分之一的經濟效益。
完整解析
Revolut 面臨的根本問題在於 AI 成本控制與工程效率的平衡。這家擁有 2,000 名工程師的歐洲數位銀行從 2025 年 1 月開始引入 Gemini,隨後在 2 月試驗 Cloud Code。雖然這些雲端解決方案帶來了可見的進展——Gemini 實現 10% 的 lead time 改進和 20% 的 coding time 改進——但隨之而來的成本卻令人擔憂:工程師的月均 AI 支出高達千元至萬元,投資回報率嚴重不足。為了應對這一困境,公司從 4 月開始探索自主託管開源模型的可行性。
轉折點出現在採用開源模型 GLM 後。這個擁有 800 億參數的大型編碼模型在自主託管的架構下,不僅成本降至十分之一(每百萬 token 30 美分),性能改進更是驚人:lead time 達到 70% 的提升,coding time 達到 60% 的提升。這種反差激發了對工程時間真實消耗的重新思考。數據顯示,lead time 的改進幅度大於 coding time,這揭示了一個關鍵洞察:工程師真正的時間瓶頸並非編碼本身,而是信箱管理、Jira 流程、Confluence 文件檢索等上下文切換成本。當 AI 從有限 token 預算轉變為無限供應時,工程師可以自由地將 AI 用於這些隱性任務,從而實現遠超編碼效率的整體時間節省。
要支撐 2,000 名工程師的無限使用需求,Revolut 部署了 56 個 NVIDIA B200 GPU 來運行 GLM。然而,初期的結果遠未達到可用標準:時間到首個 token(TTFT)高達 10 秒以上,完全無法滿足日常開發工作的交互需求。David 強調,原始部署與優化部署之間的懸崖在於系統對工作負載特性的適應性。性能優化涵蓋多個層面:量化策略採用 FP4 而非 FP8,能在無精度損失的情況下節省 40% 的 GPU 記憶體;張量平行化根據工作負載調整(從理論上的 TP4 增加至實際需要的 TP8);以及至關重要的 KV 快取命中率優化,必須維持在 90% 以上。從 4 月到 8 月的四個月間,Revolut 在不增加 GPU 數量的約束下,實現了 88% 的性能改進(TTFT 從 10+ 秒降至 1.6 秒),同時應對了 76% 的需求增長。這一成就證明性能瓶頸並非硬體資源,而在於精細化的系統調優。
部署策略上,GLM 專責編碼任務並使用 OpenAI API 相容介面,使其無縫整合到包括 Claude Code 在內的開發工具鏈。當涉及影像識別需求時,系統透過路由機制將任務轉發至 Gemini 或其他專業視覺模型,如 Gemini Flash 5G(供 UI 設計師使用)。在合規性方面,身為 EU 監管銀行的 Revolut 採取了多層防護:所有推理在 EU 或 US 伺服器上進行,無任何數據流向中國;透過沙箱機制明確限制 AI 能執行的操作類型(例如允許 Git 但禁止 Gradle),以向監管機構證明這是帶有人類監督的輔助工具而非自主代理;強化開放遙測系統以捕捉所有事件日誌,確保任何事故都可以完整溯源。


