When Running Your Own AI Models Beats Paying for APIs - Steven Latré, imec
三句話摘要
從雲端API轉向自建基礎設施:AI工作負載的成本與性能權衡分析 從雲端API遷移到自建AI基礎設施的決策遠非簡單的成本比較,而需同時考量模型、框架、硬體架構與並發能力的複雜相互作用。 AI採購策略分四階段演進:從盲目追求最新模型,進化到模型路由最佳匹配,再到自主託管開源模型,最終是購買自有硬體基礎設施。隨著令牌消耗量激增,企業必須從被動依賴外部API轉向主動掌控技術棧。
重點整理
AI採購策略分四階段演進:從盲目追求最新模型,進化到模型路由最佳匹配,再到自主託管開源模型,最終是購買自有硬體基礎設施。隨著令牌消耗量激增,企業必須從被動依賴外部API轉向主動掌控技術棧。
模型選擇的成本非線性且複雜。Qwen與DeepSeek的應用準確度相同卻相差四倍的硬體成本;而從GLM升級到Kimik 3雖然準確度提升20%,但GPU租賃成本僅增15%。這呈現階梯式而非線性的成本函數,須綜合評估。
並發用戶數是被忽視的經濟制約因素。KV快取隨用戶增加而遞增,大模型的並發能力嚴重受限;即使用最強的Kimik 3也僅能可靠支撐四個並發用戶,延遲更是API的三倍,這大幅削減自建的經濟優勢。
推理框架選擇帶來巨大成本差異。相同應用準確度下,Codex框架的令牌消耗僅為其他框架的50%,儘管準確度無差異,最終GPU帳單卻相差一倍,直接衝擊總體擁有成本。
實用技巧與重點
- 模型準確度(SWE-bench pro代碼協助任務):
- Quen、DeepSeek:32.5-40%解決率
- GLM:Opus級別性能
- Kimik 3:86%解決率
- 硬體配置的經濟臨界點:
- 小硬體系統需89% GPU利用率才划算轉向自建(實務上不可行)
- 8張B200配置只需15% GPU利用率即可回本
- 並發用戶能力:
- Kimik 3單機可靠承載:4個並發用戶
- 延遲為Cloud Code API基線的3倍
- 從API轉向自建節省幅度:
- 代碼協助應用:24-5%總擁有成本節省
- 推理框架對令牌消耗影響:
- Codex框架相比其他框架:50%令牌消耗差異
結論
從雲端API遷移到自建AI基礎設施的決策遠非簡單的成本比較,而需同時考量模型、框架、硬體架構與並發能力的複雜相互作用。
完整解析
IMEC是比利時歷史悠久的半導體研究機構,四十多年來在晶片工藝創新上處於世界領先地位。Steven所在的AI部門關注的是連接AI工作負載與基礎設施層面的問題,這源於IMEC過去幾年在部署生成式AI系統中的實際經驗。
企業對AI的採購策略近年經歷了四個明顯的階段。2024-2025年初,企業傾向於採購最新最強的邊界模型,認為規模越大越好。但隨著成本壓力增加,企業開始轉向模型路由策略,為不同任務選擇合適的模型。進一步地,隨著令牌消耗量的爆炸性增長,企業發現單純依賴外部API難以承受成本,開始考慮自主託管開源模型。最終階段是考慮購買自有基礎設施,通過長期持有來攤低單位成本。
為了量化這個策略轉變的實際影響,IMEC進行了大規模基準測試研究。他們選擇代碼協助任務(SWE-bench pro)作為研究場景,因為這類長期、複雜的任務最能展現自建基礎設施的優勢。研究涵蓋三種主流推理框架(Code2、Claude Code等)、多個參數規模的開源模型,並對應匹配最優的硬體架構配置,進行了超過一千次的運行測試。
測試結果揭示了多個反直覺的發現。首先,模型準確度與硬體成本完全不成線性關係。準確度相近的Qwen和DeepSeek硬體成本相差四倍;而準確度提升20%(從GLM到Kimik 3)只增加15%的GPU租賃成本。這種階梯式的成本函數意味著模型選擇必須綜合考量硬體配置需求。其次,並發用戶數往往比模型準確度更制約經濟性。受KV快取需求影響,大模型無法支撐大量並發用戶,甚至是性能最強的Kimik 3也只能在單機上可靠服務四個並發用戶,且延遲是API服務的三倍。第三,推理框架的選擇產生驚人的成本差異:相同應用準確度下,Codex框架的令牌消耗僅為其他框架的一半,最終導致GPU帳單相差一倍,直接影響總體擁有成本。
經濟轉折點分析進一步揭示,小硬體系統需達89% GPU利用率才能經濟上划算轉向自建,這在現實中幾乎不可能達成;但大系統(如8張B200)只需15% 利用率就已回本。以GLM級別模型為基準,從API遷移到自建基礎設施可實現24.5%的總擁有成本節省。


