KeyFrame內部研究專用

When Running Your Own AI Models Beats Paying for APIs - Steven Latré, imec

AI Engineer英文
觀看原始影片

三句話摘要

從雲端API轉向自建基礎設施:AI工作負載的成本與性能權衡分析 從雲端API遷移到自建AI基礎設施的決策遠非簡單的成本比較,而需同時考量模型、框架、硬體架構與並發能力的複雜相互作用。 AI採購策略分四階段演進:從盲目追求最新模型,進化到模型路由最佳匹配,再到自主託管開源模型,最終是購買自有硬體基礎設施。隨著令牌消耗量激增,企業必須從被動依賴外部API轉向主動掌控技術棧。

重點整理

  1. AI採購策略分四階段演進:從盲目追求最新模型,進化到模型路由最佳匹配,再到自主託管開源模型,最終是購買自有硬體基礎設施。隨著令牌消耗量激增,企業必須從被動依賴外部API轉向主動掌控技術棧。

  2. 模型選擇的成本非線性且複雜。Qwen與DeepSeek的應用準確度相同卻相差四倍的硬體成本;而從GLM升級到Kimik 3雖然準確度提升20%,但GPU租賃成本僅增15%。這呈現階梯式而非線性的成本函數,須綜合評估。

  3. 並發用戶數是被忽視的經濟制約因素。KV快取隨用戶增加而遞增,大模型的並發能力嚴重受限;即使用最強的Kimik 3也僅能可靠支撐四個並發用戶,延遲更是API的三倍,這大幅削減自建的經濟優勢。

  4. 推理框架選擇帶來巨大成本差異。相同應用準確度下,Codex框架的令牌消耗僅為其他框架的50%,儘管準確度無差異,最終GPU帳單卻相差一倍,直接衝擊總體擁有成本。

實用技巧與重點

  • 模型準確度(SWE-bench pro代碼協助任務):
  • Quen、DeepSeek:32.5-40%解決率
  • GLM:Opus級別性能
  • Kimik 3:86%解決率
  • 硬體配置的經濟臨界點:
  • 小硬體系統需89% GPU利用率才划算轉向自建(實務上不可行)
  • 8張B200配置只需15% GPU利用率即可回本
  • 並發用戶能力:
  • Kimik 3單機可靠承載:4個並發用戶
  • 延遲為Cloud Code API基線的3倍
  • 從API轉向自建節省幅度:
  • 代碼協助應用:24-5%總擁有成本節省
  • 推理框架對令牌消耗影響:
  • Codex框架相比其他框架:50%令牌消耗差異

結論

從雲端API遷移到自建AI基礎設施的決策遠非簡單的成本比較,而需同時考量模型、框架、硬體架構與並發能力的複雜相互作用。

完整解析

IMEC是比利時歷史悠久的半導體研究機構,四十多年來在晶片工藝創新上處於世界領先地位。Steven所在的AI部門關注的是連接AI工作負載與基礎設施層面的問題,這源於IMEC過去幾年在部署生成式AI系統中的實際經驗。

企業對AI的採購策略近年經歷了四個明顯的階段。2024-2025年初,企業傾向於採購最新最強的邊界模型,認為規模越大越好。但隨著成本壓力增加,企業開始轉向模型路由策略,為不同任務選擇合適的模型。進一步地,隨著令牌消耗量的爆炸性增長,企業發現單純依賴外部API難以承受成本,開始考慮自主託管開源模型。最終階段是考慮購買自有基礎設施,通過長期持有來攤低單位成本。

為了量化這個策略轉變的實際影響,IMEC進行了大規模基準測試研究。他們選擇代碼協助任務(SWE-bench pro)作為研究場景,因為這類長期、複雜的任務最能展現自建基礎設施的優勢。研究涵蓋三種主流推理框架(Code2、Claude Code等)、多個參數規模的開源模型,並對應匹配最優的硬體架構配置,進行了超過一千次的運行測試。

測試結果揭示了多個反直覺的發現。首先,模型準確度與硬體成本完全不成線性關係。準確度相近的Qwen和DeepSeek硬體成本相差四倍;而準確度提升20%(從GLM到Kimik 3)只增加15%的GPU租賃成本。這種階梯式的成本函數意味著模型選擇必須綜合考量硬體配置需求。其次,並發用戶數往往比模型準確度更制約經濟性。受KV快取需求影響,大模型無法支撐大量並發用戶,甚至是性能最強的Kimik 3也只能在單機上可靠服務四個並發用戶,且延遲是API服務的三倍。第三,推理框架的選擇產生驚人的成本差異:相同應用準確度下,Codex框架的令牌消耗僅為其他框架的一半,最終導致GPU帳單相差一倍,直接影響總體擁有成本。

經濟轉折點分析進一步揭示,小硬體系統需達89% GPU利用率才能經濟上划算轉向自建,這在現實中幾乎不可能達成;但大系統(如8張B200)只需15% 利用率就已回本。以GLM級別模型為基準,從API遷移到自建基礎設施可實現24.5%的總擁有成本節省。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。