KeyFrame內部研究專用

Serving 2 Million Models Without Melting: Scaling the Hugging Face Hub — Arek Borucki, Hugging Face

AI Engineer21 min英文
觀看原始影片

三句話摘要

Hugging Face 如何透過架構決策與基礎設施優化,應對從 20,000 個模型快速成長至 300 萬個模型的規模挑戰。 Hugging Face 透過元資料 / 二進制分離、全文搜尋引擎升級、讀寫工作負載隔離與多層自動擴縮,在保持用戶體驗簡潔的前提下,成功應對 300 倍的規模成長。 元資料與二進制分離架構:MongoDB 只儲存模型元資料(名稱、配置、權限、計費資訊),實際模型檔案與分詞器存放於 AWS S3,允許獨立擴展每層且針對不同工作負載單獨優化,降低單點瓶頸。

重點整理

  1. 元資料與二進制分離架構:MongoDB 只儲存模型元資料(名稱、配置、權限、計費資訊),實際模型檔案與分詞器存放於 AWS S3,允許獨立擴展每層且針對不同工作負載單獨優化,降低單點瓶頸。

  2. 搜尋優化的關鍵轉變:從查詢時的正規表達式改為插入時分詞化模型名稱,配合 MongoDB Atlas Search(Apache Lucene 引擎)與自動完成功能,搜尋延遲大幅改善且 P99 響應時間達要求。

  3. 讀寫工作負載隔離:7 節點副本集將寫入集中於主節點、讀取分散於從節點,額外隱藏節點專門處理複雜聚合與報告查詢,防止重操作阻塞生產流量並確保一致性。

  4. 多層自動擴縮策略:Pod 層用 HPA 基於 CPU / 內存自動調整,集群層用 Cast AI 或 KEDA 基於實際應用指標(請求隊列、事件迴圈利用率)動態增減節點,允許從 10 到 500 個 Pod 的彈性擴展。

實用技巧與重點

  • 規模指標:
  • 用戶數:1,400 萬
  • 公共模型:300 萬(兩年成長 150 倍,從 20,000 → 300 萬)
  • 資料集:100 萬(2022 年 10,000 → 2024 年 100 萬)
  • 組織數:5 萬
  • 財富 500 強企業採用比例:>30%
  • 技術棧:
  • 元資料存儲:MongoDB Atlas(7 節點副本集)
  • 二進制存儲:AWS S3
  • 全文搜尋引擎:Apache Lucene(MongoDB Atlas Search)
  • 容器編排:Kubernetes
  • 集群自動擴縮:Cast AI、KEDA(規劃中)
  • 搜尋實作細節:
  • 分詞時機:插入時而非查詢時
  • 索引名稱:「model_search_autocomplete_v3」
  • 排序依據:趨勢分數(過去 7 天下載量 + 讚數)
  • 實例:meta-llama 模型熱度指數 33 和 14
  • Pod 擴縮範圍:
  • 規模區間:10 ~ 500 個 Pod
  • HPA 遷移方案:
  • 現況:基於 CPU / 內存指標
  • 目標:KEDA 事件驅動自動擴縮,使用 RPS、事件迴圈利用率等應用層指標

結論

Hugging Face 透過元資料 / 二進制分離、全文搜尋引擎升級、讀寫工作負載隔離與多層自動擴縮,在保持用戶體驗簡潔的前提下,成功應對 300 倍的規模成長。

完整解析

Hugging Face 作為全球最快成長的開源 AI 社群平台,面臨指數級規模挑戰。短短兩年內模型數從 20,000 暴增至 300 萬、資料集從 10,000 躍升至 100 萬、用戶突破 1,400 萬大關,其中逾 30% 為財富 500 強企業。此爆發式成長直接衝擊基礎設施,尤其是搜尋功能。當模型數少於 20,000 時,即使無索引也能快速回應;但用戶規模達 1,400 萬時,同樣方案完全失效。1% 的慢搜尋用戶意味著 14 萬人的負面體驗,故優化 P99 響應時間成為重中之重。

針對搜尋瓶頸,團隊詳細介紹優化歷程。過去採用 MongoDB 的 find 方法搭配正規表達式,於查詢時進行文本匹配。隨著資料量爆炸,regex 效率問題浮現導致延遲。轉折點是導入 MongoDB Atlas Search,其底層集成 Apache Lucene 全文搜尋引擎。關鍵創新在改變分詞策略:不再於查詢時分析搜尋詞,而在模型插入時就對名稱進行分詞——例如「meta-llama/llama-3.1」被拆分成「meta」「llama」「3.1」等標籤存入陣列。查詢時直接利用 Lucene 的自動完成功能迅速定位,結合趨勢分數(過去七天下載量與讚數)排序。此優化使搜尋體驗從延遲問題徹底翻身。

平台架構另一核心決策是關注點分離。MongoDB 並不儲存實際模型檔案,只維護元資料(模型名稱、配置、權限、計費等),真實的模型工件、分詞器、配置檔案存放於 AWS S3。此分離讓 Hugging Face 獨立擴展各組件:元資料層優化查詢能力、二進制層優化存儲成本、計算層自由編排。MongoDB 副本集由 7 個節點組成,寫入操作集中於主節點(保證一致性),讀取分散於從節點(提升吞吐量),隱藏節點則隔離報告查詢、複雜聚合等重操作,防止搶佔生產流量。設計確保主節點專注高一致性操作,其他工作負載由專用機器承擔。

容器編排層,Hugging Face 採用 Kubernetes 與多層自動擴縮策略。第一層是水平 Pod 自動擴縮器(HPA),根據 CPU 與記憶體閾值自動增減 Pod 數量,使樞紐規模在 10 到 500 個 Pod 間靈活變動。第二層透過 Cast AI 進行集群自動擴縮,當 HPA 需要新 Pod 但無可用節點時,Cast AI 自動新增基礎設施節點。未來計畫遷移至 KEDA,改為基於實際應用指標(每秒請求數、事件迴圈利用率)而非單純資源使用率進行擴縮,更能對應業務波動。整體設計哲學是隱藏複雜性,讓使用者按下模型按鈕、執行搜尋或下載時一切無縫運作,背後基礎設施複雜度對終端使用者完全透明。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。