KeyFrame內部研究專用

DeepSeek 又放大招!DeepInfer 重磅开源,一张显卡日入900美元,赚钱秘诀摊牌了!

AI学长小林6 min中文
觀看原始影片

三句話摘要

DeepSeek開源推理引擎DeepInfer,揭露API後端核心系統與商業營運數據。 DeepSeek開源推理引擎並摊開商業數據,既展現了技術領先實力,也是在硬件多元化中爭取生態話語權的戰略佈局。 DeepSeek推翻了去年的決定。2025年4月曾公開解釋不開源完整引擎的三大理由:代碼改動深度大、與集群管理工具耦合緊密、團隊規模有限。一年半後仍決定開源,進一步加速了國產開源模型生態建設,鞏固了自己在行業的領先地位。

重點整理

  1. DeepSeek推翻了去年的決定。2025年4月曾公開解釋不開源完整引擎的三大理由:代碼改動深度大、與集群管理工具耦合緊密、團隊規模有限。一年半後仍決定開源,進一步加速了國產開源模型生態建設,鞏固了自己在行業的領先地位。

  2. 公開了具體商業運營數據。38美元是單卡每小時收入,按空閒時段打五折的保守估算;快取命中情況下輸入僅需2分/百萬token、輸出4分/百萬token。這是營收而非利潤,實際成本和集群總數未公布,留下了商業機密空間。

  3. 硬件生態多元化策略。同時支持英伟达Blackwell和華為昇騰950,不支持曾經市場主流的H100/H800,避免完全被英伟达掌控,對國內芯片發展具有戰略意義。

  4. 開源有保留——快取系統、預填充/解碼分離部署層、負載均衡器等核心組件因內部耦合深未開源,部署門檻高(最小128張卡),主要面向云廠商和大型企業,個人開發者仍需靠vLLM或量化版本。

實用技巧與重點

  • 運營數據
  • 單個集群日均token數:155萬億
  • 每秒token數:約18億
  • 單卡每小時收入:38美元(空閒時段打五折價格)
  • 快取命中輸入價格:2分/百萬token(空閒時段)
  • 快取命中輸出價格:4分/百萬token(空閒時段)
  • 高峰時段:工作日上午9-12點、下午2-6點
  • 聊天類快取保留時長:7天
  • 快取總容量:超過100PB SSD(約11萬塊1TB硬盤)
  • 硬件與部署
  • 支持硬件:英伟达Blackwell(B200)、華為昇騰950
  • 不支持:H100、H800
  • 最小部署單位:64卡預填充 + 64卡解碼 = 128張Blackwell卡
  • 技術優化
  • 推測解碼:小模型猜5個token,大模型驗證,減少三成驗證量
  • 整體吞吐提升:4-7%
  • 準確率:幾乎不變
  • 架構組件
  • 已開源:DeepSeek Recipe層、視覺編碼、預填充、解碼引擎、負載均衡邏輯
  • 未開源:KV快取系統、預填充/解碼分離部署層、多副本負載均衡

結論

DeepSeek開源推理引擎並摊開商業數據,既展現了技術領先實力,也是在硬件多元化中爭取生態話語權的戰略佈局。

完整解析

DeepSeek昨天開源了其內部推理框架DeepInfer,這是官方API後端實際運行的核心系統。一個直觀的問題開場——一張顯卡一小時能為DeepSeek賺多少錢?官方給出了答案:38美元。這個數字源於DeepSeek公開的營運數據:單個集群每天服務155萬億個token,平均每秒18億個token,雖然這只是DeepSeek眾多集群中的一個。

要理解DeepInfer的重要性,須先明白模型和部署系統的區別。模型訓練完成後只是權重文件,要讓幾千萬人同時使用,中間必須有一套系統層來排隊請求、合併批次、分配到數百張卡計算、快取已讀內容、返回結果。這個看似幕後的中間層直接決定了每個token的成本——也正是官方所說「長期沒被公眾了解」的部分。架構包含DeepSeek Recipe層、視覺編碼、預填充與解碼三條並行路徑,每路配負載均衡器,底層是專門的快取存儲集群。

這次開源有三處値得關注。首先,DeepSeek推翻了自己。2025年4月曾詳細說明為何不開源完整引擎:代碼改動太深、與內部管理工具耦合緊密、團隊規模有限。但一年半後仍選擇開源,進一步加速了國產開源模型生態,鞏固了行業領先地位。其次,公開了商業賬本。38美元是按空閒時段五折價計算,其中快取命中輸入每百萬token僅需2分、輸出4分——這正是如此低價的秘密所在。但這是收入而非利潤,實際成本和集群數量未透露。最後,硬件生態多元化,同時支持英伟达Blackwell和華為昇騰950,反而不支持曾經主流的H100/H800,對避免被單一廠商掌控有重要戰略意義。

然而「全面開源」這個說法需要保留。KV快取系統(存儲已讀內容)、預填充與解碼的分離部署層、多副本負載均衡等核心組件因與內部基礎設施耦合過深而未開源。快取部分尤其關鍵——DeepSeek為它投入超100PB SSD存儲、聊天快取可保留7天,正是高度優化的快取系統才實現那兩分錢的超低價格。部署門檻相當高,最小可行單位就是128張Blackwell卡,對個人開發者基本無用。真正的受益者是云廠商和大型企業。過去他們用vLLM等通用框架部署DeepSeek,如今直接拿到官方引擎和deepseek-recipe,保證了接口行為一致,部署效率會大幅逼近官方水準,這意味著第三方API價格還有下降空間。此次開源最有價值的其實不是代碼,而是配套部署問答檔案——並行怎麼切割、專家均衡策略、快取保留政策、顯卡故障處理——這些曾是各家云廠商的壓箱底經驗。官方甚至披露了實測數字,比如推測解碼技術讓小模型先猜5個token、大模型驗證,結果每步減少三成驗證量而準確率幾乎不變,整體吞吐提升4-7%。在155萬億token的日規模上,這樣的優化帶來實打實的電費和硬件成本節省。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。