DeepSeek 开源推理引擎DeepInfer | 推理框架开源 | 推理引擎 | V4.1 Flash |KV缓存 | 集群调度 | 3FS | PD分离 | 投机解码
三句話摘要
DeepSeek於10月20日開源推理框架DeepInfer與格式適配層deepseek-recipe,透過拆解模型推理的完整引擎架構,展示其在預填充與解碼分離、KV快取管理、投機解碼等方面的優化策略。 DeepSeek開源推理引擎的真正意圖不在於無私奉獻配方,而在於通過掌控搜索入口(Search/Fetch)、統一API格式(recipe)和公開系統架構(DeepInfer),建立比模型權重本身更堅固的商業護城河。 預填充與解碼分離架構解決根本問題。預填充需要處理數萬Token考驗算力,解碼逐個生成考驗內存帶寬,兩個階段資源需求完全不同,DeepSeek將它們拆到不同機器(8卡vs 64-128卡),使得團隊能針對各自瓶頸獨立優化首字延遲和Token間延遲。
重點整理
預填充與解碼分離架構解決根本問題。預填充需要處理數萬Token考驗算力,解碼逐個生成考驗內存帶寬,兩個階段資源需求完全不同,DeepSeek將它們拆到不同機器(8卡vs 64-128卡),使得團隊能針對各自瓶頸獨立優化首字延遲和Token間延遲。
KV快取是系統最經濟的優化維度。在Agent場景每次都需重傳完整歷史,DeepSeek把已計算的快取存入獨立的3FS分散系統(100PB),Agent保留3天、聊天保留7天,快取命中吞吐比未命中高25倍,對應成本降至五十分之一,變成最高效的成本控制手段。
V4.1透過SWA Bounded Replay優化滑動窗口快取。V4把完整窗口寫入硬盤反而浪費,V4.1只重算最後128個Token且注意力也限在這128個內,成本從線性變常數,預填充計算量減少近一半,展現出模型結構決定運行時結構的設計哲學。
系統開源的真實目的不在配方本身,而在掌控入口(Search/Fetch搜索數據)、統一格式(recipe統一API),建立比模型權重更深層的護城河。類似可口可樂配方泄露卻無損,真正護城河是分銷網絡與成本紀律,而非糖漿配方本身。
實用技巧與重點
- 硬體支持與部署規模
- 支持晶片:英偉達SM100、華為昇騰950
- 預填充配置:8卡服務器
- 解碼配置:64-128卡超節點
- 官方推薦起步規模:64卡預填充 + 64卡解碼
- 環境要求:Linux + Python 3.12、GCC 13;CUDA 13(英偉達)或CANN 9.2(昇騰)
- 當前模型與權重
- 支持模型:DeepSeek-V4.1-Flash
- 預設權重代號:DeepSeek-V4.1-Flash-1017
- Search/Fetch API定價
- 費率:每1000次成功請求5元
- 調用平台:DeepSeek Harness、Claude Code、Codex
- 免費期:北京時間2026年11月1日零點前
- 獨立性:不需綁定DeepSeek模型,可調用其他廠商模型
- 線上性能指標
- 平均請求輸入長度:77K Token
- 首字延遲均值:400毫秒,P99:1000毫秒
- 預設輸出上限(非思考模式):8192 Token
- 思考模式:65536 Token
- 最大推理力度:131072 Token
- 單卡預填充吞吐量(無快取命中):6萬Token/秒
- 單卡預填充吞吐量(命中快取):150萬Token/秒
- 快取效果倍數:25倍性能差異
- 快取管理規則
- 基本單位:128 Token一個快取塊
- 滑動窗口快取:前20層各128 Token窗口 + 6個投機回退槽位
- SWA快取保留期:機器本地3分鐘,命中率98%以上
- 分散存儲快取:Agent流量3天、聊天流量7天
- 傳輸優化:GDR + RDMA讓網卡跑滿PCIe帶寬
- 存儲容量:約100 PB全固態硬盤
- MoE專家配置(V4.1)
- 路由專家總數:384個
- 每Token使用數:6個 + 1個共享專家
- 解碼階段專家並行規模:EP64-EP128
- 單卡承載專家:6個 + 1個熱門副本
- 負載更新頻率:每1000步統計、每10000步重新分配
- 最忙卡負載不均:僅比平均水平高9%
- 協議與格式
- DeepInfer授權:Apache 2.0
- 統一支持API:OpenAI Chat Completions、OpenAI Responses、Anthropic Messages
- Recipe核心實現:Rust寫核心 + Python綁定
- UTF-8字符處理:維護跨數據塊解析狀態機避免分割
- 線上經濟數據
- 平均單卡時薪收入:38美元
- 推算月收入:約2.7萬美元/卡(38×24×30)
- 官方說法:API定價為合理利潤,約10個月回本設備成本
- DSpark投機解碼收益
- 預期驗證減少:約30%檢查數量
- 平均吞吐提升:6%(整體負載)
- 序列數擴展效果:從16到96時從負1.5%提升至11%
- 未開源部分(官方確認)
- 生產環境KV快取系統
- 視覺編碼器、預填充、解碼間的解耦設施
- 數據並行副本負載均衡
- 原因:與內部基礎設施耦合過深
- 跨機房限制
- 技術可行性:是,但犧牲可靠性
- 帶寬需求:每8卡約400Gbps互聯
- 實際部署策略:同城相鄰機房(避免光纖單點故障)
- 昇騰平台進展
- 開源時間:9月底
- 內容:編程工具、計算庫、通信庫
- 華為參與:確認華為團隊參與研發
- 計劃規模:內蒙古新數據中心預計16萬張昇騰950DT(彭博社報道,計劃非已投用)
- 性能驗證:目前測試數據只在SM100上完成,性能同等性未確認
結論
DeepSeek開源推理引擎的真正意圖不在於無私奉獻配方,而在於通過掌控搜索入口(Search/Fetch)、統一API格式(recipe)和公開系統架構(DeepInfer),建立比模型權重本身更堅固的商業護城河。
完整解析
理解DeepInfer的價值,首先得搞清楚推理框架在大模型應用中扮演的角色。模型本質上是一堆數字,真正能把它轉化為可用服務的,是背後的完整工程系統。宝玉曾用菜譜和後廚作比喻——同一份菜譜交給不同的後廚,一小時能接多少單、客人要等多久,差別可能非常大。推理框架就像是模型的後廚。過去DeepSeek因內部版本做了大量定制且維護成本高,一直未曾開源推理引擎。但到2026年10月,他們改變了策略,一口氣釋出了DeepInfer、deepseek-recipe以及配套的Search與Fetch服務。表面上看是無私奉獻,實質上是一盤更深層的商業棋——通過把引擎、格式和入口都做成公共品,建立比模型權重本身更堅固的護城河。
DeepInfer的核心架構圍繞一個簡單但威力強大的觀察展開:預填充(Prefill)和解碼(Decode)是兩個截然不同的計算模式,需要的資源和優化方向完全對立。預填充階段,模型一口氣讀完系統提示、歷史對話、文件和使用者提問,需要處理幾萬個Token,這是在考驗計算吞吐量。解碼階段,模型逐個Token生成答案,大部分時間花在從顯存讀取參數和快取,考驗的是內存帶寬。DeepSeek的方案是把它們徹底拆到不同的機器——預填充用8卡普通伺服器,解碼用64到128卡的超級節點。這種根本上的分離讓團隊能針對各自的瓶頸獨立優化,首字延遲和Token間延遲的目標可以分頭推進,而不是為了追求某個平衡點而互相制約。
KV快取管理是整個系統中最經濟、最值得看的優化所在。在Agent場景中,每次調用工具,客戶端都必須把完整歷史重新發一遍——系統提示、工具說明、前面每一輪的回複和工具結果,一個都不能少。但這些內容的絕大多數在上一輪已經被模型算過了,完全是重複計算。DeepSeek的策略很直接:把已經算過的KV快取存下來,下一輪只算新增的部分。聽起來簡單,實現起來要綜合考慮分散存儲、快取命中、數據傳輸等多個維度。快取被存在一個獨立的3FS分散文件系統裡,總容量約100PB,全是固態硬盤。快取以128個Token為單位分塊寫入,Agent流量保留3天,聊天流量保留7天——聊天流量保留更久的邏輯在於它有明顯的長尾特徵,少量快取會被反復讀很多次,丟掉對整體命中率的衝擊更大。
快取命中的效果有多驚人?同一張卡跑預填充,不計快取命中能每秒處理6萬Token,計入命中變成150萬Token,差了整整25倍。線上平均每個請求的輸入長度是77K Token,命中快取的成本只有未命中的五十分之一。快取存在獨立系統還帶來兩個附加好處:任何預填充機器都能讀到任意一段快取,使用者不用再綁死在上次的機器上;計算機器的故障率比存儲高幾個數量級,即使機器壞了快取還安全地留在存儲系統裡。但讀快取也不能拖慢首字延遲,這又成了新的優化課題。DeepSeek把快取訪問分成三段傳輸——先在入口用哈希查元數據,再通過獨立進程異步把快取搬進共享內存,最後引擎線程搬到顯存,各環節與前向計算重疊,互不阻塞。讀寫採用GDR讓RDMA網卡跑滿PCIe帶寬,底層存儲針對大約112KB塊的隨機讀寫做過優化,聚合讀取峰值能達到每秒10TB,這種指標對於支撑這麼多並發請求的系統來說至關重要。
V4.1相比V4進行了一項特別巧妙的優化,名叫SWA Bounded Replay(有界重放)。這涉及到滑動窗口注意力機制——前20層每層只看最近的128個Token。在V4時代,DeepSeek把這部分快取也寫進了硬盤,結果吃掉了硬盤快取容量的接近一半,但問題是這些快取只在對話進行中的幾分鐘內有用,用珍貴的硬盤容量來裝短命的快取,性價比極低。V4.1徹底改了思路:與其試圖存下完整的窗口快取,不如只重新計算最後128個Token,而且計算注意力時也只在這128個Token之內進行,從而得到一份近似的窗口快取。這樣重算成本變成常數,跟上下文有多長、模型有多少層都沒什麼關係了。同樣的辦法也被應用在解碼的20層,原本要處理最後2560個Token來恢復窗口狀態,現在只處理128個,預填充的總計算量因此減少了接近一半。這個優化深刻反映了一個設計哲學——模型結構正在決定運行時結構,MLA、稀疏索引、滑動窗口、MoE等架構特性不是通用引擎能自動推斷的參數,會直接改變快取的排布、調度器的狀態機、計算圖的形狀,所以DeepSeek得自己寫一套引擎,而不是在通用框架上打補丁。
另一項關鍵優化是DSpark投機解碼。普通自回歸解碼每一步只能生成一個Token,吞吐受限。投機解碼的思路是先讓輕量級的草稿模組連續猜5個Token,再交給大模型一次性驗證,猜對的部分直接採用,在第一個猜錯的位置由大模型給出正確答案,這樣一步計算能取得多個Token。但驗證本身也要消耗算力,如果把5個候選全部驗證,很多算力就浪費在被拒絕的猜測上。DeepSeek自研的DSpark先估計每個猜測被接受的概率,把驗證預算往更有希望的地方傾斜。相比每步固定要驗證5個,動態核對讓每步檢查的數量減少了大約30%,被接受的平均長度基本保持不變。落到吞吐上,線上實測提升了6%;當序列數從16增加到96時,收益從負1.5%一路漲到11%,這說明收益不是普遍的,跟具體的負載結構有很大關係。
系統還有一項重要的調度創新叫零開銷批調度。普通流程中,GPU算完當前步驟要停下來等CPU更新上一輪的執行狀態,然後安排下一步,這種等待對於要連續生成幾千個Token的請求會反復發生。DeepInfer的做法是把CPU的工作藏進GPU計算的時間裡——GPU在處理第N步的前向和採樣時,CPU已經在準備第N+1步的批次,同時處理更早一輪的採樣結果,部分工作可以提前提交到GPU的執行隊列,依賴關係由CUDA Stream和Event維護。但提前排程也帶來新的複雜性:CPU安排下一輪時,上一輪的結果可能還不確定;開啟投機解碼後,一條請求可能會連續接受多個候選,假設它已經快取了1000個Token,當前輪可能接受3個,CPU還不知道最後能過幾個,這樣查詢長度、鍵長度、旋轉位置編碼的位置就全歪了。DeepInfer維護了一個計數表示已下發但結果未提交的Token,分配資源時把在途計算也算進去,提前預留快取空間。請求在相鄰批次裡的位置也會改變,需要一層映射把當前輪的請求對應到上一輪的執行狀態,由設備側的內核來修正長度。
多卡之間的協調是另一個重要課題。V4.1的部署規模是預填充用EP2到EP8,解碼用EP64到EP128,寬度跨度非常大。同一通信域的卡必須步調一致,否則一部分卡在跑預填充,另一部分已經進入解碼,集合通信就會對不上。DeepInfer在調度器裡加了組內投票機制,有兩種模式——一種要求所有卡都滿足條件才能切換,另一種允許部分卡觸發以避免小請求久等。投票之後還有第二輪確認,因為隊列裡有請求不代表這一輪真的能排得出來,實際運行中會遇到某張卡的快取容量或序列槽位不足的情況。確認完如果只有部分卡被排出任務,其餘卡就執行一個空的預填充步驟。專家負載均衡是另一個容易拖慢整輪計算的因素。V4.1是典型MoE模型,路由專家一共384個,每個Token只用到其中6個加1個共享專家。解碼開到EP64,這些專家就被攤到64張卡上,每張卡上放6個加1個熱門副本的緩存。每張卡上的專家越少,每一步讀的參數越少,同樣卡數就能接住更多的請求。熱門專家的副本不是固定的,要每1000步統計一次負載、每10000步重新分配。線上實測的結果是最忙的那張卡只比平均水平高9%,雖然殘余的不均衡還存在,但已經壓得相當低了。
請求本身也需要均勻分配。預填充按輸入長度分成四檔——16K以下、16K到64K、64K到256K、256K以上,每一檔分配多少台機器根據上一輪的實際需求動態調整。解碼同時看每卡的請求數和快取總長度,短請求分給請求少但快取長的卡,長請求分給快取短的卡。這套調度下來,系統能跑到離線測試中完全均衡狀態的約80%。系統還有自動擴縮容機制,預填充看未命中快取的Token數,解碼看正在計算的請求數,都設了上下界和變化速率限制。在大規模專家並行部署下,最怕的是長尾請求被浪費。所以解碼實例收到下線通知後,不會馬上退出,而是先給1分鐘的寬限期,期限過了還沒完成的,會連請求帶KV快取一次性轉給別的實例繼續計算。此外DeepSeek還常備一批已準備好但未分配的機器作為突發庫存,配額占用率超過0.8時禁止縮容。故障處理方面,DeepSeek沒有追求極短的重啟時間(實際還是分鐘級),而是靠冗余配額和請求級重新路由來兜住故障。由於一個實例的所有GPU都在同一通信域,壞掉一張卡整個實例就無法工作,所以重啟時可以重新統計健康的卡,按實際可用數量重新確定專家並行的規模。
談到跨機房部署,官方表示技術上可行,V4.1大幅壓縮了KV快取,每8張卡大約需要400Gbps的互聯帶寬,但會犧牲可靠性——跨機房的光纖容易被挖斷。所以DeepSeek的推理節點實際都放在不同但相鄰的機房裡。關於成本,DeepSeek罕見地公開了單位經濟學:擁有日均155萬億Token吞吐的集群,按波谷電價折算,平均每卡每小時能創造38美元的收入,推算下來月收約2.7萬美元。官方說API定價設定為合理利潤水平,大約10個月能回本一批設備的投資。當然,38美元是收入而非利潤,也不是DeepInfer這一個項目單獨創造的收益。社群有人算過更樂觀的賬目——按GB200 NVL72的極限壓榨能力,1GW算力一年能跑出1000億到1490億美元的Token收入,比機構之前的預測高出接近十倍;按B300每小時7美元租金並假設充分利用,毛利率達82%;按3到6美元租金測算,租金只占收入的6%到12%。但這些都建立在樂觀假設之上,沒有計入存儲、網絡、運維和研發的成本,高度依賴快取命中率和具體的流量結構,所以不能把它們當成DeepSeek真實的利潤率或回本週期。
最後來看開源的本質。DeepInfer雖然開源了推理引擎,但開源的並不是完整的底盤。生產環境中的KV快取系統、視覺編碼器與預填充解碼之間的解耦設施、數據並行副本之間的負載均衡等關鍵部分還沒有完整開源,官方坦承這是因為與內部基礎設施耦合太深,暫時無法獨立提取。外部團隊拿到代碼後能夠看到請求是怎麼穿過調度器、快取、通信和採樣各個環節的,也有能力拆出某一項優化搬回自己的系統使用,但如果想要複刻一套同樣快速又經濟的線上推理服務,仍然得自己對接存儲、網絡、服務管理和故障切換等基礎設施。硬件門檻也是實實在在的——當前支持清單中只有英偉達SM100和華為昇騰950,H100、H800、A100以及主流消費級顯卡都不在其中。官方推薦的起步規模是64卡預填充加64卡解碼,這是跑出實際效率的最小起點,不是能勉強跑起來的下限,對絕大多數團隊來說暫時還不是下載就能開張的工具。昇騰方面,9月底DeepSeek已經公開了面向昇騰平台的編程工具、計算庫和通信庫,華為團隊參與了研發支持。彭博社曾報道DeepSeek計劃在內蒙古的新數據中心部署至少16萬張昇騰950DT芯片,但這是計劃而非已投入使用的規模。目前的性能測試只在英偉達SM100上完成,兩種芯片同時進入支持清單不等於已經跑出了相同的性能和成本收益。


