DeepSeek让LLM推理吞吐提升51%以上！拆解DSpark投机解码技术

大模型推理性能的核心瓶頸一直是自回歸生成的串行特性。傳統方式下，系統一次只能生成一個詞，每生成一個詞都需要一次完整的前向傳播，導致 GPU 大部分時間在等待內存搬運數據而非執行計算。這個問題的根本原因是自回歸的順序依賴性——後一個詞的生成必須等待前一個詞確定後才能進行。

投機解碼技術試圖打破這一瓶頸，其核心思路是使用一個小型快速的「草稿模型」先大膽地預測多個詞，再由大型目標模型一次性驗證這些預測。這樣就把串行計算轉變為並行驗證。然而傳統投機解碼面臨一個兩難困境：自回歸小弟模型預測準確但生成速度慢（因為每個詞都需要獨立計算），而並行小弟（如 Deflash）雖然速度快得多但因為詞與詞間缺乏上下文聯繫導致預測準確度大幅下降。

DeepSpark 的創新在於引入「半字回歸生成」機制，巧妙地融合兩者優勢。系統採用一個並行主幹網路（基於 Deflash 架構）快速生成所有基礎 Logits，然後在其後接入一個輕量級的順序模組。這個順序模組的關鍵是一個低秩矩陣分解的轉移偏差——它基於前一個詞計算一個修正項，為當前詞的預測注入上下文依賴性。透過將 V×V 矩陣（V 為詞表大小，通常 10 萬維量級）分解為兩個小矩陣（R 維為 256 或 512），計算複雜度從 O(V²) 大幅降低到 O(R×V)。實驗結果顯示，在困 3 模型上，平均可接受詞數從 4.06 提升至 4.73，相比 Deflash 提升 16.3%，相比另一基準 Ego3 提升 30.9%。

然而即便草稿質量提升，系統仍需應對另一核心問題：在高並發場景下，驗證那些注定會被拒絕的低質預測會白白浪費計算資源。DeepSpark 的第二個創新是「質心度調度驗證」。系統透過一個輕量級的線性投影模組，基於並行主幹的隱藏狀態和前一詞的信息，預測當前詞被目標模型接受的概率。由於這些概率估計往往過於樂觀，系統引入順序溫度縮放技術，在生成序列的不同位置動態調整溫度參數，使預測概率與實際接受率相匹配。進一步地，硬件感知的調度器計算所有候選詞的「前坠生存概率」（前 K 個詞都被接受的累積概率），按概率從高到低逐詞加入驗證堆列。每次添加時系統會重新估計預期吞吐量（基於預先測量的容量曲線），當吞吐開始下降時停止，找到最優的驗證長度。這種動態調度在低並發時可分配 4-6 詞預算，並發增加時自動縮小，實現真正的負載自適應。

生產環境中的實現則面臨諸多工程挑戰。實際硬件容量曲線並非理論上的光滑曲線，而是因快取行為和記憶體訪問模式產生的離散「鋸齒狀」，充滿效能懸崖。DeepSpark 採用兩步延遲調度方案，用前兩步的質心度預測估計當前步容量，避免 GPU 管道停頓。變長驗證會導致 GPU 核心計算利用率下降，因此系統對所有 Token 進行展屏處理，透過標記張量傳遞序列依賴，只在 Index Attention 和 Compress Kernels 層級修改以支持變長路由。訓練效率方面，直接計算所有位置的目標模型分佈會產生巨大開銷，DeepSpark 改為傳輸低維隱藏狀態而非完整 Logits，並採用毛點接定的序列打包策略。

實測結果驚人：在 V4 Flash 上，中等交互性延遲約束下吞吐量提升 51%，嚴格高互動 SLA 下名義倍數達 661%（但主要反映交互邊界外推而非常規加速）。匹配系統容量下單用戶生成速度提升 60-85%。V4 Pro 結果類似，中等 SLA 下吞吐提升 52%，嚴格 SLA 下名義倍數 406%，單用戶速度提升 57-78%。