KeyFrame內部研究專用

推测解码方案DSpark | DeepSeek | DeepSpec开源 | 自回归生成 | 草稿模型 | 半自回归生成 | 置信度调度验证 | 零开销调度 | CUDA图回放 | 大模型推理加速

Best Partners TV22 min中文
觀看原始影片

三句話摘要

DeepSeek V4 Pro 通過 DeepSpark 推測解碼技術實現推理加速,將 AI 模型服務的吞吐量和延遲矛盾解決。 推測解碼的下一步突破不再是單點算法創新,而是系統級的架構設計與硬體協同,DeepSpark 用半自回歸 + 動態調度示範了這條路。 推測解碼的工程化突破:傳統推理每生成一個 token 需要完整前向傳播,延遲與長度正相關。DeepSpark 用小模型快速生成多個候選 token,讓大模型一次批量驗證,把串行轉為批處理,根本上改善了延遲與吞吐的矛盾。

重點整理

  1. 推測解碼的工程化突破:傳統推理每生成一個 token 需要完整前向傳播,延遲與長度正相關。DeepSpark 用小模型快速生成多個候選 token,讓大模型一次批量驗證,把串行轉為批處理,根本上改善了延遲與吞吐的矛盾。

  2. 半自回歸架構的權衡設計:單純的並行模型速度快但後期 token 接受率快速衰減(浪費驗證算力),單純的自回歸模型準確但生成慢。DeepSpark 用並行骨幹負責速度,輕量級順序頭注入依賴關係修正衰減,兩層 DeepSpark 的效果已超過五層純並行模型。

  3. 質信度預測與動態調度:不是固定長度的驗證候選,而是對每個 token 預測存活概率,結合當前硬體吞吐能力動態決定驗證長度。系統邊運行邊校準預測值,高並發時自動收緊、閒時放開,真正實現自適應。

  4. 系統級工程優化的價值:從模型架構、訓練損失權重、GPU 內核優化、零開銷調度到溫度缩放校準,每個環節都做了細緻設計。這不是單點算法創新,而是算法、調度、硬體的三維協同,才能在生產環境真正跑通。

實用技巧與重點

  • 性能數據:
  • 對比 eGo3(自回歸草稿):平均接受長度提升 26.7%-30.9%
  • 對比 Deflash(純並行草稿):提升 16.3%-18.4%
  • 對比之前的 MTP1 方案:單用戶生成速度快 60%-85%(Flash 版本)、57%-78%(Pro 版本)
  • 中等交互速度要求下,總吞吐提升約 50%
  • 質信度校準誤差從 3%-8% 壓到約 1%
  • 技術組件:
  • 草稿塊長度從 4 擴到 16,額外延遲只增加 0.2%-1.3%
  • 默認 4B 配置存儲需求:38TB
  • 馬爾可夫頭(默認)vs RNN 頭(可選)
  • 顺序温度缩放用於概率校準
  • 開源工具鏈(DeepSeek 框架):
  • 包含數據準備、訓練、評估三個階段
  • 內置 DeepSpark、DeepFlash、eGo 三種草稿演算法
  • 支持 Qwen 和 Llama 系列目標模型

結論

推測解碼的下一步突破不再是單點算法創新,而是系統級的架構設計與硬體協同,DeepSpark 用半自回歸 + 動態調度示範了這條路。

完整解析

DeepSeek V4 Pro 的推理瓶頸在於自回歸生成的天然限制:每生成一個 token 都需要一次完整的 GPU 前向傳播,導致延遲與輸出長度成正比。雖然 GPU 可以同時處理 10 個 token 的成本只比 1 個 token 略高(顯存搬運成本是主要開銷,而非計算),但串行的 token 依賴關係無法直接並行。推測解碼通過引入草稿模型打破了這個瓶頸:先用小模型快速猜測候選序列,再讓大模型用拒絕採樣規則一次驗證完,理論上輸出分布完全一致。

之前的推測解碼方案陷入兩難:自回歸草稿模型(如 eGo3、MTP)準確但慢,無法生成足夠長的候選;並行草稿模型(Deflash)快但不準,後期 token 的接受率快速衰減。DeepSpark 的創新在於半自回歸設計,第一步用並行骨幹網路一次輸出所有候選位置的基礎 logits(保證速度),第二步用輕量級的馬爾可夫頭從前往後逐位置注入前序依賴修正(保證準確)。實測顯示,2 層 DeepSpark 已能超過 5 層純並行模型,參數效率大幅提升。

更關鍵的是質信度預測與硬體感知調度層。系統對每個 token 預測其通過驗證的條件概率,同時預測當前硬體在不同批次大小下的實際吞吐。調度器根據 Pareto 最優原理動態決定每個請求的驗證長度:不再是固定猜 N 個 token,而是邊加邊算,只要預期總吞吐還在上升就繼續加候選,一旦開始下降就停止。為了避免泄露未來信息破壞無損性,工程上採用了兩步預測決策法:用歷史質信度信息決定當前截斷長度,分離了調度決策與當前 token 生成。系統運行時還會自動校準質信度預測值,高並發時收緊預值確保吞吐穩定,閒時放開以最大化用戶速度。

整套方案的工程細節繁複但必要:訓練時平衡三個損失函數(交叉熵、分布匹配、質信度),位置權重設計使前序 token 優化力度更大;推理時優化 GPU 內核支持動態變長路由,實現零開銷調度且不中斷流水線;通訊時只傳遞隱藏狀態而非完整詞表 logits 以緩解頻寬。這些看似細微的決策,在高並發生產環境中決定了系統能否真正部署成功。DeepSeek 同時開源了完整的 DeepSeek 框架,內置三種草稿演算法和標準工具鏈,大幅降低了後來者的開發門檻。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。