KeyFrame內部研究專用

DeepSeek's New AI Speed Hack Is Amazing

Two Minute Papers5 min英文
觀看原始影片

三句話摘要

DeepSeek 的 DeepSpark 技術如何透過推測解碼加速 AI 推理,實現 60-85% 的速度提升。 DeepSpark 用系統級的推測解碼替代逐詞推理,實現 60-85% 的速度提升,為手機等資源受限的設備上部署實用 AI 打開了新的可能。 解決逐詞推理瓶頸 — 傳統 AI 逐詞思考導致系統緩慢昂貴,用推測解碼讓小模型先快速生成多詞,大模型再驗證,若驗證失敗從該點丟棄,降低計算成本。

重點整理

  1. 解決逐詞推理瓶頸 — 傳統 AI 逐詞思考導致系統緩慢昂貴,用推測解碼讓小模型先快速生成多詞,大模型再驗證,若驗證失敗從該點丟棄,降低計算成本。

  2. 三層優化設計 — DeepSpark 為小模型添加有限記憶維持連貫性、預測容易被否決的詞汇自動跳過驗證、根據工作負載類型(代碼精準度高、創意寫作風險大)動態調整驗證頻率。

  3. 任務相關的效能差異 — 代碼生成和數學計算因下詞高度可預測而獲益最多,開放式創意寫作可能答案眾多、初級模型易出錯,收益有限。

  4. 系統級優化非模型升級 — 不改進 AI 能力本身,而是改進推理架構,需要特定的配置和內部 API 訪問,無法通過外部方式添加到閉源系統。

實用技巧與重點

  • 技術名稱:DeepSpark(DeepSeek 研發)
  • 前置技術:MTP1(舊多詞預測基準線)
  • 性能數據:60-85% 速度提升(標準情況)、661% 吞吐量提升(極端邊界情況)
  • 三個核心優化:
  • 初級模型加小規模記憶
  • 預測高風險詞汇自動過濾
  • 按任務類型動態調整驗證策略
  • 最佳應用場景:代碼生成、數學計算
  • 次優應用場景:開放式創意寫作
  • 實現要求:配套草稿模型、目標模型概率訪問、優化推理系統
  • 發佈方式:開放科學、免費提供

結論

DeepSpark 用系統級的推測解碼替代逐詞推理,實現 60-85% 的速度提升,為手機等資源受限的設備上部署實用 AI 打開了新的可能。

完整解析

傳統 AI 系統在生成文本時逐詞推理,這形成了嚴重的性能瓶頸。當使用者要求 AI 改寫郵件時,系統必須逐詞思考並計算,每一步都要調動完整的神經網絡進行推理。這使得 AI 的運行既緩慢又昂貴,尤其在需要實時反應的場景中成為巨大的障礙。

DeepSeek 團隊提出了一個簡潔而優雅的解決方案:不讓強大的大模型單獨處理所有工作,而是建立「初級編輯加高級編輯」的架構。初級編輯(小模型)負責快速生成接下來的多個詞彙,高級編輯(大模型)對其進行驗證。若高級編輯認可,這些詞汇就被接受;一旦發現不合邏輯之處(例如地球問題卻從「千層麵」開頭),則該點之後的所有詞彙全部舍棄。這套被稱為「推測解碼」的方法大幅降低了計算成本——若初級編輯預測得當,便以廉價快速的方式獲得多詞輸出,而驗證只需大模型檢查一遍。

然而初級編輯容易出錯:它可能忽略上文、開始一個句子卻用另一個結尾。DeepSpark 針對此問題引入了三項創新。首先,為小模型添加有限的記憶機制,讓生成的詞彙能彼此影響,從而保持語義連貫而無需龐大的計算能力。其次,系統會提前預測哪些詞彙生成後很可能被大模型駁回(如代數題卻輸出無關內容),對這些詞彙跳過驗證以節省 GPU 時間。第三,系統根據任務類型動態調整——代碼和數學任務中下一詞往往高度可預測,初級模型表現優異、驗證開銷少;而開放式創意寫作中可能答案眾多、風險遠高,需要更頻繁的驗證。

實測結果顯示 DeepSpark 在 DeepSeek 的 Flash 和 Pro 模型上實現了 60-85% 的速度提升,相比舊的 MTP1 基準線。雖然在特殊邊界情況下可達 661% 的吞吐量提升,但那僅限於老系統資源耗盡的極端場景。最令人欣慰的是,DeepSeek 以開放科學的方式免費提供了這項成果。然而實現它並非簡單的軟體升級,需要配套的草稿模型、對目標模型內部概率的訪問權限、以及優化過的推理系統,無法通過外部方式添加到任何閉源 API 中。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。