Qwen 3.8 27B is 3X Faster With ONE Setting

Qwen 在 2026 年 8 月 14 日發佈新模型時，內建了一項被稱為 MTP(Multi-Token Prediction)的加速功能，其潛力在初期數據上驚人：相同硬體、相同模型、相同提示詞，僅改變一個標記旗幟，吞吐量就能從 60 tokens 每秒提升至 167 tokens 每秒——接近三倍性能。更令人興奮的是，這個加速完全免費。無需額外下載，無需犧牲輸出質量，甚至無需新硬體。草稿頭部的權重早已內建在你磁盤上的模型文件裡。

MTP 的工作原理基於推測解碼(Speculative Decoding)這一架構優化。傳統文本生成是嚴格的串列過程：完整通過 27 億參數一次以生成單個令牌，然後從頭再來。這聽起來像計算瓶頸，但實際上不是。GPU 每次推理都在讀取同一份 18GB 的權重，記憶體頻寬才是真正的限制因素。推測解碼繞過這個廢耗的方式是：用一個廉價小模型先「猜測」接下來的數個令牌(通常 2 到 8 個)，然後大模型在一次完整推理中一口氣驗證所有猜測。如果猜對了，你花一次推理的成本卻得到多個令牌；猜錯的則無害地被丟棄，永遠無法污染最終輸出。正因如此，Qwen 選擇把草稿頭部權重直接烘烤進模型文件，省去了找、下載並駐留第二個模型的麻煩。

然而在實踐中，幾乎沒有人用上這項功能，根本原因是工具生態的混亂。四個主流推理工具——llama.cpp、VLLM、SG Lang 和 Ollama——對 MTP 的實現方式和命名完全不同。llama.cpp 用 spec_type 參數，VLLM 把它藏在 JSON serving config 裡，SG Lang 叫它 speculative_algorithm，Ollama 乾脆不設參數，而是要你拉取打上 MTP 標籤的不同版本。更糟的是，它們全部預設都是關閉的。但最致命的問題來自一次無聲的破壞性更新：llama.cpp 在 2026 年 5 月 13 日改變了參數拼寫，三天後 MTP 本身才併入主分支。關鍵的是舊拼寫沒有被移除或標記為已棄用，而是被靜默接受並同時被忽略。結果是吞吐量會無聲地掉回原本的一半，你的命令行看起來仍然正確，日誌也給不出任何理由讓你挖掘。一位開發者在 RTX 4090 上量測了損害：約 140 tokens/秒掉回 70。一半的吞吐量從你確信已配置的設置裡消失了，因為一個詞變成了死詞。而網路上所有在那個星期三之前寫的教程仍然帶著已死的拼寫。

性能的實際收益遠不止單一數字能說明的故事。猜測深度是一個可調整的旋鈕——從 2 步到 8 步，接受率穩定下降(81% 到 40%)，但吞吐量卻有一個峰值，通常在 5 步達到 115 tokens/秒，之後才開始掉落。網路上大多數配置都用 2 或 3 步，這相當於在桌上留下 27% 的性能。但更微妙的變數是溫度——一位記者發現前一個版本他的草稿接受率大約 85%，到這版本卻掉到 65%。根本原因不在模型，而在溫度值。他按照模型作者的建議設定為 1.0，但更高的溫度會拉平令牌分佈，讓草稿頭部猜錯更多次。下調溫度後接受率爬升，而這個「質量設置」三行遠在任何「速度設置」之前。

硬體差異是另一層複雜性。Nvidia 推出的 NVFP4 4-bit 格式在 Blackwell GPU 上達到 206 tokens/秒，但這個數字對 RTX 30.90 或 40.90 的使用者完全無法達到——NVFP4 需要張量核心原生支援 4-bit 運算，而這些舊卡根本沒有。AMD 發佈的數字是在 Vulkan 上量測，而不是他們正式支持的 RockM 堆棧，且獨立測試表明 Vulkan 在生成任務上領先 20-30%。Apple 的情況更特殊：一位 48GB 筆電使用者看到 8-bit 加上手寫草稿核心達到 20.3 tokens/秒(對比 8-bit 無草稿的 8.3)，8-bit with drafting 甚至打敗了 4-bit without(20 對 14.6)——一次推理中既得到更好的答案又更快。但這裡的英雄不是 MTP，而是新的 Metal 核心。

最後也最實際的限制是記憶體。MTP 無法憑空創造速度，它只能放大你已有的速度。它需要約 2.5GB 額外 VRAM 駐留草稿模型。只要你的硬體原本能裝下基模型，MTP 就帶來淨收益。但當你被迫在記憶體和性能之間權衡時，問題浮現：一位 12GB 筆電擁有者發佈了兩次測試。啟用 MTP 的 4-bit 版本給出 4.5 tokens/秒，而禁用 MTP 的 2-bit 版本達到 12.8 tokens/秒——2.8 倍更快。他的瓶頸不是計算或記憶體頻寬，而是 PCIe 匯流排本身。推測解碼能隱藏記憶體延遲，但無法隱藏尚未開始的資料傳輸。