NVIDIA's AI Gets Better Without Getting Bigger
三句話摘要
NVIDIA Dory模型如何透過迴圈執行中間層來達到更大模型的推理效能,以及實際應用中的成本與權衡。 Dory透過創新的迴圈架構與訓練方法,讓小型模型在推理與代理任務上與大型模型競爭,但其無法增加知識、實際成本也比宣傳更高,使用前須根據具體工作負載與硬體條件審慎評估。 架構設計獨特性:Dory將72層分為輸入區塊(8層)、中間迴圈區塊(20層)、輸出區塊(8層),中間區塊可選擇運行1到4次,實現參數不變但計算增加的效果——4迴圈時等同於約90億參數的計算量。
重點整理
架構設計獨特性:Dory將72層分為輸入區塊(8層)、中間迴圈區塊(20層)、輸出區塊(8層),中間區塊可選擇運行1到4次,實現參數不變但計算增加的效果——4迴圈時等同於約90億參數的計算量。
訓練策略特殊性:前75%的預訓練(4.5兆令牌)為普通模型,最後25%(1.5兆令牌)才引入迴圈機制,每步隨機選擇迴圈次數但只訓練最後一次通過,使輸出層學會解碼任何迴圈次數的表示。
效能提升的局限性:迴圈改善推理任務(SWE Bench提升至61.8%)但無法增加知識,知識基準(AA Omniscience)分數始終約10%,遠低於Gemma 26B的21%。
成本與宣傳的落差:宣傳的平均效能領先實際上主要來自單一「不幻覺」指標,排除該項後Gemma反而領先;實際使用時2迴圈降速至67%、4迴圈至41%,記憶體預設設定會增長至2.7倍。
實用技巧與重點
- 架構與參數:
- 模型總參數:40億
- 層數結構:72層隱藏層(8層輸入+20層迴圈+8層輸出)
- 4迴圈計算等效:約90億參數/令牌
- 訓練數據:
- 普通預訓練:4.5兆令牌
- 迴圈訓練階段:1.5兆令牌
- 迴圈次數分布:1-4次等機率
- 基準測試成績:
- SWE Bench:1迴圈50.3% → 4迴圈61.8%
- Terminal Bench v2.1:1迴圈12.5% → 4迴圈22.2%
- GDPval:1迴圈815 Elo → 4迴圈967 Elo
- AA Omniscience:恆定約10%(vs Gemma 26B的21.13%)
- 非幻覺分數:Dory 79.38 vs Gemma 16.36
- 生成速度(RTX 4090 vLLM):
- 1迴圈:188 tokens/秒
- 2迴圈:128 tokens/秒(67%)
- 4迴圈:78 tokens/秒(41%)
- 記憶體成本(16GB M4 Mac):
- Per loop模式(預設):1迴圈1.3GB → 4迴圈3.5GB(增長2.7倍)
- Last loop模式(手動設定):各迴圈次數均1.3GB,但精度損失2-2.1分
- 推薦設定:
- 預設循環數:2迴圈(捕獲80% SWE Bench提升、86% GDPval提升)
- 記憶體受限時:改用Last loop快取模式
- 軟體支援(2026年11月):
- vLLM:原生支援(v0.33)
- llama.cpp:NVIDIA fork或社群PR
- 許可證(儲存庫內矛盾):
- 官方聲明:OpenMDW(允許商業使用)
- 另一檔案:NVIDIA Open Model License Agreement
結論
Dory透過創新的迴圈架構與訓練方法,讓小型模型在推理與代理任務上與大型模型競爭,但其無法增加知識、實際成本也比宣傳更高,使用前須根據具體工作負載與硬體條件審慎評估。
完整解析
NVIDIA的Dory模型提出了一項創新的設計思路:透過重複執行相同的權重層,讓一個40億參數的模型能夠在特定任務上與遠更大的模型競爭,同時無需增加磁碟上儲存的參數。與傳統大型語言模型的直線型架構不同,Dory將其72個隱藏層重新組織為三個區段:8層輸入區塊、20層中間迴圈區塊以及8層輸出區塊。在這種設計下,輸入與輸出區塊僅執行一次,但中間的20層區塊可以根據需求執行1到4次。這意味著在1迴圈時,每個令牌通過72個物理層操作;而在4迴圈時,同一令牌要經過192個操作,卻沒有任何額外的權重被載入到記憶體中。
Dory的訓練策略相當特殊,直接影響了它為何能在任何迴圈設定下都能運作。在6兆個預訓練令牌中,前4.5兆個(約四分之三)是按照普通非迴圈模型進行訓練的。只有在最後1.5兆個令牌的延續訓練階段,NVIDIA才引入了迴圈機制。在這個階段,每個訓練步驟都會隨機從1到4中選擇迴圈次數,但關鍵之處在於:只有最後一次通過被用於計算損失函數和更新權重,而早期的通過則不被訓練。這個設計使輸出層學會了如何正確地解碼在任何迴圈次數後的隱藏表示。正是這個訓練方式決定了為什麼4迴圈成為實際上限——超過4迴圈時,在MMLU基準上的分數不再改善。
在實際效能上,Dory在推理與代理任務中表現出色,但在知識類任務上則無法與Gemma等更大型號的模型競爭。最為矚目的是SWE Bench Verified(測試修復真實GitHub問題的能力)上的提升,從1迴圈的50.3%躍升至4迴圈的61.8%,超越了Google的Gemma 26B(57.4%)。類似的改善出現在代理任務基準上:GDPval從815 Elo提升到967 Elo,幾乎追上Qwen 3.6 35B的987。然而,在AA Omniscience事實準確度基準上,無論迴圈次數如何增加,Dory的分數始終停留在約10%,遠低於Gemma 26B的21.13%。NVIDIA在論文中宣傳其4迴圈模型在12個基準上平均表現超過Gemma,但深入檢視會發現這個宣傳主要依賴於一項特殊的「非幻覺」分數。該分數測量當模型無法回答問題時是否誠實地表示「我不知道」而非給出自信的錯誤答案。在這項測試上Dory得到79.38分而Gemma僅16.36分,這一項的貢獻就佔了整個平均領先優勢的大部分,若排除該項,Gemma反而領先。
使用者最關心的成本問題同樣複雜。每一次迴圈意味著令牌必須再次通過20層中間區塊,直接影響生成速度。在RTX 4090上運行vLLM的獨立測試顯示,生成速度從1迴圈的188令牌每秒,下降到2迴圈的128令牌每秒(約67%的速度),再到4迴圈的78令牌每秒(約41%的速度)。關於記憶體成本,NVIDIA宣傳Dory無需額外的KV快取開銷,但實現這一點需要使用者主動修改配置檔案。在預設的Per loop快取模式下,每次迴圈都會保存一份早期令牌的複本,導致在16GB機器上4迴圈時快取可增長到3.5GB,比單迴圈時的1.3GB增加了2.7倍。要達到NVIDIA所宣傳的零記憶體成本,需要將設定改為Last loop模式,此時只保存最後迴圈的資料。不過這種改動不符合模型的原始訓練方式,會在某些基準上導致約2到2.1分的精度損失。


