Diffusion Nemotron: Nvidia's "Two Brain" Diffusion Model
三句話摘要
Nvidia Two-Tower 擴散語言模型如何融合自迴歸與擴散技術，用凍結上下文塔搭配去噪塔實現並行文本生成。 Two-Tower 架構透過凍結上下文塔與去噪塔的分工，用層級跨越連接和並行區塊填充實現擴散的效率優勢，但超參數敏感性提醒我們這仍是需要精細調校的創新方案。 解決擴散模型的內在衝突：傳統擴散模型單一網路同時學習判別乾淨文本和去噪，兩個目標互相拉扯。Two-Tower 透過凍結上下文塔專司提示詞讀取（自迴歸），解凍去噪塔專司空白填充，讓各自完成單一優化目標。
重點整理
重點- 1
解決擴散模型的內在衝突：傳統擴散模型單一網路同時學習判別乾淨文本和去噪，兩個目標互相拉扯。Two-Tower 透過凍結上下文塔專司提示詞讀取（自迴歸），解凍去噪塔專司空白填充，讓各自完成單一優化目標。
- 2
層級跨越式連接提升資訊傳遞：與傳統只在頂層傳遞隱藏狀態不同，Two-Tower 在全部 52 層進行逐層交叉注意。因為雙塔初始完全相同，每層級都「說同樣的語言」，資訊傳遞準確性大幅提升。
- 3
蘇數獨式的並行區塊填充：不同於逐字迴歸，解碼塔同時預選 16 個遮罩位置，根據信心度逐步提交確定的 token，未確定部分重新遮罩迭代。最終形成幾乎完美的由左至右填充順序，這與架構中大量 Mamba 層的特性相契合。
- 4
超參數敏感性暴露的脆弱性：基礎模型針對區塊大小 16 訓練，改為 64 時生成完全崩潰（HumanEval 從 76% 掉到 20%，GSM8k 掉到 2.2%），顯示擴散架構對配置選擇的極度依賴。
實用技巧與重點
乾貨- 架構規格
- 兩塔各 52 層，總計約 60 億參數（每塔 30 億啟動參數）
- MOE 配置：128 個專家中每 token 激活 6 個加 1 個共享專家
- 層級組成：Mamba 23 層 + Transformer 注意力 6 層
- 時間戳層：額外 150 萬參數
- 訓練與性能
- 去噪塔訓練消耗：2.1 兆 tokens（原 Nemotron nano 訓練 25 兆）
- 整體品質保留率：98.7%
- 個別任務：通用知識穩定、Multiting +3%、程式碼 -2%、數學 -3%
- 生成配置
- 區塊大小：16 tokens（每輪同時預測）
- 配置變動效果：
- 區塊 64：HumanEval 76% → 20%，GSM8k → 2.2%，MMLU 78%（穩定）
- 區塊 < 16：性能保持但速度下降
- 硬體需求
- H100 數台以上（全精度執行）
- 對標競品
- Google Inception diffusion、Gemma diffusion
結論
結論“Two-Tower 架構透過凍結上下文塔與去噪塔的分工，用層級跨越連接和並行區塊填充實現擴散的效率優勢，但超參數敏感性提醒我們這仍是需要精細調校的創新方案。”
完整解析
詳細傳統語言模型仰賴自迴歸架構，因為語言本質是序列性。但這種逐字預測方式面臨根本制約：模型必須回顧所有已生成的前置 token，導致計算和記憶體成為瓶頸。更棘手的是單一網路要同時承載兩個互相衝突的任務——判別乾淨文本和去噪生成——這讓兩項工作都表現不佳，如同要求演講者同時做自己的同步口譯。為了突破困局，擴散技術逐漸被導入文本生成領域。與圖像擴散不同，文本擴散並非添加雜訊，而是用遮罩替換，進行並行填空。
Nvidia 的 Two-Tower 架構採取聰慧設計：基於 Nemotron 3 nano 複製兩份完全相同的模型。其中一塔被凍結，專司讀取提示詞並按自迴歸方式逐字運行，永不訓練；另一塔則完全重訓，專司去噪工作。兩塔各包含 52 層，混合 Mamba（23 層）和 Transformer 注意力（6 層）機制，搭配 MOE 專家混合（128 個專家中每 token 激活 6 個加共享層），總共約 60 億可激活參數。
真正的創新在於雙塔互動方式。傳統擴散模型只在頂層傳遞上下文，Two-Tower 卻在全部 52 層進行逐層交叉注意——像是在每層樓都架設天橋而非只在屋頂連繩。因兩塔初始完全相同，每層級的通訊都用同樣語言對話，資訊傳遞更高效。生成過程迥異於序列逐字預測：解碼塔同時預測 16 個遮罩位置，根據信心度逐步提交確定的 token，未確定部分重新遮罩迭代。妙的是，儘管模型自由選擇提交順序，但形成的提交模式幾乎完美沿著左至右的三角形排列。
凍結上下文塔的代價明顯：兩套 30 億權重需持續駐留記憶體，只有凍結塔攜帶跨序列快取。整體而言，模型保留了原 Nemotron nano 的 98.7% 品質，但程式碼和數學各下降 2-3 百分點。最值得注意的是模型脆弱性：基礎模型針對區塊大小 16 訓練，改為 64 時完全崩潰，HumanEval 從 76% 跌至 20%，GSM8k 甚至跌到 2.2%——這揭示了擴散架構對超參數的極度敏感。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
