KeyFrame內部研究專用

Diffusion Nemotron: Nvidia's "Two Brain" Diffusion Model

Prompt Engineering11 min英文
觀看原始影片

三句話摘要

Nvidia Two-Tower 擴散語言模型如何融合自迴歸與擴散技術,用凍結上下文塔搭配去噪塔實現並行文本生成。 Two-Tower 架構透過凍結上下文塔與去噪塔的分工,用層級跨越連接和並行區塊填充實現擴散的效率優勢,但超參數敏感性提醒我們這仍是需要精細調校的創新方案。 解決擴散模型的內在衝突:傳統擴散模型單一網路同時學習判別乾淨文本和去噪,兩個目標互相拉扯。Two-Tower 透過凍結上下文塔專司提示詞讀取(自迴歸),解凍去噪塔專司空白填充,讓各自完成單一優化目標。

重點整理

  1. 解決擴散模型的內在衝突:傳統擴散模型單一網路同時學習判別乾淨文本和去噪,兩個目標互相拉扯。Two-Tower 透過凍結上下文塔專司提示詞讀取(自迴歸),解凍去噪塔專司空白填充,讓各自完成單一優化目標。

  2. 層級跨越式連接提升資訊傳遞:與傳統只在頂層傳遞隱藏狀態不同,Two-Tower 在全部 52 層進行逐層交叉注意。因為雙塔初始完全相同,每層級都「說同樣的語言」,資訊傳遞準確性大幅提升。

  3. 蘇數獨式的並行區塊填充:不同於逐字迴歸,解碼塔同時預選 16 個遮罩位置,根據信心度逐步提交確定的 token,未確定部分重新遮罩迭代。最終形成幾乎完美的由左至右填充順序,這與架構中大量 Mamba 層的特性相契合。

  4. 超參數敏感性暴露的脆弱性:基礎模型針對區塊大小 16 訓練,改為 64 時生成完全崩潰(HumanEval 從 76% 掉到 20%,GSM8k 掉到 2.2%),顯示擴散架構對配置選擇的極度依賴。

實用技巧與重點

  • 架構規格
  • 兩塔各 52 層,總計約 60 億參數(每塔 30 億啟動參數)
  • MOE 配置:128 個專家中每 token 激活 6 個加 1 個共享專家
  • 層級組成:Mamba 23 層 + Transformer 注意力 6 層
  • 時間戳層:額外 150 萬參數
  • 訓練與性能
  • 去噪塔訓練消耗:2.1 兆 tokens(原 Nemotron nano 訓練 25 兆)
  • 整體品質保留率:98.7%
  • 個別任務:通用知識穩定、Multiting +3%、程式碼 -2%、數學 -3%
  • 生成配置
  • 區塊大小:16 tokens(每輪同時預測)
  • 配置變動效果:
  • 區塊 64:HumanEval 76% → 20%,GSM8k → 2.2%,MMLU 78%(穩定)
  • 區塊 < 16:性能保持但速度下降
  • 硬體需求
  • H100 數台以上(全精度執行)
  • 對標競品
  • Google Inception diffusion、Gemma diffusion

結論

Two-Tower 架構透過凍結上下文塔與去噪塔的分工,用層級跨越連接和並行區塊填充實現擴散的效率優勢,但超參數敏感性提醒我們這仍是需要精細調校的創新方案。

完整解析

傳統語言模型仰賴自迴歸架構,因為語言本質是序列性。但這種逐字預測方式面臨根本制約:模型必須回顧所有已生成的前置 token,導致計算和記憶體成為瓶頸。更棘手的是單一網路要同時承載兩個互相衝突的任務——判別乾淨文本和去噪生成——這讓兩項工作都表現不佳,如同要求演講者同時做自己的同步口譯。為了突破困局,擴散技術逐漸被導入文本生成領域。與圖像擴散不同,文本擴散並非添加雜訊,而是用遮罩替換,進行並行填空。

Nvidia 的 Two-Tower 架構採取聰慧設計:基於 Nemotron 3 nano 複製兩份完全相同的模型。其中一塔被凍結,專司讀取提示詞並按自迴歸方式逐字運行,永不訓練;另一塔則完全重訓,專司去噪工作。兩塔各包含 52 層,混合 Mamba(23 層)和 Transformer 注意力(6 層)機制,搭配 MOE 專家混合(128 個專家中每 token 激活 6 個加共享層),總共約 60 億可激活參數。

真正的創新在於雙塔互動方式。傳統擴散模型只在頂層傳遞上下文,Two-Tower 卻在全部 52 層進行逐層交叉注意——像是在每層樓都架設天橋而非只在屋頂連繩。因兩塔初始完全相同,每層級的通訊都用同樣語言對話,資訊傳遞更高效。生成過程迥異於序列逐字預測:解碼塔同時預測 16 個遮罩位置,根據信心度逐步提交確定的 token,未確定部分重新遮罩迭代。妙的是,儘管模型自由選擇提交順序,但形成的提交模式幾乎完美沿著左至右的三角形排列。

凍結上下文塔的代價明顯:兩套 30 億權重需持續駐留記憶體,只有凍結塔攜帶跨序列快取。整體而言,模型保留了原 Nemotron nano 的 98.7% 品質,但程式碼和數學各下降 2-3 百分點。最值得注意的是模型脆弱性:基礎模型針對區塊大小 16 訓練,改為 64 時完全崩潰,HumanEval 從 76% 跌至 20%,GSM8k 甚至跌到 2.2%——這揭示了擴散架構對超參數的極度敏感。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。