You Might Not Need 50 Diffusion Steps — Ziv Ilan, Nvidia
三句話摘要
優化擴散模型的三大技術（量化、緩存、蒸餾），實現實時圖像和視頻生成的實用部署。 蒸餾是擴散模型實現實時生成的關鍵，但三項技術（量化、緩存、蒸餾）的組合應用才能達到工業級部署所需的速度、質量和成本平衡。 量化的實踐方式：動態量化優於靜態量化，因為能動態計算參數範圍，適應實際數據分佈。Nvidia 已在 Hugging Face 發佈預量化檢查點，開發者可直接下載使用而無需自行量化，對消費級 GPU 特別有利。
重點整理
重點- 1
量化的實踐方式：動態量化優於靜態量化，因為能動態計算參數範圍，適應實際數據分佈。Nvidia 已在 Hugging Face 發佈預量化檢查點，開發者可直接下載使用而無需自行量化，對消費級 GPU 特別有利。
- 2
緩存的應用邏輯：與 LLM 的 KV 緩存機制不同，擴散模型的緩存（如 T-cache）利用去噪步驟間某些像素區域變化極小的特性，只對變化區域重新計算，大幅減少重複運算。
- 3
蒸餾是最強優化手段：訓練學生模型用遠少的步數達到教師模型品質，分佈基礎蒸餾（只看最終輸出，不限制中間路徑）比軌跡基礎蒸餾更穩定。可實現 10-200 倍性能提升，是實時生成的關鍵。
- 4
開源基礎設施成熟：FastGen 工具管理大型模型訓練複雜性，支援多 GPU 分片；TRT-LLM Visual Gen 提供開箱即用的優化實現；主流開源模型（Flux 2、LTX 2）已內置優化支援。
實用技巧與重點
乾貨- 擴散模型去噪步驟：20-50 步
- 最新高品質模型：Flux 2、LTX 2.1、Google Nano Banana
- 優化技術部署順序：量化 → 緩存 → 蒸餾
- 量化方式：靜態量化 vs 動態量化（推薦動態）
- 最新量化研究：Attention FP4（針對注意力層優化）
- 緩存技術名稱：T-cache、chunk-based caching
- 緩存相容工具：VLLM、Omni、GLN Diffusion
- 蒸餾分類：軌跡基礎（trajectory-based）vs 分佈基礎（distribution-based）
- 蒸餾結果指標：50 步 → 4-8 步 → 甚至 1 step，10-200 倍加速
- 實時演示環境：單個 Blackwell B200 GPU 實現近實時視頻生成
- 開源倉庫：TRT-LLM Visual Gen、FastGen（Nvidia NV Research 開源）
- 支援開源模型族：Flux 2、LTX 2、One family
- 模型規模：小型 2B-4B 參數，大型 20B-40B，預期達數百億參數
- 微調計算需求：H100、H200、B200、B300 皆可（非必須 GB200），取決於模型大小
- 微調數據：通用資料集可用於一般場景；特殊領域（蛋白質生成等）需專門數據集
結論
結論“蒸餾是擴散模型實現實時生成的關鍵，但三項技術（量化、緩存、蒸餾）的組合應用才能達到工業級部署所需的速度、質量和成本平衡。”
完整解析
詳細Nvidia AI 實驗室的 Ziv 在這場演講中直指擴散模型商用化的核心困境：新一代圖像和視頻生成模型（Flux 2、LTX 2.1 等）雖然品質突飛猛進，但延遲問題使其難以部署到真實場景。與自迴歸型 LLM 生態已相對成熟不同，擴散模型優化仍是較新領域，需要借鑑 LLM 社群的經驗，並逐步將其適配到擴散架構。
第一層優化是量化。概念與 LLM 相同——壓縮模型精度——但實現細節不同。擴散模型對注意力機制依賴更重，使量化收益不如 LLM 顯著，但仍是低成本高效益的起點。Nvidia 推薦動態量化（每次推理時根據數據範圍調整），而非預先計算全局範圍的靜態量化。關鍵是 Hugging Face 已提供預量化檢查點，開發者無需自行訓練就能用消費級 GPU 跑起來。
第二層是緩存優化。在 LLM 中 KV 緩存無處不在；但擴散模型不產生序列，難以直接套用。其替代方案是 T-cache 等技術，利用 20-50 個去噪步驟間的冗餘。比如一段視頻中，某些區域（如靜止的背景）幾個步驟間基本不變——此時無需重新計算，只更新變化區域。這項技術已在 VLLM、Omni 等推理框架內置，開發者只需啟用標誌並調整閾值。
第三層——也是最關鍵的——是蒸餾。核心思想：訓練一個學生模型用更少步數（4-8 步甚至 1 步）複現教師模型 50 步的品質。這帶來 10-200 倍加速，是突破實時生成瓶頸的唯一現實路徑。蒸餾有兩種範式：軌跡基礎（要求學生遵循教師的去噪路徑）和分佈基礎（只要最終輸出分佈相同，中途路徑任意）。前者限制較嚴，後者更靈活穩定，因此被廣泛採用。Nvidia 的開源工具 FastGen 就是為此而生——管理大型模型（20-40B 參數）的多 GPU 分片、數據加載和訓練流程，讓研究者專注於蒸餾品質而非基礎設施。實踐中，一般數據集足以應付通用場景；若針對特定領域（蛋白質、醫學影像等），需採集領域內數據。
三項技術互相獨立，效果疊加。典型流程：先量化（快速、成本低）；如不滿足再加緩存（中等投入）；最後若需實時性則蒸餾（計算密集但回報最大）。整個生態已開源可用，支援 Flux、LTX、One 等主流模型。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
