KeyFrame內部研究專用

I Tested MiniMax H3 for a Week: Free, Local, and Genuinely Good | ComfyUI Tutorial

MDMZ·8月8日週六·9 min英文

三句話摘要

Minimax H3 是開源影片生成模型,可在本機免費運行,支援文字、圖像與多媒體輸入生成最長 15 秒高品質影片。 Minimax H3 以本地免費、多媒體輸入與直觀工作流,顛覆了 AI 影片生成的門檻,特別是多媒體參考模式的靈活性將重新定義業餘與專業影片製作的分界。 多樣化輸入模式:H3 不只做文字轉影片,更強大的是圖片轉影片與多媒體參考模式,用戶可同時提供圖像、影片、音檔作為生成的參考依據,大幅提升創意控制。

重點整理

重點
  • 1

    多樣化輸入模式:H3 不只做文字轉影片,更強大的是圖片轉影片與多媒體參考模式,用戶可同時提供圖像、影片、音檔作為生成的參考依據,大幅提升創意控制。

  • 2

    硬體靈活配置:提供四個模型版本應對不同顯卡,從專業工作室用的 66GB BF16 版本、需 32GB VRAM 的 BF16 pruned、適合 24GB 卡的 int8、到專為 RTX 40/50 系列優化的 FP8,讓各等級使用者都能運行。

  • 3

    工作流具體實用:文字轉影片是基礎檢驗,圖片轉影片適合動畫化設計稿或低預算廣告製作,多媒體參考模式能做綠幕替換、物件替換、漫畫分鏡動畫等進階視覺特效。

  • 4

    生成品質與邏輯:H3 能理解時間戳記指令控制分鏡變化,支援長提示詞理解複雜場景,生成 24fps、最長 15 秒影片,目前尚無完美但已足以替代手工旋轉技術。

實用技巧與重點

乾貨
  • 工具與平台:
  • Comfy(下載網址:comfy.org)
  • Minimax H3 模型檔案(來源:Hugging Face)
  • RunComfy(線上加速方案)
  • 模型版本與硬體需求:
  • BF16:66GB 未壓縮,最高品質,需專業工作室硬體
  • BF16 pruned:需 32GB+ VRAM 與充足系統記憶體
  • int8 convirot:32GB 顯卡適用,作者親測配置
  • Pruned int8:RTX 3060(12GB)適用,需啟用 offloading
  • FP8:RTX 40/50 系列專用最佳化版本
  • 生成參數:
  • 最長時長:15 秒
  • 幀速率:24fps
  • 長寬比:可自訂
  • 解析度:參考大小設定節點對應表
  • 多媒體輸入上限:12 個
  • 具體應用案例:
  • 將海報設計分解動畫化呈現
  • 網頁 UI 頁面動畫化
  • 漫畫分鏡開場序列動畫化
  • 綠幕替換為參考圖像背景
  • 角色服裝替換
  • 物體替換(測試易拉罐液體物理效果)
  • 未來用途:數位化身、角色替換、視覺特效

結論

結論

Minimax H3 以本地免費、多媒體輸入與直觀工作流,顛覆了 AI 影片生成的門檻,特別是多媒體參考模式的靈活性將重新定義業餘與專業影片製作的分界。

完整解析

詳細

Minimax H3 是一套完全開源且可在本機免費運行的影片生成系統,近期引起 AI 社群高度關注。首先需要安裝 Comfy 這個開源工作流平台,再從 Hugging Face 下載 H3 的所有模型檔案。模型選擇是第一個決策點,講者提供四個層級供不同硬體配置選擇,從 66GB 的頂規版本到只需 12GB VRAM 的輕量版,讓資源受限的創作者也有機會上手。

H3 在 Comfy 中提供三種主要工作流程,難度與可控性逐級上升。文字轉影片是最直接的方式,使用者描述場景內容即可生成 15 秒影片,但可控性有限。進階到圖片轉影片後,用戶可上傳一張起始圖像作為基礎,提示詞可描述連貫鏡頭或用時間戳記控制分鏡變化,這開啟了創意大門——講者展示過將靜態海報分解動畫化、網頁介面逐步呈現、甚至預先將場景空白化再逐一動畫化設計元素等案例。

但 H3 最強大的功能是多媒體參考模式。用戶可同時連接最多 12 個輸入源,包括多張圖片、影片片段與音檔,H3 會根據參考媒體與提示詞進行生成。這個特性開啟了許多專業級應用:漫畫分鏡可轉化為動畫開場序列,綠幕背景可用參考圖像替換,角色服裝可透過參考圖進行替換,甚至物體替換時液體物理也能模擬。講者特別指出這類應用預示著手工旋轉技術將成為歷史。

效能方面,生成速度取決於硬體等級,講者在視頻中標註了各種配置下的實際生成時間。若本機速度不夠,可透過 RunComfy 將工作交給線上高端 GPU 加速,或先用低解析度本機生成再事後上升採樣。雖然 H3 並非完美(講者測試時虎紋生物會逐漸變成普通老虎),但作為開源模型已展現令人印象深刻的邏輯理解與視覺品質。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。