KeyFrame內部研究專用

Kimi K3 Dominates 3D Design, Microsoft MageFlow & NVIDIA ARDY Real-Time Motion – 3D AI News #16

Stefan 3D AI and PixelArtistry·7月26日週日·11 min英文

三句話摘要

開源 AI 在 3D 生成、圖像生成與動作系統領域的最新進展與工具發佈。 開源 AI 工具在 3D 生成、動作系統與圖像生成領域快速迭代,結合大廠的開源戰略加速,正在構建專業級別的本地化內容創作生態。 Kimi K3 的性能突破

重點整理

重點
  • 1

    Kimi K3 的性能突破

  • 2

    Kimi K3 是開源領域的重大進展,2.8 兆參數規模相比 GLM 4.2 的 850 億參數多三倍。其通過 Kimi 網站訪問成本僅為 Fable 5 的三分之一,且在 3D 設計任務上意外超越 Fable 5,說明開源模型在垂直領域已具競爭力。

  • 3

    本地 3D 生成工具生態成熟

  • 4

    LATER2 與 3D Gen Studio 代表開源社群在 3D 生成領域的進展。LATER2 採用分步驟方式(先生成頂點再連接網格),提供更精細的拓撲控制;3D Gen Studio 新增桌面安裝程序、自動重拓撲與皮膚加權綁骨等功能,降低用戶門檻。

  • 5

    實時動作與 Comfyui 生態擴張

  • 6

    NVIDIA RD 實現了帶約束條件的實時文本轉動作,單卡需求僅 20GB(對比 Kimodo 的 6GB 有所增加),品質與過渡效果大幅改善。同時 Comfyui 社群推出 VFX 節點與服裝生成工具,使非專業用戶也能進行複雜視覺效果製作。

  • 7

    廠商開源戰略加速

  • 8

    Microsoft 推出 Mage Flow 開源圖像生成器支持本地部署,NVIDIA 發佈 Omniverse 4.3 代理工具集,顯示大廠向開源社群開放工具的趨勢加速。

實用技巧與重點

乾貨
  • 模型與參數規模
  • Kimi K3:2.8 兆參數,開源
  • GLM 4.2(參考):850 億參數
  • Fable 5(參考):性能基準
  • 成本與效率
  • Kimi K3 通過官方網站成本為 Fable 5 的 1/3
  • 工具名稱與功能
  • LATER2:開源 3D 網格生成工具,支持多部件生成、網格轉網格重新建模
  • 3D Gen Studio v2.1:本地 3D AI 工作室,包含桌面安裝程序(支持 Linux、Mac、Windows)、自動重拓撲、自動綁骨(帶皮膚加權)、網格編輯器
  • NVIDIA RD + Vidya:實時動作生成,支持文本轉動作、姿勢設置、約束條件
  • Microsoft Mage Flow:開源 AI 圖像生成器,支持文本轉圖像、基於指令的編輯、深度圖生成、Turbo 版本
  • 部署需求
  • NVIDIA RD:單卡需求 20GB VRAM
  • Kimodo(參考):6GB VRAM
  • Comfyui:支持本地部署 Mage Flow
  • 社群工具
  • 3D Gen Studio Comfyui 包裝:由 RISLORD 開發
  • Comfyui VFX 節點:由 Nico Deficador(西班牙 YouTuber)開發,支持高斯 Splat 定位與打光
  • TRIPO + Metatailer 協作:支持任意角色服裝生成
  • 其他發佈
  • NVIDIA Omniverse 4.3:代理工具集,支持物理模擬與 OpenUSD 格式

結論

結論

開源 AI 工具在 3D 生成、動作系統與圖像生成領域快速迭代,結合大廠的開源戰略加速,正在構建專業級別的本地化內容創作生態。

完整解析

詳細

本週開源 AI 工具領域迎來多項重大發佈,其中最引人矚目的是 Kimi K3 的開源發布。作為一個擁有 2.8 兆參數的大規模語言模型,Kimi K3 展現了驚人的性能表現,在多個基準測試中逼近甚至超越 OpenAI 的 Fable 5。更令人意外的是,它在 3D 設計任務上的表現甚至反超 Fable 5,這證明了開源社群在特定垂直領域已具備與商業閉源模型一較高下的能力。成本層面,通過 Kimi 官方網站訪問時費用僅為 Fable 5 的三分之一,儘管本地部署會對硬體提出更高要求,但這仍標誌著開源模型在實用性上的重大進展。

3D 生成工具方面涌現多款新產品。LATER2 是一個開源 3D 網格生成工具,採用分步驟建模策略——先生成頂點座標,再進行連接形成完整網格。這種設計相比傳統一步到位的方法提供了更精細的拓撲控制能力,開發者可以對最終網格結構有更多掌控。社群已迅速為其開發了 Comfyui 包裝,使用戶無需複雜配置即可進行網格重新建模。3D Gen Studio 則升級至 2.1 版本,新增桌面安裝程序大幅簡化安裝流程,用戶現可直接從 GitHub 獲取 Linux、Mac 與 Windows 版本。該工具新增自動重拓撲、帶皮膚加權的自動綁骨功能,以及功能完整的網格編輯器,使整套工作流程更加集成與高效。

動作生成領域則迎來 NVIDIA 推出的 RD 系統。作為 Kimodo 與 Motion Breaks 的邏輯延續,RD 實現了帶約束條件的實時文本轉動作功能——用戶可點擊場景中的任意位置,角色將自動生成自然動作移動至該位置,同時支持精細的姿勢設置。雖然單卡需求達到 20GB 顯存(對比 Kimodo 的 6GB 有所增加),但這仍是相當可觀的性能表現,品質改善與過渡效果優化使其成為遊戲開發與動畫製作的有力工具。

除此之外,Comfyui 社群的生態持續擴張。西班牙創作者 Nico Deficador 開發的 VFX 節點專門針對視覺效果製作優化,結合高斯 Splat 技術可實現精確的空間定位與逼真的光影效果。TRIPO 與 Metatailer 的協作則解決了服裝生成這一長期難題,新開發的工具承諾可為任意角色生成符合其特性的服裝,展示了跨工具協作帶來的價值。

Microsoft 推出的 Mage Flow 代表了大廠在開源圖像生成領域的新進展。該工具支持文本轉圖像、基於指令的風格編輯(如雨天效果調整)與深度圖生成,並完全支持本地 Comfyui 部署,為 3D 美術資產製作提供新選擇。最後,NVIDIA 在 SIGGRAPH 大會上發佈的 Omniverse 4.3 代理工具集,將物理正確的世界模擬能力進一步開放給開發者,對於需要物理交互驗證的 AI 生成 3D 模型具有重要意義。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。