KeyFrame內部研究專用

Training Krea 2: What matters in generative model training — Sangwu Lee, Krea.ai

AI Engineer21 min中文
觀看原始影片

三句話摘要

開源影像基礎模型 Create 2 的訓練方法論與數據策略。 數據質量與訓練管線設計是決定現代擴散模型性能的核心,比單純的架構創新更為關鍵。 風格多樣性 vs. 可靠性的取捨:既有模型(ChatGPT、DALL-E)傾向模式坍縮以確保一致性,會生成「最無聊的平均人類」;Create 2 改由追求快速生成和視覺探索空間,讓創意工作室能迭代多種視覺方向。

重點整理

  1. 風格多樣性 vs. 可靠性的取捨:既有模型(ChatGPT、DALL-E)傾向模式坍縮以確保一致性,會生成「最無聊的平均人類」;Create 2 改由追求快速生成和視覺探索空間,讓創意工作室能迭代多種視覺方向。

  2. 數據質量決定模型天花板:強調數據比程式碼更永恆,訓練後無法輕易改變,因此須在開始前投資大量篩選與去重工作(語義去重 SSCD、OCR 標籤、稀疏自編碼器過濾)。

  3. LLM 啟發的漸進式訓練法:從低解析度學習文字-圖像對應,逐步升至高解析度學結構與細節;類似 LLM 的微調→偏好優化→強化學習三階段,用獎勵模型改進文字渲染與解剖學準確性。

  4. 提示詞擴展器的關鍵角色:訓練小型 LLM 將使用者簡短提示展開為詳細、符合訓練分佈的長提示,這在製造級擴散模型中已成必備。

實用技巧與重點

  • 訓練解析度範圍:256 × 256 到 1024 × 1024 像素
  • 自製過濾器數量:30-40 種客製化特徵與過濾規則
  • 去重方法:P-Hash / MD5(基礎),SSCD(語義)
  • 訓練管線階段:
  • 低→高解析度預訓練
  • 監督微調(插圖、平面設計、攝影、電影級數據)
  • 偏好最佳化(成對對比)
  • 強化學習(GRPO 啟發方法,用獎勵伺服器)
  • 提示詞擴展器訓練
  • 數據規模:2-10 億張圖像
  • 知識補全:Wikipedia 前 90 百分位頁面排名概念納入
  • OCR 與視覺語言模型:用 LM 生成詳細視覺描述以校正標籤準確性
  • 未來研究:多專家蒸餾(攝影、文字渲染、不同能力的專家)、簡化技術棧(移除 VAE、統一 Transformer)、場景圖與邊界框條件化

結論

數據質量與訓練管線設計是決定現代擴散模型性能的核心,比單純的架構創新更為關鍵。

完整解析

講者來自 Create 2 模型開發團隊,談論該模型的開源中等版本及其訓練方法論。背景問題在於既有生成模型面臨一個權衡困境:為了確保輸出穩定性,大模型傾向於「模式坍縮」——當渲染人物時,最簡單最可靠的方式是生成「最無聊的平均人類」置於畫面中心,導致多樣性喪失。ChatGPT 2、DALL-E Pro 等生產級模型雖品質高但迭代時間長(可達一分鐘),且缺乏創意調整空間。

Create 2 的設計哲學反向而行,強調快速生成與風格探索。為此,數據成為決定性因素。講者列舉了開發團隊使用的完整數據策略:從 2-10 億張圖像開始,先用 P-Hash 和 MD5 進行基礎去重,再透過 SSCD 執行語義去重檢測類似圖像。為解決標籤品質問題,團隊採用 OCR 萃取原始標籤,再透過大型視覺語言模型生成詳細描述,篩掉邊框乾物件等不良特徵。此外從 Wikipedia 萃取前 90 百分位的概念(依頁面排名),確保模型理解重要實體與知識。整體使用了 30-40 種自製客製化過濾器與特徵。

訓練管線仿效 LLM 的成熟方法。先在低解析度(256×256)進行預訓練,讓擴散模型學會「馬匹長什麼樣」等文字-圖像對應,此階段成本低效率高。後逐步升至 1024×1024 高解析度,學習結構與細節。預訓練後進入監督微調,用精選的插圖、平面設計、攝影、電影級數據「塑造」模型分佈。再用偏好最佳化(類似 RLHF)收集成對對比資料進一步打磨。隨後用強化學習(GRPO 啟發方法)透過獎勵伺服器回饋優化文字渲染與解剖學正確性。最後訓練提示詞擴展器——一個小型 LLM,將「燃燒的骷髏頭」這類簡短提示擴展為與訓練數據分佈一致的長詳細描述,從而獲得更好生成品質。

講者提及多個優化方向:稀疏自編碼器可無監督提取特徵用於過濾(如簽名、浮水印、邊界雜物);多專家蒸餾讓單一學生模型融合攝影、文字渲染等專家能力;簡化技術棧排除 VAE 與文字編碼器,統一用 Transformer。展望未來,視覺語言模型進步使邊界框與場景圖生成成本大幅下降,有望成為新型條件化方式探索。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。