KeyFrame內部研究專用

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space98 min英文
觀看原始影片

三句話摘要

Black Forest Labs的創辦者分享從潛在擴散算法、穩定擴散的商業化,到通量系列模型的技術演進歷程,以及視覺智能如何延伸至影片、機器人和多模態AI的發展路徑。 視覺智能的通用性已被驗證,資料品質是超越演算法複雜度的決定性因素,未來的通才模型將透過觀察大規模自然信號逐步演進,而非依賴精密的機械設計。 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。

重點整理

  1. 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。

  2. 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資料的威力。

  3. 視覺智能作為世界模型基礎:BFL從影像生成擴展到影片、音訊和機器人控制,核心信念是「視覺是理解世界的中樞」。就像嬰兒先觀察後互動一樣,模型從二維視訊學習三維物理理解,僅需1000步微調就能學會3D生成,證實了視覺預訓練的通用性。

  4. 多參考上下文編輯的實用邊界:Flux Context從單一參考擴展到10張參考圖像,但Dustin認為超過10張反而造成創意困擾。這反映了實務與學術的落差——理論上可支援100張,但實際工作流程中人類難以同時處理太多參考。

實用技巧與重點

  • 融資與商業數據
  • 總融資:4.5億美元
  • 2024年12月營收:1億美元
  • 初創團隊規模:13人
  • 核心模型與訓練時程
  • Flux One:3個月訓練周期
  • Flux Context:4-6小時(早期原型)
  • Flux Pro、Flux Realism、Flux Schnell:三檔規格
  • Flux Three Video、Flux Three Action:多模態擴展
  • 技術規格
  • Flux Context支援參考圖像:最多10張
  • SD3推出時間:SDXL後續作品
  • 潛在擴散開發時間:7年(Andy從2016年起)
  • 多寬度訓練首次出現:SDXL
  • 關鍵論文與算法
  • Latent Diffusion(2020)
  • Align Your Latents(影片)
  • Stable Video Diffusion(SVD)
  • Rectified Flow(流匹配)
  • Diffusion Transformers(擴散變換器)
  • 產業影響事件
  • 穩定擴散開源:2022年夏季
  • Midjourney V1發布時間點:引燃Dustin的投身契機
  • Stable Japan特殊政策:政府承諾保護基於日本資料訓練的企業

結論

視覺智能的通用性已被驗證,資料品質是超越演算法複雜度的決定性因素,未來的通才模型將透過觀察大規模自然信號逐步演進,而非依賴精密的機械設計。

完整解析

Black Forest Labs的故事始於一場非預期的離職。2022年穩定擴散開源當天,在洛杉磯軟體工作室工作的Dustin看到一個「魔法般」的工具突然出現,他決定辭職去理解這個魔法。同時,Andy自2016年起與Robin和Patrick在海德堡研究擴散模型,將物理現象與機器學習結合,逐步開發出潛在擴散算法。

從2019年的Confess團隊到2021年在慕尼黑完成潛在擴散研究後,Andy看到了開源的力量。當穩定擴散於2022年推出時,不僅啟發了Dustin這樣的工程師投身研究,也啟發了主持人創辦Latent Space播客——甚至播客名稱都來自於潛在空間與Terry Pratchett的L-Space概念。

在Stability AI期間,Dustin從軟體工程師逐漸靠自學和開源社群的協助晉升為研究主管。他在Discord上與志同道合的人交流、實驗、撕裂模型、閱讀論文,最終參與了SDXL、SD3等重要模型。SDXL的突破在於首次大規模多寬度訓練與後訓練階段的資料工作,不只提升了品質,也讓模型能處理非正方形圖像。而SD3則加入了擴散變換器和流匹配——一種比傳統擴散更簡潔的概率建模方式,將兩個分佈之間的映射簡化為解常微分方程。

技術論文《Stable Diffusion 3》的核心洞察是「噪聲到影像的軌跡中,哪些部分最值得優化」。低頻細節(結構)在訓練前期學習,高頻細節(紋理)在後期浮現,這啟發了SDXL雙模型設計的理由。SD3進一步統一了這個概念,讓單一模型能更高效地分配計算資源。

離開Stability後,Andy和Dustin等核心成員決定創辦Black Forest Labs,定位在德國弗萊堡(黑森林山區的城市)。初期13人團隊在法國小屋進行第一次集中開發,三個月後推出Flux One,震撼市場。但他們的真正野心不在影像生成——從一開始,目標就是「通過視覺學習世界模型」。

Flux系列的演進體現了這個願景。Flux One最初作為XAI的合作模型推出,之後推出了Flux Pro、Realism、Schnell等規格。Flux Context則是Dustin在另一次法國集中會議上的核心提案——既然模型已經理解空間關係(椅子在桌子上方等),為何不直接用影像作為編輯指令?他與一名資料工程師用幾小時的高品質標註資料訓練測試集,六小時內就看到編輯能力湧現。從一張參考圖像擴展到十張,模型在複雜背景下維持角色一致性,徹底改變了創意工作流。

Flux Three Video標誌著多模態時代的來臨——同一個模型同時生成影像、影片、音訊和機器人動作命令。這不是臨時併湊,而是從訓練資料到架構的深度設計。Dustin強調,模型並非學習精確的物理公式,而是從觀察到的視覺模式中習得物理直覺,就像人類嬰兒那樣先觀察世界、逐漸積累互動經驗。

整個過程中,資料工作的重要性無所不在。量與質的平衡(Quantity vs Quality)是每次訓練的核心議題。Stable Video Diffusion的論文就徹底研究了資料篩選的效應,發現即使算法完美,劣質資料也會毀滅一切。Flux Context的成功也證實了這一點——它不是複雜的創新,而是針對編輯任務精心構建的資料集加上輕量後訓練。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
57 min
AI 技術英文PODCAST11月10日

Canva Is Tackling AI Design’s Most Frustrating Problem with Stefano Corazza- #784

  • 迭代設計是核心:Stefano Caraza 指出 AI 永遠無法達成 100% 完美,必須建立快速迭代迴圈,讓人類持續調整。這推翻了「一次生成完美結果」的矽谷迷思。
  • 獨有資料帶來優勢:Canva 累積十年的設計資料和使用者互動數據,經過許可收集或授權購買。正因為擁有高質量、多樣化的訓練集,才能用更小的模型(百億參數)打敗更大的商業模型。