Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs
三句話摘要
Black Forest Labs的創辦者分享從潛在擴散算法、穩定擴散的商業化,到通量系列模型的技術演進歷程,以及視覺智能如何延伸至影片、機器人和多模態AI的發展路徑。 視覺智能的通用性已被驗證,資料品質是超越演算法複雜度的決定性因素,未來的通才模型將透過觀察大規模自然信號逐步演進,而非依賴精密的機械設計。 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
重點整理
從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資料的威力。
視覺智能作為世界模型基礎:BFL從影像生成擴展到影片、音訊和機器人控制,核心信念是「視覺是理解世界的中樞」。就像嬰兒先觀察後互動一樣,模型從二維視訊學習三維物理理解,僅需1000步微調就能學會3D生成,證實了視覺預訓練的通用性。
多參考上下文編輯的實用邊界:Flux Context從單一參考擴展到10張參考圖像,但Dustin認為超過10張反而造成創意困擾。這反映了實務與學術的落差——理論上可支援100張,但實際工作流程中人類難以同時處理太多參考。
實用技巧與重點
- 融資與商業數據
- 總融資:4.5億美元
- 2024年12月營收:1億美元
- 初創團隊規模:13人
- 核心模型與訓練時程
- Flux One:3個月訓練周期
- Flux Context:4-6小時(早期原型)
- Flux Pro、Flux Realism、Flux Schnell:三檔規格
- Flux Three Video、Flux Three Action:多模態擴展
- 技術規格
- Flux Context支援參考圖像:最多10張
- SD3推出時間:SDXL後續作品
- 潛在擴散開發時間:7年(Andy從2016年起)
- 多寬度訓練首次出現:SDXL
- 關鍵論文與算法
- Latent Diffusion(2020)
- Align Your Latents(影片)
- Stable Video Diffusion(SVD)
- Rectified Flow(流匹配)
- Diffusion Transformers(擴散變換器)
- 產業影響事件
- 穩定擴散開源:2022年夏季
- Midjourney V1發布時間點:引燃Dustin的投身契機
- Stable Japan特殊政策:政府承諾保護基於日本資料訓練的企業
結論
視覺智能的通用性已被驗證,資料品質是超越演算法複雜度的決定性因素,未來的通才模型將透過觀察大規模自然信號逐步演進,而非依賴精密的機械設計。
完整解析
Black Forest Labs的故事始於一場非預期的離職。2022年穩定擴散開源當天,在洛杉磯軟體工作室工作的Dustin看到一個「魔法般」的工具突然出現,他決定辭職去理解這個魔法。同時,Andy自2016年起與Robin和Patrick在海德堡研究擴散模型,將物理現象與機器學習結合,逐步開發出潛在擴散算法。
從2019年的Confess團隊到2021年在慕尼黑完成潛在擴散研究後,Andy看到了開源的力量。當穩定擴散於2022年推出時,不僅啟發了Dustin這樣的工程師投身研究,也啟發了主持人創辦Latent Space播客——甚至播客名稱都來自於潛在空間與Terry Pratchett的L-Space概念。
在Stability AI期間,Dustin從軟體工程師逐漸靠自學和開源社群的協助晉升為研究主管。他在Discord上與志同道合的人交流、實驗、撕裂模型、閱讀論文,最終參與了SDXL、SD3等重要模型。SDXL的突破在於首次大規模多寬度訓練與後訓練階段的資料工作,不只提升了品質,也讓模型能處理非正方形圖像。而SD3則加入了擴散變換器和流匹配——一種比傳統擴散更簡潔的概率建模方式,將兩個分佈之間的映射簡化為解常微分方程。
技術論文《Stable Diffusion 3》的核心洞察是「噪聲到影像的軌跡中,哪些部分最值得優化」。低頻細節(結構)在訓練前期學習,高頻細節(紋理)在後期浮現,這啟發了SDXL雙模型設計的理由。SD3進一步統一了這個概念,讓單一模型能更高效地分配計算資源。
離開Stability後,Andy和Dustin等核心成員決定創辦Black Forest Labs,定位在德國弗萊堡(黑森林山區的城市)。初期13人團隊在法國小屋進行第一次集中開發,三個月後推出Flux One,震撼市場。但他們的真正野心不在影像生成——從一開始,目標就是「通過視覺學習世界模型」。
Flux系列的演進體現了這個願景。Flux One最初作為XAI的合作模型推出,之後推出了Flux Pro、Realism、Schnell等規格。Flux Context則是Dustin在另一次法國集中會議上的核心提案——既然模型已經理解空間關係(椅子在桌子上方等),為何不直接用影像作為編輯指令?他與一名資料工程師用幾小時的高品質標註資料訓練測試集,六小時內就看到編輯能力湧現。從一張參考圖像擴展到十張,模型在複雜背景下維持角色一致性,徹底改變了創意工作流。
Flux Three Video標誌著多模態時代的來臨——同一個模型同時生成影像、影片、音訊和機器人動作命令。這不是臨時併湊,而是從訓練資料到架構的深度設計。Dustin強調,模型並非學習精確的物理公式,而是從觀察到的視覺模式中習得物理直覺,就像人類嬰兒那樣先觀察世界、逐漸積累互動經驗。
整個過程中,資料工作的重要性無所不在。量與質的平衡(Quantity vs Quality)是每次訓練的核心議題。Stable Video Diffusion的論文就徹底研究了資料篩選的效應,發現即使算法完美,劣質資料也會毀滅一切。Flux Context的成功也證實了這一點——它不是複雜的創新,而是針對編輯任務精心構建的資料集加上輕量後訓練。

