Why Image Generation Needs More Than Bigger Models with Fatih Porikli - #773

文本生成圖像在過去一年進展顯著，視覺品質已相當逼真，但講者 Qualcomm 副總 Fatih Parikhli 指出，「好看」與「正確」是兩回事。當使用者要求生成多個人物時，模型常生成幾乎相同的臉孔；指定特定構圖、身份或人數時，模型會忽視這些細節；要求高分辨率時，記憶體和速度瞬間成為瓶頸。這些是影像生成的真正前沿——不是視覺逼真度，而是可控性、效率與可靠性。

在可控性方面，團隊首先發現現有 T2I 模型雖然像素級品質無瑕，但沒有明確學習到「創造真正不同身份」。既有訓練目標過度關注寫實性和提示匹配，卻忽略人物間的多樣性。DISCO 論文的洞察是：與其收集更多資料，不如改進訓練目標函數。團隊保留基礎模型，用強化學習微調，在獎勵函數中明確加入「圖像內多樣性」（同一圖內臉部應不同）和「跨生成一致性」（相同提示的多次生成應各異），以及正確人數計數。結果是獨特臉部準確率從低於 20% 躍升至 98-99%——只改變訓練目標，無需新架構。

更進一步，R2CAM 論文質疑「要求單一模型完成所有事」的根本假設。要生成多人場景，模型必須理解提示、決定人數、推理人物位置和互動、保留身份、最終渲染——這是人工藝術家也會分解的工作。論文將其分為兩階段：建築師模組生成場景構圖（純粹位置規劃），藝術家模組基於這些座標渲染高品質圖像。訓練時建築師和藝術家都用 GRPO 優化，推理時建築師一次生成座標（無學習過程），藝術家執行單次推理。這種分解不只改善身份保留，構圖本身也更自然——因為模型不必同時兼顧十個目標。

在效率方面，Pixel Rush 直接挑戰「如何在有限裝置記憶體上生成 16 百萬像素圖像」。關鍵洞察是在潛在空間而非像素空間工作。流程是：生成 1K 基礎圖像 → 用傳統超解析度放大到 4K → 分解為 16 個 1K 塊，各自編碼到潛在空間 → 在潛在空間做細化（不擴大空間維度，只注入語義引導噪聲） → 最後解碼。關鍵在邊界處理：相鄰塊的邊界區域注入更多噪聲，讓擴散模型有「自由度」在那些區域生成協調的細節，中心區域噪聲較少以保留內容。這樣既避免了潛在空間爆炸（無需按輸出解析度擴展），也避免了像素空間拼接的模糊——對比基線需 10 分鐘，此方法只要 20 秒，快 35 倍。

在修復品質方面，Inverfill 解決圖像編輯常見的邊界瑕疵。傳統方法在遮罩區域生成新內容時，背景完全凍結，導致邊界不協調。Inverfill 的創新是反演：先用去噪擴散的逆過程，將整張輸入圖像 60 毫秒內映射為圖像特定噪聲（與隨機噪聲不同），再在遮罩區域疊加新隨機噪聲。擴散時背景用反演噪聲初始化（保留原圖資訊），前景用反演 + 新隨機噪聲初始化（允許生成新內容），兩者在同一潛在空間層自然協調，消除邊界瑕疵。

整體而言，這些論文傳達的核心訊息是：改進 AI 生成的方式不只有建築革新，更多來自聰慧的訓練目標、任務分解、以及對模型內部表示（如潛在空間）的深入理解。Qualcomm 也正探索智能路由框架，根據輸入提示自動選擇專用模型或流程，這被視為最終解決方案——不是用單一萬能模型，而是根據需求動態編排多個特化工具。