Why Models Are AI’s Next Training Dataset with Damian Borth - #772

權重空間學習源自一個簡潔而深刻的觀察：傳統監督學習用資料訓練神經網路得到權重，但這些權重在用於推理後便被視為終點。Damian Borth提出，權重其實蘊含了巨大的資訊資產——包括模型的準確度、泛化能力、所學特徵等。那為什麼不把權重本身當作資料，用機器學習來理解它們呢？

這個想法類比自然清晰：語言模型在網際網路所有句子上訓練以理解語言，視覺模型在所有畫素上訓練以理解影象，那麼我們也可以在所有已訓練神經網路的權重上訓練一個模型，從而學會分析和生成權重。這開啟了一個全新的研究維度。

初期實現採用自編碼器架構。團隊收集受控條件下訓練的模型動物園（如600個已知後設資料的Fashion MNIST模型），用編碼器將權重壓縮到低維潛空間，透過對比損失學習，再用解碼器重建。驚人的是，這個潛空間自動組織了資訊——不同初始化、不同準確度的模型在潛空間中形成視覺化的軌跡。僅用編碼器的嵌入加線性迴歸頭，就能預測未見過的模型準確度。

第二步嘗試從潛空間取樣生成新權重。雖然重建損失很低，但生成的權重卻"損壞"了模型——這個看似矛盾的現象推動了方法論進化。問題在於均方誤差是平均值，自編碼器擅長捕捉低頻資訊但喪失了決定模型功能的高頻細節。解決方案借鑑影象生成領域：改用感知損失、行為損失，加入標準化，最終生成的權重雖然仍需微調但可用。

擴充套件到真實規模的轉折點來自2024年。團隊突破了"模型動物園"的侷限，開始消化Hugging Face的異構模型生態。這需要解決技術難題：不同架構有不同序列長度、不同層型別，且約30%模型的後設資料缺失。他們採用與架構無關的處理方式——直接向量化權重序列，用位置編碼標識層級而非依賴層邊界。經過質量篩選，從20000個模型中選出2000個多樣的模型用於訓練，涵蓋計算機視覺和語言領域。

最引人注目的驗證來自遙感領域。以預訓練的ImageNet ViT為"錨點"，他們生成了專用於遙感任務的基礎模型。這不只是證明可行，而是展現了實際價值：生成的模型效能與透過傳統微調達到的水平相當，但消耗的GPU時間從12000小時降至350小時——節省了25到30倍。這是真正的知識轉移：計算機視覺模型中學到的權重結構被重新利用到陌生領域。

更前沿的方向是用資料集嵌入代替模型作為條件訊號。在這個框架中，機構無需共享敏感原始資料，只需提供一個聚合的資料集向量。這個向量無法反推出單個樣本（隱私保護），卻足以指導權重空間學習模型生成適合該資料的權重。這對受監管行業（金融、醫療）意義重大——他們既想利用先進模型又無法暴露資料。