Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify
三句話摘要
Spotify 如何教導大語言模型說話「Spotify語言」,實現生成式個性化推薦系統。 透過訓練開源大語言模型習得 Spotify 特有的「語言」,企業能將推薦系統從黑盒排名轉變為可解釋、可控的生成式個性化,同時用 LLM 法官取代傳統指標進行評估。 從黑盒排名到透明推理的轉變:傳統做法是用排名演算法從目錄產生列表,新做法讓模型具備推理能力,能解釋為何推薦某內容給特定使用者在特定情境下,同時給予使用者完全控制權,解決了演算法黑盒問題。
重點整理
從黑盒排名到透明推理的轉變:傳統做法是用排名演算法從目錄產生列表,新做法讓模型具備推理能力,能解釋為何推薦某內容給特定使用者在特定情境下,同時給予使用者完全控制權,解決了演算法黑盒問題。
多功能生成式個性化應用:不只是推薦內容,Spotify DJ 可讓使用者干預播放方向、生成式播放清單支援超詳細自然語言請求、新推出的「口味特徵」功能讓使用者用自然語言編輯演算法理解,甚至能為播客生成個人日摘要。
Neo 四階段訓練範式的核心創新:第一階段建立語義基礎(創建 Spotify 特殊代幣),第二階段域結合(凍結 LLM 基礎只訓練新嵌入),第三階段歸納學習(解凍全模型學習多項任務),第四階段可選運動後優化,透過消融實驗証實每階段都是必要的。
LLM 法官取代傳統評估指標:由於生成式推薦涉及複雜推理和解釋,傳統離線指標無法評估解釋準確性和是否符合使用者意圖,因此投入訓練 LLM 法官進行評估,與人類偏好一致性達 87%,尤其在複雜模糊請求上有 91% 的改進。
實用技巧與重點
- 系統規模與數據
- Spotify 月活用戶:7.6 億
- 覆蓋市場數:184 個
- 曲目數量:1 億+
- 播放清單:數十億個,每小時不斷產生
- 美國高級用戶與系統日均互動比例:約 1/4
- 應用產品
- Spotify DJ(2014 年起 Discover Weekly 延伸)
- 生成式播放清單生成(支援自然語言請求)
- 口味特徵編輯功能(紐西蘭先行推出,後續擴展至其他市場)
- 私密播客日摘要生成
- Neo 訓練範式四階段
- 語義基礎:建立 Spotify 特殊語義代幣
- 域結合:凍結 LLM 基礎,訓練嵌入層對齊
- 歸納學習:解凍全模型進行多任務訓練(推薦、搜尋等)
- 運動後(可選):RL 調優等進一步優化
- 使用的模型
- 開源基礎模型:Qwen
- 評估:LLM 法官(與人類一致性 87%)
- 推論策略對比
- 波束搜尋(Beam Search):98% 案例能產生有效語義代幣,延遲略增
- 限制解碼:延遲更低
- Top-P 採樣:準確率顯著下降
- 評估指標改進
- LLM 法官與人類偏好一致性:75%(基礎版)
- 加入使用者真實行為信號後一致性提升:5%
- 複雜請求量提升:91%
- 最終 LLM 法官與人類排名一致性係數:0.87
結論
透過訓練開源大語言模型習得 Spotify 特有的「語言」,企業能將推薦系統從黑盒排名轉變為可解釋、可控的生成式個性化,同時用 LLM 法官取代傳統指標進行評估。
完整解析
Spotify 是全球最大音樂串流平台,擁有 7.6 億月活用戶遍佈 184 個市場,而龐大的內容庫——超過 1 億曲目加上播客和有聲書——使得個性化推薦成為極具挑戰性的問題。數十億人工策展播放清單每小時源源不斷地產生,如何從這浩瀚內容中為每位使用者精準推薦,正是公司核心難題所在。
傳統的推薦系統經歷了多個階段:從人工策展播放清單(如 2014 年推出的 Discover Weekly),到利用策展信號訓練排名演算法。然而,這些方法存在根本限制——演算法如何決策是黑盒,使用者無法控制,面對龐大目錄時難以滿足多樣需求。Spotify 的新方向是「生成式個性化」,不再單純比較內容,而是賦予系統推理能力,能動態適應每個使用者的實時需求並提供解釋。這包括三個核心應用:Spotify DJ 讓使用者透過自然語言干預播放方向;生成式播放清單支援從籠統到極詳細的自然語言請求(如「創建在舊金山演出樂隊的清單」);而新推出的「口味特徵」功能則讓使用者透過自然語言編輯演算法對自己的理解,例如告訴系統「不要推薦我家人的迪士尼音樂」或「推薦我新類型內容」。
實現這一願景的技術基礎是 Neo 訓練範式。選擇開源模型 Qwen 的原因是為了獲得完整控制權。首先,系統利用 Spotify 現有內容嵌入(如播客劇集),透過量化演算法轉化為離散語義代幣。接著進行四階段訓練:第一階段「語義基礎」建立這些特殊代幣;第二階段「域結合」凍結 LLM 的基礎權重,只訓練嵌入層以對齊語義空間,這保護了語言基礎能力不被遺忘;第三階段「歸納學習」解凍全模型進行多任務訓練(推薦、搜尋等),使模型既能理解自然語言又能識別 Spotify 內容;第四階段則是可選的運動後優化如強化學習。消融研究證實了每個階段的必要性——跳過某些階段會導致性能明顯下降,且多任務學習甚至超越單任務模型性能,特別是在有聲書等新內容類型上有助於冷啟動問題。
傳統離線指標(如點擊率、播放率)無法評估生成式推薦的品質——它們無法判斷解釋是否準確、是否真正符合使用者意圖。因此 Spotify 投入大量資源訓練「LLM 法官」進行評估。初期透過使用者聽歷摘要進行評估時,LLM 法官與人類偏好一致性達 75%;加入真實使用者行為信號(如過去的相似請求與互動)後,一致性提升 5%,但複雜請求量提升 91%;最終透過擴大評估集合並加入人類排名,LLM 法官與人類的一致性係數達到 0.87。推論策略上,波束搜尋在 98% 案例能正確產生語義代幣且延遲可接受,top-P 採樣則會顯著降低準確率。
系統已在生產環境上線,美國 1/4 高級訂閱用戶每日與系統互動,在自動播放、播客開場及使用者與 DJ 的互動中都帶來了顯著改善。Neo 範式是業界首個將生成式搜尋、語義 ID、LLM 推薦系統於一體的低延遲大規模應用案例,証實了在產業級別上實現 LLM 驅動的個性化推薦的可行性。


