KeyFrame內部研究專用

Teaching LLMs to Speak Spotify — Yves Raimond & Jacqueline Wood, Spotify

AI Engineer英文
觀看原始影片

三句話摘要

Spotify 如何教導大語言模型說話「Spotify語言」,實現生成式個性化推薦系統。 透過訓練開源大語言模型習得 Spotify 特有的「語言」,企業能將推薦系統從黑盒排名轉變為可解釋、可控的生成式個性化,同時用 LLM 法官取代傳統指標進行評估。 從黑盒排名到透明推理的轉變:傳統做法是用排名演算法從目錄產生列表,新做法讓模型具備推理能力,能解釋為何推薦某內容給特定使用者在特定情境下,同時給予使用者完全控制權,解決了演算法黑盒問題。

重點整理

  1. 從黑盒排名到透明推理的轉變:傳統做法是用排名演算法從目錄產生列表,新做法讓模型具備推理能力,能解釋為何推薦某內容給特定使用者在特定情境下,同時給予使用者完全控制權,解決了演算法黑盒問題。

  2. 多功能生成式個性化應用:不只是推薦內容,Spotify DJ 可讓使用者干預播放方向、生成式播放清單支援超詳細自然語言請求、新推出的「口味特徵」功能讓使用者用自然語言編輯演算法理解,甚至能為播客生成個人日摘要。

  3. Neo 四階段訓練範式的核心創新:第一階段建立語義基礎(創建 Spotify 特殊代幣),第二階段域結合(凍結 LLM 基礎只訓練新嵌入),第三階段歸納學習(解凍全模型學習多項任務),第四階段可選運動後優化,透過消融實驗証實每階段都是必要的。

  4. LLM 法官取代傳統評估指標:由於生成式推薦涉及複雜推理和解釋,傳統離線指標無法評估解釋準確性和是否符合使用者意圖,因此投入訓練 LLM 法官進行評估,與人類偏好一致性達 87%,尤其在複雜模糊請求上有 91% 的改進。

實用技巧與重點

  • 系統規模與數據
  • Spotify 月活用戶:7.6 億
  • 覆蓋市場數:184 個
  • 曲目數量:1 億+
  • 播放清單:數十億個,每小時不斷產生
  • 美國高級用戶與系統日均互動比例:約 1/4
  • 應用產品
  • Spotify DJ(2014 年起 Discover Weekly 延伸)
  • 生成式播放清單生成(支援自然語言請求)
  • 口味特徵編輯功能(紐西蘭先行推出,後續擴展至其他市場)
  • 私密播客日摘要生成
  • Neo 訓練範式四階段
  • 語義基礎:建立 Spotify 特殊語義代幣
  • 域結合:凍結 LLM 基礎,訓練嵌入層對齊
  • 歸納學習:解凍全模型進行多任務訓練(推薦、搜尋等)
  • 運動後(可選):RL 調優等進一步優化
  • 使用的模型
  • 開源基礎模型:Qwen
  • 評估:LLM 法官(與人類一致性 87%)
  • 推論策略對比
  • 波束搜尋(Beam Search):98% 案例能產生有效語義代幣,延遲略增
  • 限制解碼:延遲更低
  • Top-P 採樣:準確率顯著下降
  • 評估指標改進
  • LLM 法官與人類偏好一致性:75%(基礎版)
  • 加入使用者真實行為信號後一致性提升:5%
  • 複雜請求量提升:91%
  • 最終 LLM 法官與人類排名一致性係數:0.87

結論

透過訓練開源大語言模型習得 Spotify 特有的「語言」,企業能將推薦系統從黑盒排名轉變為可解釋、可控的生成式個性化,同時用 LLM 法官取代傳統指標進行評估。

完整解析

Spotify 是全球最大音樂串流平台,擁有 7.6 億月活用戶遍佈 184 個市場,而龐大的內容庫——超過 1 億曲目加上播客和有聲書——使得個性化推薦成為極具挑戰性的問題。數十億人工策展播放清單每小時源源不斷地產生,如何從這浩瀚內容中為每位使用者精準推薦,正是公司核心難題所在。

傳統的推薦系統經歷了多個階段:從人工策展播放清單(如 2014 年推出的 Discover Weekly),到利用策展信號訓練排名演算法。然而,這些方法存在根本限制——演算法如何決策是黑盒,使用者無法控制,面對龐大目錄時難以滿足多樣需求。Spotify 的新方向是「生成式個性化」,不再單純比較內容,而是賦予系統推理能力,能動態適應每個使用者的實時需求並提供解釋。這包括三個核心應用:Spotify DJ 讓使用者透過自然語言干預播放方向;生成式播放清單支援從籠統到極詳細的自然語言請求(如「創建在舊金山演出樂隊的清單」);而新推出的「口味特徵」功能則讓使用者透過自然語言編輯演算法對自己的理解,例如告訴系統「不要推薦我家人的迪士尼音樂」或「推薦我新類型內容」。

實現這一願景的技術基礎是 Neo 訓練範式。選擇開源模型 Qwen 的原因是為了獲得完整控制權。首先,系統利用 Spotify 現有內容嵌入(如播客劇集),透過量化演算法轉化為離散語義代幣。接著進行四階段訓練:第一階段「語義基礎」建立這些特殊代幣;第二階段「域結合」凍結 LLM 的基礎權重,只訓練嵌入層以對齊語義空間,這保護了語言基礎能力不被遺忘;第三階段「歸納學習」解凍全模型進行多任務訓練(推薦、搜尋等),使模型既能理解自然語言又能識別 Spotify 內容;第四階段則是可選的運動後優化如強化學習。消融研究證實了每個階段的必要性——跳過某些階段會導致性能明顯下降,且多任務學習甚至超越單任務模型性能,特別是在有聲書等新內容類型上有助於冷啟動問題。

傳統離線指標(如點擊率、播放率)無法評估生成式推薦的品質——它們無法判斷解釋是否準確、是否真正符合使用者意圖。因此 Spotify 投入大量資源訓練「LLM 法官」進行評估。初期透過使用者聽歷摘要進行評估時,LLM 法官與人類偏好一致性達 75%;加入真實使用者行為信號(如過去的相似請求與互動)後,一致性提升 5%,但複雜請求量提升 91%;最終透過擴大評估集合並加入人類排名,LLM 法官與人類的一致性係數達到 0.87。推論策略上,波束搜尋在 98% 案例能正確產生語義代幣且延遲可接受,top-P 採樣則會顯著降低準確率。

系統已在生產環境上線,美國 1/4 高級訂閱用戶每日與系統互動,在自動播放、播客開場及使用者與 DJ 的互動中都帶來了顯著改善。Neo 範式是業界首個將生成式搜尋、語義 ID、LLM 推薦系統於一體的低延遲大規模應用案例,証實了在產業級別上實現 LLM 驅動的個性化推薦的可行性。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。