Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

威爾·布朗在本次演講中指出，強化學習面臨一個根本性困境：現實世界中的大多數智能代理任務——包括撰寫分析報告、預訂機票、處理退款、與用戶互動——都缺乏客觀定義的「正確答案」。傳統強化學習依靠明確的獎勵信號指導模型通過策略梯度優化自身，但當任務本身的邊界未定義、目標模糊時，這種清晰信號根本無法獲取。即便人工標注也極其耗時且不夠精準，尤其是對開放式、無限制的現實環境。

面對這個挑戰，講者提出了一套系統的替代方案，核心思想是「充分利用計算資源從現有數據中人工生成隱性獎勵信號」。第一層是基礎測試：通過 A/B 對比，揭示模型在擁有更多上下文時的性能差異，這個差異本身就構成了學習信號。第二層是利用 LLM 本身強大的推理能力——將模型當作通用「法官」，花費計算時間評估代理行為的好壞。第三層是從生產環境中挖掘原始軌跡數據：已部署系統的用戶提示、代理間的調用記錄、執行日誌等，這些數據雖然未標注但代表真實分布，隨著時間累積會形成分布先驗。第四層是反向工程思路：從文檔庫採樣、讓模型生成答案、驗證答案正確性，再丟棄初始問題，讓模型學會從答案反推任務——既获得了監督信號，又創造了符合實際的訓練任務。

強化學習的基礎設施則是高保真模擬器。Primordial 團隊發現，透過結合通用後端基礎設施、測試時計算擴展（test-time scaling）與搜索能力，可以構建生產環境的精密模擬。這些模擬器的獨特價值在於——可以實現真實環境無法實現的操作：直接種入答案、反向推導解決方案路徑、完全控制後端狀態以進行確定性驗證。模擬器質量不是一成不變的，而是可以通過不斷用生產軌跡改進、投入計算資源搜索複雜行為並讓代理學習改進實現，逐步提升保真度。在這過程中需要警惕「獎勵破解」現象——模型可能會找到滿足獎勵信號但實際不符合真實目的的解決方案。防控手段包括紅隊演練、對抗性提示優化、事後追蹤挖掘與多模型一致性檢驗。

最終願景是建立持續學習的閉環系統。已部署的代理在真實生產環境中執行任務時會犯錯，系統能自動觀察這些錯誤、生成對應的訓練任務、利用改進的模擬器進行強化學習，再部署更優的版本——整個過程形成自進化迴圈。人類專家的角色下沈至高層判斷層面（決定「這是好的還是壞的」），而非參與低層細節微調。Primordial 已通過發表的項目（如「通用代理」展示的線上循環架構）和與研究者合作的 Echo 項目（同時融合強化學習和監督學習信號以建立環境世界模型），逐步驗證這套方法的可行性。