Where RL Will Take Search — Maximilian-David Rumpf, SID.ai
三句話摘要
用強化學習訓練專門的搜尋子代理,將搜尋速度提升20倍、成本降低100倍,重新定義AI代理的搜尋範式。 透過強化學習訓練專門搜尋子代理,可將搜尋速度與成本分別改進20倍和100倍,為知識工作代理解鎖無限應用可能。 代理搜尋的成本困局:雖然找到正確文件的機率高出2倍,但成本卻高100-1000倍,速度從毫秒變分鐘級,導致主代理30-50%的token消耗在搜尋而非解題上。
重點整理
代理搜尋的成本困局:雖然找到正確文件的機率高出2倍,但成本卻高100-1000倍,速度從毫秒變分鐘級,導致主代理30-50%的token消耗在搜尋而非解題上。
強化學習的天然優勢:搜尋具有明確可驗證的獎勵信號(是否找到正確文件),訓練環境允許模型每秒嘗試數千次,完美匹配RL訓練的需求。
專用模型的效能無上限:透過RL訓練,搜尋品質隨計算投入線性提升,暫無天花板跡象,可混入延遲獎勵讓模型自主發現最優搜尋策略。
架構轉變的收益:搜尋子代理獨立負責迭代尋找,主代理專注核心任務只見優質結果,既提升準確度又極降成本,重新分配原本浪費的token預算。
實用技巧與重點
- 代理搜尋成本:傳統搜尋的100-1000倍
- 代理搜尋延遲:分鐘級(vs傳統搜尋的毫秒級)
- 代理的token占比:搜尋占30-50%
- 改進速度:20倍快(2分鐘→5秒平均)
- 改進成本:100倍便宜
- 公司名稱:Citi(搜尋AI實驗室)
- 模型名稱:SID1
- 訓練環境:每秒數千次反覆嘗試
- 測試任務類型:法律、金融、知識庫、科學、電郵等
結論
透過強化學習訓練專門搜尋子代理,可將搜尋速度與成本分別改進20倍和100倍,為知識工作代理解鎖無限應用可能。
完整解析
代理搜尋系統面臨一個根本困境。儘管這些系統找到正確文件的機率高出2倍,但成本卻要多花100到1000倍,速度也從毫秒級降到分鐘級。更關鍵的是主代理要花30-50%的token在搜尋上,造成整體效率低下。Citi的解決方案是重構架構:不讓主代理自己搜尋,而是訓練一個專門的搜尋子代理來承擔搜尋工作。
這個思路呼應了機器學習發展史上的規律——機器設計會逐步超越人類設計。在電腦視覺領域看過邊緣檢測演進到深度學習;在棋類則見證了Deep Blue的人類規則到AlphaZero的端對端學習。搜尋也走相同路徑:從BM25、PageRank的經典算法,進化到向量和reranker的優化模型,再到純強化學習不預設任何設計決策的新範式。
強化學習特別適合搜尋任務,因為搜尋結果天然可驗證——每個問題要么找到正確文件要么沒有,獎勵信號簡單明確。訓練環境允許模型反覆嘗試同一問題,每秒可進行數千次迭代。透過RL訓練後,搜尋品質隨計算投入線性提升,目前無天花板跡象。團隊可混入延遲等額外獎勵,讓模型自主發現最優搜尋策略。
實驗結果令人矚目。改進後的SID1模型在相同任務上速度提升20倍(2分鐘降至5秒),成本降低100倍,品質與frontier model相當。在生產環境中,搜尋子代理負責所有搜尋、思考和迭代,主代理則只接收品質最高的結果。這既提升主代理準確度也讓原本浪費的30-50% token得以重新分配,成本效益極高。


