KeyFrame內部研究專用

Where RL Will Take Search — Maximilian-David Rumpf, SID.ai

AI Engineer英文
觀看原始影片

三句話摘要

用強化學習訓練專門的搜尋子代理,將搜尋速度提升20倍、成本降低100倍,重新定義AI代理的搜尋範式。 透過強化學習訓練專門搜尋子代理,可將搜尋速度與成本分別改進20倍和100倍,為知識工作代理解鎖無限應用可能。 代理搜尋的成本困局:雖然找到正確文件的機率高出2倍,但成本卻高100-1000倍,速度從毫秒變分鐘級,導致主代理30-50%的token消耗在搜尋而非解題上。

重點整理

  1. 代理搜尋的成本困局:雖然找到正確文件的機率高出2倍,但成本卻高100-1000倍,速度從毫秒變分鐘級,導致主代理30-50%的token消耗在搜尋而非解題上。

  2. 強化學習的天然優勢:搜尋具有明確可驗證的獎勵信號(是否找到正確文件),訓練環境允許模型每秒嘗試數千次,完美匹配RL訓練的需求。

  3. 專用模型的效能無上限:透過RL訓練,搜尋品質隨計算投入線性提升,暫無天花板跡象,可混入延遲獎勵讓模型自主發現最優搜尋策略。

  4. 架構轉變的收益:搜尋子代理獨立負責迭代尋找,主代理專注核心任務只見優質結果,既提升準確度又極降成本,重新分配原本浪費的token預算。

實用技巧與重點

  • 代理搜尋成本:傳統搜尋的100-1000倍
  • 代理搜尋延遲:分鐘級(vs傳統搜尋的毫秒級)
  • 代理的token占比:搜尋占30-50%
  • 改進速度:20倍快(2分鐘→5秒平均)
  • 改進成本:100倍便宜
  • 公司名稱:Citi(搜尋AI實驗室)
  • 模型名稱:SID1
  • 訓練環境:每秒數千次反覆嘗試
  • 測試任務類型:法律、金融、知識庫、科學、電郵等

結論

透過強化學習訓練專門搜尋子代理,可將搜尋速度與成本分別改進20倍和100倍,為知識工作代理解鎖無限應用可能。

完整解析

代理搜尋系統面臨一個根本困境。儘管這些系統找到正確文件的機率高出2倍,但成本卻要多花100到1000倍,速度也從毫秒級降到分鐘級。更關鍵的是主代理要花30-50%的token在搜尋上,造成整體效率低下。Citi的解決方案是重構架構:不讓主代理自己搜尋,而是訓練一個專門的搜尋子代理來承擔搜尋工作。

這個思路呼應了機器學習發展史上的規律——機器設計會逐步超越人類設計。在電腦視覺領域看過邊緣檢測演進到深度學習;在棋類則見證了Deep Blue的人類規則到AlphaZero的端對端學習。搜尋也走相同路徑:從BM25、PageRank的經典算法,進化到向量和reranker的優化模型,再到純強化學習不預設任何設計決策的新範式。

強化學習特別適合搜尋任務,因為搜尋結果天然可驗證——每個問題要么找到正確文件要么沒有,獎勵信號簡單明確。訓練環境允許模型反覆嘗試同一問題,每秒可進行數千次迭代。透過RL訓練後,搜尋品質隨計算投入線性提升,目前無天花板跡象。團隊可混入延遲等額外獎勵,讓模型自主發現最優搜尋策略。

實驗結果令人矚目。改進後的SID1模型在相同任務上速度提升20倍(2分鐘降至5秒),成本降低100倍,品質與frontier model相當。在生產環境中,搜尋子代理負責所有搜尋、思考和迭代,主代理則只接收品質最高的結果。這既提升主代理準確度也讓原本浪費的30-50% token得以重新分配,成本效益極高。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。