It’s Tokens All The Way Down: How RLMs are Different — Kevin Madura, AlixPartners
三句話摘要
遞迴語言模型(RLMs)如何透過符號環境交互和任務分解來解決長上下文問題。 RLM 通過在符號環境中遞迴地分解任務,根本解決了傳統 LLM 的上下文限制,讓開發者以最少工程努力處理任意長度的複雜問題。 RLM 的核心差異在於它在符號環境(如 Ripple Python)中直接與上下文互動,而非通過 JSON 字串,這使得子模型能執行額外運算而不填滿主模型的上下文窗口,根本解決了傳統工具呼叫的限制。
重點整理
RLM 的核心差異在於它在符號環境(如 Ripple Python)中直接與上下文互動,而非通過 JSON 字串,這使得子模型能執行額外運算而不填滿主模型的上下文窗口,根本解決了傳統工具呼叫的限制。
RLM 採用確定性的殼層設計(源自 DSPy 理念),定義輸入輸出和提示指導後,讓模型自行決定如何分解問題、撰寫程式碼和應用邏輯,減少中間的實作細節管理。
在長上下文任務上性能顯著優於基礎模型和工具呼叫方式:LongBench 和 BrowseBench 基準測試顯示 RLM 優勢明顯,即使與昂貴的 GPT-5 工具呼叫相比也更便宜。
RLM 避免了「上下文旋轉」問題,因為上下文作為變數存在 Ripple 環境中,主模型可選擇性訪問且只接收相關結果,不需在上下文窗口中追蹤所有中間步驟。
實用技巧與重點
- 性能提升:長思維鏈基準測試從 2.6% 到 45.4% 準確度
- 開源實現:DSPy、Predict RLM、Fast RLM、Axe、Halo
- Predict RLM 使用 DSPy 決定主 LM 和子 LM 呼叫的 schema
- 商業應用:
- Trampoline AI:處理複雜 PDF 和試算表的知識工作
- Halo 專案:最佳化代理任務的 trace 分析
- AWS 日誌分析:直接從任意日誌數據提取洞見
- 程式碼安全:500,000 行程式碼安全報告生成
- 平台支援:Compound 為 RLM 和 DSPy 原生環境
結論
RLM 通過在符號環境中遞迴地分解任務,根本解決了傳統 LLM 的上下文限制,讓開發者以最少工程努力處理任意長度的複雜問題。
完整解析
遞迴語言模型(RLM)代表了使用大型語言模型的全新方式。講者 Kevin Madura 從 Alex Partners 清晰闡述了 RLM 相比傳統方案的根本差異。傳統工具呼叫通常透過 JSON 或字串格式在不同程式間傳遞數據,而 RLM 則在符號環境(如 Ripple Python)中直接與上下文互動。這是第一個關鍵區別。第二個區別是 RLM 能委派給另一個 LM(可為自身或其他模型)進行遞迴問題分解,模型自行決定如何應用邏輯、撰寫程式碼和處理複雜任務。
RLM 的設計理念源自 DSPy 方法論:定義確定性的殼層(任務意圖)、規範輸入輸出格式和提示指導,然後讓模型自行決定實作細節。這種方式根本上改變了開發者的負擔——從繁瑣的上下文管理轉向高層抽象定義。在基準測試上,RLM 在 LongBench 和 BrowseBench 等長上下文任務表現遠優於基礎模型,甚至比昂貴的 GPT-5 工具呼叫方案更便宜。其原因在於 RLM 避免了「上下文旋轉」現象——上下文作為變數存在環境中而非填入上下文窗口,主模型只接收子模型返回的相關結果。
實際應用案例展示了 RLM 的強大優勢。Trampoline AI 的 Predict RLM 產品允許使用者直接遞交 200 頁合約,模型自動處理而無需手動分塊或建立嵌入。AWS 工程師能輕鬆用 RLM 分析任意日誌數據提取洞見。Halo 專案用 RLM 最佳化代理工作流本身,実現了「元層優化」。講者的範例展示,500,000 行程式碼的安全報告生成只需簡單的程式碼片段。Compound 平台作為 RLM 和 DSPy 原生環境,提供了推理過程、生成程式碼和最終輸出的清晰可視化。講者強調,RLM 讓開發者專注於業務目標而非上下文工程細節,且當未來模型原生支援 RLM 方法論時,威力將進一步釋放。


