KeyFrame內部研究專用

It’s Tokens All The Way Down: How RLMs are Different — Kevin Madura, AlixPartners

AI Engineer英文
觀看原始影片

三句話摘要

遞迴語言模型(RLMs)如何透過符號環境交互和任務分解來解決長上下文問題。 RLM 通過在符號環境中遞迴地分解任務,根本解決了傳統 LLM 的上下文限制,讓開發者以最少工程努力處理任意長度的複雜問題。 RLM 的核心差異在於它在符號環境(如 Ripple Python)中直接與上下文互動,而非通過 JSON 字串,這使得子模型能執行額外運算而不填滿主模型的上下文窗口,根本解決了傳統工具呼叫的限制。

重點整理

  1. RLM 的核心差異在於它在符號環境(如 Ripple Python)中直接與上下文互動,而非通過 JSON 字串,這使得子模型能執行額外運算而不填滿主模型的上下文窗口,根本解決了傳統工具呼叫的限制。

  2. RLM 採用確定性的殼層設計(源自 DSPy 理念),定義輸入輸出和提示指導後,讓模型自行決定如何分解問題、撰寫程式碼和應用邏輯,減少中間的實作細節管理。

  3. 在長上下文任務上性能顯著優於基礎模型和工具呼叫方式:LongBench 和 BrowseBench 基準測試顯示 RLM 優勢明顯,即使與昂貴的 GPT-5 工具呼叫相比也更便宜。

  4. RLM 避免了「上下文旋轉」問題,因為上下文作為變數存在 Ripple 環境中,主模型可選擇性訪問且只接收相關結果,不需在上下文窗口中追蹤所有中間步驟。

實用技巧與重點

  • 性能提升:長思維鏈基準測試從 2.6% 到 45.4% 準確度
  • 開源實現:DSPy、Predict RLM、Fast RLM、Axe、Halo
  • Predict RLM 使用 DSPy 決定主 LM 和子 LM 呼叫的 schema
  • 商業應用:
  • Trampoline AI:處理複雜 PDF 和試算表的知識工作
  • Halo 專案:最佳化代理任務的 trace 分析
  • AWS 日誌分析:直接從任意日誌數據提取洞見
  • 程式碼安全:500,000 行程式碼安全報告生成
  • 平台支援:Compound 為 RLM 和 DSPy 原生環境

結論

RLM 通過在符號環境中遞迴地分解任務,根本解決了傳統 LLM 的上下文限制,讓開發者以最少工程努力處理任意長度的複雜問題。

完整解析

遞迴語言模型(RLM)代表了使用大型語言模型的全新方式。講者 Kevin Madura 從 Alex Partners 清晰闡述了 RLM 相比傳統方案的根本差異。傳統工具呼叫通常透過 JSON 或字串格式在不同程式間傳遞數據,而 RLM 則在符號環境(如 Ripple Python)中直接與上下文互動。這是第一個關鍵區別。第二個區別是 RLM 能委派給另一個 LM(可為自身或其他模型)進行遞迴問題分解,模型自行決定如何應用邏輯、撰寫程式碼和處理複雜任務。

RLM 的設計理念源自 DSPy 方法論:定義確定性的殼層(任務意圖)、規範輸入輸出格式和提示指導,然後讓模型自行決定實作細節。這種方式根本上改變了開發者的負擔——從繁瑣的上下文管理轉向高層抽象定義。在基準測試上,RLM 在 LongBench 和 BrowseBench 等長上下文任務表現遠優於基礎模型,甚至比昂貴的 GPT-5 工具呼叫方案更便宜。其原因在於 RLM 避免了「上下文旋轉」現象——上下文作為變數存在環境中而非填入上下文窗口,主模型只接收子模型返回的相關結果。

實際應用案例展示了 RLM 的強大優勢。Trampoline AI 的 Predict RLM 產品允許使用者直接遞交 200 頁合約,模型自動處理而無需手動分塊或建立嵌入。AWS 工程師能輕鬆用 RLM 分析任意日誌數據提取洞見。Halo 專案用 RLM 最佳化代理工作流本身,実現了「元層優化」。講者的範例展示,500,000 行程式碼的安全報告生成只需簡單的程式碼片段。Compound 平台作為 RLM 和 DSPy 原生環境,提供了推理過程、生成程式碼和最終輸出的清晰可視化。講者強調,RLM 讓開發者專注於業務目標而非上下文工程細節,且當未來模型原生支援 RLM 方法論時,威力將進一步釋放。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。