KeyFrame內部研究專用

Memory Harnesses for Long-Running Research Agents — Stefania Druga, Sakana.ai

AI Engineer13 min中文
觀看原始影片

三句話摘要

設計長期運行AI研究代理的記憶管理系統,在本地模型上實現高效的上下文檢索。 在本地模型時代,設計好的記憶檢索策略比單純堆砌記憶儲存更有價值,而「記憶優先度」應該成為AI系統設計的一級指標。 記憶不總是需要的:當所有相關資訊都能放入上下文視窗時,記憶系統反而只增加成本而無效益提升;只有當任務範圍超出上下文容量時,好的記憶管理才能發揮價值。

重點整理

  1. 記憶不總是需要的:當所有相關資訊都能放入上下文視窗時,記憶系統反而只增加成本而無效益提升;只有當任務範圍超出上下文容量時,好的記憶管理才能發揮價值。

  2. 架構設計是控制迴圈:把記憶視為環繞模型的讀寫管理迴圈,而非單純資料庫存儲,包含追蹤、回憶和檔案三個核心模塊,讓記憶檢索成為系統的可控變數。

  3. 排序策略優於簡單檢索:相比無差別的向量RAG或固定規則,基於決策账本的排序回憶策略既提升準確度(在XBench基準上性能最優),也降低token成本,驗證了「壞記憶是昂貴的」這一直覺。

  4. 本地模型的主權優勢:在本地運行讓講者能完全控制資料、計算流程與評估,雖然無法批量查詢且耗時較長,但為記憶系統的可控性與隱私性提供了獨特價值。

實用技巧與重點

  • 硬體配置:Mac M3 Ultra,96GB RAM,28核CPU
  • 模型:Qwen 27B(4位量化)、Deepseek v4 Flash
  • 基準測試:XBench(長期任務記憶基準)、Spider V2(資料庫查詢基準)
  • 回憶策略階梯(測試順序):
  • 無回憶(基準線)
  • 向量RAG相似度檢索
  • 決策账本(追蹤每回合決策)
  • 預言機(地面真實)
  • XBench測試規模:68個問題,多組種子,多重單元測試
  • 場景案例:答案位於步驟124,問題在步驟500(完全超出上下文窗口)
  • Coinbase案例:通過遷移至本地模型、改善路由/快取/上下文管理,同時降低AI成本與提升使用量
  • 論文案例:Nature論文聲稱發現742,000個有希望的材料,後被撤回(測試記憶系統在應對誤導性聲明時的表現)
  • 相關研究:Diamond repository收錄超過30份記憶相關論文

結論

在本地模型時代,設計好的記憶檢索策略比單純堆砌記憶儲存更有價值,而「記憶優先度」應該成為AI系統設計的一級指標。

完整解析

Stefania Druogh今年的研究針對一個日益迫切的問題:隨著AI任務的時間跨度越來越長,而新的基礎模型發布卻越來越稀少,AI代理如何有效地管理和回憶已完成的工作。這個問題在本地模型時代變得尤為重要——Coinbase最近展示了如何通過遷移至開源本地模型、改善快取與上下文管理,在提高AI使用量的同時反而降低了成本。

為了研究這個課題,她在一台Mac M3 Ultra上進行了一系列實驗,搭載96GB記憶體和28核CPU,運行Qwen 27B(4位量化)和Deepseek v4 Flash兩個開源模型。她提出的記憶架構的核心理念是:不把記憶簡單地看作資料庫,而是圍繞模型的一個讀寫管理迴圈。這個迴圈包含三個部分——即時追蹤(traces)、回憶策略(recall block,實驗不同的檢索方式)和檔案庫(archival block,跨會話的長期存儲)。

在回憶策略上,她設計了一個「階梯測試」,逐步遞進地測試四種方案:完全無記憶、向量RAG相似度檢索、基於決策账本的排序檢索(追蹤每個回合做出的決策),以及預言機式的地面真實(告訴模型正確答案作為參考基線)。她在兩個基準測試上驗證了這個方案:一是文獻審查任務(包含一篇後來被撤回的Nature論文,聲稱發現742,000個有希望的材料),二是XBench這個專門測試長期任務記憶的基準。

最有趣的發現是,記憶系統並非永遠有效。在文獻審查任務中,由於所有相關資訊都能放入模型上下文,加入記憶系統並未提升性能,反而因為額外的token消耗而增加了成本。但在XBench的測試中,當問題在步驟500被提出,而正確答案則位於步驟124時(完全超出上下文窗口),基於決策账本排序的回憶策略顯著超越了其他方案,甚至超過了預言機基線——因為預言機雖然提供正確記憶,但模型仍可能選擇忽略或誤解。這驗證了一個關鍵直覺:壞的記憶系統既浪費token又降低性能,而好的結構化記憶策略既能提升準確度,還能節省成本。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。