KeyFrame內部研究專用

Your AI Agent Keeps Making the Same Mistakes - Sparsh Jain, CentralAgent AI

AI Engineer英文
觀看原始影片

三句話摘要

AI Agent 需要經驗記憶系統才能從錯誤中學習並持續改進 建構完整的經驗記憶系統(含生命週期管理與遺忘機制),加上自動驗證與自演進迴圈,才能使 AI Agent 真正從集體經驗中學習,創造指數級成長的自主團隊。 記憶分層架構:短期記憶(工作記憶)和長期記憶分為事實與經驗兩部分,經驗記憶再細分為案例基礎、策略基礎、技能基礎三類,這是讓 Agent 真正從經驗中學習而非機械重複的關鍵。

重點整理

  1. 記憶分層架構:短期記憶(工作記憶)和長期記憶分為事實與經驗兩部分,經驗記憶再細分為案例基礎、策略基礎、技能基礎三類,這是讓 Agent 真正從經驗中學習而非機械重複的關鍵。

  2. 記憶生命週期三階段缺一不可:形成(抽象出學習內容)、更新(添加新知識、改進舊知識、停用過時內容)、檢索(surface-level 看活躍節點、deeper research 看完整演進路徑),其中檢索效率決定了整個系統的上限。

  3. 遺忘機制的必要性:無限累積記憶會導致決策癱瘓(如完美記憶者 Sheriv Sherosky 因所有記憶平等競爭而無法抉擇),必須主動淘汰過時、無關的內容,才能保持系統的決策效率與精度。

  4. 自動演進的三層基礎:觀測層監控系統狀態、夢遊迴圈(dreaming cycles)自動清理與優先排序記憶、驗證層利用新一代 AI 的自我驗證能力,使系統在無人工干預下持續自我改進。

實用技巧與重點

  • 原始問題
  • 10人團隊 + AI Agent,累積20年經驗,Agent 仍重複相同錯誤
  • 記憶架構
  • 短期記憶(工作/會話記憶)
  • 長期記憶:事實記憶 + 經驗記憶
  • 經驗記憶三分類:案例基礎、策略基礎、技能基礎
  • 記憶生命週期三階段
  • Formation(形成)
  • Updation(更新:添加、改進、停用)
  • Retrieval(檢索)
  • 檢索層區分
  • Surface-level research:僅看活躍節點
  • Deeper research:同時看活躍節點 + 非活躍節點(時間演進路徑)
  • 實績提升
  • 上下文收集時間:20分鐘 → 2分鐘
  • Agent 性能提升:10倍
  • Token 成本下降
  • 計算時間減少
  • 警示案例
  • Sheriv Sherosky:完美記憶(100% 回憶率)卻因決策困難而生活悲慘
  • 自演進機制
  • Dreaming cycles(清理、優先排序、重新整理)
  • Observability layer(觀測層)
  • Eval layer(驗證層)
  • Security gardens(安全機制)
  • 團隊倍數效應
  • 單人 1 年 = 1 倍經驗
  • Agent 與 10 人共事 = 10 倍經驗積累
  • 預期時間線
  • 6-9 個月內出現自主 AI 公司
  • 團隊性能倍增:10-100 倍提升

結論

建構完整的經驗記憶系統(含生命週期管理與遺忘機制),加上自動驗證與自演進迴圈,才能使 AI Agent 真正從集體經驗中學習,創造指數級成長的自主團隊。

完整解析

這場演講揭露了企業級 AI Agent 系統的深層困境。一支高性能 Agent 與十位工程師共事二年,累積二十年工程經驗,卻仍不斷重複相同的錯誤。這個問題根源於一個看似合理的假設——既然 Agent 不夠聰慧,何不提供更多上下文和記憶?然而在企業規模下,這個直覺完全反向:更多上下文只會增加成本、拉長思考時間,卻降低精度和性能。

這驅使講者重新思考人類如何透過時間進步。答案不在資訊量,而在於「經驗」——透過犯錯、反思、改進而逐漸精進。既有系統完全缺少這種能力。於是他們設計了分層記憶架構:短期記憶(工作記憶)和長期記憶,後者再分為事實記憶和經驗記憶。經驗記憶是關鍵創新,它捕捉的不是事實本身,而是三類抽象知識——案例(具體細節學習)、策略(該情景下有效的方法)、技能(可反覆使用的通用能力)。加入經驗記憶後,性能跳升10倍。

但建構記憶層次只是開始。講者發現系統需要完整的生命週期管理。記憶生成(formation)要精心設計;更新(updation)涉及添加新知識、改進舊知識、停用過時內容;檢索(retrieval)則決定了整個系統的上限。一個經典例子:告訴 Agent「把家的地圖調出來」,它無法區分舊金山的家和紐約的家,檢索錯誤導致整個系統癱瘓——無論知識庫多優秀,檢索機制失效就毫無用處。

更重要的是一個反直覺的機制:遺忘。一位名叫 Sheriv Sherosky 的人擁有完美記憶和 100% 回憶率,卻因每項記憶都平等地爭奪注意力而生活悲慘、決策困難。同樣的事會發生在 Agent 身上——無限累積記憶而不淘汰過時內容,系統會被資訊淹沒,性能反而下降。

最後的創新是自動演進機制。受人類睡眠時記憶重組的啟發,他們建構了「夢遊迴圈」(dreaming cycles)——自動清理、優先排序、重新整理。配合觀測層、驗證層和安全層,以及現代 AI 模型的自我驗證能力,系統可無需人工干預而持續改進。實際效果是:原本需20分鐘才能收集 Agent 上下文的工作,現在只需2分鐘,Token 成本、計算時間、決策品質都大幅改善。

當 Agent 與十位團隊成員共事時,它不再僅從單一人類累積一年經驗,而是從整個團隊經驗中學習,獲得十倍經驗積累。這種指數級成長正在催生新型組織——由自主 AI Agent 與人類組成的混合團隊,其生產力可達傳統團隊的10至100倍。講者預測6至9個月內,更多由 Agent 協作的自主 AI 公司將出現。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。