KeyFrame內部研究專用

Okay, this unleashed my agent

AI Jason·4月21日週二·17 min中文

三句話摘要

AI 代理的自我進化機制——通過分層記憶、自主技能生成和後台同步實現持續學習。 自進化代理的成功在於透過自主後台流程維持分層記憶和技能系統的健康度,而非單純提升代理自主性。 自進化的兩條路線完全不同。自動代理(AutoAgent)改進代理框架或軟件本身,輸出是改進後的模型或框架;情境學習代理(如 Hermes)則讓代理記住自己的行為和反饋,隨著使用次數增加而變聰明。兩者解決的問題截然不同,後者更具實際價值。

重點整理

重點
  • 1

    自進化的兩條路線完全不同。自動代理(AutoAgent)改進代理框架或軟件本身,輸出是改進後的模型或框架;情境學習代理(如 Hermes)則讓代理記住自己的行為和反饋,隨著使用次數增加而變聰明。兩者解決的問題截然不同,後者更具實際價值。

  • 2

    三大支柱系統是自學習的基礎架構。有效的自進化代理需要分層記憶(熱記憶始終加載系統提示,包含溫記憶的索引)、技能系統(存儲領域知識)以及可搜索的原始歷史記錄。記憶不應依賴手動提示,而需要後台異步進程自動提取和整合。

  • 3

    Hermes 的自主技能生成是突破性創新。代理執行超過 10 步未創建技能時,自動啟動子代理在後台審查工作內容,決定是否提取有用技能;配合技能防護機制檢查新技能是否符合安全規則。同時每 10 回合自動觸發記憶審查,決定是否保存或更新。這種自主流程大幅減少人工干預。

  • 4

    不同平台的實現各有取捨。Cloud Code 側重事實記憶的自動提取和整合;Open Core 強調記憶搜索和顯性的技能管理;Hermes 通過自主後台流程和嚴格字符限制(單個記憶文件不超過 4000 字符),強制代理依靠技能維持任務知識。選擇哪種取決於已投入的生態系統。

實用技巧與重點

乾貨
  • 核心工具和平台
  • Cloud Code(自動修剪/內存整合功能)
  • Open Core(內存搜索工具、引導 MD 文件、每日日誌)
  • Hermes Agent
  • Crewllet(新自進化代理平台,可監控業務數據、自主優先級排序增長行動)
  • Mem Zero、Hundo(語義記憶層選項)
  • HubSpot AI 代理速查表(開源架構對比工具)
  • 記憶系統的數值和結構
  • Hermes 記憶文件字符限制:user.md 和 memory.md 各限 4000 字符以內
  • Hermes 觸發週期:每 10 回合自動提取記憶;執行步驟超過 10 步未創建技能時啟動子代理
  • 熱記憶文件:user.md(用戶信息、偏好、工作流習慣)、memory.md(項目約定、環境信息)
  • 溫記憶:技能文件(領域知識)、對話歷史(SQLite 數據庫存儲)
  • 實現機制詳解
  • Cloud Code:特殊提示指示何時保存記憶;記憶存於 .cloud 文件夾;memory.md 作為所有記憶的索引;會話結束後觸發自動修剪程序,重啟新會話檢查過時記憶並整合
  • Open Core:引導 MD 文件指示代理匯總信息;每日日誌提供交互快照;內存搜索工具搜索記憶和對話歷史;代理可主動搜索雲中心獲取相關技能並實時添加或刪除
  • Hermes Agent:記憶審查代理每 10 回合自動觸發;技能管理工具支持創建、修補、刪除、寫入/刪除技能中的文件;技能防護檢查拒絕模式,檢測錯誤自動刪除並向代理發送調整提示;支持接入語義記憶層
  • Self-improving agent skill(通用插件):用戶提交鉤子和工具使用後鉤子規範化記憶生成;注入自我提升提醒 MD 文件到系統提示
  • 遷移工具
  • Open Core 到 Hermes:單條命令完成所有數據遷移

結論

結論

自進化代理的成功在於透過自主後台流程維持分層記憶和技能系統的健康度,而非單純提升代理自主性。

完整解析

詳細

構建自進化 AI 代理的關鍵並不在於讓代理有多自主,而在於選擇適合使用場景的架構。當前的自進化代理可分為兩個截然不同的分支:自動代理(AutoAgent)的目標是改進代理框架本身,通過讀取 program.md 中定義的目標,用大語言模型自動生成改進方案,再通過評估來決定保留或放棄——這本質上像是微調模型,輸出是改進後的模型或框架;而情境學習型代理(如 Hermes、Claude Code 的自動記憶功能)則讓代理能記住自己的行為反饋,在使用過程中逐漸變得更聰明。後者在實踐中更具可行性。

有效的自進化代理都依賴於三大支柱系統。首先是分層記憶機制——熱記憶(Hot Memory)始終加載到系統提示中,包含用戶信息、項目約定和溫記憶的索引;溫記憶(Warm Memory)按需加載,節省寶貴的上下文窗口空間。第二是技能系統,存儲代理執行特定任務所需的領域知識。第三是可搜索的歷史記錄,保存原始對話線程供代理查閱。不同平台對這三大支柱的實現策略各異,體現了各自的設計哲學。

Cloud Code 最初將所有內容存於 cloud.md 文件的系統提示中,後來發展出熱溫記憶分層設置以避免上下文臃腫。其最重要的創新是自動修剪(Auto Pruning)功能——在會話結束後自動觸發的後台進程,重新啟動新會話並發出特殊提示,檢查記憶中已有的過時信息、對比對話歷史,然後將各種記憶文件整合並更新索引。Open Core 則將記憶視為一等公民,提供明確的記憶文件分類(用戶、反饋、項目、參考文檔),內置內存搜索工具能搜索所有記憶和對話歷史,讓代理能主動查詢並獲取相關技能。

Hermes Agent 通過自主機制大幅降低人工干預。其自主技能生成機制能統計代理執行的步驟數,當步驟數超過 10 而未創建任何技能時,自動啟動子代理在後台無阻塞地審查已完成的工作。代理配備技能管理工具支持完整的技能生命週期(創建、修補、刪除),並實施技能防護——檢查新技能是否符合拒絕模式列表,若有違規自動刪除並向代理發送調整提示。在記憶端,每 10 回合自動觸發記憶審查代理,檢視用戶行為、個性和偏好,決定是否更新 user.md 和 memory.md 文件(各限 4000 字符以控制記憶規模)。代理可搜索本地 SQLite 數據庫中的原始對話歷史,甚至接入 Mem Zero 等語義記憶層進行深層語義搜索。這種同步的後台更新、自主技能審查和多層可搜索記憶的結合,使 Hermes 在實踐中表現出超越其他方案的智能感。

無論採用哪個平台,最先進的實現方式都應包含四個要素:用技能獲取和維護領域知識、用記憶記住重要事實、用可搜索且可審計的原始歷史獲取完整信息、以及一個後台同步流程自動更新快照知識而無需依賴代理或人工干預。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。