KeyFrame內部研究專用

Every step you take, every call you make: the reliable agent stack — Giselle van Dongen, Restate

AI Engineer英文
觀看原始影片

三句話摘要

Restate:在生产環境中可靠運行agents的開源框架,提供持久執行、分布式狀態管理與agent協調的基礎設施層。 Restate是一個不特定於agents但特別適合agents的持久編程基礎,通過事件驅動架構和虛擬對象模型,使開發者能以簡單的方式實現在生產環境中可靠、可交互、可擴展的長期運行agent系統。 三波進化論:從LLM即網站,到能下載的應用工具,再到生產環境中的持久異步實體。當infrastructure從單個agent擴展到連接整個組織的agent平台時,需要新的基礎層來解決分布式系統問題。

重點整理

  1. 三波進化論:從LLM即網站,到能下載的應用工具,再到生產環境中的持久異步實體。當infrastructure從單個agent擴展到連接整個組織的agent平台時,需要新的基礎層來解決分布式系統問題。

  2. 持久執行(Durable Execution):agent運行中的每一步操作都被記錄成事件,當系統崩潰時可從失敗點恢復而無需重新開始。同時支持長期暫停(如等待人工審批),無需持續占用計算資源。

  3. Virtual Objects與有狀態實體:超越工作流的概念,agents成為有唯一ID、隔離狀態存儲、可執行持久函數的對象。支持在執行過程中注入新信息或取消運行,實現真正的交互式agent。

  4. 靈活擴展模式:不強制特定架構,允許隨著需求演進添加LLM網關、成本控制策略等。設計本質是提供安全基礎,讓應用層自由定制。

實用技巧與重點

  • Restate核心四部分:持久執行(durable execution)、並發會話隔離、agent通信、執行控制(取消/終止)
  • 性能指標:10步工作流P99延遲 45ms
  • 架構設計:推送模型(push)而非拉取模型(pull),降低延遲
  • 部署模式:單一二進制、可多實例運行、狀態快照到對象存儲
  • SDK支持:6種語言SDK、主流agent框架集成、相容任何LLM SDK
  • 提供方式:開源自託管、BYOC(自有雲賬戶部署)、託管雲服務
  • 演示系統:Slack research agent、deep research工作流(planner → parallel researchers → writer)
  • 控制策略示例:LLM網關速率限制(如單部門300併發調用限制)
  • 內部實現:事件驅動分布式日誌、嵌入式狀態存儲、事件循環(event loop)

結論

Restate是一個不特定於agents但特別適合agents的持久編程基礎,通過事件驅動架構和虛擬對象模型,使開發者能以簡單的方式實現在生產環境中可靠、可交互、可擴展的長期運行agent系統。

完整解析

當前agent和LLM的應用已經進入第三波演進階段:從單次對話的網站界面,到本地可下載的應用工具,現在發展成為組織內部長期運行的持久實體。這些agent需要訪問各種工具、與其他agent協調、擁有持久記憶。然而現有的agent SDK主要專注於快速實現單個agent的邏輯層,對於分布式系統的複雜需求——如故障恢復、狀態一致性、agent間通信等——幫助有限。

Restate框架正是為此而生。它不是特定於agents,而是一個通用的持久編程基礎。Restate作為獨立服務運行在agent服務前面,扮演類似消息代理或代理的角色。當請求到達時,Restate代理請求並維持與agent的連接。agent執行時所有操作都以事件形式發送回Restate,這個事件日誌成為故障恢復的基礎。框架的核心是四項能力:首先,持久執行讓任何步驟失敗的長時間運行agent都能從失敗點恢復,無需重新開始。其次,虛擬對象(Virtual Objects)提供了比工作流更靈活的模型——每個agent會話擁有唯一ID、隔離的狀態存儲和一系列持久函數處理器,支持真正的交互式agent而非單向工作流。演示中的Slack研究agent展示了這一點:用戶可在研究過程中注入新的上下文或取消當前運行,系統會動態調整。

架構層面,Restate採用事件驅動的分布式日誌設計,靈感來自Meta的核心事件基礎設施。它使用推送模型而非傳統工作流編排器的拉取模型,使得10步工作流的P99延遲僅45毫秒。整個系統是單一二進制,包含事件日誌、嵌入式狀態存儲和事件循環,易於以高可用方式部署——只需多實例運行並定期快照到對象存儲。

Restate特別適合隨著項目發展而演進的場景。例如,當某個LLM模型變得過於昂貴時,無需重新構建系統架構,只需將原本內聯的LLM調用提取為獨立的LLM網關處理器,其他agents通過分布式通信原語調用它。網關可實施速率限制和成本控制策略。框架提供6種語言SDK、與主流agent框架集成,也允許使用任何LLM SDK並通過SDK構造包裝步驟以實現自定義agents。部署方面提供三種選擇:開源自託管、BYOC(數據不離開用戶雲賬戶)、託管雲服務。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI