Every step you take, every call you make: the reliable agent stack — Giselle van Dongen, Restate
三句話摘要
Restate:在生产環境中可靠運行agents的開源框架,提供持久執行、分布式狀態管理與agent協調的基礎設施層。 Restate是一個不特定於agents但特別適合agents的持久編程基礎,通過事件驅動架構和虛擬對象模型,使開發者能以簡單的方式實現在生產環境中可靠、可交互、可擴展的長期運行agent系統。 三波進化論:從LLM即網站,到能下載的應用工具,再到生產環境中的持久異步實體。當infrastructure從單個agent擴展到連接整個組織的agent平台時,需要新的基礎層來解決分布式系統問題。
重點整理
三波進化論:從LLM即網站,到能下載的應用工具,再到生產環境中的持久異步實體。當infrastructure從單個agent擴展到連接整個組織的agent平台時,需要新的基礎層來解決分布式系統問題。
持久執行(Durable Execution):agent運行中的每一步操作都被記錄成事件,當系統崩潰時可從失敗點恢復而無需重新開始。同時支持長期暫停(如等待人工審批),無需持續占用計算資源。
Virtual Objects與有狀態實體:超越工作流的概念,agents成為有唯一ID、隔離狀態存儲、可執行持久函數的對象。支持在執行過程中注入新信息或取消運行,實現真正的交互式agent。
靈活擴展模式:不強制特定架構,允許隨著需求演進添加LLM網關、成本控制策略等。設計本質是提供安全基礎,讓應用層自由定制。
實用技巧與重點
- Restate核心四部分:持久執行(durable execution)、並發會話隔離、agent通信、執行控制(取消/終止)
- 性能指標:10步工作流P99延遲 45ms
- 架構設計:推送模型(push)而非拉取模型(pull),降低延遲
- 部署模式:單一二進制、可多實例運行、狀態快照到對象存儲
- SDK支持:6種語言SDK、主流agent框架集成、相容任何LLM SDK
- 提供方式:開源自託管、BYOC(自有雲賬戶部署)、託管雲服務
- 演示系統:Slack research agent、deep research工作流(planner → parallel researchers → writer)
- 控制策略示例:LLM網關速率限制(如單部門300併發調用限制)
- 內部實現:事件驅動分布式日誌、嵌入式狀態存儲、事件循環(event loop)
結論
Restate是一個不特定於agents但特別適合agents的持久編程基礎,通過事件驅動架構和虛擬對象模型,使開發者能以簡單的方式實現在生產環境中可靠、可交互、可擴展的長期運行agent系統。
完整解析
當前agent和LLM的應用已經進入第三波演進階段:從單次對話的網站界面,到本地可下載的應用工具,現在發展成為組織內部長期運行的持久實體。這些agent需要訪問各種工具、與其他agent協調、擁有持久記憶。然而現有的agent SDK主要專注於快速實現單個agent的邏輯層,對於分布式系統的複雜需求——如故障恢復、狀態一致性、agent間通信等——幫助有限。
Restate框架正是為此而生。它不是特定於agents,而是一個通用的持久編程基礎。Restate作為獨立服務運行在agent服務前面,扮演類似消息代理或代理的角色。當請求到達時,Restate代理請求並維持與agent的連接。agent執行時所有操作都以事件形式發送回Restate,這個事件日誌成為故障恢復的基礎。框架的核心是四項能力:首先,持久執行讓任何步驟失敗的長時間運行agent都能從失敗點恢復,無需重新開始。其次,虛擬對象(Virtual Objects)提供了比工作流更靈活的模型——每個agent會話擁有唯一ID、隔離的狀態存儲和一系列持久函數處理器,支持真正的交互式agent而非單向工作流。演示中的Slack研究agent展示了這一點:用戶可在研究過程中注入新的上下文或取消當前運行,系統會動態調整。
架構層面,Restate採用事件驅動的分布式日誌設計,靈感來自Meta的核心事件基礎設施。它使用推送模型而非傳統工作流編排器的拉取模型,使得10步工作流的P99延遲僅45毫秒。整個系統是單一二進制,包含事件日誌、嵌入式狀態存儲和事件循環,易於以高可用方式部署——只需多實例運行並定期快照到對象存儲。
Restate特別適合隨著項目發展而演進的場景。例如,當某個LLM模型變得過於昂貴時,無需重新構建系統架構,只需將原本內聯的LLM調用提取為獨立的LLM網關處理器,其他agents通過分布式通信原語調用它。網關可實施速率限制和成本控制策略。框架提供6種語言SDK、與主流agent框架集成,也允許使用任何LLM SDK並通過SDK構造包裝步驟以實現自定義agents。部署方面提供三種選擇:開源自託管、BYOC(數據不離開用戶雲賬戶)、託管雲服務。


