KeyFrame內部研究專用

Building Durable AI Agents |Episode #363|

Practical AI44 min英文
觀看原始影片

三句話摘要

AI代理系統的穩定性:從本地開發到企業級雲部署的基礎設施挑戰 AI代理穩定性本質上是框架和基礎設施協同的問題:企業需要從任務隊列、容錯編排到觀測回放的完整系統,透過投資內部平台和開源模型優化來獲得競爭優勢。 ML Ops的核心原則完全適用於AI代理開發。儘管代理系統不是傳統的DAG(而是動態、循環的圖),但「以安全、可靠、可重試的方式運行非確定性代碼」的根本需求未變。框架層和基礎設施層的設計思想可直接繼承,只是需要適應動態流程特性。

重點整理

  1. ML Ops的核心原則完全適用於AI代理開發。儘管代理系統不是傳統的DAG(而是動態、循環的圖),但「以安全、可靠、可重試的方式運行非確定性代碼」的根本需求未變。框架層和基礎設施層的設計思想可直接繼承,只是需要適應動態流程特性。

  2. 代理從本地環境到雲端部署會遇到根本性複雜性跳躍。本地運行時持久化和故障恢復看似簡單,但一旦移到Kubernetes或AWS等共享基礎設施,需要處理容器宕機、網路中斷、資源競爭等真實場景。簡單的任務隊列演進為需要消息代理、持久化存儲、狀態管理的完整系統。

  3. 企業規模化運行代理必須投資內部平台而非仰賴模型提供商。Uber通過自建ML Ops平台獲得市場領先地位並非偶然——內部平台使公司能理解什麼策略對自己的業務有效、什麼無效,並據此持續優化。代理系統亦同。

  4. 開源模型的快速進展改變了成本方程式。GLM等新模型性能已達Opus 4.8的95%,企業應將優化重點從模型本身轉向框架層——更好的工具調用策略、執行優化、記憶體管理,往往能帶來更好的成本效益。

實用技巧與重點

  • 工具與框架
  • ZenML:ML Ops框架,現已支持代理工作流
  • LangChain、Pydantic AI:開源代理框架
  • Claude Code:Anthropic工具框架(基於Opus 4.8)
  • LangGraph:工作流編排
  • N8N:工作流自動化
  • E2B、Daytona、Model:代理沙箱環境
  • 開源模型:GLM(性能達Opus 4.8的95%)、Mistral
  • MCP(Model Context Protocol):模型交互標準協議
  • 關鍵數字
  • AI工程師世界博覽會:7000人參加
  • GLM模型推出兩週內達到Opus 4.8性能的95%
  • 架構核心組件
  • 消息隊列+消息代理(確保任務不丟失)
  • FastAPI入口點+Celery Worker執行層
  • DAG編排引擎(處理任務依賴)
  • 狀態持久化存儲(支持長期運行任務)
  • 回放系統(重現執行軌跡用於調試與實驗)
  • 觀測層(追蹤執行、成本、性能瓶頸)
  • 沙箱環境(隔離和執行任意代碼)
  • 關鍵概念
  • Harness:將LLM輸出映射到工具呼叫的軟體層
  • 結構化輸出(Structured Output)、工具呼叫(Tool Calling)
  • 多智能體架構(Multi-Agent Architecture)
  • 冪等性(Idempotency)
  • 版本控制(在多輪對話中維持模型/代碼一致性)

結論

AI代理穩定性本質上是框架和基礎設施協同的問題:企業需要從任務隊列、容錯編排到觀測回放的完整系統,透過投資內部平台和開源模型優化來獲得競爭優勢。

完整解析

這期播客深入探討了AI代理系統從開發環境邁向企業生產的架構演進。ZenML聯合創始人Hamza Tahir指出一個容易被忽視的事實:AI代理的穩定性問題並非嶄新挑戰,而是ML Ops領域久經驗證的原則在新場景下的重新應用。五年前ML Ops要解決的核心問題——如何以安全、可靠、可重試的方式執行非確定性代碼——在代理時代變得更加複雜但本質未變。

從技術架構看,代理從開發者本地筆記本遷移到企業雲環境時,複雜性發生質變。傳統ML管道是確定性的有向無環圖:讀入數據→預處理→訓練→評估,步驟明確、邊界清晰。但代理是根本不同的執行模式——LLM產生決策→呼叫工具→接收結果→繼續迴圈。這種非確定性和動態特性打破了傳統DAG的假設。因此架構需要徹底重構:不能簡單地在FastAPI前挂一個Celery隊列,而必須引入消息代理確保任務持久化、設置監控偵測容器故障、構建狀態存儲以支持長期執行任務的暫停與恢復。

更棘手的是狀態管理和版本控制的新維度。想像一個代理任務運行30天來完成複雜業務流程,中途開發團隊更新了代碼邏輯或模型供應商突然禁用了某個模型,系統應該用哪個版本繼續執行?如果用戶要求「用成本更低的模型重試看看」,如何安全地重現整個包含20000次工具呼叫的執行軌跡?這些問題無法透過防禦性編程解決,必須在框架和基礎設施層面內建回放、觀測、實驗機制。

Hamza強調企業應投資構建內部代理平台而非完全依賴模型提供商的託管服務。Uber正是透過自建ML Ops平台獲得市場領先地位,對代理系統亦然——內部平台讓公司能夠深入理解什麼策略對自身業務有效、什麼無效,據此持續迭代優化。令人鼓舞的是開源模型的快速進展:GLM等新模型發佈僅兩週就達到Opus 4.8性能的95%,打破了對專有模型的依賴。企業應將優化重點轉向框架層——更精良的工具呼叫策略、執行優化、記憶體管理——往往能比更換模型帶來更好的成本效益。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。