We Trust AI Agents That Break Every Day - Shy Ruparel, Temporal
三句話摘要
AI 代理在生產環境中面臨的可靠性落差,以及如何透過持久執行技術解決從原型到生產的轉換問題。 AI 代理的生產可靠性不在於完全避免故障,而在於設計讓故障發生時不造成業務或成本損失,持久執行提供了統一的解決方案來同步解決狀態、除錯、成本和故障恢復這四個核心障礙。 使用與部署的巨大落差:雖然日常使用 AI 代理的工程師已增至 80.8%,但實際在生產環境運行的僅約 49.1%,相差 30 多個百分點。這反映了使用與可靠部署之間的重大障礙,說明部署不單是技術問題,更涉及可信度、監管和故障恢復機制。
重點整理
使用與部署的巨大落差:雖然日常使用 AI 代理的工程師已增至 80.8%,但實際在生產環境運行的僅約 49.1%,相差 30 多個百分點。這反映了使用與可靠部署之間的重大障礙,說明部署不單是技術問題,更涉及可信度、監管和故障恢復機制。
信任與現實的矛盾:85.5% 的工程師信任代理輸出,但 41.1% 每天遇到問題,16.4% 每小時遇到問題。即使自稱成功的團隊也會遇到更多故障(高 1.7 倍),這說明提升技能無法消除故障,必須設計系統讓故障發生時不造成業務損失。
企業規模影響部署速度:小公司能在數小時內將原型部署到生產環境,而員工 5,000 人以上的大企業需要數月時間。時間差異源於審計、合規和可靠性要求的層層把關,特別是在金融、保險、支付等受監管行業。
觀測與恢復的鴻溝:大多數團隊能觀測故障(透過日誌、追蹤工具),但只有 13% 能自信地在規模化狀況下除錯。現況是工程師在凌晨 2 點手動修復狀態,且工程師求助故障時的首選竟是 YouTube,反映出缺乏適當工具和可觀測性。
實用技巧與重點
- 調查數據統計
- 2025 年企業生產力收益:$3 兆(KPMG Agentic AI 報告)
- 金融科技企業中 94% 認為 AI 是業務核心
- 金融科技團隊因可靠性問題損失收益:62%
- 日常使用代理工程師:80.8%(2026 年),2025 年為 47.3%
- 生產環境運行代理的團隊:49.1%
- 信任代理輸出工程師:85.5%
- 每天遇到代理問題:41.1%
- 每小時遇到問題:16.4%
- 成功團隊遇到問題比例更高:1.7 倍
- 因崩潰失去進度的工程師:22.2%(1/5)
- 認為狀態管理脆弱:27%(去年)→ 現已成第一阻礙
- 能自信規模化除錯 AI 工作流:13%
- 代理成本限制使用方式:80%
- 數小時內原型上生產:51.3%
- 大企業(5,000+ 員工)需時數月:1/5;小企業需時數月:1/20
- 調查樣本背景
- 樣本規模:554 位工程師和工程領導者
- 11+ 年經驗比例:48.4%
- 6-10 年經驗比例:占剩餘部分
- 地理分布:2/3 美國,1/3 英國及歐洲中東非洲區
- 主要阻礙排名
- 狀態追蹤跨服務:35.7%(第一)
- 隔離和除錯問題:30.9%(第二)
- 因崩潰重啟失去進度:22.2%
- 安全問題阻礙自動化:40%
- 支付轉帳工作流程架構
- 9 個流程步驟:驗證請求 → 預留資金 → 檢查外匯報價 → AI 詐欺調查 → 人工審核 → 銀行提交 → 完成
- 代理內部步驟:查看客戶檔案 → 查看支出歷史 → 草擬簡報
- 運行環境:Qwen 36B/9B(在筆記本電腦上)
- 故障時的求助方式
- 第一選擇:YouTube
- Temporal 持久執行核心機制
- 事件歷史:每一步驟都被記錄
- 狀態持久化:工作流狀態為純變數,無需額外資料庫
- 決定性工作流:工作流程代碼決定邏輯,所有非決定性操作(LLM、API 呼叫)獨立執行為活動
- 人工信號:核准/拒絕以事件形式記錄在歷史中
- 故障恢復:新工作者從最後成功步驟接手,不重新執行已完成活動
- 成本優化:LLM 工具呼叫僅執行一次,不浪費代幣
- 重試策略:在配置中聲明一次,應用於所有呼叫
- 實際生產使用者
- OpenAI Codex
- Replit 代理
結論
AI 代理的生產可靠性不在於完全避免故障,而在於設計讓故障發生時不造成業務或成本損失,持久執行提供了統一的解決方案來同步解決狀態、除錯、成本和故障恢復這四個核心障礙。
完整解析
AI 代理已成為企業運營的關鍵工具,特別是在金融服務領域。根據 Temporal 進行的工程師調查(樣本包含 554 位活躍使用 AI 代理的專業工程師),雖然日常使用代理的比例已從 2025 年的 47.3% 急速成長至 2026 年的 80.8%,但真正在生產環境中可靠運行這些代理的團隊卻僅占 49.1%。這 30 多個百分點的落差凸顯了一個深層問題:採用代理和在生產環境部署代理是完全不同的兩個挑戰。金融科技行業尤其受此影響,94% 的金融科技企業已將 AI 視為業務核心,但 62% 的團隊仍然因故障導致可衡量的時間和收益損失。
這個生產就緒的差距源於多個層面的矛盾。第一個矛盾出現在信任與現實之間。調查數據顯示 85.5% 的工程師至少在某種程度上信任代理輸出,其中約四分之一的人幾乎完全信任。這個信任程度相當高,但實際遇到的故障頻率卻意外地高:41.1% 的工程師每天或更頻繁地遭遇代理問題,16.4% 甚至每小時都會碰上。有趣的是,自認為成功的團隊遇到問題的頻率反而是一般團隊的 1.7 倍,Temporal 團隊推測這可能是因為成功的團隊在監控上投入更多,因此發現了更多潛在問題。無論如何,這個高信任與高故障的共存現象揭示了一個關鍵認知:提升團隊的技術能力並不能消除故障的發生。相反,可靠的生產系統應該採取故障是必然的假設,重點不在於達成零故障,而在於設計讓故障發生時不會造成業務損失的系統。
第二個落差體現在工程師面臨的實際障礙上。調查發現,限制生產部署的最大問題並非 AI 模型本身,而是狀態管理(35.7%)和隔離問題以及除錯(30.9%)。22.2% 的工程師因進程崩潰而損失工作進度,被迫重新執行操作。此外,金融服務等大型企業的部署速度也存在顯著差異:員工超過 5,000 人的公司中,五分之一需要數月才能將 AI 原型部署到生產環境,而規模較小的公司通常只需數小時或數天。這個時間差異反映了監管和合規要求:大企業需要完整的審計線索、可靠性保證,以及防止支付遺失等的機制。
第四個落差最直觀地反映在可觀測性與恢復能力之間。雖然大多數團隊已擁有某種形式的監控(包括日誌、追蹤工具和 LLM 專用監控工具),但只有 13% 的團隊表示能自信地在規模化情景下觀測和除錯整個 AI 工作流程。當代理故障時,工程師的首選求助管道竟然是 YouTube,這反映出傳統可觀測性工具的限制——它們只能告訴你代理失敗了,卻無法自動幫助你恢復。結果是工程師在凌晨 2 點手動閱讀追蹤日誌,然後手動修復系統狀態,這根本不是一個可永續的解決方案。
Temporal 提出的「持久執行」(durable execution) 概念解決了這些問題。演示用一個現實的支付轉帳工作流程說明:該工作流需要經過 9 個步驟——驗證請求、預留資金、檢查外匯報價、執行 AI 驅動的詐欺調查(包括查看客戶檔案和支出歷史、起草供人工審核的簡報)、等待人工核准、提交銀行指令,以及最終確認。在傳統架構中,如果工作者進程在任何時刻崩潰,所有進行中的狀態都會丟失:預留的資金仍在銀行系統中但未在應用系統中反映、草擬的簡報消失、所有已執行的 LLM 呼叫對應的代幣支出被浪費。工程師被迫手動編寫恢復邏輯、建立狀態追蹤表、實現重試機制和協調任務,這些代碼與核心業務邏輯無關,但卻佔據了 30% 受調查者的時間。
Temporal 的架構改變了這一切。每個操作——包括 AI 決策、工具呼叫和人工核准——都以事件的形式被不可變地記錄在事件歷史中。當工作者崩潰時,新的工作者可以從上一次成功完成的步驟恢復,而不需要重新執行已完成的活動。這意味著昂貴的 LLM 呼叫僅執行一次,代幣不會被浪費;狀態自動從歷史重建,無需額外的資料庫或快取;人工核准等信號即使在沒有工作者運行的情況下也會被捕捉並在工作者重啟後處理。演示清楚地展示了這一點:即使故意在工作流程中間停止所有工作者,用戶的核准操作仍被記錄為事件,當工作者重新啟動時,系統能無縫恢復並繼續進行,而無需任何額外的手動干預或重新執行。這個統一的設計同時解決了調查中的七個主要生產障礙:狀態管理、除錯、代幣成本、重試邏輯、人工核准流程、長時間運行的工作流程,以及故障後的自動恢復。


