KeyFrame內部研究專用

Always-on agents run production without the on-call tax — Justin Smith, Resolve AI

AI Engineer24 min中文
觀看原始影片

三句話摘要

後台代理如何透過自動化非緊急運營工作,幫助工程團隊減輕待命負擔。 運維複雜性而非編碼速度是工程生產力的真正瓶頸,後台代理透過動態理解環境、持續學習、在背景自主決策,可将 30% 的工程時間從手動儀式解放出來,讓團隊專注高價值工作。 運維工作的複雜性是真正瓶頸:AI 加速代碼交付導致系統變更頻繁,但現有 CI/CD 檢查不完善。後台代理能動態理解每次發布的影響,針對不同變更(功能旗標、基礎設施、部署)構建客製化檢查計畫,補足預先設定的標準檢查無法涵蓋的邊界情況。

重點整理

  1. 運維工作的複雜性是真正瓶頸:AI 加速代碼交付導致系統變更頻繁,但現有 CI/CD 檢查不完善。後台代理能動態理解每次發布的影響,針對不同變更(功能旗標、基礎設施、部署)構建客製化檢查計畫,補足預先設定的標準檢查無法涵蓋的邊界情況。

  2. 代理需要真實生產環境信號:僅有執行引擎不夠,代理必須能存取實時遙測數據、指標、日誌,才能判斷變更是否安全。Resolve 的學習系統持續積累對系統運作方式的理解,讓代理在後續任務中做得更好,知識可跨任務共享。

  3. 代理工作多元且非緊急:包括例行部署監控、定期健康檢查、值班交接報告、異常警報分析、Slack 頻道問題回應。這些工作沒有顯著的「現在必須做」的壓迫感,但長期累積拖累了工程師認知負荷;代理可在背景持續執行,工程師只需在 Slack 或儀表板檢視結果。

  4. 彈性觸發與自主決策:代理可按時間表執行(每周一次值班交接)、按事件觸發(偵測 GitHub 發布標籤、Slack 訊息、部署管線事件),或手動指令。代理擁有自主權決定檢查間隔與深度,例如可自行決定等待一小時後重檢,或三天後確認部署穩定狀況,無需預先設定。

實用技巧與重點

  • 工程時間分佈:70% 花在運行/維護系統,30% 編寫程式碼
  • 代理工作類型:
  • 部署監控:監看 GitHub 標籤、功能旗標、基礎設施變更,動態構建客製檢查計畫
  • 健康檢查與異常檢查:例行早晨儀表板檢查、持續監看 Kafka 管道、第三方服務穩定性
  • 運維報告與交接:值班交接報告(過去一天工作摘要)、每週四交接準備
  • 工程問題一級回應:監視 Slack 頻道,判斷是否有足夠信心回答,可先私訊確認後再回覆,減少中斷工程師開發流程
  • 代理觸發方式:
  • 排程執行(例如每天早上、每週四)
  • 事件驅動(GitHub 發布標籤、Slack 訊息、部署事件、CI/CD 管線完成)
  • 主動訊息(工程師直接指令)
  • 代理架構層次:模型 → 上下文 → 推理 → 行動 → 學習循環
  • 執行環境:雲端運行(筆電關閉仍可執行)、沙箱檔案系統、持續學習知識體系
  • 檢查因果鏈範例:結帳服務→貨幣服務;監控延遲、錯誤率;Kafka 管道健康度
  • 配置方式:與代理對話,代理探索環境、提問(想看什麼、報告詳細程度)、生成初始配置供測試與團隊共用
  • 集成方式:透過 MCP 伺服器暴露功能,可整合到自建系統或現有框架中

結論

運維複雜性而非編碼速度是工程生產力的真正瓶頸,後台代理透過動態理解環境、持續學習、在背景自主決策,可将 30% 的工程時間從手動儀式解放出來,讓團隊專注高價值工作。

完整解析

Resolve AI 的創始產品工程師 Justin Smith 指出,第一波 AI 浪潮大幅提升開發效率,使工程師交付程式碼的速度加快,非開發人員也能生成程式碼。然而這帶來隱憂:系統變更頻繁,複雜度倍增。據調查,70% 工程師時間並非花在編碼,而是運行最終部署到生產的系統——維護平台、擴展基礎設施、調試事件、待命值班、發布緊急修復、處理警報、更新運作手冊、復原服務、處理升級事件、協調跨團隊問題等。編碼從未是主要瓶頸,運維成本才是。AI 時代問題更尖銳:代碼不斷執行,變更速度超出現有監控機制,雲端模型成本上升,企業對 AI 使用日趨謹慎,需要全端優化而非單純模型改進。複雜系統需要理解多個團隊、多個系統如何協同達成組織目標,這正是 Resolve 的假設——大量問題源於頻繁變更,需要 AI 在生產環境中幫助運營與決策。

後台代理正是解決方案。它們執行非緊急但必需的運營工作,分為四類。其一,部署監控:每次發布都可能引入問題,現有 CI/CD 檢查多為標準基準,無法涵蓋功能旗標、基礎設施變更等邊界情況。代理能動態理解發布內容、相關遙測數據,為該版本構建客製檢查計畫,並非一次檢查就完成,而是持續監看、自主決定檢查間隔(可能等一小時、或三天後確認穩定)。其二,定期健康檢查與異常偵測:每天早晨例行查看儀表板、持續監看關鍵服務(如 Kafka 管道、第三方依賴),確保無預期狀況。其三,運維報告與交接:值班交接報告總結過去一天的調查、趨勢、變更,準備下一值班員接手;這類儀式工作本應人工執行卻無人標準執行,代理能自動完成並調整冗長程度。其四,工程問題一級回應:工程師深陷開發時被 Slack 訊息打斷是常態,代理可被動監視關鍵頻道,判斷是否有足夠信心回答,不夠則先私訊詢問工程師確認後再回覆,減少中斷。

這些工作的共通點是無明確的「現在必須做」壓迫感,卻無法迴避,長期累積構成沉重認知負荷。代理透過排程執行(每週四值班交接)、事件驅動(偵測 GitHub 標籤、Slack 訊息、部署完成)或主動訊息觸發。架構上,代理建立在模型、上下文、推理、行動、學習循環之上,關鍵是學習系統——代理必須理解系統如何運作、因果鏈在何處,才能有效決策。知識体系適用所有不同任務,使代理從一項任務學到的東西能應用於另一項。配置方式簡單:與代理對話,它探索環境並提問(想看什麼、報告細節程度),自動生成初始配置供測試與團隊共用。最後,Resolve 透過 MCP 伺服器向外暴露功能,允許整合到自建系統或既有代理框架中,讓用戶不重複造輪子。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。