KeyFrame內部研究專用

From Signal to PR: Anatomy of a Self-Improving Agent — Jason Lopatecki, Arize

AI Engineer20 min英文
觀看原始影片

三句話摘要

Arise 創始人分享如何用 AI 代理和可觀測性 2.0 構建自動化系統自我修復循環。 未來的系統可觀測性將從人工驅動的 UI 查詢演進為 AI 代理驅動的自動修復循環,關鍵在於設計高效的「技能」讓代理從海量數據中找到問題所在,並逐步向完全自動化靠近。 可觀測性範式轉變 — 傳統可觀測性為人類設計(點擊 UI、查看圖表),但 Observability 2.0 是為 AI 代理而生。代理需要從追蹤、日誌、程式碼庫獲取結構化數據,而非人類友善的視覺化。

重點整理

  1. 可觀測性範式轉變 — 傳統可觀測性為人類設計(點擊 UI、查看圖表),但 Observability 2.0 是為 AI 代理而生。代理需要從追蹤、日誌、程式碼庫獲取結構化數據,而非人類友善的視覺化。

  2. 自動修復循環的三個階段 — 第一代是人看問題→代理修復。第二代是代理先看數據→人類審查修復方案。目標是第三代:代理自動提出假說→自動測試→自動修復,人類只做高級決策。

  3. 技能與上下文的關鍵性 — 不是簡單讓 Claude 讀日誌,而是精心設計「技能」(如 Pyroscope、Google Cloud 日誌工具),讓代理知道如何提取相關數據、按客戶分組、找出記憶體問題。技能幫助代理從海量數據中找到正確的信息。

  4. 冷啟動與本地-雲端協作 — 先在本地筆記本運行代理調試,再基於事件或週期性在雲端沙箱執行相同邏輯。支持多種沙箱(Arise、Daytona)和 VPC 部署,滿足不同安全需求。

實用技巧與重點

  • 產品與平台
  • Arise 推出的 Signal 代理:定期運行、自動調試、生成修復建議
  • AX SAS 平台(當前 Signal 限於此)+ 開源 Phoenix
  • VPC 部署支持(Uber、Booking.com 等企業客戶)
  • 核心概念
  • 可觀測性 1.0 → 2.0:UI 點擊 → AI 代理可用
  • 三層自動化循環:事件/週期性觸發 → 代理蒐集上下文 → 人類審查 → 最終完全自動化
  • 需要記錄「10 倍信息」讓代理理解系統運行路徑
  • 技能與工具
  • 追蹤(Trace)+ 日誌 + 程式碼庫 + 上下文組合
  • 內建技能:Google Cloud 日誌、Pyroscope(記憶體分析)、客戶分組
  • 支持自訂技能,可連接 GitHub 倉庫
  • 評估(Eval)機制
  • 線上評估:疊加到生產追蹤上
  • 第一代評估用來判斷故障(如提示注入、歷史故障模式)
  • 可為常見故障預先構建評估器,大規模檢測
  • 現實案例
  • 直播取消問題:待辦事項更新方法呼叫失敗 → Signal 一行程式碼解決
  • 金融交易代理演示(說明代理系統現階段的局限)
  • 沙箱與部署
  • Arise 沙箱 vs. 雲端託管代理 vs. Daytona
  • 支持本地還原雲端會話(開發者可接管繼續調試)
  • 可設定提示、選擇沙箱、指定技能、連接程式碼庫

結論

未來的系統可觀測性將從人工驅動的 UI 查詢演進為 AI 代理驅動的自動修復循環,關鍵在於設計高效的「技能」讓代理從海量數據中找到問題所在,並逐步向完全自動化靠近。

完整解析

Arise 的創始人從自身建立 AI 代理的經驗出發,闡述了可觀測性領域正在發生的根本性轉變。兩年前公司推出的第一代自研代理表現欠佳,但這段經歷催生了當今 Signal 產品的設計理念——將工程師日常除錯工作自動化為由 AI 代理驅動的持續循環。

傳統的可觀測性工具是為人類操作者設計的,核心是 UI 點擊和圖表查看。但進入 AI 代理時代,可觀測性需要重新定義。代理不需要美麗的圖表,而是結構化的可機讀數據。這帶來了第一個挑戰:如何高效地將追蹤、日誌、程式碼上下文組合起來,讓代理理解系統出了什麼問題?答案在於「技能」——精心設計的工具集,教會代理如何提取和利用不同來源的數據。例如,Pyroscope 技能讓代理識別記憶體瓶頸,Google Cloud 日誌技能讓它按客戶分組找出根本原因。關鍵不是讓代理看完整的原始數據,而是賦予它足夠聰慧的工具,知道該問什麼問題、看哪些數據。

自動修復循環正在三個階段進化。第一代是「人看→代理修」:工程師發現問題,代理執行修復。但這不夠快。第二代翻轉了這個循環:代理先在後台持續運行,看見問題時自動蒐集所有上下文(追蹤、日誌、程式碼),然後提醒人類「這是我看到的問題和我的修復建議」。這樣人類的角色從「響應者」變成「審查者」,工作量大幅下降。未來的第三代是完全自動化:代理自主決定、測試、修復,人類只在高風險決策時介入。

達到這一願景需要什麼?首先是更豐富的可觀測性數據。講者提出「記錄 10 倍的信息」概念——過去人類不可能讀完所有日誌,所以大部分被視為噪音。但現在 AI 代理可以在這些海量數據中找到模式,只要數據格式正確、索引得當。其次是從本地到雲端的執行環境轉變。工程師在筆記本上用代理本地調試,驗證可行後,相同的邏輯被部署到雲端可觀測性平台,由事件或週期性觸發自動執行。Arise 支持多種沙箱選項(自家沙盒、Daytona 或其他),開發者也可隨時在本地接管雲端會話繼續調試。

在實踐中,講者展示了一個真實案例:直播取消問題。代理 Alex 在系統中發現待辦事項更新失敗,自動收集追蹤和相關日誌,提出了一行程式碼的修復建議。雖然簡單問題可能只需一行修復,複雜問題往往需要人類參與,但代理的冷啟動能力——能先把所有相關信息擺出來——已經大幅降低了人類工程師的認知負荷。

評估(Eval)機制是系統的另一個重要層面。評估不是衡量系統性能的指標,而是代理判斷問題的工具。講者把評估分為兩類:一類是預先為已知故障設計的判斷準則(如檢測提示注入、過往失敗模式),另一類是實時評估,疊加到生產追蹤上,幫助代理理解當前狀態是否異常。評估可以大規模運作,覆蓋完整資料集。

最後,產品層面 Arise 提供了 AX SAS 平台和開源 Phoenix。為滿足 Uber、Booking.com 等企業客戶的隱私需求(不願將生產系統連接到第三方 AI 服務),公司還支持 VPC 部署。開發者可自訂提示、選擇沙箱、配置技能、連接程式碼庫,打造符合自身需求的自動化循環。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。