From Signal to PR: Anatomy of a Self-Improving Agent — Jason Lopatecki, Arize

Arise 的創始人從自身建立 AI 代理的經驗出發，闡述了可觀測性領域正在發生的根本性轉變。兩年前公司推出的第一代自研代理表現欠佳，但這段經歷催生了當今 Signal 產品的設計理念——將工程師日常除錯工作自動化為由 AI 代理驅動的持續循環。

傳統的可觀測性工具是為人類操作者設計的，核心是 UI 點擊和圖表查看。但進入 AI 代理時代，可觀測性需要重新定義。代理不需要美麗的圖表，而是結構化的可機讀數據。這帶來了第一個挑戰：如何高效地將追蹤、日誌、程式碼上下文組合起來，讓代理理解系統出了什麼問題？答案在於「技能」——精心設計的工具集，教會代理如何提取和利用不同來源的數據。例如，Pyroscope 技能讓代理識別記憶體瓶頸，Google Cloud 日誌技能讓它按客戶分組找出根本原因。關鍵不是讓代理看完整的原始數據，而是賦予它足夠聰慧的工具，知道該問什麼問題、看哪些數據。

自動修復循環正在三個階段進化。第一代是「人看→代理修」：工程師發現問題，代理執行修復。但這不夠快。第二代翻轉了這個循環：代理先在後台持續運行，看見問題時自動蒐集所有上下文（追蹤、日誌、程式碼），然後提醒人類「這是我看到的問題和我的修復建議」。這樣人類的角色從「響應者」變成「審查者」，工作量大幅下降。未來的第三代是完全自動化：代理自主決定、測試、修復，人類只在高風險決策時介入。

達到這一願景需要什麼？首先是更豐富的可觀測性數據。講者提出「記錄 10 倍的信息」概念——過去人類不可能讀完所有日誌，所以大部分被視為噪音。但現在 AI 代理可以在這些海量數據中找到模式，只要數據格式正確、索引得當。其次是從本地到雲端的執行環境轉變。工程師在筆記本上用代理本地調試，驗證可行後，相同的邏輯被部署到雲端可觀測性平台，由事件或週期性觸發自動執行。Arise 支持多種沙箱選項（自家沙盒、Daytona 或其他），開發者也可隨時在本地接管雲端會話繼續調試。

在實踐中，講者展示了一個真實案例：直播取消問題。代理 Alex 在系統中發現待辦事項更新失敗，自動收集追蹤和相關日誌，提出了一行程式碼的修復建議。雖然簡單問題可能只需一行修復，複雜問題往往需要人類參與，但代理的冷啟動能力——能先把所有相關信息擺出來——已經大幅降低了人類工程師的認知負荷。

評估（Eval）機制是系統的另一個重要層面。評估不是衡量系統性能的指標，而是代理判斷問題的工具。講者把評估分為兩類：一類是預先為已知故障設計的判斷準則（如檢測提示注入、過往失敗模式），另一類是實時評估，疊加到生產追蹤上，幫助代理理解當前狀態是否異常。評估可以大規模運作，覆蓋完整資料集。

最後，產品層面 Arise 提供了 AX SAS 平台和開源 Phoenix。為滿足 Uber、Booking.com 等企業客戶的隱私需求（不願將生產系統連接到第三方 AI 服務），公司還支持 VPC 部署。開發者可自訂提示、選擇沙箱、配置技能、連接程式碼庫，打造符合自身需求的自動化循環。