Perception Agents — Antje Barth, Amazon AGI Lab

代理的自動化技術已突破「會點擊」的初級階段，但使用者卻發現一個矛盾：代理能執行瀏覽器操作、桌面應用控制，甚至單個系統內的復雜工作流，但當涉及跨系統的真實業務流程時，失敗率奇高。以新員工入職為例，涉及Slack、笆籍系統、日誌系統、採購等五個不同應用，代理雖然能各自完成「添加到Slack」「預訂同事介紹」「訂購筆記本」等步驟，卻無法有機地把這些步驟串聯成完整的端到端工作。問題不在於單步能力，而在於系統間的「接縫」——代理執行後就移開了，既不觀察結果，也不知道何時該切換到下一個應用。

這一瓶頸的根本原因在於可靠性與信任。觀察代碼領域的成功模式就能明白：自動完成、函數生成、甚至代理自主開啟拉取請求，為什麼使用者願意信任？因為代碼可驗證——你能執行它、測試它、確認它如預期運行。但知識工作不同。「報告成功著陸了嗎？」「設計符合品牌規範嗎？」「這是我想要的嗎？」沒有單元測試能回答這些問題。知識工作本質上是「亂」的——它生活在各種應用的邊界縫隙中，沒人已經完全解決過。

講者提出的解決方案來自觀察人類協作方式。當同事跳進Zoom會議討論問題時，雙方看著同一個屏幕，能迅速達成共識。這個共享感知才是關鍵。因此，感知型代理應該是這樣的系統：它不但能看到屏幕、能點擊、能輸入（既有能力），更重要的是，它應該像人一樣感知——看到渲染後的視覺狀態而非HTML代碼，理解佈局和實時變化，甚至能在使用者工作時實時反應，而不是「發送提示→等待→代理回來→可能需要多輪溝通」的低效循環。

Amazon AGI Lab開源了感知型代理工具鏈的前兩個核心部分。第一是標註工具——一個Chrome擴展，使用者可直接在屏幕上標記要修改的元素。比如圈出標題說「改成紅色」、選中按鈕說「字體加倍」，工具自動捕捉該元素的位置和風格屬性，生成結構化摘要給代理——不需要冗長描述，訊號更清晰、損失更小。第二是驗證工具，定義設計規則（顏色、排版、組件等）放入設計MD文件，代理執行變更後自動檢查：一是視覺檢查（是否符合品牌、佈局正確），二是用戶流程測試（如代理自動模擬編輯任務、刪除任務等操作），最後生成驗證報告——使用者無需深夜逐一點擊測試。

超越屏幕的應用也在進行。講者在會議展示了與同事使用B設備進行設計會議的實驗：兩人邊討論邊戴著具備轉錄功能的設備，系統自動轉錄對話，並將設計建議（如「背景改黃色、標題改紅色」）直接轉化為代理指令並應用——證明「感知」不只是視覺，還包括語境理解和多模態輸入。這些工具仍在開發初期，講者呼籲社區試用、反饋，因為只有更多人使用、測試和改進，這些模式才能真正成熟。