KeyFrame內部研究專用

Perception Agents — Antje Barth, Amazon AGI Lab

AI Engineer21 min英文
觀看原始影片

三句話摘要

從計算機控制到認知理解:感知型代理如何填補自動化的最後一哩路。 感知型代理通過共享上下文、多模態感知和驗證機制,將代理從「能做單步」升級為「能做完整工作」,從根本上解決知識工作中的可靠性困境。 端到端工作的「接縫問題」:代理能用好每一個工具,卻難以協調多個系統間的工作流。真正的工作不在於單個操作的能力,而在於如何無縫銜接不同應用之間的步驟——這是現有代理最大的失敗點。

重點整理

  1. 端到端工作的「接縫問題」:代理能用好每一個工具,卻難以協調多個系統間的工作流。真正的工作不在於單個操作的能力,而在於如何無縫銜接不同應用之間的步驟——這是現有代理最大的失敗點。

  2. 可靠性決定信任:代碼領域之所以率先突破是因為代碼可驗證——可以執行、測試、檢查。但大多數知識工作(報告是否有效果、設計是否符合品牌)無法用單元測試驗證,這導致代理無法達到「九個九」級別的可靠性,使用者自然無法信任。

  3. 共享感知是關鍵:人類在同事協作時能快速解決問題,是因為雙方看著同一個屏幕。感知型代理需要看到渲染後的視覺狀態而非代碼,才能與使用者建立共同理解,減少解釋成本和歧義。

  4. 多模態感知擴展應用邊界:代理不只需要視覺感知,還可透過語音轉錄聽到討論內容,將會議對話直接轉化為設計指令,證明「感知」遠超單純視覺層面。

實用技巧與重點

  • 主講者單位:Amazon AGI Lab
  • 核心概念:Perception Agents(感知型代理)
  • 開源工具:
  • 標註工具:Chrome extension,支援標記頁面元素、描述變更(顏色、字型大小等)
  • 驗證工具:設計規則文件(Design MD),自動檢查視覺一致性和用戶流程
  • 驗證類型:
  • 視覺檢查(品牌一致性、佈局正確性)
  • 用戶流程測試(如編輯任務、刪除任務等實際操作)
  • 應用場景示例:新員工入職流程(涉及5個不同系統)、網站設計迭代
  • 合作工具:B devices(提供會議錄音轉錄功能)
  • 發布方式:GitHub開源
  • 相關資源:
  • 播客:Danielle Persig(認知科學家,Amazon AGI Lab ACI團隊負責人)
  • 其他會議演講:Gaurav Mishra在電腦使用軌道的「From RL to IRL」演講

結論

感知型代理通過共享上下文、多模態感知和驗證機制,將代理從「能做單步」升級為「能做完整工作」,從根本上解決知識工作中的可靠性困境。

完整解析

代理的自動化技術已突破「會點擊」的初級階段,但使用者卻發現一個矛盾:代理能執行瀏覽器操作、桌面應用控制,甚至單個系統內的復雜工作流,但當涉及跨系統的真實業務流程時,失敗率奇高。以新員工入職為例,涉及Slack、笆籍系統、日誌系統、採購等五個不同應用,代理雖然能各自完成「添加到Slack」「預訂同事介紹」「訂購筆記本」等步驟,卻無法有機地把這些步驟串聯成完整的端到端工作。問題不在於單步能力,而在於系統間的「接縫」——代理執行後就移開了,既不觀察結果,也不知道何時該切換到下一個應用。

這一瓶頸的根本原因在於可靠性與信任。觀察代碼領域的成功模式就能明白:自動完成、函數生成、甚至代理自主開啟拉取請求,為什麼使用者願意信任?因為代碼可驗證——你能執行它、測試它、確認它如預期運行。但知識工作不同。「報告成功著陸了嗎?」「設計符合品牌規範嗎?」「這是我想要的嗎?」沒有單元測試能回答這些問題。知識工作本質上是「亂」的——它生活在各種應用的邊界縫隙中,沒人已經完全解決過。

講者提出的解決方案來自觀察人類協作方式。當同事跳進Zoom會議討論問題時,雙方看著同一個屏幕,能迅速達成共識。這個共享感知才是關鍵。因此,感知型代理應該是這樣的系統:它不但能看到屏幕、能點擊、能輸入(既有能力),更重要的是,它應該像人一樣感知——看到渲染後的視覺狀態而非HTML代碼,理解佈局和實時變化,甚至能在使用者工作時實時反應,而不是「發送提示→等待→代理回來→可能需要多輪溝通」的低效循環。

Amazon AGI Lab開源了感知型代理工具鏈的前兩個核心部分。第一是標註工具——一個Chrome擴展,使用者可直接在屏幕上標記要修改的元素。比如圈出標題說「改成紅色」、選中按鈕說「字體加倍」,工具自動捕捉該元素的位置和風格屬性,生成結構化摘要給代理——不需要冗長描述,訊號更清晰、損失更小。第二是驗證工具,定義設計規則(顏色、排版、組件等)放入設計MD文件,代理執行變更後自動檢查:一是視覺檢查(是否符合品牌、佈局正確),二是用戶流程測試(如代理自動模擬編輯任務、刪除任務等操作),最後生成驗證報告——使用者無需深夜逐一點擊測試。

超越屏幕的應用也在進行。講者在會議展示了與同事使用B設備進行設計會議的實驗:兩人邊討論邊戴著具備轉錄功能的設備,系統自動轉錄對話,並將設計建議(如「背景改黃色、標題改紅色」)直接轉化為代理指令並應用——證明「感知」不只是視覺,還包括語境理解和多模態輸入。這些工具仍在開發初期,講者呼籲社區試用、反饋,因為只有更多人使用、測試和改進,這些模式才能真正成熟。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI