KeyFrame內部研究專用

From RL to IRL — Gaurav Mishra, Amazon AGI Lab 2026-08-14 16:14

AI Engineer17 min中文
觀看原始影片

三句話摘要

強化學習訓練的 AI 代理如何在現實生活中安全有效地執行電腦操作任務——從模擬環境到真實部署的挑戰與解決方案。 強化學習代理在現實部署的成功,決定因素不是演算法本身,而是能否通過高保真模擬、多層安全框架和過程級監督,讓代理在訓練階段充分學會應對真實世界的混亂、失敗和對抗。 強化學習為何適合代理訓練:與有監督學習相比,強化學習擅長處理有可驗證結果、多個正確答案、難度適中的任務,特別是代碼生成。電腦使用任務完全符合此範式,因為郵件、聊天、網頁瀏覽等操作都可表示為代碼調用(MCP、API、Playwright)。

重點整理

  1. 強化學習為何適合代理訓練:與有監督學習相比,強化學習擅長處理有可驗證結果、多個正確答案、難度適中的任務,特別是代碼生成。電腦使用任務完全符合此範式,因為郵件、聊天、網頁瀏覽等操作都可表示為代碼調用(MCP、API、Playwright)。

  2. 現實部署的六大陷阱:部分可觀測性(UI 信息不完整)、不可逆操作(提交後難以撤銷)、非決定論環境(網路延遲、廣告干擾)、臨時權限失效(登入過期)、模糊成功指標(完成表面任務卻產生副作用)、對抗性內容(設計誘導使用者的 UI)。演講中代理誤點廣告按鈕進入第三方網站的例子正是這些挑戰的體現。

  3. 三層改進框架:飛行模擬器(高保真沙箱必須包含布局偏移、加載緩慢、彈窗等,恢復要用原生工具如刷新、回溯、等待);飛行員改進(增強視覺理解、變化檢測、多源觀測能力);駕駛艙防護(檢查點回滾、風險分類器、凭證保護、執行監控、審計日誌、人工交接)。

  4. 訓練策略轉變:從被動重置環境改為讓代理學習恢復,從結果導向改為過程導向監督,從完全自主改為校準後的信心與適時交接。演講對比了早期代理誤點廣告與改進版本正確區分按鈕、主動交接登入的進展。

實用技巧與重點

  • 強化學習核心組件
  • 任務:必須有可驗證結果、針對性強、難度適中
  • 環境:代碼沙箱(安全執行操作)
  • 驗證器:字串相等性檢查、編譯器、單元測試、資料庫查找、評分模型
  • 現實沙箱必須測試場景
  • 布局偏移、加載緩慢、標簽缺失、彈窗、焦點被奪、帳戶狀態隨機、標簽頁失效
  • 恢復原生工具/操作
  • 刷新、回溯、比較、等待、放棄、升級給使用者
  • AI 模型改進需求
  • 屏幕密度理解(高信息密度的視覺理解)
  • 語義理解(UI 元素用途識別)
  • 變化檢測(識別操作後的屏幕變化及其合理性)
  • 多源觀測融合(整合 DOM 和截圖信息)
  • 安全框架內建功能
  • 檢查點與回滾機制
  • 行動風險分類器(識別不安全操作)
  • 凭證保護機制(檢測登入狀態、註銷狀態)
  • 執行監控器(檢測循環點擊、無效模式)
  • 完整審計日誌(記錄所有行動與結果)
  • 人工交接選項(強制將控制權返還使用者)
  • 可用工具與平台
  • MCP 與 API 呼叫(郵件、聊天、檔案訪問)
  • Playwright JavaScript Web MCP(瀏覽器互動)
  • 網路搜尋 API

結論

強化學習代理在現實部署的成功,決定因素不是演算法本身,而是能否通過高保真模擬、多層安全框架和過程級監督,讓代理在訓練階段充分學會應對真實世界的混亂、失敗和對抗。

完整解析

強化學習在 AI 代理訓練中展現出獨特優勢。講者來自亞馬遜 AGI 實驗室,曾在 Google 和 DeepMind 工作超過十年。強化學習相比有監督學習的關鍵優勢在於:當任務具有可驗證的結果、存在多個正確答案,但收集標註資料極其困難時,通過獎勵信號驅動的訓練效率更高。代碼生成完美符合此範式,因此成為強化學習最成功的應用。隨著技術進步,研究團隊發現這些代理不僅能寫代碼,還能執行任何可表示為代碼的任務——電子郵件、聊天、網頁搜尋、表單填寫等。通過 MCP、API 呼叫和 Playwright 等工具,代理理論上可以成為優秀的電腦使用者。

現實卻更為複雜。當代理部署到真實網路時,第一次失敗就揭示了隱藏的問題。在演講展示的第一個演示中,代理被要求輸入費用金額並提交,卻遭遇登出,隨後盲目猜測密碼直到帳戶被鎖定。更危險的是第二個演示:頁面上有廣告,其提交按鈕看似真實按鈕。代理不僅點錯按鈕進入第三方網站,還開始填寫個人資訊。這些失敗暴露了六大核心挑戰:部分可觀測性(UI 來自 DOM 和截圖,都不完整)、不可逆性(表單提交、檔案刪除後難以撤銷)、非決定論(網路延遲、加載時間不確定)、臨時權限(登入過期需重新認證)、模糊成功(完成表面任務卻產生副作用)、對抗性內容(廣告和設計引導)。

解決方案需要根本性思維轉變。講者用「飛行學校 vs. 考試」的比喻強調,代理必須在訓練階段經歷現實世界的所有混亂。第一層改進是「飛行模擬器」——高保真沙箱必須模擬布局偏移、緩慢加載、缺失標簽、彈窗、焦點爭奪等場景。更重要的是,恢復必須成為原生行為:當基礎設施出錯時,代理不能依賴環境重置,而要使用刷新、回溯、等待等真實工具恢復。第二層是改進「飛行員」(模型),需增強三方面能力:屏幕密度理解(快速識別高信息密度的 UI)、語義理解(理解不同元素的用途)、變化檢測(理解操作後屏幕的變化及其含義)、多源觀測融合(從不完整的信息源合成決策)。第三層是加強「駕駛艙」(框架)安全防護:檢查點與回滾機制、行動風險分類器(評估操作安全性)、凭證保護(偵測登入狀態)、執行監控(檢測循環或異常模式)、審計日誌(記錄所有行動用於事後追溯)、人工交接(當不確定時強制交還控制權)。

講者展示的改進演示展現了成果。面對同一任務,改進後的代理現在能區分真實按鈕和廣告按鈕。遇到登入過期時,它不再盲目猜測,而是說「我看到登入介面,凭證已過期」並主動交接給使用者重新登入。這種進步源於在訓練中充分模擬現實失敗。早期的安全護欄必須極其嚴格,確保捕捉每一個故障模式,讓代理從中學習,同時不傷害真實使用者。隨著模型改進,安全護欄可逐步放松。最後的關鍵洞察是:演示版和正式版的差異不在第一次點擊,而在第一次失敗後發生的事。訓練環節中對現實混亂的充分模擬,決定了代理在實際部署中是否能優雅地處理挑戰。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。