KeyFrame內部研究專用

The Dark Arts of Web Automation: Teaching Agents to Use Websites Like Humans — Corey Gallon, Rexmore

AI Engineer21 min中文
觀看原始影片

三句話摘要

AI 代理如何通过 Chrome DevTools Protocol 和分层交互策略突破 Web 防护,实现真正自主的浏览器自动化。 用 CLI 驅動 CDP、遵循 Sense-Act-Verify 循環、按需爬升 Meat Bag Ladder,將探索階段程式化,是構建穩定耐用的 AI Web 自動化的唯一方法。 CLI 優於 MCP:命令行界面的成本便宜 75 倍,速度快 7 倍(1 分鐘 vs 8 分鐘),因為無需在每一步都呼叫模型。同時支援編寫一次、重複執行千次的可重用程式。

重點整理

  1. CLI 優於 MCP:命令行界面的成本便宜 75 倍,速度快 7 倍(1 分鐘 vs 8 分鐘),因為無需在每一步都呼叫模型。同時支援編寫一次、重複執行千次的可重用程式。

  2. Chrome 事件信任標記機制:Chrome 替每個事件標記「trusted」或「untrusted」。虛擬點擊被標記為 untrusted 而被網站拒絕,必須使用 CDP input domain 才能生成 trusted 點擊,模仿真實滑鼠路徑。

  3. Meat Bag Ladder 分層策略:第一層用合成點擊與 API;第二層升級為真實 trusted 點擊;第三層需要人類級行為(含滑鼠路徑平滑度、視覺確認等)。只在網站防護強度逼迫時才爬升。

  4. Sense-Act-Verify 循環:代理透過不同通道感知頁面(DOM、Accessibility Tree、螢幕截圖),執行單一操作,再用不同通道驗證效果。反覆迭代直到頁面屈服,記錄成可重用程式。

實用技巧與重點

  • CLI vs MCP 對比:相同成功率(~83%),但 CLI 速度快 7 倍(7 轉 vs 71 轉),成本便宜 75 倍
  • CDP domains:共 57 個,但實際只需要小部分(視覺、聽覺、操作三大類)
  • Chrome Agent:講者開發的工具,可在 Python 生態系統安裝
  • 破解 CAPTCHA 案例:
  • Cloudflare Turnstile:繞過 shadow root 和跨域 iframe,計算座標後直接點擊
  • hCaptcha:用代理視覺讀取模糊字元,模擬真實按鍵輸入
  • Lemonfig:用視覺定位拼圖位置,模仿人類拖曳動作(含加速、緩和、超衝效果)
  • reCAPTCHA v2:分離 solver(確定性程式碼,高速執行)與 operator(AI 視覺,每輪一次),結合才能在時限內完成

結論

用 CLI 驅動 CDP、遵循 Sense-Act-Verify 循環、按需爬升 Meat Bag Ladder,將探索階段程式化,是構建穩定耐用的 AI Web 自動化的唯一方法。

完整解析

這場演講闡述了 AI 代理如何像真人一樣自動化使用網站,核心洞察是將瀏覽器互動視作一個分層攻擊問題。

講者首先對比了兩種架構。使用 CLI 工具驅動 Chrome DevTools Protocol,而非傳統的 MCP 伺服器架構。表面上看起來相同,但 CLI 的優勢決定性:它能一次寫成、重複執行,而不需要每一步都等模型回應。實際測試顯示 CLI 完成相同任務只需 7 轉、1 分鐘,而 MCP 需 71 轉、8 分鐘,成本甚至便宜 75 倍。Chrome DevTools Protocol 本質上就是按 F12 時彈出的那個工具面板的通訊協議,代理可以完全複製人類瀏覽器的所有動作。

交互策略採用「Meat Bag Ladder」三層架構,只在必要時逐層升級。第一層是最便宜的做法:直接呼叫網頁內嵌的 API 或發送虛擬點擊,快速且零成本。當網頁開始防禦(像電商網站無視虛擬點擊),就升到第二層:使用 CDP input domain 的「真實」點擊,這些點擊遵循實際滑鼠路徑,被 Chrome 標記為 trusted,網站無法區分。最後當遇到 Cloudflare Turnstile 這類極端防護時,才登頂第三層:完整模仿人類行為,包括滑鼠移動的曲線、停留時間、視覺掃描等。

代理在每層都執行相同的 Sense-Act-Verify 循環。先感知:透過 DOM、Accessibility Tree 或螢幕截圖理解頁面狀態;再行動:點擊、輸入或導航;最後驗證:檢查網路流量或視覺變化確認成功。迴圈重複直到達成目標。

演講用現實破解 CAPTCHA 的案例演示整套系統的威力。Turnstile 被隱藏在雙層 shadow DOM 和跨域 iframe 之下,但代理只需計算几何座標、點擊正確位置、讓 Chrome 完成剩餘工作。hCaptcha 則靠代理的視覺模型讀取模糊字元,逐字輸入真實按鍵。拼圖式的 Lemonfig 則要求代理用視覺定位空隙、用人類級拖曳動作(含加速緩和曲線)移動拼圖。最複雜的 reCAPTCHA v2 要求架構分工:確定性的 solver 程式碼負責所有高速、機械式操作(點擊、跨域通訊),而 AI operator 只負責每輪看一次圖片、辨識內容。這樣設計是因為模型每次應答都需時間,直接呼叫會超時失敗;而機器碼可以在毫秒級完成。

整個方法論的核心是工程紀律:測試→發現網站防禦→爬升梯子→找到最低可行層級→寫成可重用程式。代理因此不是黑盒 AI,而是 AI 與精心設計的程式碼的混合體,只在需要眼睛和思考的時刻才使用代理。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。