The Dark Arts of Web Automation: Teaching Agents to Use Websites Like Humans — Corey Gallon, Rexmore
三句話摘要
AI 代理如何通过 Chrome DevTools Protocol 和分层交互策略突破 Web 防护，实现真正自主的浏览器自动化。 用 CLI 驅動 CDP、遵循 Sense-Act-Verify 循環、按需爬升 Meat Bag Ladder，將探索階段程式化，是構建穩定耐用的 AI Web 自動化的唯一方法。 CLI 優於 MCP：命令行界面的成本便宜 75 倍，速度快 7 倍（1 分鐘 vs 8 分鐘），因為無需在每一步都呼叫模型。同時支援編寫一次、重複執行千次的可重用程式。
重點整理
重點- 1
CLI 優於 MCP：命令行界面的成本便宜 75 倍，速度快 7 倍（1 分鐘 vs 8 分鐘），因為無需在每一步都呼叫模型。同時支援編寫一次、重複執行千次的可重用程式。
- 2
Chrome 事件信任標記機制：Chrome 替每個事件標記「trusted」或「untrusted」。虛擬點擊被標記為 untrusted 而被網站拒絕，必須使用 CDP input domain 才能生成 trusted 點擊，模仿真實滑鼠路徑。
- 3
Meat Bag Ladder 分層策略：第一層用合成點擊與 API；第二層升級為真實 trusted 點擊；第三層需要人類級行為（含滑鼠路徑平滑度、視覺確認等）。只在網站防護強度逼迫時才爬升。
- 4
Sense-Act-Verify 循環：代理透過不同通道感知頁面（DOM、Accessibility Tree、螢幕截圖），執行單一操作，再用不同通道驗證效果。反覆迭代直到頁面屈服，記錄成可重用程式。
實用技巧與重點
乾貨- CLI vs MCP 對比：相同成功率（~83%），但 CLI 速度快 7 倍（7 轉 vs 71 轉），成本便宜 75 倍
- CDP domains：共 57 個，但實際只需要小部分（視覺、聽覺、操作三大類）
- Chrome Agent：講者開發的工具，可在 Python 生態系統安裝
- 破解 CAPTCHA 案例：
- Cloudflare Turnstile：繞過 shadow root 和跨域 iframe，計算座標後直接點擊
- hCaptcha：用代理視覺讀取模糊字元，模擬真實按鍵輸入
- Lemonfig：用視覺定位拼圖位置，模仿人類拖曳動作（含加速、緩和、超衝效果）
- reCAPTCHA v2：分離 solver（確定性程式碼，高速執行）與 operator（AI 視覺，每輪一次），結合才能在時限內完成
結論
結論“用 CLI 驅動 CDP、遵循 Sense-Act-Verify 循環、按需爬升 Meat Bag Ladder，將探索階段程式化，是構建穩定耐用的 AI Web 自動化的唯一方法。”
完整解析
詳細這場演講闡述了 AI 代理如何像真人一樣自動化使用網站，核心洞察是將瀏覽器互動視作一個分層攻擊問題。
講者首先對比了兩種架構。使用 CLI 工具驅動 Chrome DevTools Protocol，而非傳統的 MCP 伺服器架構。表面上看起來相同，但 CLI 的優勢決定性：它能一次寫成、重複執行，而不需要每一步都等模型回應。實際測試顯示 CLI 完成相同任務只需 7 轉、1 分鐘，而 MCP 需 71 轉、8 分鐘，成本甚至便宜 75 倍。Chrome DevTools Protocol 本質上就是按 F12 時彈出的那個工具面板的通訊協議，代理可以完全複製人類瀏覽器的所有動作。
交互策略採用「Meat Bag Ladder」三層架構，只在必要時逐層升級。第一層是最便宜的做法：直接呼叫網頁內嵌的 API 或發送虛擬點擊，快速且零成本。當網頁開始防禦（像電商網站無視虛擬點擊），就升到第二層：使用 CDP input domain 的「真實」點擊，這些點擊遵循實際滑鼠路徑，被 Chrome 標記為 trusted，網站無法區分。最後當遇到 Cloudflare Turnstile 這類極端防護時，才登頂第三層：完整模仿人類行為，包括滑鼠移動的曲線、停留時間、視覺掃描等。
代理在每層都執行相同的 Sense-Act-Verify 循環。先感知：透過 DOM、Accessibility Tree 或螢幕截圖理解頁面狀態；再行動：點擊、輸入或導航；最後驗證：檢查網路流量或視覺變化確認成功。迴圈重複直到達成目標。
演講用現實破解 CAPTCHA 的案例演示整套系統的威力。Turnstile 被隱藏在雙層 shadow DOM 和跨域 iframe 之下，但代理只需計算几何座標、點擊正確位置、讓 Chrome 完成剩餘工作。hCaptcha 則靠代理的視覺模型讀取模糊字元，逐字輸入真實按鍵。拼圖式的 Lemonfig 則要求代理用視覺定位空隙、用人類級拖曳動作（含加速緩和曲線）移動拼圖。最複雜的 reCAPTCHA v2 要求架構分工：確定性的 solver 程式碼負責所有高速、機械式操作（點擊、跨域通訊），而 AI operator 只負責每輪看一次圖片、辨識內容。這樣設計是因為模型每次應答都需時間，直接呼叫會超時失敗；而機器碼可以在毫秒級完成。
整個方法論的核心是工程紀律：測試→發現網站防禦→爬升梯子→找到最低可行層級→寫成可重用程式。代理因此不是黑盒 AI，而是 AI 與精心設計的程式碼的混合體，只在需要眼睛和思考的時刻才使用代理。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
