KeyFrame內部研究專用

How to Build Financial Agents That Work Across the Web - Jay Sahnan & Arik Bird, Browserbase

AI Engineer英文
觀看原始影片

三句話摘要

瀏覽器代理如何幫助金融企業自動化受保護網站的數據抓取與操作,並在大規模部署中戰勝反機器人檢測。 瀏覽器代理結合 Verified Browser 和 Stage Hand 技術堆棧,使金融企業在大規模自動化受保護網站數據抓取與操作中實現了前所未有的可擴展性和可靠性,從而釋放數萬小時人力、加速業務增長。 瀏覽器代理的必要性:金融數據多存放在需登入的受保護系統後(法規入口、支付平台、交易所),無法通過 API 或 MCP 存取,必須用瀏覽器自動化才能規模化提取。

重點整理

  1. 瀏覽器代理的必要性:金融數據多存放在需登入的受保護系統後(法規入口、支付平台、交易所),無法通過 API 或 MCP 存取,必須用瀏覽器自動化才能規模化提取。

  2. 數據中心運行的反機器人挑戰:在筆記本電腦上的 Chromium 具備完整用戶指紋(瀏覽器版本、OS、字體、螢幕尺寸、時區),但放入數據中心時每次啟動都產生新指紋、清除 Cookie、顯示數據中心 IP,被反機器人系統輕易識別並封鎖。

  3. Verified Browser 解決方案:Fork Chromium 並修改三個關鍵點——移除 webdriver=true 標記、統一身份為「Chrome」而非「Headless Chrome」、保持進程持續運行而非停止啟動,每兩週跟蹤 Chromium 更新以維持效果。

  4. Stage Hand SDK 的智能控制:不依賴易破損的 XPath 選擇器,而是利用 LLM 理解 DOM 與可訪問性樹,支持自然語言指令,並通過 Chrome 擴展形式並置於瀏覽器消除往返延遲。

實用技巧與重點

  • 企業案例數據
  • Ramp:節省 30,000+ 小時人工數據輸入工作,業務規模增長 5 倍
  • Bill:目標達成一個代理控制數千個支付入口(各入口 UI 流程各異)
  • Stripe:月度新增數千至數萬商家,使用場景為 KYC 身份驗證自動化
  • Verified Browser 技術修改
  • 移除自動化標記:webdriver=true 改為 false
  • 統一瀏覽器身份:「Headless Chrome」改為「Chrome」
  • 保持進程存活:關閉分頁視窗而不殺死 Chromium 進程
  • 維護週期:每 2 週跟蹤 Chromium 源代碼變化
  • Stage Hand 核心功能
  • 三個操作原始類:observe(觀察)、act(動作)、extract(提取)
  • 數據結構化:使用 Zod schema 轉換非結構化網頁數據
  • Token 最佳化:原始 HTML 122k tokens → 可訪問性樹 4k tokens(節省 97%)
  • 架構優化:Chrome 擴展形式部署,消除代理-瀏覽器往返延遲
  • 演示應用範例
  • 單一網站提取:Chipotle 菜單、公司商品信息
  • 多源並行研究:官網、投資者頁面、SEC 申報、NYSE 上市信息
  • 大規模應用:20 家公司同時執行相同任務跨 4 個信息源
  • 反爬蟲:內置 CAPTCHA 求解能力,基於 Verified Browser 減少驗證觸發
  • 提供的資源
  • Stage Hand:開源 SDK(基於 Playwright 進階版)
  • Browser Base:託管瀏覽器基礎設施
  • SEC 數據提取模板
  • 官網 Copy Prompt 樣板供直接使用

結論

瀏覽器代理結合 Verified Browser 和 Stage Hand 技術堆棧,使金融企業在大規模自動化受保護網站數據抓取與操作中實現了前所未有的可擴展性和可靠性,從而釋放數萬小時人力、加速業務增長。

完整解析

在金融科技時代,銀行對帳、支付處理、商家驗證等核心業務都依賴於從受高度保護的網絡系統中提取數據——州稅務入口、銀行支付門戶、證券交易所網站。Ramp、Bill 和 Stripe 這樣的金融科技公司曾面臨同樣的困境:這些數據沒有 API 接口,必須通過人類操作員手動訪問、登入並逐筆提取。隨著企業規模增長到服務數百萬用戶,這種人工方式顯然無法擴展。講者提出的核心方案是「瀏覽器代理」——賦予 AI 代理一個瀏覽器工具,使其能像真實用戶一樣操作任何網站。

Ramp 的轉變最清晰地展示了此方案的影響。過去,Ramp 需要部署人類團隊登入客戶的銀行和支付網站來抓取收據並自動匹配交易。當客戶基礎擴大時,這支隊伍成為業務瓶頸。引入瀏覽器代理後,Ramp 不僅自動化了超過 30,000 小時的人工數據輸入工作,還實現了業務規模 5 倍的增長。每當用戶用 Ramp 卡預訂機票時,一個瀏覽器代理會自動登入航空公司網站、抓取收據、匹配交易——全程無須人工干預。

但瀏覽器代理在技術上遭遇關鍵障礙。在個人筆記本電腦上,Chromium 瀏覽器建立了一個獨特的身份指紋:特定的瀏覽器版本、作業系統類型、安裝的字體、螢幕解析度和時區。網站還會記住你的登入狀態、訪問歷史和操作行為模式,識別你是熟悉的訪客。然而,當將相同的 Chromium 部署到數據中心以支持數千並發瀏覽器實例時,這個指紋策略完全崩潰。每次啟動新的瀏覽器都會產生完全不同的指紋、清空所有 Cookie、發出數據中心的 IP 地址——這些信號會被反機器人系統(如 Cloudflare、Akamai)立即識別為異常,導致被要求完成 CAPTCHA 或直接被 IP 封鎖。

為突破這一障礙,講者團隊採取了激進的措施:直接 Fork 和修改 Chromium 源代碼。他們開發了「Verified Browser」——一個經過驗證且去除了自動化信號的 Chromium 版本。關鍵的三項修改是:第一,移除所有 webdriver=true 標記(將其改為 false),這個標記是瀏覽器檢測自動化的核心依據;第二,將瀏覽器身份統一改為「Chrome」而非「Headless Chrome」,消除「無頭」運行的明顯特徵;第三,保持 Chromium 進程持續運行,關閉各個分頁窗口但不殺死進程本身,減少連接指紋的重置。這些修改看似簡單,但涉及 Chromium 源代碼的多個深層位置,而且因為 Chromium 每兩週發佈一次新版本,團隊必須持續維護和更新修改。

除了瀏覽器層的改進,講者介紹了 Stage Hand——一個建立在 Playwright 基礎上的開源 SDK,用於實現對瀏覽器的智能控制。傳統 Playwright 依賴硬編碼的 XPath 和 CSS 選擇器來定位並操作網頁元素。當網站重新設計或更新 UI 時,這些選擇器會失效,導致自動化腳本崩潰,尤其在金融系統頻繁更新 UI 的現實中,維護成本極高。Stage Hand 採用完全不同的方法:它利用 LLM 的理解能力,讓代理用自然語言發出指令(「點擊紅色按鈕」「填寫我的名字」「找到登入表單」),而 Stage Hand 會解析頁面的完整 DOM 樹和可訪問性樹,交由 LLM 推斷出具體應點擊或互動的元素位置。為控制成本,Stage Hand 在發送給 LLM 前會將原始 HTML(通常 122,000 個 Token)優化為更精簡的可訪問性樹(約 4,000 Token),實現 97% 的 Token 削減。此外,通過將 Stage Hand 作為 Chrome 擴展直接運行在託管瀏覽器內,完全消除了代理與瀏覽器之間的網絡往返延遲,大幅提升操作速度。

Bill 的應用場景展示了跨越數千個異質系統的自動化威力。支付處理行業的每個廠商都有獨特的支付入口、不同的結帳流程和 UI 設計。傳統方法需要為每個廠商編寫和維護獨立的 Playwright 腳本,工作量與廠商數量成正比。使用 Stage Hand 和瀏覽器代理,Bill 實現了真正的「一個代理、數千個入口」的目標,自動化流程變成了適應性的而非固定的。

Stripe 則將瀏覽器代理應用到商家身份驗證(KYC)流程。Stripe 每月新增數千家商家,需要通過州政府記錄和公開信息驗證他們的真實身份。過去這需要人類合規官員逐個訪問州政府數據庫、企業註冊網站等。瀏覽器代理使這一驗證過程完全自動化,大幅加速了商家上線速度。

在現場演示中,講者展示了 Stage Hand 的三個核心操作:observe(觀察和定位頁面元素)、act(執行點擊、輸入等操作)和 extract(使用 Zod schema 結構化提取數據)。通過對 Chipotle 菜單的實時提取、對 20 家公司跨官網、投資者頁面、SEC 申報和 NYSE 上市信息四個源的並行研究,講者證明了系統的穩定性和可擴展性。由於採用 Verified Browser,系統能有效規避大多數 CAPTCHA 驗證,即使遇到驗證碼也有內置求解方案,確保自動化流程不中斷。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。