How to Build Financial Agents That Work Across the Web - Jay Sahnan & Arik Bird, Browserbase
三句話摘要
瀏覽器代理如何幫助金融企業自動化受保護網站的數據抓取與操作,並在大規模部署中戰勝反機器人檢測。 瀏覽器代理結合 Verified Browser 和 Stage Hand 技術堆棧,使金融企業在大規模自動化受保護網站數據抓取與操作中實現了前所未有的可擴展性和可靠性,從而釋放數萬小時人力、加速業務增長。 瀏覽器代理的必要性:金融數據多存放在需登入的受保護系統後(法規入口、支付平台、交易所),無法通過 API 或 MCP 存取,必須用瀏覽器自動化才能規模化提取。
重點整理
瀏覽器代理的必要性:金融數據多存放在需登入的受保護系統後(法規入口、支付平台、交易所),無法通過 API 或 MCP 存取,必須用瀏覽器自動化才能規模化提取。
數據中心運行的反機器人挑戰:在筆記本電腦上的 Chromium 具備完整用戶指紋(瀏覽器版本、OS、字體、螢幕尺寸、時區),但放入數據中心時每次啟動都產生新指紋、清除 Cookie、顯示數據中心 IP,被反機器人系統輕易識別並封鎖。
Verified Browser 解決方案:Fork Chromium 並修改三個關鍵點——移除 webdriver=true 標記、統一身份為「Chrome」而非「Headless Chrome」、保持進程持續運行而非停止啟動,每兩週跟蹤 Chromium 更新以維持效果。
Stage Hand SDK 的智能控制:不依賴易破損的 XPath 選擇器,而是利用 LLM 理解 DOM 與可訪問性樹,支持自然語言指令,並通過 Chrome 擴展形式並置於瀏覽器消除往返延遲。
實用技巧與重點
- 企業案例數據
- Ramp:節省 30,000+ 小時人工數據輸入工作,業務規模增長 5 倍
- Bill:目標達成一個代理控制數千個支付入口(各入口 UI 流程各異)
- Stripe:月度新增數千至數萬商家,使用場景為 KYC 身份驗證自動化
- Verified Browser 技術修改
- 移除自動化標記:webdriver=true 改為 false
- 統一瀏覽器身份:「Headless Chrome」改為「Chrome」
- 保持進程存活:關閉分頁視窗而不殺死 Chromium 進程
- 維護週期:每 2 週跟蹤 Chromium 源代碼變化
- Stage Hand 核心功能
- 三個操作原始類:observe(觀察)、act(動作)、extract(提取)
- 數據結構化:使用 Zod schema 轉換非結構化網頁數據
- Token 最佳化:原始 HTML 122k tokens → 可訪問性樹 4k tokens(節省 97%)
- 架構優化:Chrome 擴展形式部署,消除代理-瀏覽器往返延遲
- 演示應用範例
- 單一網站提取:Chipotle 菜單、公司商品信息
- 多源並行研究:官網、投資者頁面、SEC 申報、NYSE 上市信息
- 大規模應用:20 家公司同時執行相同任務跨 4 個信息源
- 反爬蟲:內置 CAPTCHA 求解能力,基於 Verified Browser 減少驗證觸發
- 提供的資源
- Stage Hand:開源 SDK(基於 Playwright 進階版)
- Browser Base:託管瀏覽器基礎設施
- SEC 數據提取模板
- 官網 Copy Prompt 樣板供直接使用
結論
瀏覽器代理結合 Verified Browser 和 Stage Hand 技術堆棧,使金融企業在大規模自動化受保護網站數據抓取與操作中實現了前所未有的可擴展性和可靠性,從而釋放數萬小時人力、加速業務增長。
完整解析
在金融科技時代,銀行對帳、支付處理、商家驗證等核心業務都依賴於從受高度保護的網絡系統中提取數據——州稅務入口、銀行支付門戶、證券交易所網站。Ramp、Bill 和 Stripe 這樣的金融科技公司曾面臨同樣的困境:這些數據沒有 API 接口,必須通過人類操作員手動訪問、登入並逐筆提取。隨著企業規模增長到服務數百萬用戶,這種人工方式顯然無法擴展。講者提出的核心方案是「瀏覽器代理」——賦予 AI 代理一個瀏覽器工具,使其能像真實用戶一樣操作任何網站。
Ramp 的轉變最清晰地展示了此方案的影響。過去,Ramp 需要部署人類團隊登入客戶的銀行和支付網站來抓取收據並自動匹配交易。當客戶基礎擴大時,這支隊伍成為業務瓶頸。引入瀏覽器代理後,Ramp 不僅自動化了超過 30,000 小時的人工數據輸入工作,還實現了業務規模 5 倍的增長。每當用戶用 Ramp 卡預訂機票時,一個瀏覽器代理會自動登入航空公司網站、抓取收據、匹配交易——全程無須人工干預。
但瀏覽器代理在技術上遭遇關鍵障礙。在個人筆記本電腦上,Chromium 瀏覽器建立了一個獨特的身份指紋:特定的瀏覽器版本、作業系統類型、安裝的字體、螢幕解析度和時區。網站還會記住你的登入狀態、訪問歷史和操作行為模式,識別你是熟悉的訪客。然而,當將相同的 Chromium 部署到數據中心以支持數千並發瀏覽器實例時,這個指紋策略完全崩潰。每次啟動新的瀏覽器都會產生完全不同的指紋、清空所有 Cookie、發出數據中心的 IP 地址——這些信號會被反機器人系統(如 Cloudflare、Akamai)立即識別為異常,導致被要求完成 CAPTCHA 或直接被 IP 封鎖。
為突破這一障礙,講者團隊採取了激進的措施:直接 Fork 和修改 Chromium 源代碼。他們開發了「Verified Browser」——一個經過驗證且去除了自動化信號的 Chromium 版本。關鍵的三項修改是:第一,移除所有 webdriver=true 標記(將其改為 false),這個標記是瀏覽器檢測自動化的核心依據;第二,將瀏覽器身份統一改為「Chrome」而非「Headless Chrome」,消除「無頭」運行的明顯特徵;第三,保持 Chromium 進程持續運行,關閉各個分頁窗口但不殺死進程本身,減少連接指紋的重置。這些修改看似簡單,但涉及 Chromium 源代碼的多個深層位置,而且因為 Chromium 每兩週發佈一次新版本,團隊必須持續維護和更新修改。
除了瀏覽器層的改進,講者介紹了 Stage Hand——一個建立在 Playwright 基礎上的開源 SDK,用於實現對瀏覽器的智能控制。傳統 Playwright 依賴硬編碼的 XPath 和 CSS 選擇器來定位並操作網頁元素。當網站重新設計或更新 UI 時,這些選擇器會失效,導致自動化腳本崩潰,尤其在金融系統頻繁更新 UI 的現實中,維護成本極高。Stage Hand 採用完全不同的方法:它利用 LLM 的理解能力,讓代理用自然語言發出指令(「點擊紅色按鈕」「填寫我的名字」「找到登入表單」),而 Stage Hand 會解析頁面的完整 DOM 樹和可訪問性樹,交由 LLM 推斷出具體應點擊或互動的元素位置。為控制成本,Stage Hand 在發送給 LLM 前會將原始 HTML(通常 122,000 個 Token)優化為更精簡的可訪問性樹(約 4,000 Token),實現 97% 的 Token 削減。此外,通過將 Stage Hand 作為 Chrome 擴展直接運行在託管瀏覽器內,完全消除了代理與瀏覽器之間的網絡往返延遲,大幅提升操作速度。
Bill 的應用場景展示了跨越數千個異質系統的自動化威力。支付處理行業的每個廠商都有獨特的支付入口、不同的結帳流程和 UI 設計。傳統方法需要為每個廠商編寫和維護獨立的 Playwright 腳本,工作量與廠商數量成正比。使用 Stage Hand 和瀏覽器代理,Bill 實現了真正的「一個代理、數千個入口」的目標,自動化流程變成了適應性的而非固定的。
Stripe 則將瀏覽器代理應用到商家身份驗證(KYC)流程。Stripe 每月新增數千家商家,需要通過州政府記錄和公開信息驗證他們的真實身份。過去這需要人類合規官員逐個訪問州政府數據庫、企業註冊網站等。瀏覽器代理使這一驗證過程完全自動化,大幅加速了商家上線速度。
在現場演示中,講者展示了 Stage Hand 的三個核心操作:observe(觀察和定位頁面元素)、act(執行點擊、輸入等操作)和 extract(使用 Zod schema 結構化提取數據)。通過對 Chipotle 菜單的實時提取、對 20 家公司跨官網、投資者頁面、SEC 申報和 NYSE 上市信息四個源的並行研究,講者證明了系統的穩定性和可擴展性。由於採用 Verified Browser,系統能有效規避大多數 CAPTCHA 驗證,即使遇到驗證碼也有內置求解方案,確保自動化流程不中斷。


