Browser Agents Don't Need Better Models. They Need Better Eyes. - Kushan Raj, ARK
三句話摘要
用優化後的網頁表示法和改進的代理環境，解決瀏覽器代理速度慢、可靠性低的問題。 瀏覽器代理的瓶頸不在AI模型本身，而在於如何高效地向模型傳遞網頁信息——用結構化的壓縮表示法配合實時反饋，就能用便宜的模型達到秒級的執行速度。 模型智能本身不是瓶頸，而是資訊品質：講者發現Claude等高端模型在瀏覽器代理任務中也會卡住，不是因為模型不夠聰明，而是它收到的環境信息太雜亂、token成本太高。給模型好的信息環境，即使用便宜模型也能快速完成。
重點整理
重點- 1
模型智能本身不是瓶頸，而是資訊品質：講者發現Claude等高端模型在瀏覽器代理任務中也會卡住，不是因為模型不夠聰明，而是它收到的環境信息太雜亂、token成本太高。給模型好的信息環境，即使用便宜模型也能快速完成。
- 2
網頁表示法的優化是關鍵：用HTML DOM序列化會耗費20,000代幣且信息冗餘，改用Markdown壓縮表示只需1,800代幣，同時保留頁面的所有必要結構，讓模型在同一屏幕內看到整個網頁，減少推理錯誤。
- 3
結合反饋機制追蹤頁面狀態：系統記錄新出現的元素、消失的元素、被阻擋的元素，當代理執行操作失敗時，明確告訴它發生了什麼（而不是代理自己去猜測），大幅降低卡住的機率。
- 4
實際效能的巨大差異：下載Aadhar文件、預訂登山行程等任務，現有方案耗時2分鐘且失敗，講者的方案秒級完成；這個改進對真實應用的影響巨大。
實用技巧與重點
乾貨- 代幣成本比較：
- 完整DOM：約20,000代幣
- 截圖：約1,100代幣
- Markdown壓縮表示：約1,800代幣
- 實測案例：
- Aadhar下載：Claude耗時46秒後卡住最後耗時2分鐘；講者方案秒級完成
- 加拿大登山預訂：Claude無法選擇日期而失敗；講者方案瞬間完成
- 技術方案：
- 用Markdown格式壓縮網頁結構
- 同時提供視覺截圖
- 追蹤頁面變化（新增元素、移除元素、被阻擋的元素）
- 提供端到端的瀏覽器狀態反饋
- 未來計畫：
- 開源項目
- 提供API服務（輸入URL+意圖，返回執行結果）
- 可能開發為網站或瀏覽器插件
結論
結論“瀏覽器代理的瓶頸不在AI模型本身，而在於如何高效地向模型傳遞網頁信息——用結構化的壓縮表示法配合實時反饋，就能用便宜的模型達到秒級的執行速度。”
完整解析
詳細瀏覽器代理雖然概念吸引人，但在實際應用中採用率極低，這令講者長期困惑。他在研究現有方案時發現，即便是用Claude這樣的高能力模型，執行簡單的網頁互動任務也會極其緩慢——點擊一個按鈕需要10-20秒，完整的30步流程花費時間難以接受。這不是模型理解能力的問題，而是環境信息的問題。
講者的核心洞察是：模型本身足夠聰明，但圍繞模型的信息環境很糟糕。一旦提供高質量的環境，即使用更便宜的模型也能高效完成任務。傳統方案將整個HTML DOM轉成序列，這會產生約20,000個代幣的龐大輸入，既昂貴又充滿冗餘信息，導致模型難以準確聚焦。
講者開發了一種壓縮表示法：用Markdown格式編碼網頁結構，配合視覺截圖和結構化反饋。這套方案只需1,800個代幣就能傳達完整頁面信息，模型可以在單屏內看到整個網頁。更重要的是，系統持續追蹤頁面狀態——標記哪些元素是新出現的、哪些被移除、哪些被阻擋——使得當代理執行操作時，它能明確了解發生了什麼，而不是靠猜測。
實測結果令人印象深刻。下載Aadhar文件的任務，Claude耗時46秒後卡住，最終耗時2分鐘；講者的方案瞬間完成。預訂加拿大登山行程時，Claude陷入困境無法選擇日期；講者的方案選擇日期、填寫信息、確認訂單一氣呵成。這些對比清晰展示了優化環境表示的威力。
未來，講者計畫開源這個項目、提供API服務（用戶給URL和意圖，API返回執行結果），甚至可能做成網站或插件。目標很明確：讓瀏覽器代理變得快、便宜、可靠，這樣世界上的每個人都能輕鬆使用它完成各種網上任務。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
