KeyFrame內部研究專用

Browser Agents Don't Need Better Models. They Need Better Eyes. - Kushan Raj, ARK

AI Engineer4 min英文
觀看原始影片

三句話摘要

用優化後的網頁表示法和改進的代理環境,解決瀏覽器代理速度慢、可靠性低的問題。 瀏覽器代理的瓶頸不在AI模型本身,而在於如何高效地向模型傳遞網頁信息——用結構化的壓縮表示法配合實時反饋,就能用便宜的模型達到秒級的執行速度。 模型智能本身不是瓶頸,而是資訊品質:講者發現Claude等高端模型在瀏覽器代理任務中也會卡住,不是因為模型不夠聰明,而是它收到的環境信息太雜亂、token成本太高。給模型好的信息環境,即使用便宜模型也能快速完成。

重點整理

  1. 模型智能本身不是瓶頸,而是資訊品質:講者發現Claude等高端模型在瀏覽器代理任務中也會卡住,不是因為模型不夠聰明,而是它收到的環境信息太雜亂、token成本太高。給模型好的信息環境,即使用便宜模型也能快速完成。

  2. 網頁表示法的優化是關鍵:用HTML DOM序列化會耗費20,000代幣且信息冗餘,改用Markdown壓縮表示只需1,800代幣,同時保留頁面的所有必要結構,讓模型在同一屏幕內看到整個網頁,減少推理錯誤。

  3. 結合反饋機制追蹤頁面狀態:系統記錄新出現的元素、消失的元素、被阻擋的元素,當代理執行操作失敗時,明確告訴它發生了什麼(而不是代理自己去猜測),大幅降低卡住的機率。

  4. 實際效能的巨大差異:下載Aadhar文件、預訂登山行程等任務,現有方案耗時2分鐘且失敗,講者的方案秒級完成;這個改進對真實應用的影響巨大。

實用技巧與重點

  • 代幣成本比較:
  • 完整DOM:約20,000代幣
  • 截圖:約1,100代幣
  • Markdown壓縮表示:約1,800代幣
  • 實測案例:
  • Aadhar下載:Claude耗時46秒後卡住最後耗時2分鐘;講者方案秒級完成
  • 加拿大登山預訂:Claude無法選擇日期而失敗;講者方案瞬間完成
  • 技術方案:
  • 用Markdown格式壓縮網頁結構
  • 同時提供視覺截圖
  • 追蹤頁面變化(新增元素、移除元素、被阻擋的元素)
  • 提供端到端的瀏覽器狀態反饋
  • 未來計畫:
  • 開源項目
  • 提供API服務(輸入URL+意圖,返回執行結果)
  • 可能開發為網站或瀏覽器插件

結論

瀏覽器代理的瓶頸不在AI模型本身,而在於如何高效地向模型傳遞網頁信息——用結構化的壓縮表示法配合實時反饋,就能用便宜的模型達到秒級的執行速度。

完整解析

瀏覽器代理雖然概念吸引人,但在實際應用中採用率極低,這令講者長期困惑。他在研究現有方案時發現,即便是用Claude這樣的高能力模型,執行簡單的網頁互動任務也會極其緩慢——點擊一個按鈕需要10-20秒,完整的30步流程花費時間難以接受。這不是模型理解能力的問題,而是環境信息的問題。

講者的核心洞察是:模型本身足夠聰明,但圍繞模型的信息環境很糟糕。一旦提供高質量的環境,即使用更便宜的模型也能高效完成任務。傳統方案將整個HTML DOM轉成序列,這會產生約20,000個代幣的龐大輸入,既昂貴又充滿冗餘信息,導致模型難以準確聚焦。

講者開發了一種壓縮表示法:用Markdown格式編碼網頁結構,配合視覺截圖和結構化反饋。這套方案只需1,800個代幣就能傳達完整頁面信息,模型可以在單屏內看到整個網頁。更重要的是,系統持續追蹤頁面狀態——標記哪些元素是新出現的、哪些被移除、哪些被阻擋——使得當代理執行操作時,它能明確了解發生了什麼,而不是靠猜測。

實測結果令人印象深刻。下載Aadhar文件的任務,Claude耗時46秒後卡住,最終耗時2分鐘;講者的方案瞬間完成。預訂加拿大登山行程時,Claude陷入困境無法選擇日期;講者的方案選擇日期、填寫信息、確認訂單一氣呵成。這些對比清晰展示了優化環境表示的威力。

未來,講者計畫開源這個項目、提供API服務(用戶給URL和意圖,API返回執行結果),甚至可能做成網站或插件。目標很明確:讓瀏覽器代理變得快、便宜、可靠,這樣世界上的每個人都能輕鬆使用它完成各種網上任務。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI