KeyFrame內部研究專用

The agent-ready web: Simplify user actions with WebMCP — Tara Agyemang, Google

AI Engineer·6月11日週四·21 min英文

三句話摘要

Web MCP——網頁標準提案,讓網站為AI代理提供結構化工具,取代低效的屏幕抓取交互。 Web MCP讓網站從被動的HTML頁面升級為AI代理的高效API,既簡化複雜使用者流程,也解放代理免於昂貴低效的屏幕抓取,開發者應趁早試用並成為標準完善的推動者。 問題根源:目前AI代理與網站交互需耗費巨大成本——遍歷HTML、查詢無障礙樹、截圖分析、計算像素位置點擊,過程冗長脆弱、消耗大量token,且易被廣告推送等意外因素破壞。建立「代理就緒」網站的基礎是優化語義HTML、無障礙標準和頁面性能。

重點整理

重點
  • 1

    問題根源:目前AI代理與網站交互需耗費巨大成本——遍歷HTML、查詢無障礙樹、截圖分析、計算像素位置點擊,過程冗長脆弱、消耗大量token,且易被廣告推送等意外因素破壞。建立「代理就緒」網站的基礎是優化語義HTML、無障礙標準和頁面性能。

  • 2

    Web MCP解決方案:不讓AI代理猜測網站功能,而是提供一份工具菜單。網站聲明能力為結構化工具,AI代理直接調用工具而非視覺解析,顯著提升性能和可靠性。被譽為「AI代理交互的USB-C」。

  • 3

    雙API實現策略:聲明式API在HTML表單直接添加屬性(tool-name、tool-description),瀏覽器自動生成JSON Schema;命令式API用JavaScript註冊自定義工具,用於複雜多步UI流程,開發者需手動構建Schema並實現execute邏輯(驗證輸入、DOM操作、返回結果)。

  • 4

    應用場景與現狀:適用訂票、購物篩選、複雜表單填寫、隱藏頁面操作修復等。Chrome 146+支持,仍處早期預覽,API尚會變化,官方主動邀請開發者試用、提供反饋,以完善標準。

實用技巧與重點

乾貨
  • Chrome支持版本:146及以上
  • 設置步驟:Chrome Canary + 啟用Web MCP測試標旗 + 安裝Model Context Tool Inspector擴展(Chrome Web Store)
  • 聲明式API屬性:tool-name、tool-description、agent-invoked(Boolean)
  • 命令式API核心:registerTool({name, description, parameters, execute()})
  • 演示項目:迷宮逃脫遊戲(純AI工具模式)、演唱會售票網站(search_concerts → open_concert_page → purchase_ticket工具鏈)
  • 模型效果:Gemini 3.1優於Gemini 1.5
  • 資源
  • Chrome DevRel部落格(早期預覽程序、最佳實踐、API文檔)
  • GitHub倉庫(Inspector工具、6-7個演示代碼、eval CLI工具)
  • 關鍵成本數據:演示購票案例消費£356

結論

結論

Web MCP讓網站從被動的HTML頁面升級為AI代理的高效API,既簡化複雜使用者流程,也解放代理免於昂貴低效的屏幕抓取,開發者應趁早試用並成為標準完善的推動者。

完整解析

詳細

過去數十年,網頁以人類視覺和操作為設計中心。然而時下AI代理日益頻繁地在人類委託下使用網頁,卻面臨巨大低效。以一個演唱會售票網站為例,當用戶要求AI代理購買票券時,代理必須遍歷整個DOM樹、查詢無障礙樹結構、截圖分析不在HTML中的視覺元素、計算精確像素座標才能點擊。這一冗長流程不僅消耗海量token,且極易因頁面廣告推送、內容位移而失敗。更根本的做法是首先優化網站基礎設施——採用語義HTML、遵循無障礙標準、優化性能指標——這本身就向AI代理開放了網站。

Web MCP(Model Context Protocol)正是針對此困境的網路標準提案。核心思想是翻轉交互模式:與其讓AI代理盲目猜測網站功能,不如讓網站主動聲明能力。開發者通過Web MCP定義結構化工具,AI代理獲得工具菜單直接調用,而非進行視覺解析。這類似於為AI構建了一套「USB-C」標準接口,顯著提升交互的性能和可靠性。

實現上,Web MCP提供兩種API路徑。聲明式API適合簡單表單:在HTML表單元素上增加tool-name、tool-description等屬性,瀏覽器自動生成JSON Schema供代理讀取,無需手寫代碼。命令式API應對複雜場景:開發者用JavaScript註冊自定義工具,手動構建Schema,在execute回調中編寫業務邏輯——驗證輸入、DOM操作、返回結果反饋給代理。Chrome DevRel團隊展示的迷宮逃脫遊戲便是純工具模式,用戶無法通過UI點擊,只能依賴代理調用move、look、pickup、use等工具導航。再如售票演示,代理依次調用search_concerts、open_concert_page、purchase_ticket工具完成購買流程,每步都同步更新UI確保用戶可見。

目前Web MCP在Chrome 146及以上支持,處於早期預覽階段。開發者需使用Chrome Canary、啟用測試標旗、安裝Model Context Tool Inspector擴展來試驗。官方於Chrome DevRel部落格提供詳細文檔和最佳實踐,GitHub倉庫開源了Inspector工具、六七個完整演示、eval CLI評測工具。Tara在現場強調API仍在迭代,代碼週週可能變化,正因如此官方邀請開發者積極試用、回報問題與反饋,共同推進標準演進。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。