Computer-use models will agentify the web, not APIs — Dhruv Batra, Yutori
三句話摘要
網路為人類設計，AI代理必須透過視覺理解而非API來自動化網頁操作。 網頁自動化的未來不是重新設計基礎設施，而是在現有混亂之上加一層AI視覺系統，讓機器學會"像人一樣看網頁"。 --- ⚠️ 註記：原逐字稿前半部分轉錄質量極差，建議確認原始音訊檔案或提供清晰版本以獲得更準確的摘要。 網路的渲染本質：網頁動態載入資訊（如NBA比分、庫存狀態），HTML原始碼中不存在，機器必須透過瀏覽器渲染和畫素讀取獲取真實資料。
重點整理
重點- 1
網路的渲染本質：網頁動態載入資訊（如NBA比分、庫存狀態），HTML原始碼中不存在，機器必須透過瀏覽器渲染和畫素讀取獲取真實資料。
- 2
API的侷限性：許多網站沒有公開API，餐廳選單、政府RFP頁面等只提供人類可讀的介面，自動化必須模擬使用者行為。
- 3
視覺+程式碼混合方案：Navigator不僅點選按鈕，還能在需要時編寫JavaScript操作DOM，同時透過畫素驗證執行結果。
- 4
效能突破：透過專業模型最佳化，網頁自動化成本和延遲大幅下降，支援大規模並行部署，超越單個人類的執行效率。
實用技巧與重點
乾貨- 模型名稱：Navigator 1.5
- 基準效能：Mind2Web基準97%準確率（300條軌跡中8條錯誤）
- 成本對比：Navigator $0.80/任務 vs GPT-4.7/OPUS $2.30/任務
- 延遲：較小模型明顯快於萬億引數級模型
- 典型流程：20-30步互動完成一個任務
- 能力範圍：表單填充、折扣碼驗證、庫存查詢、跨網站資訊收集
- 部署方式：支援多代理並行（在雲沙箱中同時操作多個網站）
結論
結論“網頁自動化的未來不是重新設計基礎設施，而是在現有混亂之上加一層AI視覺系統，讓機器學會"像人一樣看網頁"。 --- ⚠️ 註記：原逐字稿前半部分轉錄質量極差，建議確認原始音訊檔案或提供清晰版本以獲得更準確的摘要。”
完整解析
詳細講者開篇指出一個被忽視的問題：網路為人類眼睛而構建，資訊通常不是以可讀的文字形式儲存，而是透過瀏覽器渲染引擎動態生成。例如，查詢NBA比分時，頁面初始載入為空，瀏覽器非同步呼叫API獲取JSON資料後才顯示分數；查詢產品庫存時，HTML原始碼中沒有"有貨/售罄"的文字，而是透過JavaScript渲染邏輯（數量為0時灰顯）來展現。這意味著單純讀取HTML程式碼無法獲取使用者看到的資訊。
傳統解決方案依賴API和資料清理指令碼，但現實中許多網站缺乏公開API。講者舉例：餐廳選單可能是PDF、學校採購頁面存放在Google Drive、政府RFP資訊分散在各處。這些資訊在技術上已存在，但對機器來說形成了"長尾問題" — 90%以上的網路不提供機器可讀的API。
為解決這一問題，講者團隊開發了Navigator模型，採用"螢幕截圖進、按鈕點選出"的正規化。第一版（去年11月釋出）純粹模擬人類行為，後續版本增加了JavaScript編寫能力 — 當需要同時填充多個表單欄位時，模型可生成程式碼注入瀏覽器執行，同時透過畫素反饋驗證結果是否正確。這種混合方案結合了視覺理解的魯棒性和程式碼執行的精確性。
效能指標顯示顯著進步：Mind2Web基準從早期模型升至Navigator 1.5的97%準確率（僅8個錯誤樣本），基準已飽和，需要設計更難的任務。在成本和延遲上，Navigator的較小模型足跡在處理20-30步互動的任務時成本僅$0.80/任務，遠低於大型模型的$2.30，且執行速度更快。這使得可以並行部署多個Navigator例項在不同網站上，實現超越單個人類能力的規模操作。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
