Why Dwarkesh is Wrong about Computer Use + How OpenAI shipped its Jev competitor in 1 Week
三句話摘要
OpenAI 在 Dev Day 發表 Computer Use agents 全新功能與 API 能力,包括新模型 GPT-6.1 Sol、Dots 個人助理、Decisions API,以及 Agents API 整合 Computer Use。 Computer Use 已從不可靠工具進化到超越平均使用者水準,技術棧民主化開放給全體開發者,接下來的挑戰是如何在低層靈活性與高層易用性間找到平衡點,以加速 AI 雲端生態發展。 Computer Use 自調試能力大幅提升:過去模型只能啟動任務後容易卡住;現在能自主除錯、重試、檢視不可行之處,使自動化任務完成度從不可靠躍升至超越平均使用者水準。
重點整理
Computer Use 自調試能力大幅提升:過去模型只能啟動任務後容易卡住;現在能自主除錯、重試、檢視不可行之處,使自動化任務完成度從不可靠躍升至超越平均使用者水準。
多模式表示優化是核心效能驅動力:使用無障礙介面(Accessibility API)、DOM 直接存取、Playwright 等多種方式,模型可一次看到完整頁面而不須重複截圖滾動,能寫出多步驟 JavaScript 自動執行,大幅減少延遲。
App Shots 為視覺 AI 與 LLM 搭橋:不只是截圖,還包含完整元資料、超連結目標、行事曆完整標題等原本看不到的資訊,讓模型作出更精準的決策,成為 Codex 中最重要的速度最佳化工具。
Agents API 民主化 Computer Use,並與內部產品同步:開發者可建立在同一套 OpenAI 訓練的 Computer Use 實現上;Codex、Dots 等內部產品也已完全建置在 Agents API 之上,確保一致性與可靠性。
實用技巧與重點
- 模型與成本
- GPT-6.1 Sol:Astra 成本的 1/5,Computer Use 專用成本的 1/7
- Decisions API:採用 Luna 權重(無新模型訓練)
- 三年內將 API 可靠性維持在 99%
- Dots 產品特性
- 每個 Dot 配備獨立的雲端 Linux 虛擬電腦
- 支援完整桌面應用執行
- 整合語音與 Slack 介面
- 新 API 功能
- 異步函數呼叫(Async Function Calling):模型不須等待工具回傳即可繼續推理
- 中途轉向(Mid-turn Steering):可在模型推理中注入指令
- WebSocket 雙向通訊:基礎設施支援實時互動
- 快取保證:30 分鐘保證;預覽中提供 12 小時保證快取
- 預熱快取(Pre-warming):提前付快取寫入費用,30 分鐘內即用
- 效能改進數據
- Computer Use 速度改進 7 倍(Tejal 在主題演講中提及)
- 推理改進來自模型與 harness 並行發展
- 主要瓶頸轉移:從模型能力 → 推理延遲 → 第三方服務載入時間
- 技術棧與工具
- App Shots:雙按 Command 快速擷取應用完整上下文(可在 Codex 查看原始無障礙表示)
- 無障礙 API + Playwright + 直接 DOM 存取
- JavaScript 代碼生成與執行
- 事件驅動等待(Event-driven Waiting)vs. 固定等待
- 伺服器端壓縮與 /slash compact 指令(OpenAI 專有壓縮演算法)
- Decisions API 實現
- 批次平行處理多個問題
- 結構化輸出(Structured Outputs)
- 推理關閉,速度優先
- 內建 Vision(Luna 的免費附加功能)
- 內部用例
- 客戶服務自動化(用戶支援票證分類)
- 軟體開發完整週期(建置 → 測試 → 部署)
- YouTube 自動化(API 不支援的功能,必須通過 UI 自動化)
- 訂餐服務:2 小時縮短至 15 分鐘(8 倍加速)
- 天氣應用部署、日曆會議筆記自動同步
結論
Computer Use 已從不可靠工具進化到超越平均使用者水準,技術棧民主化開放給全體開發者,接下來的挑戰是如何在低層靈活性與高層易用性間找到平衡點,以加速 AI 雲端生態發展。
完整解析
OpenAI 在 Dev Day 宣布了對 Computer Use 的重大升級。首先發表新模型 GPT-6.1 Sol,這款模型不僅成本是 Astra 的五分之一,在 Computer Use 專用工作負載上更便宜七倍。同時推出 Dots 個人助理,每個 Dot 配備獨立的雲端 Linux 虛擬電腦,打破了過去只能操作瀏覽器或用戶本地設備的限制,現在能執行任何桌面應用程式。
Computer Use 的進步核心不只來自模型改進,更來自多模式技術棧的演化。過去三年前人們還害怕將 LLM 連接到網路,現在已可信任它配置 DNS、支付帳單等關鍵任務。講者指出過去的痛點是模型能啟動任務但容易卡住,現在則具備自我除錯與重試能力。技術層面,無障礙 API(Accessibility API)成為遊戲改變者——原本為幫助使用螢幕閱讀器的障礙人士開發的技術,同樣適合 LLM 理解介面。這讓模型能一次看到完整頁面而非逐次截圖滾動,並能用 JavaScript 撰寫多步驟自動化指令。
App Shots 功能則把這套能力整合進 Codex:它不只傳送視覺截圖,還包含完整元資料、超連結目標、截斷文字的完整內容。開發者在 Codex 中雙按 Command 鍵即可擷取應用上下文,甚至可點選檢視原始無障礙表示層。這項創新由 Jason Liu 在 AI Engineer 做深度工作坊介紹,成為最重要的速度最佳化工具。
Agents API 的發布意義深遠——開發者現可使用 OpenAI 訓練的相同 Computer Use 實現,避免重新建置 harness 的困難。內部產品如 Codex、Dots、安全工具等已完全建置在該 API 上。新增的 API 功能包括異步函數呼叫(模型無須等待工具回應即可繼續推理)、中途轉向(在推理中動態注入指令)、WebSocket 雙向通訊。快取改進也是重點:保證 30 分鐘快取命中率,預覽中提供 12 小時保證,適合長期執行的個人助理代理。
另一項新功能 Decisions API 源自 Jeff 的啟發。它不訓練新模型,而是在 Luna 權重上運行,透過批次平行、推理禁用、結構化輸出等最佳化達到超高速分類。內部用例包括客戶支援票證分類、與 GPT Live 結合作為前端快速模型等。
展望未來,Nikunj 提出 AI 平台層設計的關鍵問題:應該在低層 API 原始資料上讓開發者自行實現,還是內建更多高層抽象如記憶、對象儲存?這如同 AWS 時代發明 EC2 和 S3 的問題,但對 AI 原生應用。團隊已在壓縮技術、事件驅動等待、推理最佳化等領域持續創新。

