KeyFrame內部研究專用

Why Dwarkesh is Wrong about Computer Use + How OpenAI shipped its Jev competitor in 1 Week

Latent Space39 min英文
觀看原始影片

三句話摘要

OpenAI 在 Dev Day 發表 Computer Use agents 全新功能與 API 能力,包括新模型 GPT-6.1 Sol、Dots 個人助理、Decisions API,以及 Agents API 整合 Computer Use。 Computer Use 已從不可靠工具進化到超越平均使用者水準,技術棧民主化開放給全體開發者,接下來的挑戰是如何在低層靈活性與高層易用性間找到平衡點,以加速 AI 雲端生態發展。 Computer Use 自調試能力大幅提升:過去模型只能啟動任務後容易卡住;現在能自主除錯、重試、檢視不可行之處,使自動化任務完成度從不可靠躍升至超越平均使用者水準。

重點整理

  1. Computer Use 自調試能力大幅提升:過去模型只能啟動任務後容易卡住;現在能自主除錯、重試、檢視不可行之處,使自動化任務完成度從不可靠躍升至超越平均使用者水準。

  2. 多模式表示優化是核心效能驅動力:使用無障礙介面(Accessibility API)、DOM 直接存取、Playwright 等多種方式,模型可一次看到完整頁面而不須重複截圖滾動,能寫出多步驟 JavaScript 自動執行,大幅減少延遲。

  3. App Shots 為視覺 AI 與 LLM 搭橋:不只是截圖,還包含完整元資料、超連結目標、行事曆完整標題等原本看不到的資訊,讓模型作出更精準的決策,成為 Codex 中最重要的速度最佳化工具。

  4. Agents API 民主化 Computer Use,並與內部產品同步:開發者可建立在同一套 OpenAI 訓練的 Computer Use 實現上;Codex、Dots 等內部產品也已完全建置在 Agents API 之上,確保一致性與可靠性。

實用技巧與重點

  • 模型與成本
  • GPT-6.1 Sol:Astra 成本的 1/5,Computer Use 專用成本的 1/7
  • Decisions API:採用 Luna 權重(無新模型訓練)
  • 三年內將 API 可靠性維持在 99%
  • Dots 產品特性
  • 每個 Dot 配備獨立的雲端 Linux 虛擬電腦
  • 支援完整桌面應用執行
  • 整合語音與 Slack 介面
  • 新 API 功能
  • 異步函數呼叫(Async Function Calling):模型不須等待工具回傳即可繼續推理
  • 中途轉向(Mid-turn Steering):可在模型推理中注入指令
  • WebSocket 雙向通訊:基礎設施支援實時互動
  • 快取保證:30 分鐘保證;預覽中提供 12 小時保證快取
  • 預熱快取(Pre-warming):提前付快取寫入費用,30 分鐘內即用
  • 效能改進數據
  • Computer Use 速度改進 7 倍(Tejal 在主題演講中提及)
  • 推理改進來自模型與 harness 並行發展
  • 主要瓶頸轉移:從模型能力 → 推理延遲 → 第三方服務載入時間
  • 技術棧與工具
  • App Shots:雙按 Command 快速擷取應用完整上下文(可在 Codex 查看原始無障礙表示)
  • 無障礙 API + Playwright + 直接 DOM 存取
  • JavaScript 代碼生成與執行
  • 事件驅動等待(Event-driven Waiting)vs. 固定等待
  • 伺服器端壓縮與 /slash compact 指令(OpenAI 專有壓縮演算法)
  • Decisions API 實現
  • 批次平行處理多個問題
  • 結構化輸出(Structured Outputs)
  • 推理關閉,速度優先
  • 內建 Vision(Luna 的免費附加功能)
  • 內部用例
  • 客戶服務自動化(用戶支援票證分類)
  • 軟體開發完整週期(建置 → 測試 → 部署)
  • YouTube 自動化(API 不支援的功能,必須通過 UI 自動化)
  • 訂餐服務:2 小時縮短至 15 分鐘(8 倍加速)
  • 天氣應用部署、日曆會議筆記自動同步

結論

Computer Use 已從不可靠工具進化到超越平均使用者水準,技術棧民主化開放給全體開發者,接下來的挑戰是如何在低層靈活性與高層易用性間找到平衡點,以加速 AI 雲端生態發展。

完整解析

OpenAI 在 Dev Day 宣布了對 Computer Use 的重大升級。首先發表新模型 GPT-6.1 Sol,這款模型不僅成本是 Astra 的五分之一,在 Computer Use 專用工作負載上更便宜七倍。同時推出 Dots 個人助理,每個 Dot 配備獨立的雲端 Linux 虛擬電腦,打破了過去只能操作瀏覽器或用戶本地設備的限制,現在能執行任何桌面應用程式。

Computer Use 的進步核心不只來自模型改進,更來自多模式技術棧的演化。過去三年前人們還害怕將 LLM 連接到網路,現在已可信任它配置 DNS、支付帳單等關鍵任務。講者指出過去的痛點是模型能啟動任務但容易卡住,現在則具備自我除錯與重試能力。技術層面,無障礙 API(Accessibility API)成為遊戲改變者——原本為幫助使用螢幕閱讀器的障礙人士開發的技術,同樣適合 LLM 理解介面。這讓模型能一次看到完整頁面而非逐次截圖滾動,並能用 JavaScript 撰寫多步驟自動化指令。

App Shots 功能則把這套能力整合進 Codex:它不只傳送視覺截圖,還包含完整元資料、超連結目標、截斷文字的完整內容。開發者在 Codex 中雙按 Command 鍵即可擷取應用上下文,甚至可點選檢視原始無障礙表示層。這項創新由 Jason Liu 在 AI Engineer 做深度工作坊介紹,成為最重要的速度最佳化工具。

Agents API 的發布意義深遠——開發者現可使用 OpenAI 訓練的相同 Computer Use 實現,避免重新建置 harness 的困難。內部產品如 Codex、Dots、安全工具等已完全建置在該 API 上。新增的 API 功能包括異步函數呼叫(模型無須等待工具回應即可繼續推理)、中途轉向(在推理中動態注入指令)、WebSocket 雙向通訊。快取改進也是重點:保證 30 分鐘快取命中率,預覽中提供 12 小時保證,適合長期執行的個人助理代理。

另一項新功能 Decisions API 源自 Jeff 的啟發。它不訓練新模型,而是在 Luna 權重上運行,透過批次平行、推理禁用、結構化輸出等最佳化達到超高速分類。內部用例包括客戶支援票證分類、與 GPT Live 結合作為前端快速模型等。

展望未來,Nikunj 提出 AI 平台層設計的關鍵問題:應該在低層 API 原始資料上讓開發者自行實現,還是內建更多高層抽象如記憶、對象儲存?這如同 AWS 時代發明 EC2 和 S3 的問題,但對 AI 原生應用。團隊已在壓縮技術、事件驅動等待、推理最佳化等領域持續創新。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資