KeyFrame內部研究專用

🚀GPT-5.5+Codex全自动操控电脑和浏览器!彻底取代OpenClaw+Hermes Agent!全自动做表格+画流程图+做PPT+下国际象棋!智能程度真的让Claude Code彻底沦为过去式

AI超元域·4月24日週五·13 min中文

三句話摘要

OpenAI 發布 GPT-5.5,在 Codex 中展示出超越 Claude Opus 4.7 的瀏覽器自動化與 Computer Use 實測能力。 GPT-5.5 在 Computer Use 與瀏覽器自動化上以速度快、指針獨立、自主選擇最優執行路徑三點,建立了對 Claude Opus 4.7 的實測優勢,但 400K 上下文與較舊知識截止日期是使用前必須評估的限制。 基準測試全面領先 Claude Opus 4.7:GPT-5.5 在智能體終端使用、電腦操作(Computer Use)、智能體瀏覽器調用三項基準均超越 Claude Opus 4.7,顯示其在自動化操作層面已建立明確優勢。

重點整理

重點
  • 1

    基準測試全面領先 Claude Opus 4.7:GPT-5.5 在智能體終端使用、電腦操作(Computer Use)、智能體瀏覽器調用三項基準均超越 Claude Opus 4.7,顯示其在自動化操作層面已建立明確優勢。

  • 2

    自動選擇最佳執行路徑:實測中 GPT-5.5 在繪製流程圖時主動跳過傳統拖放操作,改以直接編輯 XML 並貼上畫布,說明模型會自主判斷最高效的完成方式,而非機械遵循人類操作習慣。

  • 3

    獨立滑鼠指針設計提升並行可用性:GPT-5.5 在 Codex 中操作時擁有獨立的虛擬滑鼠指針,與使用者本身指針完全不衝突,使用者可同時操作其他任務,這一點優於 Claude Code 共用單一指針的設計。

  • 4

    上下文與知識新鮮度存在明顯短板:GPT-5.5 在 Codex 中的上下文視窗僅 400K tokens,遠小於 Claude Code 中 Claude Opus 4.7 的 100 萬 tokens;知識截止日期 2025 年 8 月也落後 Claude Opus 4.7 約五個月,在需要最新資訊的任務中有所劣勢。

實用技巧與重點

乾貨
  • 基準測試數據
  • 智能體終端使用(Agent Terminal Use):GPT-5.5 82.7% vs Claude Opus 4.7 69.4%
  • 電腦使用(Computer Use):GPT-5.5 領先
  • 智能體瀏覽器調用(Agent Browser):GPT-5.5 遠高於 Claude Opus 4.7
  • 模型參數
  • 上下文長度:GPT-5.5 在 Codex 中為 400K tokens;Claude Opus 4.7 在 Claude Code 中為 100 萬 tokens
  • 知識截止日期:GPT-5.5 為 2025 年 8 月;Claude Opus 4.7 為 2026 年 1 月
  • 工具與平台
  • 調用工具:Codex(OpenAI)
  • 測試平台:Chrome 瀏覽器、draw.io(XML 流程圖平台)、MacOS 桌面版國際象棋、Keynote、Numbers、無邊際(Freeform)
  • 實測任務與耗時
  • 網頁版國際象棋:速度遠超 Claude Opus 系列(未完整計時)
  • MacOS 桌面版國際象棋:約 4 分 30 秒
  • Numbers 表格填寫與美化:不超過 1 分鐘
  • Keynote PPT:10 頁,深色主題,含表格與柱狀圖,個別頁面有輕微文字重疊
  • 流程圖方法
  • 繞過 draw.io 拖放 UI,直接生成 XML 貼入畫布(自主決策)

結論

結論

GPT-5.5 在 Computer Use 與瀏覽器自動化上以速度快、指針獨立、自主選擇最優執行路徑三點,建立了對 Claude Opus 4.7 的實測優勢,但 400K 上下文與較舊知識截止日期是使用前必須評估的限制。

完整解析

詳細

OpenAI 於近日凌晨發布 GPT-5.5 模型,並在多項智能體基準測試中超越 Claude Opus 4.7。其中最具代表性的是智能體終端使用測試,GPT-5.5 以 82.7% 的得分領先 Claude Opus 4.7 的 69.4%;此外在電腦操作與智能體瀏覽器調用兩項測試中同樣勝出。這款模型可直接在 Codex 中選用,上下文長度為 400K tokens,知識截止日期為 2025 年 8 月——前者相比 Claude Opus 4.7 的百萬 token 視窗有明顯差距,後者也落後約五個月,是目前兩項已知的短板。

影片的核心內容是在 Codex 中對 GPT-5.5 進行一系列實測。第一項測試是讓模型自動在網頁版國際象棋平台下棋,結果顯示它以極快速度操控棋子,且配備獨立的虛擬滑鼠指針,完全不與使用者本人的指針衝突,雙方可同時操作各自的任務。第二項測試難度更高——要求模型在 draw.io 畫布上繪製大型語言模型推理步驟流程圖。GPT-5.5 並未採用傳統的逐元素拖放方式,而是主動進入 XML 編輯模式,直接生成完整結構後貼入畫布,最終產出的流程圖效果遠優於手動拖放,展現出自主選擇最優路徑的能力。

進階測試則涉及原生桌面應用程式的操控。在 MacOS 桌面版國際象棋測試中,GPT-5.5 花費約 4 分半鐘完成對局,速度同樣快於先前測試 Claude 系列的紀錄。隨後讓 GPT-5.5 閱讀一篇介紹自身的文章,透過 Computer Use 方式操控 Keynote 製作 10 頁簡報,成品採深色主題、包含表格與柱狀圖,整體品質良好,僅個別頁面有輕微文字重疊。另一項測試則是將文章中的 GPT-5.5 各項參數整理填入 Numbers 表格,全程不超過一分鐘完成,後續追加美化指令後,模型逐行調整樣式,表頭設為深色,最終呈現整潔的視覺效果。最後一項測試在 MacOS 的「無邊際」(Freeform)App 中繪製流程圖,GPT-5.5 成功插入流程圖,並在出現重複圖像時精準選中並刪除,操作流暢。

綜合所有測試,GPT-5.5 在瀏覽器自動化與 Computer Use 任務上的執行速度與智能程度均明顯超越 Claude Opus 系列的同類表現,尤其在自主決策執行路徑、獨立指針設計等細節上優化顯著。對於需要頻繁執行電腦操作自動化任務的使用者,目前在 Codex 中直接調用 GPT-5.5 是一個值得優先考慮的選項。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。