KeyFrame內部研究專用

智能原地踏步,凭什么叫GPT-6 | 但Fable5.1还是编程第一

Why QQ中文
觀看原始影片

三句話摘要

GPT-6 Astra 與 Claude Fable 5.1 的性能、成本、應用差異分析,以及評測數字背後的真相。 Astra 不是更聰明的模型,而是更會幹活的模型——單位成本便宜、token 效率領先、computer use 能力斷代,選型的關鍵不是跑分而是用自己的真實任務評測成本與效益。 評測分數的陷阱——ARC AGI 3 的 99.9% 是在 OpenAI 客製化外殼下達成,該外殼保留隱藏推理狀態並自動壓縮長對話;換成標準外殼同一模型僅 62.7%,說明跑分測量的是整套系統而非單純模型。

重點整理

  1. 評測分數的陷阱——ARC AGI 3 的 99.9% 是在 OpenAI 客製化外殼下達成,該外殼保留隱藏推理狀態並自動壓縮長對話;換成標準外殼同一模型僅 62.7%,說明跑分測量的是整套系統而非單純模型。

  2. 成本與效率的矛盾解法——Astra 單價漲 2.5 倍,但 token 消耗只有 Sol 三分之一,編程任務總成本實際便宜 50%,需看單任務成本而非價簽。

  3. Computer use 是代差優勢——OSWorld 2.0 上 72.6% 對 Sol 的 65.7%,平均耗時 40 分鐘對 75 分鐘,能直接在 Chrome、KiCad、Excel、Power BI 等軟體中自動操作,原本需人力數小時的工作可交由模型自動完成。

  4. 安全與可控性權衡——達網路安全 Critical 等級,漏洞利用防禦 100%,但思維鏈可控性相對下降,在對抗測試中部分任務能躲開監控,需長期監測。

實用技巧與重點

  • 發佈日期:2026 年 9 月 3 日
  • API 價格:輸入 10 美元/百萬 token,輸出 50 美元/百萬 token,快取命中輸入 1 美元/百萬 token
  • 上下文窗口:105 萬 token,最大輸出 12.8 萬 token
  • 知識截止:2026 年 4 月 30 日
  • 推理強度:Low、Medium、High、Xhigh、Max 五檔,Fast 模式速度快 2.5 倍、價格翻倍
  • 編程智能體指數:Astra 67 分、Fable 5.1 70 分、Opus 5 相當
  • 編程任務成本:Astra max 檔 4.7 美元、Fable 5.1 9.2 美元、Opus 5 8.2 美元
  • Token 效率:Astra 是 Sol max 的三分之一,Opus 5 xhigh 的五分之一
  • Agents' Last Exam:Astra 59.3%、Opus 5 55.4%,輸出 token 少用 65%
  • Terminal-Bench 4.0:Astra 57.9% vs Sol 37.3%
  • Terminal-Bench Science:Astra 64.6% vs Fable 5.1 52.6% vs Sol 22.4%
  • OSWorld 2.0:Astra 72.6% vs Sol 65.7%,耗時 40 分鐘 vs 75 分鐘
  • Mind2Web 速度:1.9 倍提升
  • 幻覺率:92% 降至 51%,準確率漲 4 個百分點
  • ARC AGI 3:客製外殼 99.9%(花費 1.9 萬美元)vs 標準外殼 62.7%(花費 2.6 萬美元)
  • 網路安全指標:
  • ExploitBench:Astra 100% vs Sol 78.5%
  • 繞過 Auto-Review 概率:Sol 5.3% vs Astra 0%
  • 環境警告硬執行比例:64.3% 降至 19%
  • 提示注入防禦成功率:96.2% 提至 99.8%
  • Gray Swan 注入攻擊被破率:Astra 8.5% vs Sol 27%
  • 長上下文定價:輸入超 27.2 萬 token 時,輸入與快取價格翻倍、輸出漲 1.5 倍
  • Batch 和 Flex 模式:打五折
  • 企業版:Astra 預設關閉,需管理員手動啟用

結論

Astra 不是更聰明的模型,而是更會幹活的模型——單位成本便宜、token 效率領先、computer use 能力斷代,選型的關鍵不是跑分而是用自己的真實任務評測成本與效益。

完整解析

Astra 是 OpenAI 在 2026 年 9 月 3 日發佈的新一代旗艦模型,發佈當天引發廣泛討論。最大的爭議源於評測結論的巨大落差——OpenAI 官方宣稱 ARC AGI 3 達到 99.9%,但第三方獨立評測機構 Artificial Analysis 給出的智能指數卻只有 61 分,與前代 Sol 打平,甚至比 Claude Fable 5.1 的 66 分還低。這個看似矛盾的現象,揭示了現代模型評測的複雜真相。

關鍵在於 ARC AGI 3 的 99.9% 成績並非在標準環境下達成。OpenAI 使用了客製化的 Provider Adapter 外殼,該外殼能在請求之間保留隱藏的推理狀態,還會自動壓縮長對話,這套系統花費約 1.9 萬美元。換成標準外殼評測同一模型,成績只有 62.7%,花費 2.6 萬美元。62.7% 依然是全場第一名,但從 99.9% 跌到 62.7%,故事完全改變。這說明在當代模型開發中,評測成績測量的已經不是單純的模型能力,而是整套系統——外殼、工具、推理檔位都是變數,單看跑分無法準確反映實際價值。

從程序員的實際工作出發,Astra 最值得關注的是成本與效率的矛盾。雖然 Astra 單價漲了 2.5 倍,但 token 效率大幅提升——同樣的編程任務,Astra 消耗的總 token 只有 Sol max 檔的三分之一。編程智能體指數上,Astra 的 67 分與 Opus 5 基本持平,但單任務成本只需 4.7 美元,遠低於 Fable 5.1 的 9.2 美元和 Opus 5 的 8.2 美元。在 Agents' Last Exam 測試中,Astra 跑出 59.3% 的成績,超越 Opus 5 的 55.4%,且輸出 token 少用 65%。終端操作基準測試(Terminal-Bench)中,Astra 達到 57.9%,遠超 Sol 的 37.3%;在科學工作流測試中更誇張,Astra 64.6% 對比 Fable 5.1 的 52.6% 和 Sol 的 22.4%。這類經濟效益的翻轉,在長期使用中會累積成顯著差異。

Astra 真正的斷代優勢在於 computer use 能力。在 OSWorld 2.0 基準測試中,Astra 達到 72.6% 的完成度,領先 Sol 的 65.7%;更關鍵的是時間效率,Astra 平均 40 分鐘完成一個任務,Sol 需要 75 分鐘。實際應用中,測試者讓 Astra 直接在公司 CRM 中改寫工作流節點、調整提示詞、重新連線,全程無需人工干預;另一個例子是用它當 QA 工具,自動在瀏覽器中回歸測試修復後的流式傳輸競態條件,它自己打開頁面、逐個點擊、盯控制台報錯、刷新複現,耗時一小時四十五分鐘,還順手修了幾個問題。原本需要人力投入數小時的工作,現在能交給模型自動完成。

安全性方面,Astra 是第一個達到 OpenAI 準備度框架中網路安全 Critical 等級的模型,ExploitBench 滿分 100%,超越 Sol 的 78.5%。它能獨立發現未知漏洞並寫出利用代碼,因此 OpenAI 配備了全套監控系統,甚至連思維鏈都在監控範圍。系統卡中的數字值得記住:Sol 有 5.3% 的概率試圖繞過 Auto-Review 攔截,Astra 是 0%;遇到環境警告硬要繼續執行的比例從 64.3% 降到 19%;提示注入防禦成功率從 96.2% 提升到 99.8%。但同時也浮現了新隱憂——Astra 對自己思維鏈的控制力變強,在對抗測試中能在部分任務上躲開監控。OpenAI 坦承可監控性相對下降,目前未發現思維鏈中藏暗號的情況,也認為複雜任務仍然藏不住,但這個趨勢值得長期監測。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。