KeyFrame內部研究專用

Gemini 4 Carbon:谷歌两周一更抢回第一,但你现在还用不上​ | Gemini 4 Argon | Artificial Analysis | 网络安全 | 长程任务 | AI智能体

Best Partners TV中文
觀看原始影片

三句話摘要

Google Gemini 4 Carbon 登上全球大模型榜首,但發布策略限制、成本龐大與產品短板讓其影響力面臨考驗。 ## 當模型兩週一更新、每次都自稱榜首,最值得思考的已不是誰是世界第一,而是這個「第一」的保質期究竟還剩幾週。 三大核心優勢的完整證據:Carbon 在網路安全上實現「找漏洞→驗證→補漏洞」全鏈路第一(SEC-bench Pro 88.2%、ExploitGym 54.8%、CWE-bench 71%),在超長上下文任務中以 96.2% 的成績領先第二名 20 多個百分點,並在可靠性指標上大幅改善——作弊率壓至 0%、注入攻擊防禦成功率 100%、無根據斷言減少 50%。

重點整理

  1. 三大核心優勢的完整證據:Carbon 在網路安全上實現「找漏洞→驗證→補漏洞」全鏈路第一(SEC-bench Pro 88.2%、ExploitGym 54.8%、CWE-bench 71%),在超長上下文任務中以 96.2% 的成績領先第二名 20 多個百分點,並在可靠性指標上大幅改善——作弊率壓至 0%、注入攻擊防禦成功率 100%、無根據斷言減少 50%。

  2. 綜合第一但局部落後:Carbon 在 14 項官方基準中拿 12 項第一,但在網頁開發排名全球第四、軟體工程被 GPT-6 Astra 反超、電腦操作被 Opus 5.5 反超,編程智能體組合分仍不如 Claude Code 方案,說明並未實現全面碾壓。

  3. 發布策略與用戶體驗的矛盾:Google 打破「發布即全量開放」的常規,採取分階段受限發布——先給網路安全防禦人員、再經由 Fairwind 計畫逐步擴大到開發者和消費者,引發社區不滿,被批評為「發布即難用的營銷遊戲」。

  4. AI 賽局的成本困境:Google 收入翻倍、訂單充沛,但三季度資本開支暴漲 114% 至 513 億美元,自由現金流轉負 90 億美元,說明整個 AI 行業正面臨「燒錢速度快於收入增速」的局面。

  5. ##

實用技巧與重點

  • 評測成績
  • 智能指數:Carbon 59 分、Opus 5.5 58 分、GPT-6 Astra 57 分
  • Google 官方基準:12/14 項第一
  • Arena 文本榜:1528 分全球第一
  • 網路安全基準
  • SEC-bench Pro(漏洞發現):Carbon 88.2%、Astra 85.4%
  • ExploitGym(漏洞驗證):Carbon 54.8%、Astra 42.4%
  • CWE-bench(漏洞修補):Carbon 71.0%(允許試 4 次達 81%)
  • 長程任務測試
  • GraphWalks(256K–100M token):Carbon 96.2%、Astra 71.8%、Opus 5.5 66.8%
  • Terminal-Bench 4.0:Carbon 65.2%、Opus 5.5 59.6%、Astra 59.1%
  • 可靠性指標
  • 作弊率:0.0%
  • 嘗試捷徑比例:0.4%
  • 無根據斷言減少:50%
  • 越權操作減少:26%
  • 敷衍漏做減少:29%
  • 提示詞注入攻擊成功率:0.0%
  • 知識可靠性正確率:48% → 58%
  • 幻覺率:4% → 11%
  • 定價與成本
  • 推廣價:輸入 USD 2/百萬 token、輸出 USD 10/百萬 token
  • 緩存命中折扣:95%(輸入 USD 0.1/百萬 token)
  • 標準價:USD 4/輸入、USD 20/輸出(與 Opus 5.5 相同)
  • 單次任務成本:Carbon USD 7.76、Opus 5.5 USD 10.04、Astra USD 6.24
  • 輸出 Token 消耗:Carbon 比 Opus 5.5 少 29%
  • Google 三季度財報
  • 總營收:1275.77 億美元(年增 25%)
  • Google Cloud 營收:307.09 億美元(年增 103%)
  • 雲業務利潤率:36.2%(升自 23.7%)
  • 積壓訂單:5610 億美元(預計 55% 以上在 24 月內轉化)
  • 模型 API 負載:每分鐘 320 億個 token(年增 4 倍)
  • Gemini 用戶:10 億
  • 財富 100 強採用企業版:近 90%
  • 資本開支:513.55 億美元(年增 114%)
  • 全年指引:1950–2050 億美元
  • 自由現金流:負 90.65 億美元
  • 淨利潤:264.68 億美元(年跌 24%)
  • 上下文與能力
  • 支援長度:100 萬 token
  • 推理與編程:通過內部基準驗證安全程式碼成功率翻倍、Chrome 補丁生成強 10 倍以上
  • ##

結論

當模型兩週一更新、每次都自稱榜首,最值得思考的已不是誰是世界第一,而是這個「第一」的保質期究竟還剩幾週。

完整解析

Google 在 10 月 28 日發布 Gemini 4 Carbon,距離兩週前的 Argon 版本間隔極短,標誌著模型迭代週期的前所未有加速。按照第三方評測機構 Artificial Analysis 的智能指數排名,Carbon 以 59 分登頂,超越長期坐在第一的 Claude Opus 5.5(58 分)。不過這份評測是加權綜合分,在具體項目上 Carbon 並非全面領先——它在 Google 官方發布的 14 項核心基準中拿到 12 項第一,社區盲測 Arena 的文本榜全球第一,但在網頁開發、軟體工程、電腦操作等領域各被對手反超,編程智能體配上 Google 自家工具的組合分甚至不及 Anthropic 的 Claude Code 方案。

Carbon 最大的亮點集中在三個方向。首先是網路安全,Google 給出了完整的「漏洞發現→驗證→修補」三環節能力對標,其中漏洞發現基準 SEC-bench Pro 使用 183 個真實高危任務,Carbon 達到 88.2% 成功率,比 GPT-6 Astra 領先 2.8 個百分點;驗證環節 ExploitGym 上 Carbon 拿到 54.8% 而 Astra 只有 42.4%,拉開 12 個百分點;修補環節 CWE-bench 覆蓋 6 種程式語言、73 類安全弱點、120 個真實漏洞,Carbon 單次成功率 71%,允許試 4 次則達 81%。其次是超長上下文任務能力,Carbon 支援 100 萬 token 上下文,在 GraphWalks 測試的 256K–100M token 區間內取得 96.2% 成功率,領先第二名 Astra 的 71.8% 整整 25 個百分點,這意味著 Carbon 能在大型程式碼庫裡連續工作數天,自主定位並修補深層 bug。第三是可靠性的大幅躍進,Carbon 的作弊率從 Argon 的非零降至 0%、提示詞注入攻擊防禦達 100%、無根據斷言減少 50%、高嚴重性對齊警報下降近 80%。但需要注意的是,Carbon 在知識任務上的幻覺率從 Argon 的 4% 上升到 11%——這是產品性格的調整,Argon 過度謹慎(拿不準就不答),Carbon 選擇了敢答且基本可靠的路線,11% 的幻覺率在業界仍屬較低水準,遠低於 Opus 5.5 Max 和 Astra Max 的約 50%。

任務成本上,Carbon 輸出 token 消耗比 Opus 5.5 少 29%,單次任務平均成本 7.76 美元對比 Opus 5.5 的 10.04 美元便宜 23%,但仍高於 GPT-6 Astra 的 6.24 美元。然而發布策略打破了常規——Carbon 並非發布即全量開放,而是採取分階段受限發布,從本週開始僅限網路安全防禦人員使用,後續經由 Google 的 Fairwind 可信夥伴計畫逐步擴大到開發者和消費者,時間表未公開。Google 的邏輯是一個在漏洞發現、驗證、修補上都排名第一的模型本質上是雙刃劍,需要先交到守門員手裡才能控制風險。這個策略在社區引發大量不滿,被批評為「發布即難用的營銷遊戲」。與此同時,Google 三季度財報顯示另一面——總營收 1275.77 億美元年增 25%、Google Cloud 營收 307.09 億美元年增 103%、積壓訂單高達 5610 億美元,但資本開支暴漲 114% 至 513 億美元、全年指引維持 1950–2050 億美元、自由現金流轉負 90 億美元、淨利潤年跌 24%。這反映了當下 AI 行業的核心困境——收入和訂單在翻倍,但燒錢的速度翻倍得更快。

##

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。