KeyFrame內部研究專用

DeepSeek V4 Pro 有三个模型?拆解传闻的真相

Why QQ12 min中文
觀看原始影片

三句話摘要

同一個 DeepSeek V4 Pro 模型在不同運行環境下最多差 8 分,真相是強化學習訓練留下的環境指紋,不是多個後端模型。 模型的真實能力取決於它在訓練環境和運行環境之間有多貼近,調整第一個請求的 System Prompt 和 Tool Schema 往往比換模型本身更高效。 工具數量與效能成反比:社區實驗發現 Minimo 只有 Shell 和文件工具卻分數最高(99、96),Standard 的 25 個工具反而拉低分數(91、92)。這打破了「工具多能力強」的直觀認知,指向環境匹配度才是核心變數。

重點整理

  1. 工具數量與效能成反比:社區實驗發現 Minimo 只有 Shell 和文件工具卻分數最高(99、96),Standard 的 25 個工具反而拉低分數(91、92)。這打破了「工具多能力強」的直觀認知,指向環境匹配度才是核心變數。

  2. 強化學習訓練留下環境指紋:官方 8 月 10 日的代碼提交明確記錄「讓 Minimo Agent 和 RL 訓練時用的 Agent Composition 對齊」。模型在強化學習時就在特定 System Prompt、Tool Schema 環境下被獎勵塑形,學到的策略是針對那個環境優化的。

  3. 開局配置決定全局表現:透過 Anchored Standard 插件實驗驗證,第一個請求偽裝成 Minimo 環境(對齊訓練配置),後續解除限制加入完整工具集,模型仍保持 98-99 的高分。證明關鍵發生在模型看到初始 Prompt 和 Schema 的一瞬間。

  4. 環境匹配度框架統一解釋評測分差:同模型不同 Harness 下最差差 30 分(如 SWE Bench 上 Claude Sonnet 從 33.6 到 53.6)。這不是噪聲,而是遵循「實際表現 = 權重能力 × 環境匹配度」這條公式。

實用技巧與重點

  • 官方發布
  • DeepSeek V4 Pro:8 月中旬發布
  • DeepSeek Harness:開源當天 33,000+ Star,MIT 協議,Node.js 編寫
  • Harness 四種預設與工具配置
  • Minimo:Shell + 文件編輯工具(2 個)
  • Standard:編程、文件系統、Shell、聯網搜索(25 個工具)
  • Code:TypeScript SDK 模式
  • Creator:自訂預設模式
  • 實驗數據對比
  • Minimo vs Standard 同模型分數:Minimo 99/96 vs Standard 91/92
  • OpenCode 環境四次測試:91、96、91、93(平均 92.75),第四次因堆疊 40 萬 Token 導致模型打轉、消耗更多 Token
  • Anchored Standard 插件實驗:98、99 分(先用 Minimo 環境起跑,後解除限制)
  • 其他模型環境敏感度
  • Claude 3.5 Sonnet:不同 Scaffold 差 20 分(33.6→53.6)
  • DeepSeek V3:Agentless 42 分→mini SWEgent 70 分(差 28 分)
  • Opus 4.5:73.2→80.9 分(差 7.7 分)
  • Claude Fable 5:98 分、Opus 5:97 分
  • 關鍵代碼線索
  • 官方提交日期:8 月 10 日(V4 Pro 發布前)
  • 底層框架:Cordis(可組合架構,零件熱插拔)

結論

模型的真實能力取決於它在訓練環境和運行環境之間有多貼近,調整第一個請求的 System Prompt 和 Tool Schema 往往比換模型本身更高效。

完整解析

近日 DeepSeek V4 Pro 在中文社區掀起傳言:一個 API 後面可能藏著三個不同模型。信號是社區測試者發現,同一個 V4 Pro 的思維鏈在不同場景下呈現三種完全不同的風格與能力。乍看是個信任危機,但線索指向了一個比「官方偷偷路由多個模型」更深的技術真相。

理解這個真相的鑰匙是 DeepSeek 同時開源的 Harness——一套 AI 運行時框架。它用可組合的插件架構管理 System Prompt、Tool Schema、Agent 組合,社區可以透過不同預設對模型環境做完整改造。Minimo 預設只給模型 Shell 和文件編輯兩個工具,Standard 預設提供 25 個工具(編程、搜索、聯網等)。有趣的是,評測分數在 Minimo 下飆到 99 分,在工具完整的 Standard 下卻掉到 91 分。這個反直覺的現象觸發了一場逆向調查。

調查的突破口來自官方代碼。V4 Pro 發布前幾天的提交記錄明確寫著:「讓 Minimo Agent 和 RL 訓練時用的 Agent Composition 對齊」。這意味著,DeepSeek 在強化學習時並不是在虛空訓練,而是在一個非常具體的環境中——特定的 System Prompt、特定的 Tool Schema、Minimo 這套工具組合。模型的每一步決策都在這個環境裡被獎勵或懲罰,最終學到的策略是針對這個環境的最優解。換個環境,模型面對的就成了陌生的決策空間。

這個假説被一個大膽的實驗驗證了。社區開發者寫了個插件叫 Anchored Standard,它做的事簡單卻有效:第一個請求故意偽裝成 Minimo 環境(只用 Shell 和文件工具),讓模型按照訓練時的記憶起跑,完成第一個工具調用後立刻解除限制,送上完整的 25 個工具。結果連續兩次得到 98 和 99 分。這證明了什麼?關鍵並不在工具集本身有多完整,而在於模型開局看到了什麼。如果初始的 Prompt、Schema、Agent 組合和訓練時對齊,後續發生什麼都不重要。

更廣泛的影響是,這次事件揭露了模型評測裡被長期忽視的一個維度。同一個模型在不同 Harness 預設下能差 8 分,放在整個評測生態裡,其他模型之間有些差距也不過 8 分。云 Claude Sonnet 在不同 Scaffold 下能差 20 分(33.6 到 53.6),DeepSeek V3 在 Agentless 到 mini SWEgent 間差 28 分。這些差距曾被評測社區視為噪聲或評測設計問題,現在看它們是結構性的——環境匹配度和模型權重是兩個平等重要的因子。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。