KeyFrame內部研究專用

DeepSeek V4 Pro 有三个模型?拆解传闻的真相

Why QQ·8月17日週一·12 min中文

三句話摘要

同一個 DeepSeek V4 Pro 模型在不同運行環境下最多差 8 分,真相是強化學習訓練留下的環境指紋,不是多個後端模型。 模型的真實能力取決於它在訓練環境和運行環境之間有多貼近,調整第一個請求的 System Prompt 和 Tool Schema 往往比換模型本身更高效。 工具數量與效能成反比:社區實驗發現 Minimo 只有 Shell 和文件工具卻分數最高(99、96),Standard 的 25 個工具反而拉低分數(91、92)。這打破了「工具多能力強」的直觀認知,指向環境匹配度才是核心變數。

重點整理

重點
  • 1

    工具數量與效能成反比:社區實驗發現 Minimo 只有 Shell 和文件工具卻分數最高(99、96),Standard 的 25 個工具反而拉低分數(91、92)。這打破了「工具多能力強」的直觀認知,指向環境匹配度才是核心變數。

  • 2

    強化學習訓練留下環境指紋:官方 8 月 10 日的代碼提交明確記錄「讓 Minimo Agent 和 RL 訓練時用的 Agent Composition 對齊」。模型在強化學習時就在特定 System Prompt、Tool Schema 環境下被獎勵塑形,學到的策略是針對那個環境優化的。

  • 3

    開局配置決定全局表現:透過 Anchored Standard 插件實驗驗證,第一個請求偽裝成 Minimo 環境(對齊訓練配置),後續解除限制加入完整工具集,模型仍保持 98-99 的高分。證明關鍵發生在模型看到初始 Prompt 和 Schema 的一瞬間。

  • 4

    環境匹配度框架統一解釋評測分差:同模型不同 Harness 下最差差 30 分(如 SWE Bench 上 Claude Sonnet 從 33.6 到 53.6)。這不是噪聲,而是遵循「實際表現 = 權重能力 × 環境匹配度」這條公式。

實用技巧與重點

乾貨
  • 官方發布
  • DeepSeek V4 Pro:8 月中旬發布
  • DeepSeek Harness:開源當天 33,000+ Star,MIT 協議,Node.js 編寫
  • Harness 四種預設與工具配置
  • Minimo:Shell + 文件編輯工具(2 個)
  • Standard:編程、文件系統、Shell、聯網搜索(25 個工具)
  • Code:TypeScript SDK 模式
  • Creator:自訂預設模式
  • 實驗數據對比
  • Minimo vs Standard 同模型分數:Minimo 99/96 vs Standard 91/92
  • OpenCode 環境四次測試:91、96、91、93(平均 92.75),第四次因堆疊 40 萬 Token 導致模型打轉、消耗更多 Token
  • Anchored Standard 插件實驗:98、99 分(先用 Minimo 環境起跑,後解除限制)
  • 其他模型環境敏感度
  • Claude 3.5 Sonnet:不同 Scaffold 差 20 分(33.6→53.6)
  • DeepSeek V3:Agentless 42 分→mini SWEgent 70 分(差 28 分)
  • Opus 4.5:73.2→80.9 分(差 7.7 分)
  • Claude Fable 5:98 分、Opus 5:97 分
  • 關鍵代碼線索
  • 官方提交日期:8 月 10 日(V4 Pro 發布前)
  • 底層框架:Cordis(可組合架構,零件熱插拔)

結論

結論

模型的真實能力取決於它在訓練環境和運行環境之間有多貼近,調整第一個請求的 System Prompt 和 Tool Schema 往往比換模型本身更高效。

完整解析

詳細

近日 DeepSeek V4 Pro 在中文社區掀起傳言:一個 API 後面可能藏著三個不同模型。信號是社區測試者發現,同一個 V4 Pro 的思維鏈在不同場景下呈現三種完全不同的風格與能力。乍看是個信任危機,但線索指向了一個比「官方偷偷路由多個模型」更深的技術真相。

理解這個真相的鑰匙是 DeepSeek 同時開源的 Harness——一套 AI 運行時框架。它用可組合的插件架構管理 System Prompt、Tool Schema、Agent 組合,社區可以透過不同預設對模型環境做完整改造。Minimo 預設只給模型 Shell 和文件編輯兩個工具,Standard 預設提供 25 個工具(編程、搜索、聯網等)。有趣的是,評測分數在 Minimo 下飆到 99 分,在工具完整的 Standard 下卻掉到 91 分。這個反直覺的現象觸發了一場逆向調查。

調查的突破口來自官方代碼。V4 Pro 發布前幾天的提交記錄明確寫著:「讓 Minimo Agent 和 RL 訓練時用的 Agent Composition 對齊」。這意味著,DeepSeek 在強化學習時並不是在虛空訓練,而是在一個非常具體的環境中——特定的 System Prompt、特定的 Tool Schema、Minimo 這套工具組合。模型的每一步決策都在這個環境裡被獎勵或懲罰,最終學到的策略是針對這個環境的最優解。換個環境,模型面對的就成了陌生的決策空間。

這個假説被一個大膽的實驗驗證了。社區開發者寫了個插件叫 Anchored Standard,它做的事簡單卻有效:第一個請求故意偽裝成 Minimo 環境(只用 Shell 和文件工具),讓模型按照訓練時的記憶起跑,完成第一個工具調用後立刻解除限制,送上完整的 25 個工具。結果連續兩次得到 98 和 99 分。這證明了什麼?關鍵並不在工具集本身有多完整,而在於模型開局看到了什麼。如果初始的 Prompt、Schema、Agent 組合和訓練時對齊,後續發生什麼都不重要。

更廣泛的影響是,這次事件揭露了模型評測裡被長期忽視的一個維度。同一個模型在不同 Harness 預設下能差 8 分,放在整個評測生態裡,其他模型之間有些差距也不過 8 分。云 Claude Sonnet 在不同 Scaffold 下能差 20 分(33.6 到 53.6),DeepSeek V3 在 Agentless 到 mini SWEgent 間差 28 分。這些差距曾被評測社區視為噪聲或評測設計問題,現在看它們是結構性的——環境匹配度和模型權重是兩個平等重要的因子。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。