KeyFrame內部研究專用

DeepSeek V4 Pro正式版编程到底有多强?对比 Grok 4.6、Kimi K3 实测

AI随风5 min中文
觀看原始影片

三句話摘要

對比測試 Claude 4.6、DeepSeek v4 及 Kimi K3 在前端編程(粒子特效、3D 開發)的性能表現。 不考慮成本選飛步和 Kimi K3,考慮成本則 DeepSeek v4 Pro 性價比最高,但選擇模型應根據具體專案需求和預算綜合評估。 統一測試框架:使用同一工具(Claude Code)進行測試,確保不同模型結果的可比性,避免工具差異帶來的偏差。

重點整理

  1. 統一測試框架:使用同一工具(Claude Code)進行測試,確保不同模型結果的可比性,避免工具差異帶來的偏差。

  2. 粒子特效場景設計:第一個例子測試火焰燃燒的細緻程度、灰燼效果、背景色調動態調整;第二個例子則測試複雜 3D 場景(包含光線、波浪、船隻偵測、警報、風暴等多重元素)。

  3. 性能與費用的權衡:飛步和 Kimi K3 視覺效果最佳但成本高;DeepSeek v4 Pro 視覺效果略遜但費用明顯便宜,重新調整參數後能達到接近的效果。

  4. 視覺能力短板:DeepSeek 系列在視覺和前端開發能力上相對較弱,這是該系列模型的已知落差;前端開發作為軟體開發不可或缺的環節,改進視覺理解能力應為未來優化重點。

實用技巧與重點

  • 測試工具:Claude Code
  • 參與測試模型:Claude 4.6、DeepSeek v4 Pro 正式版、DeepSeek v4 Flash 正式版、Kimi K3、飛步
  • 測試場景 1:燃燒紙張粒子特效
  • 測試項目:火焰精細度、灰燼效果、背景色調動態變化
  • 測試場景 2:3D 燈塔複雜場景
  • 包含元素:燈塔、海洋波浪、船隻、警報、暴雨、雷電
  • 交互功能:波浪高度可調、風暴強度可調、緊急模式(自動鎖定並掃描船隻)
  • 性能排名(不考慮成本):飛步 > Kimi K3 > Claude 4.6 > DeepSeek v4 Pro > DeepSeek v4 Flash
  • 性價比排名:DeepSeek v4 Pro(成本最低,調整後可達中上水平)> Claude 4.6 > Kimi K3 > 飛步
  • 特殊發現:DeepSeek v4 Pro 是唯一生成背景音樂/聲效的模型;重新開啟新對話後效果明顯改善

結論

不考慮成本選飛步和 Kimi K3,考慮成本則 DeepSeek v4 Pro 性價比最高,但選擇模型應根據具體專案需求和預算綜合評估。

完整解析

隨著 Claude 4.6 和 DeepSeek v4 系列在同一天發佈更新,這兩個重要模型的新版本成為立即對比的對象。從官方公佈的參數對比來看,這些模型在參數量上相差不大,但成本卻存在顯著差異——DeepSeek v4 系列價格遠低於競爭對手,這使得性價比成為一個值得深入探討的話題。

為了進行全面的評估,測試者準備了兩個前端開發場景。第一個場景是燃燒紙張特效,主要考驗粒子效果的細節表現——火焰的精緻度、灰燼的逼真程度,以及背景色調如何動態配合火焰而變化。第二個場景則更為複雜,涉及一個 3D 燈塔場景,內含燈塔結構、動態海浪(可調整波浪高度)、船隻、警報系統、暴雨和雷電效果。場景還包含「緊急模式」功能,可自動鎖定船隻並持續掃描,是對模型 3D 開發和邏輯實現能力的綜合考驗。

測試結果顯示了明顯的性能分化。在不考慮成本的情況下,飛步表現獨一檔,Kimi K3 無限接近其水平。Claude 4.6 排名第三,火焰效果雖不如飛步細緻但整體表現穩定。DeepSeek v4 Pro 在第一次嘗試時效果較差(燈塔結構斷裂、出現黑影干擾),但重新開啟 Claude Code 對話後效果明顯改善,表明上下文管理是影響輸出品質的關鍵因素。相比之下,DeepSeek v4 Flash 在兩個測試場景中表現最差,雨滴效果缺失、波浪效果不明顯。值得一提的是,DeepSeek v4 Pro 是唯一生成背景音樂和聲效的模型,展現了多模態理解的優勢。

然而,當將成本因素納入考量時,評估結果截然不同。DeepSeek v4 Pro 因其顯著的成本優勢成為首選,儘管視覺效果不是最優,但通過調整參數可達到接近中上等級的效果,而費用遠低於 Kimi K3 或飛步。Claude 4.6 則排名第二,性能穩定且成本可接受。這個測試反映了 DeepSeek 在視覺理解和前端開發領域的相對短板,這是該系列模型未來需要改進的方向。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。