KeyFrame內部研究專用

华为与DeepSeek的共生:昇腾950PR实测​ | 华为昇腾 | DeepSeek | 昇腾950PR | 国产AI芯片 | TileLang | DeepEP | 推理性能 | HBM带宽

Best Partners TV中文
觀看原始影片

三句話摘要

華為昇騰芯片與DeepSeek深度協同的互補合作——硬體與軟體生態相互塑造的典範。 華為與DeepSeek的共生正在縮小中美AI生態差距,但成熟驗證僅限超節點配置,實現生態普及取決於有多少團隊能復用這些核心與部署實踐,並將改進回饋社區。 互補結構驅動合作:華為握有昇騰硬體與原生軟體棧,卻缺乏前沿模型實驗室來證明晶片效能;DeepSeek具研發實力,卻因美國出口管制無法獲得足量英偉達卡。兩者各缺一角,通過技術接口交換(硬體+軟體棧 vs 工作負載+工程方案),預期2027年後DeepSeek主要跑在華為堆棧上。

重點整理

  1. 互補結構驅動合作:華為握有昇騰硬體與原生軟體棧,卻缺乏前沿模型實驗室來證明晶片效能;DeepSeek具研發實力,卻因美國出口管制無法獲得足量英偉達卡。兩者各缺一角,通過技術接口交換(硬體+軟體棧 vs 工作負載+工程方案),預期2027年後DeepSeek主要跑在華為堆棧上。

  2. 硬體特徵與良率對策:昇騰950系列因晶片缺陷與功耗限制,採取「計算與存儲分檔」策略,將不同性能等級的Cube核心與HBM組合成多SKU,而非英偉達只對計算分檔。950PR達到99.7% FLOP利用率,性能介於A100與MI300X之間,內存帶寬在小消息場景超過H100。

  3. 編譯器賦能的開發模式轉變:TileLang編譯器無需開發者直接對接CANN複雜接口,通過AutoSchedule自動規劃可重疊操作、插入同步點、最佳化條件分支,將小規模算子執行時間減少最多40%。這代表從手工優化走向自動化的進階,顯著降低昇騰生態開發門檻。

  4. 協同設計的雙向塑造:硬體設計驅動軟體創新——累加器限制促使DeepSeek修改注意力實現、KV快取布局;反之,工作負載推動華為架構改進——DeepEP-Ascend透過URMA通信、多Stream並行執行、43次專家分發濃縮為4次HCCL操作,體現晶片-編譯器-模型的緊密耦合。

實用技巧與重點

  • 硬體規格與效能:
  • 昇騰950PR:28個Cube核心、128GB HBM、功耗599-600W、頻率1500-1550MHz
  • 指針追逐延遲:18線程塊134ns、56塊182ns、64塊391ns(L2快取大小272KB)
  • FLOP利用率:99.7%(對標DeepSeek DeepGEMM的99%+)
  • 相對效能:介於英偉達A100與AMD MI300X之間
  • 內存帶寬:小消息規模超H100、大消息持平
  • 軟體棧與工具鏈:
  • 六庫更新清單:TileLang、DeepGEMM、DeepEP、TileKernels、FlashMLA、DeepSelect
  • CANN版本需求:9.2.0(需C++20編譯器);HDK于10月15日發佈
  • TileLang AutoSchedule:小算子性能減少幅度最多40%
  • AICPU配置:7個(實際運行5-6個),負責調度、KV元資料處理
  • DSA稀疏注意力調度:規劃、索引選擇、匯集三步驟跑在AICPU
  • 模型部署實踐:
  • DeepSeek-V4.1-Flash:32張昇騰950DT超節點部署
  • 執行順序:40層目標模型→目標LM頭→3個DSpark草稿塊→草稿LM頭→5輪採樣
  • MoE專家分發43次,HCCL操作僅4次(allGather與alltoallv)
  • 穩態窗口中Stream 19佔88.8%,設備總時間占72.6%(与其他流重疊)
  • Engram支持:非同步加載,HBM不衰減、PCIe4.0 SSD衰減
  • 生態問題:
  • vLLM-Ascend 0.26.0rc1:x86主機支持不完整
  • 缺失項:x86不支持DeepGEMM、memfabric_hybrid硬編碼ARM頭檔、無ARM+x86持續整合
  • 優化範圍:主要圍繞超節點,出配置即產生工程債

結論

華為與DeepSeek的共生正在縮小中美AI生態差距,但成熟驗證僅限超節點配置,實現生態普及取決於有多少團隊能復用這些核心與部署實踐,並將改進回饋社區。

完整解析

華為與DeepSeek的合作以今年9月30日的一批開源提交為標誌,六個代碼庫同步加入昇騰支持。這個看似技術迭代的動作,實則反映了一場戰略互補:華為掌握硬體與軟體棧,卻缺乏OpenAI那樣的前沿實驗室來証明晶片的訓練與推理能力;DeepSeek具有頂級研發能力,卻因美國管制無法購置足量英偉達卡。一方缺證明,一方缺算力,結構性缺陷推動了協同。DeepSeek提供工作負載與工程方案,華為提供硬體、原生軟體堆棧與編譯器支持。業界預測,到2027年至2028年,DeepSeek很可能主要運行在華為的軟硬體生態上。

硬體層面,昇騰950系列採取了一個關鍵策略——「計算與存儲分檔」。受限於晶片良率與功耗,華為將不同性能等級的Cube核心與HBM進行組合,形成多個SKU變體,有別於英偉達主要對計算部分分檔的做法。測試用的950PR配有28個Cube核心與128GB HBM,其FLOP利用率達到99.7%,追平了DeepSeek自身優化的99%+水平。效能對比顯示,950PR位於英偉達A100與AMD MI300X之間。在內存帶寬上,當消息規模較小時,950PR的有效帶寬甚至超越H100,這得益於其MXU(矩陣運算單元)設計將數據搬運、計算與結果處理互相重疊。

軟體這側的關鍵創新是TileLang編譯器。此前開發者若要為昇騰寫高效核心,需直接對接CANN框架的複雜接口。現在TileLang將協調工作抽象化——它負責Cube核心、Vector核心與數據傳輸間的大量協調,包括自動調度、同步點插入與條件分支優化。AutoSchedule功能根據數據依賴與執行時間預估規劃可重疊操作,並在片上內存限度內自動調整緩存槽數,在小規模算子上能將執行時間減少最多40%。這標誌著從手工優化向自動化的演進,顯著降低開發門檻。

協同設計在雙向產生了影響。硬體約束驅動軟體創新:昇騰950的累加器設計限制促使DeepSeek修改注意力機制實現方式,將持續更新的輸出累加器放在Vector的緩存中,而非Cube的L0C。反向地,DeepSeek的工作負載推動華為架構改進,例如FlashMLA的KV快取布局優化、DeepEP-Ascend透過URMA與HCCL實現專家混合通信。在32張昇騰950DT上部署V4.1-Flash時,通過精心設計的流分配與MoE調度,雖有43次專家分發,但HCCL操作僅需4次,體現了晶片-編譯器-模型的緊密耦合與持續反饋。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。