KeyFrame內部研究專用

DEEPSEEK梁文锋内部讲话流出,意外泄露中美ai真实差距

正确君·8月9日週日·27 min中文

三句話摘要

中美 AI 竞争的核心差距在算力,而非人才或理念,算力不足导致实验机会受限,最终形成人才经验与模型能力的连锁差距。 算力不只是硬件瓶颈,它决定了从实验机会到工程经验到算法创新的整条链条,以及由此衍生的用户、数据、收入和生态的差距,中国要真正超越需要架构创新或学习方法突破,单纯的成本优化和追赶可能永远是一步之遥。 算力决定研发效率而非最终结果:AI 研究更像化学实验而非数学证明,需要大规模快速失败积累经验。美国团队每年可跑 100 轮实验,中国可能只能跑 20 轮,造成研究员看到的真实结果数量相差 10 倍,这种差距无法用智商弥补。

重點整理

重點
  • 1

    算力决定研发效率而非最终结果:AI 研究更像化学实验而非数学证明,需要大规模快速失败积累经验。美国团队每年可跑 100 轮实验,中国可能只能跑 20 轮,造成研究员看到的真实结果数量相差 10 倍,这种差距无法用智商弥补。

  • 2

    低成本模型的结构性限制:中国模型便宜的本质是激活参数少(每个 token 调用参数少),美国前沿模型可能在 800 亿激活规模,这是战略选择而非技术无奈。美国可随时为成本优化版本降低激活参数,中国则难以反向提升能力规模。

  • 3

    用户数据飞轮的三重差距:美国同时运转三个飞轮——模型能力飞轮、用户数据飞轮、收入算力飞轮。中国模型便宜 20-50% 仍难以跨越地缘政治与数据安全壁垒,企业采购考虑远超价格因素。

  • 4

    追赶与超越的本质区别:中国可将落后从两年压缩至三个月(追赶),但只要技术路线(Transformer + GPU + Scaling Law)不变,就仍在看别人背影。真正超越需要改写路线,如新架构、新芯片或 Scaling Law 失效。

實用技巧與重點

乾貨
  • 具体数字与规模对比
  • DeepSeek 当前算力:约 2 万张 H100 等效、还在采购中
  • 美国前沿模型激活规模:约 800 亿参数(梁文峰的行业信息推测)
  • DeepSeek 当前激活规模:10 亿~几十亿级
  • 同等规模训练所需:约 5 万张 H100 或 20 万张华为 950
  • 2026 年中期收入规模:Anthropic 年化 ~700 亿美元、OpenAI ~500 亿美元、国内头部模型公司(全年)~7.24 亿元人民币(差距超千倍)
  • 核心概念
  • MOE(混合专家模型):只激活必要参数,不同问题调用不同专家模块
  • 激活参数 vs 总参数:总参数可达数万亿,但每次仅激活几百亿~几千亿
  • 蒸馏/征流(Distillation):用强模型的输出训练弱模型,限于复制已有能力
  • Scaling Law:模型更大、数据更多、算力更高通常带来能力提升(成幂次增长)
  • 具体案例
  • 提示词工程:同样问题,改变措辞方式("你是专家请逐步思考"),效果可能显著改善
  • 蒸馏应用:DeepSeek 开源多个蒸馏模型,复制 Claude 等强模型能力
  • 美国小模型策略:OpenAI 近期大幅下调模型价格扩大采用,证明可同时提供高端与成本优化版本

結論

結論

算力不只是硬件瓶颈,它决定了从实验机会到工程经验到算法创新的整条链条,以及由此衍生的用户、数据、收入和生态的差距,中国要真正超越需要架构创新或学习方法突破,单纯的成本优化和追赶可能永远是一步之遥。

完整解析

詳細

梁文峰的这份讲话最核心的洞察可以浓缩为一个问题:为什么中国即使人才充足、工程能力出众,仍然落后美国?

问题背景。表面上看,AI 研究需要智商、创新能力和工程技能。但梁文峰指出,当代 AI 研究的本质已从传统数学科学转变为实验科学。如果数学是在黑板上推导真理(一个天才三天推翻爱因斯坦),那 AI 则像化学——需要大量试错、观察、微调。一个老化学家看眼颜色就知道反应进度,这不是理论而是从数百次失败中获得的手感。同样,一名年轻 AI 研究员如果每年只能跑 50 次实验,而同行每年跑 500 次,五年后一个人见过 2500 个真实结果,另一个见过 250 个,这不是智商问题而是经验问题。

论述的连锁推理。为什么运算量决定经验?因为每一次大模型训练前都有大量前期实验——测试多少层、每层多宽、多少专家、激活参数多少、语言与代码比例等。假设有 20 个值得测试的想法,每个用 500 张 GPU 跑三天。算力充足的公司三天内能跑完 20 组,立即进入第二轮迭代;算力不足的公司排队跑需要 30 天。前者已迭代 10 轮,后者还在等第一轮。更关键的是,这不是线性差距——先走的团队用强模型加速研发(用 AI 写代码、整理数据),速度进一步加快,形成指数级差距。

中国的折中策略。中国无法靠绝对算力超越美国,所以转向"高效率追赶":在激活参数少的策略下提升工程能力,让每张卡发挥最大效能(这正是 DeepSeek 的 MOE 优化)。这样可以将技术时差从两年缩短到三个月。但这里有个悖论——中国模型便宜不是因为工人工资低,而是激活参数少、计算量少。美国从不是学不会,只是战略优先级不同,美国先把能力边界顶出去(用 800 亿激活参数),再向下做成本优化。这就像汽车公司先造 F1 赛车,再把空气动力学下放到民用车。

隐藏的商业悖论。低成本模型还面临用户采购的现实困境。企业不只看价格,还看数据安全、地缘政治风险、法律责任。企业客户宁愿多花 8000 美元用美国模型,也不会把全部交易数据交给地缘政治风险高的供应商。中国模型需要便宜一个数量级或完全开源自建才能穿越信任壁垒。更关键的是用户数据飞轮——美国模型吸引企业、产生真实反馈、改进模型、吸引更多用户,形成能力、数据、收入三个叠加的飞轮。中国市场内虽有防火墙保护,但国外高价值市场难以进入,最终可能形成两个生态,而非全球统一市场。

最后的困局。只要技术底层路径(Transformer、GPU、Scaling Law)不变,中国就仍在追赶。真正超越需要革新——新模型架构、新学习方法、国产芯片突破或 Scaling Law 失效。从梁文峰讲话看,这些突破尚未出现,中国仍在走"高效率+低成本"的追赶路线。这条路可能让中国永远落后三个月,但要改写竞争格局,需要改写技术路线本身。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。