KeyFrame內部研究專用

🚨2億 Token竟不到35美元?AI界「和牛吃到飽」卻只收超商咖啡錢!

AI幫手·6月19日週五·12 min中文

三句話摘要

DeepSeek 為何能以極低成本提供 AI 服務,以及企業在導入前必須評估的技術原理、價格優勢與資安風險。 --- DeepSeek 的低價來自真實的架構創新,而非補貼魔法,但在享受成本紅利之前,企業必須先建立資料分類政策與供應鏈備援計畫,否則省下的錢將成為潛在的資安與依賴風險。 1. 極致快取壓縮是核心成本優勢

重點整理

重點
  • 1

    1. 極致快取壓縮是核心成本優勢

  • 2

    DeepSeek 將資料壓縮至極小,使快取命中率超過 99.9%,大幅減少重複計算;同時以相對低廉的 SSD 取代西方實驗室慣用的 HBM 高頻寬記憶體來儲存上下文,直接壓低了硬體成本結構。

  • 3

    2. 低價背後是真實技術突破,而非單純國家補貼

  • 4

    加拿大補助 Cohere 2.5 億美元但定價未降、DigitalOcean 用相同開源模型也能提供低價,這兩個事實說明低成本有其工程基礎,不能全部歸因於政策補貼。但國家補貼在電力、晶片政策與資料中心上仍確實存在。

  • 5

    3. 地緣政治風險不能因「便宜」而忽視

  • 6

    當工程師只看成本與穩定度時,地緣政治疑慮容易在不知不覺間被繞過。一旦對某個境外 API 產生深度依賴,若未來突然斷供或漲價,企業若無 Plan B,衝擊將非常大。

  • 7

    4. 資安政策是企業的真正防線

  • 8

    不應將未公開程式碼、客戶個資、憑證或內部機密文件送進任何境外雲端 API。便宜的算力是武器,但資料分類管理政策才是企業的防彈衣。

  • 9

    --

實用技巧與重點

乾貨
  • 具體數字與成本
  • 2 億 token 工作量(程式碼審查+重構),費用 < 35 美元
  • 同等工作量,Claude Pro 成本高出 6 倍
  • 同等工作量,GPT-4.5 Codex 成本高出 8-10 倍
  • 官方 API:10 億 token = 4 美元
  • 快取命中率:> 99.9%
  • 加拿大補助 Cohere:2.5 億美元(但定價未降)
  • 技術架構
  • 核心技術:極致快取壓縮(Caching)
  • 儲存方案:SSD(固態硬碟)取代 HBM(高頻寬記憶體)
  • 架構創新:MLA(Multi-head Latent Attention,多潛在注意力架構)
  • 晶片優化:針對華為本土晶片深度調校
  • 背景資訊
  • 母公司:中國 A 股量化交易基金
  • 開源後跟進降價廠商:騰訊、小米
  • 西方對照案例:DigitalOcean 用同款開源模型提供相近低價
  • 落地方案
  • 方案一:下載開源模型權重,部署於企業自有基礎設施或本地端(可用改裝 RTX 4090 進行開發測試)
  • 方案二:若使用官方 API,建立嚴格規範,只允許輸入已公開資料
  • --

結論

結論

DeepSeek 的低價來自真實的架構創新,而非補貼魔法,但在享受成本紅利之前,企業必須先建立資料分類政策與供應鏈備援計畫,否則省下的錢將成為潛在的資安與依賴風險。

完整解析

詳細

2025 年初,一個開發團隊在一個月內透過 DeepSeek 官方 API 處理了整整兩億個 token,涵蓋大量程式碼審查與小型重構作業,結帳金額卻不到 35 美元。同樣的工作量如果放在 Claude Pro 上,成本高出六倍;若使用 GPT-4.5 Codex,甚至高出八到十倍。這個數字在開發者社群引發熱議,許多人開始重新思考 AI 研發預算的結構。

DeepSeek 的低成本並非偶然,而是來自三個層面的技術突破。第一是極致快取壓縮:他們將資料壓縮至極小,使快取命中率突破 99.9%,幾乎不需要重複計算。第二是硬體替代:西方主流實驗室倚賴極昂貴的 HBM 高頻寬記憶體儲存上下文,DeepSeek 卻成功以相對低廉的 SSD 固態硬碟取而代之,直接壓低基礎設施成本。第三是軟硬體協同優化:他們針對華為等本土晶片進行深度調校,搭配獨創的 MLA(多潛在注意力)架構,將每瓦算力榨取到極致。DeepSeek 的母公司本是一家在中國 A 股市場獲利豐厚的量化交易基金,資金充裕,這也讓他們有底氣以近乎「賠錢」的方式開放 API 定價。開源之後,騰訊、小米等中國科技巨頭相繼跟進降價,整個中文 AI 服務市場進入白熱化競爭。

針對外界「低價是否來自國家補貼」的質疑,現有證據指向一個更複雜的答案。支持補貼論的一方指出,中國在電力政策、晶片補助與資料中心建設上確有大量國家資金介入,並將此策略比擬為當年太陽能板傾銷——先讓開發者產生深度依賴,再形成難以替換的地緣政治綁定。然而反駁方也提出了有力的反證:加拿大政府曾補助 AI 公司 Cohere 高達 2.5 億美元,但其模型定價依然居高不下;更關鍵的是,西方雲端供應商 DigitalOcean 在自有基礎設施上部署同款開源模型,也能提供幾乎相同的低價。這說明低成本有其紮實的工程基礎,而非單純靠政策補貼堆出來的假象。

儘管如此,低成本並不等於零風險。對企業決策者而言,最大的陷阱在於:開發人員為了省預算,往往在不知不覺中把未公開程式碼、客戶個資、內部憑證或機密研發文件直接送入境外雲端 API。主持人以「能力超強但背景複雜的實習生」做比喻:你可以讓他整理網路上的公開資料,但絕不能把公司的核心機密交給他。實務上有兩條出路:其一是善用 DeepSeek 開源的特性,將模型權重下載後部署在企業自有基礎設施,甚至改裝 RTX 4090 消費級顯卡就能支撐開發測試,成本可控;其二是若堅持使用官方 API,則必須建立極嚴格的資料過濾規範,確保輸入內容皆為已公開資訊。便宜的算力是競爭武器,但資料分類管理政策才是企業真正的防彈衣。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。