KeyFrame內部研究專用

Do AI Tokenomics Matter More Than Model Benchmarks? with Chris Potts - #776

TWIML AI59 min英文
觀看原始影片

三句話摘要

AI 代幣經濟學危機:隨著成本飆升,如何衡量我們真正購買的價值,以及突破現有架構限制的必要性。 真正的 AI 進步需要三管齊下:重新定義價值衡量方式、培養用戶批判性協作能力、以及投入激進的架構創新——而不是盲目追逐 token 數量。 Token 成本與價值严重脫節。大型科技公司準備上市,開始向用戶收取 AI 的真實成本。Copilot 月帳單從 $20 飆升至 $500,預估可達 $11,000,遠超 Uber 漲價幅度。Potts 創造「tokenflation」一詞描述此現象——你的 token 買不到原來的價值。衡量方法是建立「商品籃」(程式碼行數、bug 修復、文檔等),追蹤產出率相對 token 支出的變化。研究發現 2 月至 4 月期間,Opus 4.6 在 Claude Code 上的 token 購買力實際下滑,即使調整品質改善因素。

重點整理

  1. Token 成本與價值严重脫節。大型科技公司準備上市,開始向用戶收取 AI 的真實成本。Copilot 月帳單從 $20 飆升至 $500,預估可達 $11,000,遠超 Uber 漲價幅度。Potts 創造「tokenflation」一詞描述此現象——你的 token 買不到原來的價值。衡量方法是建立「商品籃」(程式碼行數、bug 修復、文檔等),追蹤產出率相對 token 支出的變化。研究發現 2 月至 4 月期間,Opus 4.6 在 Claude Code 上的 token 購買力實際下滑,即使調整品質改善因素。

  2. 使用者專業程度是決定成敗的關鍵因素。Anthropic 研究發現,專家採「協作風格」——不斷推敲、反駁、迭代;初手採「委派風格」——被動信任。Potts 的研究證實這是因果關係:專家因引入批判性摩擦,反而在複雜任務上更成功,雖然失敗跡象更多;初手則被動接受錯誤答案,無法自行提升。這揭示一個令人擔憂的悖論:AI 最能幫助的場景,恰好是人們最缺乏專業知識評估答案的地方。

  3. 現有架構存在根本效率問題,亟需激進創新。Potts 批駁「純粹擴展」論述,指出 2017-2025 年間的每項優化(相對位置編碼、稀疏 MLP、活化函數調整)都建立在深度分析基礎上,非盲目擴展。但堆疊式深層 Transformer 本質上低效——未學習真正的模組化遞迴函數。突破口可能來自遞迴架構(動態深度)或位元級模型(消除 tokenizer,實現真正多語言公平),這些「怪異創意」的研究方向才是學術研究應該承擔的風險。

  4. DSPY 等開源框架的核心價值在於促進社群創新與模組化思維。即使 AI 代理寫程式快速進化,模組化設計原則依舊重要,便於審計與迭代。同時,多代理協作勝過單一代理——類似紅隊概念,多樣化視角能發現同質團隊遺漏的關鍵缺陷。

實用技巧與重點

  • 成本與效益數據
  • Copilot 月帳單:$20 → $500 → 預估 $11,000(三個月內可能漲 550 倍)
  • Token 真實成本估計:每美元支出可能代表 $2~$20 真實成本(含研發、基礎建設折舊)
  • Stanford Sweet Chat 基準:6,000 個真實程式碼編寫工作階段的完整中繼資料
  • 測試期間(2 月~4 月中期):程式碼存活率(>4 天)指標見證品質改善
  • 關鍵工具與框架
  • DSPY(Omar Khattab 創意):模組化提示優化、代理工作流平台
  • Colbert 檢索模型:開源投資的網路效應案例
  • AI 流暢度指數(Anthropic 開發)
  • Jepa/Meepro:自動提示優化工具
  • 研究方法
  • 消費者價格指數(CPI)應用於 AI:`token 支出÷商品產出 = 購買力`
  • Hedonic 調整:根據品質改善修正指標
  • 協作風格 vs 委派風格標記法:評估使用者互動模式與成功率相關性
  • 代碼審查流程:代理優先完成第一輪評論,人類高價值階段介入
  • 新興研究方向
  • 位元級模型(Byte-level Models):Julie Kalidion 研究,消除 tokenizer 依賴
  • 遞迴架構:固定深度堆疊的替代方案
  • 非梯度學習替代方案:目前完全未開發領域
  • 產品層面變化影響
  • 預設推理設置調整(高→中→高):導致 token 使用量神秘上升
  • 上下文管理漏洞修補
  • 預設上下文視窗擴大

結論

真正的 AI 進步需要三管齊下:重新定義價值衡量方式、培養用戶批判性協作能力、以及投入激進的架構創新——而不是盲目追逐 token 數量。

完整解析

我們正處於 AI 經濟學的關鍵轉折點。Potts 觀察到一個深刻現象:科技巨頭開始向用戶收取 AI 使用的真實成本加利潤,這直接導致成本爆炸式增長。Copilot 用戶發現月帳單從 $20 跳升至 $500,而若按目前使用率,下月將達 $11,000——這不只是漲價,而是企業重新定價的表現。科技公司急著準備上市,需要展示 AI 投資的實際回報率,因此開始測試用戶願意支付的真實成本。隨之而來的問題變得尖銳而不可迴避:我花費的這些 token 真正買到了什麼價值?

為了科學回答這個問題,Potts 提出「tokenomics」框架,借鑒經濟學中消費者價格指數的方法論。第一步是定義「商品籃」——決定衡量什麼成果。不能只看提交的拉取請求數量,因為那容易被遊戲化;應該包括程式碼品質、存活時間、文檔編寫、bug 修復、知識累積等多維度。接著,計算每期間的「token 支出÷產出商品」,得到購買力指數。關鍵的是進行「hedonic 調整」——考慮品質改善因素。例如,如果發現存活超過四天的程式碼行數比率上升,表示程式碼品質可能在改善,需要向上調整指數。當 Potts 團隊用這套方法檢視 Claude Code 用戶在 2 月至 4 月期間使用 Opus 4.6 的情況時,令人擔憂的結果浮現:即使調整品質改善因素,token 的購買力實際上下降了。這意味著用戶在支付更多 token,卻沒有相應獲得更多價值——這就是「tokenflation」。

進一步分析發現,月初大部分 token 用於程式碼生成,到月中旬卻分散於程式碼生成、思考與對用戶解釋。這反映產品層面的變化:Anthropic 調整了預設推理設置、修正了上下文管理漏洞、擴大了預設上下文視窗。所有這些改動都不同程度地影響 token 使用量。解釋和思考確實有價值(可能表現為知識發現),但這類價值無法用傳統 PR 計數捕捉,導致經濟圖景不完整。

更深層的發現涉及用戶能力。Anthropic 的研究指出,專家採「協作風格」與 AI 互動——不斷反覆、推敲、反駁、提出要求;初手採「委派風格」——被動信任,接受回應。Potts 的研究進一步驗證,這不只是風格差異,而是因果關係。專家因為引入「摩擦」(pushback),雖然遭遇更多失敗跡象,但最終在複雜任務上成功率更高;初手則容易在簡單任務上停滯,被動接受錯誤答案,無法自行升級技能。這揭示一個困境:AI 最迫切需要幫助的領域,恰好是人們最缺乏專業知識去評估答案的地方。在程式碼領域這不是問題——程式執行結果可驗證;但在法律、醫療等領域,驗證成本極高甚至不可行。

回到技術層面,Potts 強調現有堆疊式深層 Transformer 架構根本上效率低落。反駁「純粹擴展」(bitter lesson) 的論點時,他指出 2017-2025 年間所有主要優化——從絕對位置編碼到相對位置編碼、從窄密集 MLP 到寬稀疏 MLP、活化函數精細調整——都建立在對資料與學習機制的深度分析基礎上,絕非盲目擴展。但問題是,堆疊式設計本質上低效,未能學習真正的模組化遞迴函數。突破可能來自遞迴架構(允許動態深度)或位元級模型(完全消除 tokenizer 依賴,實現真正的多語言公平性)。這正是學術研究應該承擔的風險——放棄與資源豐富的大型實驗室在同樣問題上競爭的想法,轉向「怪異且有創意」的方向。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資