Do AI Tokenomics Matter More Than Model Benchmarks? with Chris Potts - #776
三句話摘要
AI 代幣經濟學危機:隨著成本飆升,如何衡量我們真正購買的價值,以及突破現有架構限制的必要性。 真正的 AI 進步需要三管齊下:重新定義價值衡量方式、培養用戶批判性協作能力、以及投入激進的架構創新——而不是盲目追逐 token 數量。 Token 成本與價值严重脫節。大型科技公司準備上市,開始向用戶收取 AI 的真實成本。Copilot 月帳單從 $20 飆升至 $500,預估可達 $11,000,遠超 Uber 漲價幅度。Potts 創造「tokenflation」一詞描述此現象——你的 token 買不到原來的價值。衡量方法是建立「商品籃」(程式碼行數、bug 修復、文檔等),追蹤產出率相對 token 支出的變化。研究發現 2 月至 4 月期間,Opus 4.6 在 Claude Code 上的 token 購買力實際下滑,即使調整品質改善因素。
重點整理
Token 成本與價值严重脫節。大型科技公司準備上市,開始向用戶收取 AI 的真實成本。Copilot 月帳單從 $20 飆升至 $500,預估可達 $11,000,遠超 Uber 漲價幅度。Potts 創造「tokenflation」一詞描述此現象——你的 token 買不到原來的價值。衡量方法是建立「商品籃」(程式碼行數、bug 修復、文檔等),追蹤產出率相對 token 支出的變化。研究發現 2 月至 4 月期間,Opus 4.6 在 Claude Code 上的 token 購買力實際下滑,即使調整品質改善因素。
使用者專業程度是決定成敗的關鍵因素。Anthropic 研究發現,專家採「協作風格」——不斷推敲、反駁、迭代;初手採「委派風格」——被動信任。Potts 的研究證實這是因果關係:專家因引入批判性摩擦,反而在複雜任務上更成功,雖然失敗跡象更多;初手則被動接受錯誤答案,無法自行提升。這揭示一個令人擔憂的悖論:AI 最能幫助的場景,恰好是人們最缺乏專業知識評估答案的地方。
現有架構存在根本效率問題,亟需激進創新。Potts 批駁「純粹擴展」論述,指出 2017-2025 年間的每項優化(相對位置編碼、稀疏 MLP、活化函數調整)都建立在深度分析基礎上,非盲目擴展。但堆疊式深層 Transformer 本質上低效——未學習真正的模組化遞迴函數。突破口可能來自遞迴架構(動態深度)或位元級模型(消除 tokenizer,實現真正多語言公平),這些「怪異創意」的研究方向才是學術研究應該承擔的風險。
DSPY 等開源框架的核心價值在於促進社群創新與模組化思維。即使 AI 代理寫程式快速進化,模組化設計原則依舊重要,便於審計與迭代。同時,多代理協作勝過單一代理——類似紅隊概念,多樣化視角能發現同質團隊遺漏的關鍵缺陷。
實用技巧與重點
- 成本與效益數據
- Copilot 月帳單:$20 → $500 → 預估 $11,000(三個月內可能漲 550 倍)
- Token 真實成本估計:每美元支出可能代表 $2~$20 真實成本(含研發、基礎建設折舊)
- Stanford Sweet Chat 基準:6,000 個真實程式碼編寫工作階段的完整中繼資料
- 測試期間(2 月~4 月中期):程式碼存活率(>4 天)指標見證品質改善
- 關鍵工具與框架
- DSPY(Omar Khattab 創意):模組化提示優化、代理工作流平台
- Colbert 檢索模型:開源投資的網路效應案例
- AI 流暢度指數(Anthropic 開發)
- Jepa/Meepro:自動提示優化工具
- 研究方法
- 消費者價格指數(CPI)應用於 AI:`token 支出÷商品產出 = 購買力`
- Hedonic 調整:根據品質改善修正指標
- 協作風格 vs 委派風格標記法:評估使用者互動模式與成功率相關性
- 代碼審查流程:代理優先完成第一輪評論,人類高價值階段介入
- 新興研究方向
- 位元級模型(Byte-level Models):Julie Kalidion 研究,消除 tokenizer 依賴
- 遞迴架構:固定深度堆疊的替代方案
- 非梯度學習替代方案:目前完全未開發領域
- 產品層面變化影響
- 預設推理設置調整(高→中→高):導致 token 使用量神秘上升
- 上下文管理漏洞修補
- 預設上下文視窗擴大
結論
真正的 AI 進步需要三管齊下:重新定義價值衡量方式、培養用戶批判性協作能力、以及投入激進的架構創新——而不是盲目追逐 token 數量。
完整解析
我們正處於 AI 經濟學的關鍵轉折點。Potts 觀察到一個深刻現象:科技巨頭開始向用戶收取 AI 使用的真實成本加利潤,這直接導致成本爆炸式增長。Copilot 用戶發現月帳單從 $20 跳升至 $500,而若按目前使用率,下月將達 $11,000——這不只是漲價,而是企業重新定價的表現。科技公司急著準備上市,需要展示 AI 投資的實際回報率,因此開始測試用戶願意支付的真實成本。隨之而來的問題變得尖銳而不可迴避:我花費的這些 token 真正買到了什麼價值?
為了科學回答這個問題,Potts 提出「tokenomics」框架,借鑒經濟學中消費者價格指數的方法論。第一步是定義「商品籃」——決定衡量什麼成果。不能只看提交的拉取請求數量,因為那容易被遊戲化;應該包括程式碼品質、存活時間、文檔編寫、bug 修復、知識累積等多維度。接著,計算每期間的「token 支出÷產出商品」,得到購買力指數。關鍵的是進行「hedonic 調整」——考慮品質改善因素。例如,如果發現存活超過四天的程式碼行數比率上升,表示程式碼品質可能在改善,需要向上調整指數。當 Potts 團隊用這套方法檢視 Claude Code 用戶在 2 月至 4 月期間使用 Opus 4.6 的情況時,令人擔憂的結果浮現:即使調整品質改善因素,token 的購買力實際上下降了。這意味著用戶在支付更多 token,卻沒有相應獲得更多價值——這就是「tokenflation」。
進一步分析發現,月初大部分 token 用於程式碼生成,到月中旬卻分散於程式碼生成、思考與對用戶解釋。這反映產品層面的變化:Anthropic 調整了預設推理設置、修正了上下文管理漏洞、擴大了預設上下文視窗。所有這些改動都不同程度地影響 token 使用量。解釋和思考確實有價值(可能表現為知識發現),但這類價值無法用傳統 PR 計數捕捉,導致經濟圖景不完整。
更深層的發現涉及用戶能力。Anthropic 的研究指出,專家採「協作風格」與 AI 互動——不斷反覆、推敲、反駁、提出要求;初手採「委派風格」——被動信任,接受回應。Potts 的研究進一步驗證,這不只是風格差異,而是因果關係。專家因為引入「摩擦」(pushback),雖然遭遇更多失敗跡象,但最終在複雜任務上成功率更高;初手則容易在簡單任務上停滯,被動接受錯誤答案,無法自行升級技能。這揭示一個困境:AI 最迫切需要幫助的領域,恰好是人們最缺乏專業知識去評估答案的地方。在程式碼領域這不是問題——程式執行結果可驗證;但在法律、醫療等領域,驗證成本極高甚至不可行。
回到技術層面,Potts 強調現有堆疊式深層 Transformer 架構根本上效率低落。反駁「純粹擴展」(bitter lesson) 的論點時,他指出 2017-2025 年間所有主要優化——從絕對位置編碼到相對位置編碼、從窄密集 MLP 到寬稀疏 MLP、活化函數精細調整——都建立在對資料與學習機制的深度分析基礎上,絕非盲目擴展。但問題是,堆疊式設計本質上低效,未能學習真正的模組化遞迴函數。突破可能來自遞迴架構(允許動態深度)或位元級模型(完全消除 tokenizer 依賴,實現真正的多語言公平性)。這正是學術研究應該承擔的風險——放棄與資源豐富的大型實驗室在同樣問題上競爭的想法,轉向「怪異且有創意」的方向。

