KeyFrame內部研究專用

Claude and GPT Get Nerfed After Launch (They Admitted It)

Nate Herk英文
觀看原始影片

三句話摘要

新 AI 模型發佈後效能看似下降的真相:公司調整圍繞模型的參數,而非改動模型本身。 在缺乏法律約束的當下,AI 公司可以不告知用戶的情況下調整模型參數,唯一的監督者只有警覺的用戶社群。 效能下降源自參數調整而非模型本身:Anthropic 曾公開承認 Claude 連續數週表現下滑,但這不是因為模型權重被改動,而是圍繞模型運作的多個參數被調整,導致用戶感受到明顯差異。

重點整理

  1. 效能下降源自參數調整而非模型本身:Anthropic 曾公開承認 Claude 連續數週表現下滑,但這不是因為模型權重被改動,而是圍繞模型運作的多個參數被調整,導致用戶感受到明顯差異。

  2. 四個可被調整的「轉盤」機制:(1) Effort - 模型思考強度,Anthropic 將 Claude Code 預設從 high 改為 medium 未通知用戶;(2) Instructions - 系統提示內容,Anthropic 限制輸出 25 字反而降低效能;(3) Routing - 決定哪個模型回應,GPT-5 存在安全過濾器將請求路由到 Opus 4.8 的情況;(4) App 層級 - 程式漏洞或伺服器配置問題。

  3. 商業利益驅動參數調整:每次發佈後 API 流量激增(GPT-5 24 小時翻倍),公司在獲得用戶訂閱後會逐漸降低參數以控制 GPU 和運算成本,形成「發佈時最好、之後漸弱」的循環。

  4. 法律真空與監管不足:目前無法律規定公司必須揭示參數改變,只有康州要求揭示使用限制,AI 產業發展遠超監管速度,用戶缺乏法律保護。

實用技巧與重點

  • 基準測試對比
  • Opus 5.5 官方宣稱分數:57.8%
  • Opus 5.5 實際使用分數(medium effort):52%
  • Fable 5 除錯分數下降:86% → 26%
  • Margin Lab 測試分數下降:65% → 50%
  • 具體改動案例
  • Anthropic 將 Claude Code effort 預設從 high 改為 medium
  • Anthropic 新增系統提示:每步驟輸出限制 25 字以內
  • Fable 5 安全過濾器:12 項任務中 9 項被路由到 Opus 4.8
  • Claude Code 漏洞:每回合清除思考過程
  • GPT-5 發佈時 API 流量:24 小時內翻倍
  • 監測工具與數據
  • Live Nerf 基準測試:每日對 Opus 5.5 執行 78 個相同問題
  • 講者 Fable 5 實測:63 個問題中拒答 14 個(被無聲路由)

結論

在缺乏法律約束的當下,AI 公司可以不告知用戶的情況下調整模型參數,唯一的監督者只有警覺的用戶社群。

完整解析

每當新 AI 模型發佈,社群媒體上都會出現令人驚豔的演示與宣傳,人們欣喜若狂地認為這是有史以來最強的模型。然而短短一週後,聲音開始轉變——模型似乎變懶了、記憶力下降了、回答品質不如預期。講者發現這個現象確實存在,Anthropic 和 OpenAI 都曾在公開文檔中坦承過類似情況,但真相並非模型本身被削弱。

模型本質上是由數十億個數字(稱為權重)組成的巨大檔案,這些權重代表了模型的「大腦」。有趣的是,公司改變的不是這些核心權重,而是圍繞模型運作的四個主要參數。首先是「努力程度」(Effort),即模型在回答前允許自己思考的深度。Anthropic 曾悄悄地將 Claude Code 的預設從 high 改為 medium 以加快速度,但沒有通知用戶——這很能說明問題。同時官方宣傳 Opus 5.5 在編碼基準測試中得分 57.8%,但那是在 max effort 設定下,而大多數用戶的預設是 medium,實際體驗的分數僅有 52%。

第二個參數是「指令」(Instructions),即系統提示的內容。Anthropic 曾添加一行指令要求 Claude 將每個步驟之間的輸出限制在 25 字以內,然而他們自己的測試隨後顯示這項改動實際上降低了效能。第三個參數是「路由」(Routing),決定哪個模型實際回答用戶請求。GPT-5 發佈時就出現過這個問題——基準測試顯示 Fable 5 的除錯分數從 86 暴跌到 26,不是因為 Fable 本身變差,而是安全過濾器將 12 項任務中的 9 項無聲地路由到了較弱的 Opus 4.8,用戶完全不知道自己得到的不是 Fable 的回答。第四個參數是應用層級的漏洞或基礎設施問題,例如伺服器配置不當。

背後的動力是計算成本與商業利益。每次重大發佈後,API 流量會急劇增加(GPT-5 發佈時流量在 24 小時內翻倍)。公司在發佈初期投入最優資源製造轟動效應,吸引用戶升級或重新訂閱,然後在獲得穩定用戶基礎後,他們開始逐漸降低這些參數以控制 GPU 運算成本。正如 Anthropic 將 effort 從 high 改為 medium 的做法所展示的,這並非不可能的陰謀論。

法律與監管現況更加深了這個問題。目前沒有法律規定公司必須告知用戶模型參數的任何改變。康州最近通過了相關最接近的法規,但也只是要求企業在用戶簽署或續約前揭示使用限制,對於模型效能變化完全沒有提及。由於 AI 產業發展遠超現有法律框架,用戶實際上毫無保護。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。