Claude and GPT Get Nerfed After Launch (They Admitted It)
三句話摘要
新 AI 模型發佈後效能看似下降的真相:公司調整圍繞模型的參數,而非改動模型本身。 在缺乏法律約束的當下,AI 公司可以不告知用戶的情況下調整模型參數,唯一的監督者只有警覺的用戶社群。 效能下降源自參數調整而非模型本身:Anthropic 曾公開承認 Claude 連續數週表現下滑,但這不是因為模型權重被改動,而是圍繞模型運作的多個參數被調整,導致用戶感受到明顯差異。
重點整理
效能下降源自參數調整而非模型本身:Anthropic 曾公開承認 Claude 連續數週表現下滑,但這不是因為模型權重被改動,而是圍繞模型運作的多個參數被調整,導致用戶感受到明顯差異。
四個可被調整的「轉盤」機制:(1) Effort - 模型思考強度,Anthropic 將 Claude Code 預設從 high 改為 medium 未通知用戶;(2) Instructions - 系統提示內容,Anthropic 限制輸出 25 字反而降低效能;(3) Routing - 決定哪個模型回應,GPT-5 存在安全過濾器將請求路由到 Opus 4.8 的情況;(4) App 層級 - 程式漏洞或伺服器配置問題。
商業利益驅動參數調整:每次發佈後 API 流量激增(GPT-5 24 小時翻倍),公司在獲得用戶訂閱後會逐漸降低參數以控制 GPU 和運算成本,形成「發佈時最好、之後漸弱」的循環。
法律真空與監管不足:目前無法律規定公司必須揭示參數改變,只有康州要求揭示使用限制,AI 產業發展遠超監管速度,用戶缺乏法律保護。
實用技巧與重點
- 基準測試對比
- Opus 5.5 官方宣稱分數:57.8%
- Opus 5.5 實際使用分數(medium effort):52%
- Fable 5 除錯分數下降:86% → 26%
- Margin Lab 測試分數下降:65% → 50%
- 具體改動案例
- Anthropic 將 Claude Code effort 預設從 high 改為 medium
- Anthropic 新增系統提示:每步驟輸出限制 25 字以內
- Fable 5 安全過濾器:12 項任務中 9 項被路由到 Opus 4.8
- Claude Code 漏洞:每回合清除思考過程
- GPT-5 發佈時 API 流量:24 小時內翻倍
- 監測工具與數據
- Live Nerf 基準測試:每日對 Opus 5.5 執行 78 個相同問題
- 講者 Fable 5 實測:63 個問題中拒答 14 個(被無聲路由)
結論
在缺乏法律約束的當下,AI 公司可以不告知用戶的情況下調整模型參數,唯一的監督者只有警覺的用戶社群。
完整解析
每當新 AI 模型發佈,社群媒體上都會出現令人驚豔的演示與宣傳,人們欣喜若狂地認為這是有史以來最強的模型。然而短短一週後,聲音開始轉變——模型似乎變懶了、記憶力下降了、回答品質不如預期。講者發現這個現象確實存在,Anthropic 和 OpenAI 都曾在公開文檔中坦承過類似情況,但真相並非模型本身被削弱。
模型本質上是由數十億個數字(稱為權重)組成的巨大檔案,這些權重代表了模型的「大腦」。有趣的是,公司改變的不是這些核心權重,而是圍繞模型運作的四個主要參數。首先是「努力程度」(Effort),即模型在回答前允許自己思考的深度。Anthropic 曾悄悄地將 Claude Code 的預設從 high 改為 medium 以加快速度,但沒有通知用戶——這很能說明問題。同時官方宣傳 Opus 5.5 在編碼基準測試中得分 57.8%,但那是在 max effort 設定下,而大多數用戶的預設是 medium,實際體驗的分數僅有 52%。
第二個參數是「指令」(Instructions),即系統提示的內容。Anthropic 曾添加一行指令要求 Claude 將每個步驟之間的輸出限制在 25 字以內,然而他們自己的測試隨後顯示這項改動實際上降低了效能。第三個參數是「路由」(Routing),決定哪個模型實際回答用戶請求。GPT-5 發佈時就出現過這個問題——基準測試顯示 Fable 5 的除錯分數從 86 暴跌到 26,不是因為 Fable 本身變差,而是安全過濾器將 12 項任務中的 9 項無聲地路由到了較弱的 Opus 4.8,用戶完全不知道自己得到的不是 Fable 的回答。第四個參數是應用層級的漏洞或基礎設施問題,例如伺服器配置不當。
背後的動力是計算成本與商業利益。每次重大發佈後,API 流量會急劇增加(GPT-5 發佈時流量在 24 小時內翻倍)。公司在發佈初期投入最優資源製造轟動效應,吸引用戶升級或重新訂閱,然後在獲得穩定用戶基礎後,他們開始逐漸降低這些參數以控制 GPU 運算成本。正如 Anthropic 將 effort 從 high 改為 medium 的做法所展示的,這並非不可能的陰謀論。
法律與監管現況更加深了這個問題。目前沒有法律規定公司必須告知用戶模型參數的任何改變。康州最近通過了相關最接近的法規,但也只是要求企業在用戶簽署或續約前揭示使用限制,對於模型效能變化完全沒有提及。由於 AI 產業發展遠超現有法律框架,用戶實際上毫無保護。


