AI Models Get Nerfed After Launch (Here's the Proof)
三句話摘要
AI 模型上線後效能下滑:是模型權重改變還是調參設定問題? 模型效能下滑很可能源於參數調整而非權重改變,使用者應主動提升努力級別以獲得承諾的效能。 兩家頂級 AI 廠商都公開承認模型上線後效能下滑,這反映了結構性問題而非個別事件。Anthropic 發布事後檢討,坦承 Claude Code 變得不夠聰慧且內部測試竟然沒抓到;OpenAI 執行長 Sam Altman 也表示 GPT 上線隔日明顯變「傻」。
重點整理
兩家頂級 AI 廠商都公開承認模型上線後效能下滑,這反映了結構性問題而非個別事件。Anthropic 發布事後檢討,坦承 Claude Code 變得不夠聰慧且內部測試竟然沒抓到;OpenAI 執行長 Sam Altman 也表示 GPT 上線隔日明顯變「傻」。
關鍵在於區分模型本身 vs. 模型周圍的控制參數。日常化追蹤測試顯示模型權重沒有改變,真正改變的是模型被允許的思考難度設定,這是軟體參數調整而非權重改變。
Opus 5.5 官方文件明確展示努力級別的巨大性能差異(最高努力 57.8%、預設 52%),使用者需主動調整努力設定才能獲得承諾的效能,不應依賴預設值。
講者基於廣泛測試未發現直接證據證明廠商改變模型權重,但也無法排除另一種可能:廠商為製造上線時的熱話效應,可能初期提升模型表現讓使用者驚豔,隨後回調參數,期望使用者不會察覺。
實用技巧與重點
- Anthropic Claude Code 因效能下降發布事後檢討
- OpenAI Sam Altman 承認 GPT 上線後變傻
- 日常測試顯示模型本身未改變
- 改變項目:模型周圍的「旋鈕」(dials),特別是思考難度
- Opus 5.5 編碼測試成績對比:
- 最高努力級別:57.8%
- 預設努力級別:52%
- Cloud Code 調整努力方式:輸入 `/effort` 或點擊按鈕
- 自製「削弱版測試」(nerf tests) 方法:
- 從實際工作中取 5 個提示詞
- 上線當日執行測試
- 每兩週重新測試,觀察效能變化
結論
模型效能下滑很可能源於參數調整而非權重改變,使用者應主動提升努力級別以獲得承諾的效能。
完整解析
AI 社群最近傳來令人沮喪的消息:Anthropic 和 OpenAI 都公開承認自家模型在上線後效能下降。Anthropic 發布了事後檢討文件,坦承使用者認為 Claude Code 變得不聰慧,而內部測試竟然沒有抓到這個問題。OpenAI 執行長 Sam Altman 則表示,GPT 上線隔日就明顯變「傻」了。乍看之下,這宛如一場信任危機。
但深入調查後發現了另一層真相:每日追蹤同一模型的測試系統顯示,模型本身的權重完全沒有改變。那麼到底是什麼改變了呢?答案是模型周圍的「旋鈕」(dials)——也就是模型被允許的思考難度和其他參數設定。這是個關鍵發現,因為它意味著效能下滑不是源於模型變傻,而是廠商調降了預設參數。
具體例子是 Opus 5.5 官方發佈頁面上的數字:同一個編碼測試,在最高努力級別下達成 57.8% 的成績,但在預設努力級別只有 52%。這 5.8 個百分點的差距足以改變使用者體驗。有心的使用者可以在 Cloud Code 中輸入 `/effort` 指令或點擊按鈕手動調整,但大多數人沿用預設值。為了科學追蹤模型品質變化,講者建議採用「削弱版測試」方法:從自己的實際工作中挑五個提示詞,在上線當日執行一次測試,然後每兩週重新執行,觀察效能是否持續下滑。
經過大量挖掘和測試,講者坦承未能找到明確技術證據證明廠商實際改變了模型的核心權重。但他也表達了懷疑:有沒有可能廠商為製造上線初期的病毒式效應,故意先提高模型表現讓使用者驚豔,然後在數天後悄悄把參數調回去,期望沒人注意?這個假設雖未被完全證實,但在缺乏透明度的情況下也無法排除。


