KeyFrame內部研究專用

AI Models Get Nerfed After Launch (Here's the Proof)

Nate Herk英文
觀看原始影片

三句話摘要

AI 模型上線後效能下滑:是模型權重改變還是調參設定問題? 模型效能下滑很可能源於參數調整而非權重改變,使用者應主動提升努力級別以獲得承諾的效能。 兩家頂級 AI 廠商都公開承認模型上線後效能下滑,這反映了結構性問題而非個別事件。Anthropic 發布事後檢討,坦承 Claude Code 變得不夠聰慧且內部測試竟然沒抓到;OpenAI 執行長 Sam Altman 也表示 GPT 上線隔日明顯變「傻」。

重點整理

  1. 兩家頂級 AI 廠商都公開承認模型上線後效能下滑,這反映了結構性問題而非個別事件。Anthropic 發布事後檢討,坦承 Claude Code 變得不夠聰慧且內部測試竟然沒抓到;OpenAI 執行長 Sam Altman 也表示 GPT 上線隔日明顯變「傻」。

  2. 關鍵在於區分模型本身 vs. 模型周圍的控制參數。日常化追蹤測試顯示模型權重沒有改變,真正改變的是模型被允許的思考難度設定,這是軟體參數調整而非權重改變。

  3. Opus 5.5 官方文件明確展示努力級別的巨大性能差異(最高努力 57.8%、預設 52%),使用者需主動調整努力設定才能獲得承諾的效能,不應依賴預設值。

  4. 講者基於廣泛測試未發現直接證據證明廠商改變模型權重,但也無法排除另一種可能:廠商為製造上線時的熱話效應,可能初期提升模型表現讓使用者驚豔,隨後回調參數,期望使用者不會察覺。

實用技巧與重點

  • Anthropic Claude Code 因效能下降發布事後檢討
  • OpenAI Sam Altman 承認 GPT 上線後變傻
  • 日常測試顯示模型本身未改變
  • 改變項目:模型周圍的「旋鈕」(dials),特別是思考難度
  • Opus 5.5 編碼測試成績對比:
  • 最高努力級別:57.8%
  • 預設努力級別:52%
  • Cloud Code 調整努力方式:輸入 `/effort` 或點擊按鈕
  • 自製「削弱版測試」(nerf tests) 方法:
  • 從實際工作中取 5 個提示詞
  • 上線當日執行測試
  • 每兩週重新測試,觀察效能變化

結論

模型效能下滑很可能源於參數調整而非權重改變,使用者應主動提升努力級別以獲得承諾的效能。

完整解析

AI 社群最近傳來令人沮喪的消息:Anthropic 和 OpenAI 都公開承認自家模型在上線後效能下降。Anthropic 發布了事後檢討文件,坦承使用者認為 Claude Code 變得不聰慧,而內部測試竟然沒有抓到這個問題。OpenAI 執行長 Sam Altman 則表示,GPT 上線隔日就明顯變「傻」了。乍看之下,這宛如一場信任危機。

但深入調查後發現了另一層真相:每日追蹤同一模型的測試系統顯示,模型本身的權重完全沒有改變。那麼到底是什麼改變了呢?答案是模型周圍的「旋鈕」(dials)——也就是模型被允許的思考難度和其他參數設定。這是個關鍵發現,因為它意味著效能下滑不是源於模型變傻,而是廠商調降了預設參數。

具體例子是 Opus 5.5 官方發佈頁面上的數字:同一個編碼測試,在最高努力級別下達成 57.8% 的成績,但在預設努力級別只有 52%。這 5.8 個百分點的差距足以改變使用者體驗。有心的使用者可以在 Cloud Code 中輸入 `/effort` 指令或點擊按鈕手動調整,但大多數人沿用預設值。為了科學追蹤模型品質變化,講者建議採用「削弱版測試」方法:從自己的實際工作中挑五個提示詞,在上線當日執行一次測試,然後每兩週重新執行,觀察效能是否持續下滑。

經過大量挖掘和測試,講者坦承未能找到明確技術證據證明廠商實際改變了模型的核心權重。但他也表達了懷疑:有沒有可能廠商為製造上線初期的病毒式效應,故意先提高模型表現讓使用者驚豔,然後在數天後悄悄把參數調回去,期望沒人注意?這個假設雖未被完全證實,但在缺乏透明度的情況下也無法排除。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。