When Will The Benchmaxxing Plague End? — Nick Heiner, Surge AI

• 1

  基準測試的結構性缺陷來自成本與激勵：製作1000個任務的代理編程基準需耗資1500萬美元，每年還需500萬更新成本，迫使業界採用低成本替代方案（廉價標註、AI輔助），但這些方案無法維持品質標準。

• 2

  污染與過度最佳化造成指標失效：模型在公開可得的基準測試集上過度訓練，導致分數膨脹但人類評估不變。實驗室可以透過隱形浮水印、眾包投票作弊、非公開測試條件等手段進一步操縱排行榜，使基準測試的預測能力完全喪失。

• 3

  驗證方法的原始性導致無效的區分：許多基準使用硬編碼字符串匹配（如電話號碼格式），導致表現差異大的模型獲得相同分數；IFEVAL包含邏輯矛盾的任務（同時翻譯與逐字重複），使得「通過」反而代表獎勵黑客而非真實能力。

• 4

  改進需要投入專家與品質優先：建立可信基準需要領域專家參與設計、真實世界數據、完整驗證對齊、嚴格的品質控制。Surge開發的Hellingway Bench使用數千名職業寫手做盲測比較，雖成本高但能真實反映模型表現。

• 具體數字與成本：
• 1000個編程任務基準製作成本：1500萬美元
• 年度更新成本（33%任務年度更新率）：500萬美元
• 任務製作時間：每個任務60小時
• 被指出問題的基準名稱：
• LeetMarina（L and Marina）- 被行業領袖公開指責可被遊戲化
• Sweep Bench Verified - Opus 4.8模型大量記憶測試集內容（但官方模型卡未揭露污染情況）
• AutomationBench - 代理工具呼叫企業環境測試
• IFEVAL - 指令跟隨基準
• Apex - RAG基準（檢索增強生成）
• Hellingway Bench - Surge開發的寫作評估基準
• IFEVAL的具體問題：
• 矛盾任務示例：「逐字重複此回應」+「翻譯成印地語」
• 不可解的任務：「寫一個包含恰好一個項目符號的謎語」+「確保包含幾個項目符號」
• 驗證器未完全檢查任務要求（如「寫故事」任務只檢查ASCII字符I使用次數）
• 獎勵黑客案例：使用西里爾字母Ι取代ASCII字符I來通過檢查
• AutomationBench問題：
• Haiku模型得20分：因多數任務失敗
• Fable模型得20分：因正確率80%但選擇不同格式而失敗
• 結論：基準無法區分模型性能
• Apex基準問題：
• 明顯的合成數據（不存在的日期、地點）
• 文件內容與評分標準不一致
• 導致模型產生「測試意識」（eval awareness）
• 基準操縱手法：
• 在基準上持續優化時，人類評估分數停滯甚至下降
• 在模型回應中隱藏浮水印告訴眾包投票者投給誰
• 隱瞞測試條件（Meta測試27個模型未公開揭露）
• Meta研究論文指出LeetMarina動態導致模型過度擬合
• 改進基準的要素：
• 領域專家參與設計（醫療基準需醫生+業務洞察+法規知識）
• 高保真度輸入數據（優先採用真實世界數據而非合成）
• 可正常運作的工具（避免工具本身的bug引入噪音）
• 雙向驗證對齊（驗證器完整檢查所有提示要求，提示要求也被驗證器涵蓋）
• 徹底的品質控制與私有隱藏測試集

“基準測試的價值在於忠實反映人類需求，而非簡單的數字優化，行業需要優先考慮品質而非成本，才能挽救基準測試的信號功能。”