Stop Evaluating Models Like It's the 50s - Alejandro Vidal, Mindmakers

傳統 LLM 基準測試報告單一準確度指標，隱含所有測試項目等權的假設。然而現實中不同題目存在多種問題：有些題目可能相關聯造成冗餘，有些為純噪音無助於區分模型，有些標籤錯誤或異常，重要性也不一致。心理測量學領域長年研究如何量化複雜心理特質（如人類智力），開發了成熟的方法論。講者提議將這套方法論應用到 LLM 評測，認為這對基準創建者和模型使用者都極具價值。

IRT（項目反應理論）的核心改變是停止對答案求和，而是保留完整的答題矩陣（模型 × 項目）。對每個項目估計難度參數 b，用邏輯曲線描述模型能力與答對概率的關係；對每個模型估計能力參數 theta，代表模型在同一量表上的位置。曲線的陡峭程度由判別系數 a 決定：a 越高曲線越陡，表示題目越能區分不同能力的模型，信息量越大；a 接近零表示曲線平緩，題目為噪音，不同能力的模型答對概率相近；a 為負值表示曲線反向，實際上傷害了高能力模型，通常意味著題目標籤錯誤。通過極大似然估計所有答題結果，可獲得每個模型的 theta 值與置信區間。有趣的是，準確度相同的兩個模型可能有很不同的 theta，因為 IRT 考慮了它們答題的整體模式而非單純計數。

這套框架的實際應用多元且強大。基準測試審計可通過 a 值識別問題項目：直接移除 a 值為負或接近零的項目以提升測試質量。基準測試縮減利用 a 值排序項目，優先保留最具信息量的題目，實測表明用全集 10-20% 的項目就能達到 99% 的相關度，大幅節省評測成本。數據洩漏檢測通過計算殘差（實際答案減去模型 theta 下的預期答案）發現異常。若某個組織的模型在某些題目上表現異常超好（殘差 > 2 標準差），暗示這些題目可能被該組織意外或故意獲取並用於訓練。結合「指紋集」技術——為每個可疑組織分配獨特的測試題目組合——可精確定位洩漏源頭。講者分享的合成實驗表明，用 5 道題目訓練模型後重新評測，被訓練題目的平均殘差達 2+ 標準差，而控制題目保持 < 1 標準差。

模型間的關係分析則通過殘差向量相關性矩陣揭示。同基礎模型的不同蒸餾版本會共享相似的錯誤模式，相關度達 0.93；同一模型的不同難度版本（如 Opus 4.1 的不同推理預算）幾乎完全相關，因為共享大量權重。DIF（差異功能分析）可檢測模型對不同組織的系統性偏差——將數據按供應商分組，繪製各組的 IRT 曲線，若曲線顯著偏離表示模型對某些語言環境或領域有隱藏偏好。講者通過視覺化相關性矩陣發現了模型的自然集群，揭示了 Gemini、Claude、DeepSeek 各自的演進脈絡和市場結構。這些技術還能反推蒸餾源頭和基礎模型共享——強於僅看答案相似度的傳統方法。講者提到還在探索多個前沿應用：基準測試合併以提升總體質量、加入推理時間與令牌消耗作為次級信號、多維智能結構分析以對標人類智力結構等。