再也不怕看不懂 AI 排行榜！Benchmark 入門指南

在 AI 模型百花齊放的時代，「哪個模型比較強」已經不能靠主觀感覺回答。基準測試（Benchmark）就是為了解決這個問題而生的標準化考卷，讓所有模型用同一份題目、同一套評分標準接受測驗，才能客觀比較實力、追蹤技術進展，也才能發現模型的盲點——無論是數學不行、推理有誤，還是安全存在隱患——進而指引研究方向。

基準測試主要分為四大類。知識類以 MMLU 為代表，涵蓋數學、法律、醫學、哲學等 57 個學科，人類專家平均正確率約 90%，而 GPT 系列現已達到 86% 左右，三年前同類模型卻不到 50%，四年間進步了整整 30 個百分點。推理類則以 GSM8K（8,000 多題小學數學應用題，需要多步驟計算）和 MATH（高中至大學競賽難度）為主，後者即便是 GPT 系列也只有約 42%，而人類頂尖學生可達 90%，數學推理仍是 AI 的明顯弱點。程式能力的標竿是 HumanEval，共 164 道 Python 題，評分採用 pass@k 方式，OpenAI Codex 已達到 87%；更貼近實戰的 SWE-Bench 考的是真實 GitHub PR 修復，直到 2024 年才有模型突破 50%。安全類的 TruthfulQA 與 BBQ 則檢驗模型是否說謊、是否存在偏見。在排行榜層面，Hugging Face 的 OpenLLM Leaderboard 整合多個基準給出統一排名，是開源社群的主要參考；LMSYS 的 Chatbot Arena 則採用人類盲測投票加 ELO 評分，更能反映真實使用體驗。

然而基準測試並非萬能，存在兩大根本缺陷。其一是資料污染：若訓練資料已包含測試題目，模型只是「背答案」而非真正理解，分數虛高。其二是過度優化：研究團隊針對特定基準調整超參數，分數漂亮了，真實能力卻未必跟上，猶如為了考試而考試，考高分不等於真的變聰明。此外，現有基準大多以英文為主，存在文化偏誤；而長文脈處理、工具使用、多輪對話一致性、安全與價值對齊等現實中不可或缺的能力，目前的基準幾乎都測不出來，因此「MMLU 滿分不代表能當律師，HumanEval 高分不代表能寫產品級程式碼」。

面對這些局限，業界正朝三個新趨勢演進：動態基準讓每次題目都不同，防止模型提前背題；對抗基準讓 AI 自動生成更難的題目來挑戰其他 AI，持續打破分數天花板；多模態基準則結合圖片、影片與音訊，測試模型的綜合理解能力，預計將成為下一波主流。長遠來看，代理人測試（評估 AI 自主完成複雜任務）、標準化評估框架以及可驗證的開源基準，將共同構成更成熟的 AI 能力評估體系。