Production Evals For Agentic AI Systems - Nishant Gupta, Meta Superintelligence Labs

在 AI 系統迅速發展的今天，評估的含義正在根本性改變。傳統機器學習時代，評估主要聚焦模型在標準基準上的準確度——新版本在測試集上提高了 2 個百分點，團隊就歡欣鼓舞。但生成式智能體系統打破了這種單維評估模式。這些系統不再只是生成答案，而是進行複雜規劃、調用外部工具、檢索信息、執行多步驟工作流、與生產基礎設施交互。因此評估的核心問題從「模型生成了正確答案」轉變為「系統是否表現正確」。

這帶來了深刻的悖論：大多數組織看到基準分數不斷上升，但生產環境的系統可靠性卻停滯不前。根本原因在於基準測試衡量的是模型能力的孤立片段，而生產環境衡量的是整體系統行為。基準無法捕捉工具故障、API 中斷、真實用戶的多樣性或長流程工作流的複雜性。隨著系統自主性增強，基準性能與生產性能的差距日益擴大。此外，評估失敗的來源遠超人們的想像。除了幻覺（hallucination），系統還會經歷記憶檢索失敗、安全機制失效、推理邏輯錯誤、規劃不當、工具執行失誤，以及多智能體間的協調問題。評估若只聚焦模型輸出，就會遺漏大量生產環境的實際風險。

解決之道是採納站點可靠性工程（SRE）的思維方式。SRE 不用準確度衡量成功，而是看可靠性、可用性、延遲、成本和恢復速率。智能體系統應該採用相同方法：目標不是最大化基準分數，而是最大化系統的可依賴結果。為此，評估需要從平面結構升級為金字塔架構。底層是離線基準測試——必要但價值有限；中層是場景驅動評估，模擬真實工作流如客戶支持流程、多智能體協調或研究任務，衡量任務完成率、工具正確性、規劃品質和資源消耗；頂層是生產遙測，收集真實用戶與系統的交互數據，這是價值最高的評估信號來源。

生產環境的角色正在被重新定義。每一次真實用戶交互都成為評估數據——執行追蹤、用戶結果、升級事件、失敗信息、反饋信號都被收集並用於改進。人類不是備用系統，而是評估者，提供自動化指標無法觸及的信號：準確性、可信度、實用性、安全性。成功的系統將自動化評估與有針對性的人類審查相結合。

評估本身也在演變為持續進行的基礎設施。系統不斷漂移——模型版本每幾周更新一次，提示詞變化，工具升級，用戶行為改變——可靠性緩慢下降，成功率逐漸衰退，升級率上升，而沒有持續監測的團隊往往直到用戶投訴才察覺問題。評估從前置的測試階段演進為全生命週期的運營能力：部署前驗證離線場景，部署後遙測識別問題，人類檢視邊界案例，反饋改進訓練集和場景，形成閉環。在這個新架構中，評估成為控制平面的一部分而非獨立工具，持續觀察、收集遙測、運行模擬、協調人類審查，而執行平面則負責實際工作。最後值得注意的是，這個架構下的每一個指標——任務完成率、工具成功率、升級率、安全違規、延遲、成本、恢復率——都直接映射到業務成果。唯獨準確度被排除，不是因為它不重要，而是因為業務成功遠不止準確度。