敢让Agent自动合并代码吗？先造这道门

評估 AI Agent 的核心矛盾是：Agent 寫程式碼越來越快，審查瓶頸還在人，團隊在問能不能讓改動自動合併。這個問題的答案不是敢不敢，而是有沒有證據。

主流評估方法是用強模型當裁判給其他 Agent 輸出打分。這個做法在 2023 年 Berkeley 的論文裡看起來可靠，GPT-4 當裁判和人類評估者的一致率超過 80%。但很多後來的應用只記住了 80% 的部分，忽視了原論文列出的三類系統性偏差。最明顯的是自我偏差：2026 年的基準測試顯示，GPT-5.2 和 Gemini-3.1 當裁判時把 75%-84% 的勝率判給自己家族的模型，反過來用另一個模型評，分數從 93.3% 跌到 39.5%。這不是巧合，而是 2024 年已被證實的現象——模型能識別自己的輸出並系統性偏愛。

用同一家的強裁判是最大的陷阱。正確做法是用不同模型家族組成評審團，對高風險判斷實施多個裁判投票，跨廠商評審團比單個強裁判更準，成本還低好幾倍。但凡能客觀驗證的東西，比如檔案存不存在、狀態改沒改、測試過沒過，都應該交給程式碼而不是裁判。一個被汙染的裁判比沒有裁判更糟，因為它把猜測洗成數字，系統再照著數字自動行動。

分數本身是無害的。害人的是把分數停在儀表板上不採取行動。很多團隊的評估像溫度計一樣只報數，卻沒有改變系統狀態的恆溫器。真正的評估工程要把評分嵌入 Agent 的執行環節，讓每個裁決對應一個結構性動作：證據不足的輸出直接拒絕，編造嫌疑的分支隔離，只有被外部驗證過的完成才有資格結束一次執行。這裡有個常見的陷阱——Agent 在報告裡說遷移完成，但去查系統狀態發現指令碼中途超時了。所以別問 Agent 做完沒有，去看系統狀態到底變沒變。

路徑和答案是兩碼事。同一個正確答案，用 3 步和用 40 步蝦走的風險完全不同。很多 Agent 用完全錯誤的路徑莫名其妙打出了對的答案，沒人發現，直到一個月後路徑塌了。所以評估要分三層：端到端看任務成沒成，軌跡這層看路徑乾不乾淨，細節這層看具體哪個工具壞了。事實準確度最容易藏風險——Agent 寫得乾乾淨淨，順手編了個匯率，儀表板上所有質量指標都是綠的，直到有個客戶按這個匯率真的下了單。所以每個說法都要在工具真實返回的內容裡找出處，這比答案正確更能預測自動合併的風險。

測試資料從哪來直接決定評估的效果。坐在工位上想的測試只防想象到的失敗，真正貴的失敗都帶著時間戳躺在日誌裡。需要從四種執行記錄逆向提取測試用例：順利跑完的作為正常基線，使用者改說法或糾正 Agent 的那次就是免費的標註，工具返回空的和外部依賴超時的都是寶貴的真實失敗案例。每條日誌要記四行：Agent 做了什麼、哪裡好、哪裡壞、鍋在 Agent 還是依賴。線上日誌提供的不是完美測試用例，而是你的系統在真實世界真正失敗的地方。

裁判是軟體，軟體就有版本號。裁判悄悄升級一次，前後兩個月的分數就沒法比。所以每個分數都要帶著裁判版本一起存。評分標準要壓成一句話：某個可以獨立觀察的結果發生了才算過。不獎勵答案的形狀、長度、關鍵詞數量、跟參考答案的相似度，這些都是古德哈特定律的陷阱——Agent 會學會讓自己看起來對而不是真的對。用裁判前要測裁判，給一個明顯正確的結果和一個貌似合理的錯誤結果，任何一個判反了，壞的是標準不是 Agent。

很多人覺得讓模型自己檢查一遍總比不檢查強。DeepMind 在 2024 年的研究裡發現，沒有外部反饋的自我糾偏並不可靠，有時還會把正確答案改錯。但有測試結果、有工具返回、有真實系統狀態是另一回事。測試規模的經驗值是至少 500 條，但真正關鍵的不是數字，而是有沒有覆蓋真實失敗，跑一輪的時間要短到沒人需要為它安排日程，比一杯咖啡還慢的測試遲早會變成嫉妒儀式。

開門標準是決定能不能自動合併的關鍵。很多方案用一個知心度分數，設個閾值就放行，但知心度是整個決策裡最弱的變數。真正強的變數是這次改動要是錯了要花多大代價，也就是爆炸半徑。按它分三條車道：可逆又區域性的改動（單文案、單測試、有覆蓋的獨立函式），錯了大不了回滾，這條道先開；可逆但影響面廣的（共享工具、新增資料庫結構、一堆呼叫方依賴），需要確定性檢查加上軌跡乾淨才開；難以逆轉的（資料庫遷移、刪除操作、生產寫入、金融操作）預設禁止自動合併，必須人工確認。開啟之後讀證據的順序也有講究：確定性結果排第一，沒有模型參與的歷史記錄排第二（這個 Agent 在這塊程式碼上被回滾過多少次就是它的信用分），模型評分最後。先跑影子模式，給每個改動打分但一個都不合並，統計它和人類評審的分歧率，壓不下去門就一直關著。決定標準只有一條：它錯了以後我能不能安全撤回來。