How to Build an AI Code Review Agent - Daksh Gupta, Greptile
三句話摘要
如何從零開始構建高效能的AI程式碼審查代理,掌握Griptile公司驗證系統的核心設計原則。 高效的AI程式碼審查代理需要六層遞進式改進——從簡單提示詞優化到深度codebase知識庫與自動化測試,並以智慧模型分配降低成本,而非僅將代理與codebase連接。 初級系統的四大失敗點:bugs呈分形無限遺漏率極高、成本爆炸(每PR $3-25)、context理解不足導致誤判、細微挑剔評論反而毀壞程式碼品質——因為自動修復代理會無差別地解決所有評論。
重點整理
初級系統的四大失敗點:bugs呈分形無限遺漏率極高、成本爆炸(每PR $3-25)、context理解不足導致誤判、細微挑剔評論反而毀壞程式碼品質——因為自動修復代理會無差別地解決所有評論。
提示詞優化是最快見效的改進,需明確指定要尋找的bug類型(通過分析公司歷史incident),並明確禁止細微挑剔;但prompt微小改變會造成評論數量劇變,難以驗證有效性。
模型反演提升10%的catch率——如果Claude寫程式碼就用GPT審查、反之亦然,因為不同模型失敗模式完全不同(Claude容易off-by-one、GPT容易auth bypass),80%能自動檢測model指紋,20%需要啟發式判斷。
程式碼庫context是最困難的改進,需建立內部知識庫索引整個codebase、驗證流程、API端點,避免低效的grep(導致GDP成長的大幅token浪費在盲目檔案讀取),並整合Jira、Linear、Confluence等文件以補充隱性領域知識。
實用技巧與重點
- 成本與罕見度
- 每個PR成本:$3-25(基於實現方式)
- Catastrophic bug罕見度:約每1000個PR或每1000行程式碼出現一次
- Bug特性:分形無限性,新型bugs隨代理進步而不斷出現
- 工具與平台
- 沙箱:Firecracker、各家沙箱供應商
- Agent框架:Code X、Cloud Code、Open Code、Pi(推薦model-independent)
- 程式碼來源:GitHub、GitLab(via webhook)
- 模型:Claude、GPT/Codex、Opus
- 上下文來源:Jira、Linear、Confluence、Notion、Slack
- API:GitHub review APIs
- 模型配置
- 前沿模型占比:20%(用於關鍵任務如bug分析、review流程、提交前檢查)
- 便宜模型用途:探索性搜尋、檔案讀取、context過濾
- 實務子任務數:約20個,各有專門模型配置
- Model inversion效果:10%更高的incident catch率
- 模型指紋檢測
- Codex:branch名稱含codex/格式
- Claude:PR描述與commit message含co-authored-by
- 準確率:80%自動檢測,20%需啟發式判斷
- 成本優化結果
- 正確實施可將成本降至初級系統的70-80%
- 使用決策模型(Decision API)進行re-ranking,優化frontier model cache使用
結論
高效的AI程式碼審查代理需要六層遞進式改進——從簡單提示詞優化到深度codebase知識庫與自動化測試,並以智慧模型分配降低成本,而非僅將代理與codebase連接。
完整解析
Dax來自Griptile公司,每日服務數千家公司、處理GitHub約1%的PR量。演講揭示了為什麼簡單的AI程式碼審查系統會失敗,以及如何逐步改進。
初級系統的架構看似簡單:沙箱內放入代理(Code X或Cloud Code皆可),透過webhook接收GitHub/GitLab的PR,代理審查後以GitHub API返回反饋。但實施後會面臨四大問題。首先,bugs呈分形無限性,系統永遠遺漏大量缺陷。其次,成本驚人,每個PR需$3至$25。第三,系統誤解codebase context,特別是對有數百個微服務的公司。第四,產生大量技術正確但過度繁瑣的挑剔評論,不僅令人厭煩,還會在自動修復時導致防禦過度的程式碼。
講者提出六項核心改進。首項是提示詞優化:明確指定搜尋的特定bug類型(透過分析歷史incident),並明確禁止挑剔評論。但提示詞微小改動會劇烈改變評論數量,難以驗證有效性——因為系統無法證明bugs的缺失,僅能檢測其存在。
第二項是建立歷史PR資料集,蒐集過去造成outage和incident的PR進行校準。但隨著代理進步,新型bugs會持續出現,維護高覆蓋的資料集困難重重。
第三項是模型反演——用不同模型審查。Claude模型容易產生off-by-one錯誤、GPT模型容易產生auth bypass,這是post-training的副產品。使用相反模型能提升10%的catch率——在事件層級上這是巨大改進。檢測模型指紋(Codex的branch命名、Claude的co-authored-by標記)約80%時有效,20%需啟發式判斷。
第四項是程式碼庫context,最困難但最關鍵。雖然多數人認為grep足夠,但實際上grep極低效,造成GDP成長中龐大的token被浪費於盲目檔案讀取。理想方案是建立內部知識庫,索引整個codebase、驗證流程、所有相關檔案。除程式碼外,文件(Confluence/Notion)和票務系統(Jira/Linear)的隱性領域知識同樣關鍵——許多優質程式碼的背後是工程師的深厚背景知識。Griptile用「living wiki」構建公司運作的世界模型。
第五項是自動化測試,特別針對UI變更。需構建完全可配置的虛擬機沙箱、spin up完整stack、使用vision models進行端到端測試。現代vision models(尤其GPT和Opus)已足夠好,能檢測按鈕在iPhone上隱藏等細節問題。
第六項是成本優化。約20%token用前沿模型處理關鍵任務(bug分析、review流程、提交前檢查),長尾的探索、檔案讀取等用便宜模型。實務中Griptile對約20個子任務進行個別模型優化。但無良好資料集時,盲目替換模型風險極高——可能降低catch率卻無知覺,直到發生outage才發現。使用決策模型進行re-ranking,精準選擇哪些context載入昂貴的frontier model cache。


