KeyFrame內部研究專用

How to Build an AI Code Review Agent - Daksh Gupta, Greptile

AI Engineer英文
觀看原始影片

三句話摘要

如何從零開始構建高效能的AI程式碼審查代理,掌握Griptile公司驗證系統的核心設計原則。 高效的AI程式碼審查代理需要六層遞進式改進——從簡單提示詞優化到深度codebase知識庫與自動化測試,並以智慧模型分配降低成本,而非僅將代理與codebase連接。 初級系統的四大失敗點:bugs呈分形無限遺漏率極高、成本爆炸(每PR $3-25)、context理解不足導致誤判、細微挑剔評論反而毀壞程式碼品質——因為自動修復代理會無差別地解決所有評論。

重點整理

  1. 初級系統的四大失敗點:bugs呈分形無限遺漏率極高、成本爆炸(每PR $3-25)、context理解不足導致誤判、細微挑剔評論反而毀壞程式碼品質——因為自動修復代理會無差別地解決所有評論。

  2. 提示詞優化是最快見效的改進,需明確指定要尋找的bug類型(通過分析公司歷史incident),並明確禁止細微挑剔;但prompt微小改變會造成評論數量劇變,難以驗證有效性。

  3. 模型反演提升10%的catch率——如果Claude寫程式碼就用GPT審查、反之亦然,因為不同模型失敗模式完全不同(Claude容易off-by-one、GPT容易auth bypass),80%能自動檢測model指紋,20%需要啟發式判斷。

  4. 程式碼庫context是最困難的改進,需建立內部知識庫索引整個codebase、驗證流程、API端點,避免低效的grep(導致GDP成長的大幅token浪費在盲目檔案讀取),並整合Jira、Linear、Confluence等文件以補充隱性領域知識。

實用技巧與重點

  • 成本與罕見度
  • 每個PR成本:$3-25(基於實現方式)
  • Catastrophic bug罕見度:約每1000個PR或每1000行程式碼出現一次
  • Bug特性:分形無限性,新型bugs隨代理進步而不斷出現
  • 工具與平台
  • 沙箱:Firecracker、各家沙箱供應商
  • Agent框架:Code X、Cloud Code、Open Code、Pi(推薦model-independent)
  • 程式碼來源:GitHub、GitLab(via webhook)
  • 模型:Claude、GPT/Codex、Opus
  • 上下文來源:Jira、Linear、Confluence、Notion、Slack
  • API:GitHub review APIs
  • 模型配置
  • 前沿模型占比:20%(用於關鍵任務如bug分析、review流程、提交前檢查)
  • 便宜模型用途:探索性搜尋、檔案讀取、context過濾
  • 實務子任務數:約20個,各有專門模型配置
  • Model inversion效果:10%更高的incident catch率
  • 模型指紋檢測
  • Codex:branch名稱含codex/格式
  • Claude:PR描述與commit message含co-authored-by
  • 準確率:80%自動檢測,20%需啟發式判斷
  • 成本優化結果
  • 正確實施可將成本降至初級系統的70-80%
  • 使用決策模型(Decision API)進行re-ranking,優化frontier model cache使用

結論

高效的AI程式碼審查代理需要六層遞進式改進——從簡單提示詞優化到深度codebase知識庫與自動化測試,並以智慧模型分配降低成本,而非僅將代理與codebase連接。

完整解析

Dax來自Griptile公司,每日服務數千家公司、處理GitHub約1%的PR量。演講揭示了為什麼簡單的AI程式碼審查系統會失敗,以及如何逐步改進。

初級系統的架構看似簡單:沙箱內放入代理(Code X或Cloud Code皆可),透過webhook接收GitHub/GitLab的PR,代理審查後以GitHub API返回反饋。但實施後會面臨四大問題。首先,bugs呈分形無限性,系統永遠遺漏大量缺陷。其次,成本驚人,每個PR需$3至$25。第三,系統誤解codebase context,特別是對有數百個微服務的公司。第四,產生大量技術正確但過度繁瑣的挑剔評論,不僅令人厭煩,還會在自動修復時導致防禦過度的程式碼。

講者提出六項核心改進。首項是提示詞優化:明確指定搜尋的特定bug類型(透過分析歷史incident),並明確禁止挑剔評論。但提示詞微小改動會劇烈改變評論數量,難以驗證有效性——因為系統無法證明bugs的缺失,僅能檢測其存在。

第二項是建立歷史PR資料集,蒐集過去造成outage和incident的PR進行校準。但隨著代理進步,新型bugs會持續出現,維護高覆蓋的資料集困難重重。

第三項是模型反演——用不同模型審查。Claude模型容易產生off-by-one錯誤、GPT模型容易產生auth bypass,這是post-training的副產品。使用相反模型能提升10%的catch率——在事件層級上這是巨大改進。檢測模型指紋(Codex的branch命名、Claude的co-authored-by標記)約80%時有效,20%需啟發式判斷。

第四項是程式碼庫context,最困難但最關鍵。雖然多數人認為grep足夠,但實際上grep極低效,造成GDP成長中龐大的token被浪費於盲目檔案讀取。理想方案是建立內部知識庫,索引整個codebase、驗證流程、所有相關檔案。除程式碼外,文件(Confluence/Notion)和票務系統(Jira/Linear)的隱性領域知識同樣關鍵——許多優質程式碼的背後是工程師的深厚背景知識。Griptile用「living wiki」構建公司運作的世界模型。

第五項是自動化測試,特別針對UI變更。需構建完全可配置的虛擬機沙箱、spin up完整stack、使用vision models進行端到端測試。現代vision models(尤其GPT和Opus)已足夠好,能檢測按鈕在iPhone上隱藏等細節問題。

第六項是成本優化。約20%token用前沿模型處理關鍵任務(bug分析、review流程、提交前檢查),長尾的探索、檔案讀取等用便宜模型。實務中Griptile對約20個子任務進行個別模型優化。但無良好資料集時,盲目替換模型風險極高——可能降低catch率卻無知覺,直到發生outage才發現。使用決策模型進行re-ranking,精準選擇哪些context載入昂貴的frontier model cache。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。