KeyFrame內部研究專用

Claude Code不再可靠? Google EGM 實測:9個問題,兩次審查結果不同|安裝與使用教學課程

YAHA学堂中文
觀看原始影片

三句話摘要

Google開源EGM外掛在Claude Code的實測:用獨立審查代理找出設計文件的隱藏問題。 EGM能有效揪出設計的隱藏缺陷與跨層次風險,但實測耗時遠超宣傳,最適合高風險修改或需團隊協作的場景,小幅修改需評估成本效益。 EGM採三角色分工設計:主代理(大象)保留項目背景與決策脈絡,金魚審查代理則在隔離上下文中獨立檢查,避免前文偏見影響判斷。這種設計讓不同視角的審查者能各自發揮,提高審查的客觀性與完整性。

重點整理

  1. EGM採三角色分工設計:主代理(大象)保留項目背景與決策脈絡,金魚審查代理則在隔離上下文中獨立檢查,避免前文偏見影響判斷。這種設計讓不同視角的審查者能各自發揮,提高審查的客觀性與完整性。

  2. 完整審查流程分五階段進行,十個獨立審查者各有專門職責。第五階段負責全局檢視與創新思路,第六階段讓首次讀者檢查可理解性,第七階段進行設計批評與結構檢查,第八與九階段再次檢視整體與實作準備度,形成多層次的立體審查。

  3. 實測不只找到故意埋入的九個問題,還發現新增指令參數解析錯誤、日期判邏輯差異導致提早15小時判定逾期、極端日期值讓清單指令當掉等實際會造成程式錯誤的缺陷。獨立審查代理能跨越單一視角的盲點。

  4. 獨立審查對決策流程的制衡作用:即使使用者已批准某些選擇,審查代理仍會提出質疑;同時誠實標記哪些部分無法驗證(如版本說法來自知識而未實際執行),比虛報發現數更有價值。

實用技巧與重點

  • 安裝與環境需求
  • Claude Code 2.1.271版以上(實測2.1.325版)
  • 付費方案使用額度
  • Python、Git(選擇性,若執行測試套件)
  • Google外掛市集、EGM外掛本體(~4MB)
  • 實測時間與成本
  • 第一次審查:8分20秒
  • 第二次審查:10分鐘(含3次權限詢問約1分鐘)
  • README宣傳:60秒(實測明顯超出)
  • 每審查者詞元消耗:約1.3萬
  • 腦力激盪整合代理(4.5分鐘):約7萬詞元
  • 五階段十審查者配置
  • 第5階段:全局審查者、創新思路審查者
  • 第6階段:首次讀者(僅文件、無程式碼)
  • 第7階段:設計批評者、結構檢查者、文字編輯
  • 第8階段:再次全局檢視
  • 第9階段:務實技術主管、稽核者
  • 故意埋入的9個問題與發現結果
  • 第一次審查:9/9全中
  • 第二次審查:8/9(漏掉程式碼原有舊問題)
  • 額外發現:4項未刻意埋入的缺陷
  • 實測找出的5項阻礙實作問題
  • 新增指令標題含雙連減號導致失敗
  • 無引號時間參數混入標題致逾期判定晚15小時
  • 極端到期日(9999年)導致清單指令當掉
  • 承諾項目物理上無法成立
  • 規則內容互相矛盾
  • 起草設計文件流程
  • 分章節進行,每章暫停確認
  • 7項未定案決策列出選擇與代價
  • 文件擴寫:130字 → 8000字(待辦程式)
  • 存放位置:docs/designs資料夾
  • 不建立Git提交
  • 審查成本評估決策
  • 值得投入:高風險修改、團隊執行計畫
  • 不值得投入:範圍小、做法清楚的修正

結論

EGM能有效揪出設計的隱藏缺陷與跨層次風險,但實測耗時遠超宣傳,最適合高風險修改或需團隊協作的場景,小幅修改需評估成本效益。

完整解析

Google在2026年10月開源的EGM外掛是一套軟體設計審查助手系統,核心概念源自Dave Rensin的「大象、金魚與軟體工程新黃金時代」文章。系統採取三角色分工設計:主代理稱為大象,負責跟使用者溝通需求、保留項目背景與先前決策脈絡;金魚代理則在完全隔離的全新上下文中工作,拿到設計文件與指定參考資料後獨立進行審查,避免前文資訊對判斷的影響;最終決策權仍留給人類。這種設計讓不同視角的審查者能各自發揮,形成客觀的立體審查。

為確保實測的公信力,作者先寫了一個簡單的待辦事項程式,再用設計文件規劃新功能。他故意埋入九個問題:日期存成純文字無法排序、提醒每分鐘重複永不停止、兩進程寫入同檔案産生競爭、測試文件描述不足等。事先準備答案清單是關鍵——許多工具的審查報告寫得冗長,容易讓人以為審得很仔細,但真正找到的可能都是表面問題。有了事先列好的答案,才能驗證EGM到底有沒有抓住真正重要的缺陷。

實測過程中遇到幾個Claude Code的UI陷阱。首次信任專案時游標預設在「否」,新手容易直接按Enter就離開。輸入審查指令時若按Escape關掉建議清單,第一次Enter可能無法送出。每輪對話結束時輸入框可能出現灰色建議文字——那不是真的輸入,直接按Enter會誤送,需按Ctrl+U清除。這些細節對首次使用者來說容易踩坑。

完整審查分五個階段進行,每階段內的審查者可平行工作,共啟動十個獨立子代理。第一次審查消耗8分20秒,遠遠超過README標題「試試60秒審查」的承諾。第二次使用一般權限模式,耗時10分鐘且中途停下來詢問三次讀取權限,其中約1分鐘花在處理提示。最終產出六份審查報告,審查結論是該計畫還不能開始實作。驗證時刻意埋入的九個問題全數被發現,但價值不止於此。EGM還找到了作者沒有故意埋入的額外缺陷——新增指令會把後續所有文字(包括時間參數)並入標題,以及Python日期函式對只有日期輸入的解析會導致任務提早一天被判定逾期,這些都是實際會造成程式錯誤的問題。

費用方面,每個審查者大約讀取1.3萬個詞元,完整五階段審查涉及十個代理,費用以詞元累積計算。腦力激盪環節開始後4.5分鐘,負責整合意見的代理已消耗約7萬詞元。獨立審查對決策流程的制衡作用也值得注意:即使使用者已經批准某些選擇,審查代理仍會提出質疑。同時系統也會誠實標記哪些部分無法驗證,比如pip與setuptools的版本說法來自審查者的知識而非實際執行驗證,這種透明度比虛報發現數更有價值。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。