KeyFrame內部研究專用

一个月2500个PR,她怎么评审

Why QQ中文
觀看原始影片

三句話摘要

AI Agent工作流最佳實踐:如何透過驗證系統、工程約束和風險分級,把人肉代理工作轉化成可持續的自動化流程。 未來程式設計師會在環境設計、驗證系統和風險分級上花更多時間——把人從「人肉代理」轉向系統思考,是提升Agent生產力的真正槓桿。 Agent需要「手和眼」而非轉述。Lauren強調關鍵改進:讓Agent直接運行代碼、點擊頁面、讀取控制台和效能追蹤,而不是你截圖後再貼給它。這樣每次迴圈都有真實反饋,不會陷入「你當外設、Agent只能猜測」的困局。

重點整理

  1. Agent需要「手和眼」而非轉述。Lauren強調關鍵改進:讓Agent直接運行代碼、點擊頁面、讀取控制台和效能追蹤,而不是你截圖後再貼給它。這樣每次迴圈都有真實反饋,不會陷入「你當外設、Agent只能猜測」的困局。

  2. 把重複糾正變成系統約束。比起寫一百條提示詞要求記住規矩,更有效的是用lint規則、型別設計、目錄結構讓某些錯誤無法通過檢查。評審裡重複出現的評論都可以轉化成工具——這樣全隊都能複用,失敗也更容易定位。

  3. 建立驗證Skill而非單純增加Agent數量。Lauren的做法是把Chrome DevTools、Playwright、CLI命令這類機械步驟沉澱成固定工具,讓Agent只保留需要判斷的部分。這提升可比較性,也減少重複發明。

  4. 分離内外迴圈,用聚合隊列過濾噪音。内迴圈負責改代碼和驗證,外迴圈從Slack、Linear和用戶反饋引入信息。關鍵是不立即逐個執行,而是先收集去重分組,才能看清根因而不是追著每個信號重複修同一個問題。

實用技巧與重點

  • 人物背景:
  • Matt Pocock:Total TypeScript 和 AI Hero 作者,前Vercel開發者倡導,參與XState
  • Lauren Tan(poteto):前Meta React團隊、Netflix、Cursor,React Compiler核心團隊成員,SpaceXAI Grok Bot工作,開源Agent工程框架pstack
  • 驗證工具和方法:
  • Playwright:自動化瀏覽器操作
  • Chrome DevTools:讀取火焰圖和堆快照
  • CLI和Skill沉澱:把重複命令變成短命令和模板
  • 內部框架Dune:固定目錄、嚴格lint規則,減少Agent自由度
  • 工作流分類:
  • Inner loop:改代碼 → 驗證 → 交付
  • Outer loop:從Slack、Linear、用戶反饋帶入新信息
  • 風險分級:
  • 低風險可回復改動:事後抽檢 + 自動合併可接受
  • 高風險改動(涉及資金、合規、資料遺失):需前置審查和另一套証據
  • 協調Agent:負責規劃和委派,不寫代碼
  • 審查策略:
  • Sampling(抽檢)而非逐份審查:發現多個Agent重複捷徑 → 回去修改Skill和約束
  • 結合線上錯誤、回滾記錄和用戶反饋判斷,不只看diff漂亮度
  • pstack要求重新檢查變化後的補丁並結合CI狀態

結論

未來程式設計師會在環境設計、驗證系統和風險分級上花更多時間——把人從「人肉代理」轉向系統思考,是提升Agent生產力的真正槓桿。

完整解析

Matt Pocock和Lauren Tan的訪談暴露了AI Agent工作流中最容易被忽視的問題。當有人說「一個月2500個PR」時,很容易被產量嚇到,但Lauren直言這些PR包含大量「代碼園藝」(格式、重構、小修改),重點應該落在她如何把人工糾正變成可複用的系統。

訪談中最有實用價值的部分圍繞「驗證」展開。Lauren在優化Cursor的Agent性能時發現,大量時間浪費在「人肉代理」環節上:Agent說改好了,你得啟動項目、看頁面有沒有報錯、複製終端訊息、截圖接口失敗、再貼回去問一次。你看起來在指揮AI,實際上在當它的外設。Agent看不到真實產物,只能根據你的轉述繼續猜。這樣的迴圈沒有反饋。

改進方案很直白:給Agent「手和眼」。讓它自己運行代碼、點擊頁面、讀取控制台錯誤和效能追蹤。修前端bug時,可以給Agent一條固定命令:啟動應用、打開路由、執行復現步驟、保存控制台錯誤和截圖。修效能問題時再補一份可比較的記錄。Agent宣布完成前必須拿出運行證據。這樣每個迴圈都閉合了。

但驗證充分不等於設計良好。Agent可以證明按鈕能點、接口能返回、效能數字變低,也可能把程式碼塞進錯誤的位置或把臨時方案擴散到整個倉庫。工程驗收要分兩類:行為是否符合預期(可交給腳本和測試)和結構是否方便下次修改(需要型別設計、模組邊界和人的判斷)。一個PR能跑起來,只說明它跨過行為門檻,值不值得留下還要看維護者半年後能不能看懂。

第二個關鍵洞察是確定性和工具化。Agent每次驗證都臨時寫指令碼再丟掉,下個Agent重新發明一遍——既慢又難比較。Lauren把重複步驟收進CLI和Skill,用Playwright、Chrome DevTools協議讓截圖和trace都由同一套工具處理。你也可以翻聊天記錄找出連續貼了三週的命令或每次都要解釋的檢查,把它們變成短命令、模板或倉庫指令碼。沉到工具裡的規則全隊複用,失敗也更容易定位。

Lauren的團隊還用內部框架Dune強化約束。Dune有固定目錄和嚴格的lint規則,讓很多改動只剩一種常見寫法。早期Grok Bot有八個上萬行的超大檔案,Agent很容易順著壞模式加代碼。她會先拆分結構,再把重複錯誤轉成lint、型別或目錄約束。這比追加更多提示詞有效得多——代碼庫可以直接讓某些錯誤無法通過檢查。普通專案也能禁止跨層import、限制舊API或給危險狀態加型別區分。評審裡重複出現的評論都可以考慮交給工具。

工作流架構上,Lauren把工作分成inner loop和outer loop。内迴圈負責改代碼、驗證和交付;外迴圈從Slack、Linear和用戶反饋引入新信息。過去她看到bug就複製給Agent,自己成了搬運工。現在Grok Bot訂閱外部信號,Cursor Projects裡的協調Agent拆分任務和管理子Agent。這條鏈路才解釋了高PR數量——觸發來自真實工作,執行帶有共享上下文,人不用手動創建幾千次聊天。有個容易略過的細節是,Lauren讓Agent持續掃描React裡的危險寫法,掃描結果先追加到文件,不立即逐個修。隔幾天再讀時,經常發現許多記錄指向同一個根因。這個緩衝隊列很反直覺——自動化越快,人越容易把每個信號當成獨立工單,結果重複修同一個問題還錯過更高層的模式。團隊可以給自動修復加一道聚合步驟:先收集、去重、按模組和症狀分組,才決定是否開工。

談到2500個PR怎樣評審,Lauren的答案是抽檢。她抽查已合入的程式碼,發現多個Agent重複走捷徑,就回去修改Skill、lint、型別和目錄結構。她從逐份放行轉向檢查系統能否持續產生合格結果。這個爭議點值得反思:事後看main能不能算評審?答案取決於改動風險和回滾成本。低風險、可回復、驗證充分的工作,抽檢能減少阻塞。高風險改動仍需前置審查。抽檢也不能只看diff是否漂亮,還要結合線上錯誤、回滾記錄和用戶反饋,否則只是推遲評審,問題會在更貴的地方出現。

自動合併這件事更需謹慎。單剪「她睡覺時Agent自動合併」這一段很容易變成全自動編程神話。放回整場訪談,門檻很高——專案要有驗證Skill、代碼庫要持續清理、常見錯誤要被約束、PR還經過多個Verifier Agent反覆運行和模糊測試。Lauren也直說這套流程很耗token。不建議第一天打開自動合併,更穩妥的順序是先讓Agent準備可審查的PR,再開放固定類型的低風險改動,觀察回滾率和漏檢,慢慢擴大權限。Matt提起醫療、金融等高風險場景時用了「單向門」和「雙向門」的比喻:能低成本revert的改動事後抽檢比較容易接受,會造成資料遺失、資金變化或合規影響的改動需要另一套證據和審批。

最後的建議是,別急著安裝別人的pstack,更值得抄的是她製作Skill的方法。導出最近二十次真實開發記錄,標記每次人工接管:你在補背景、糾正目錄、要求重跑還是推翻設計?出現三次以上的干預就是改造候選。別人的Skill提供起點,你的聊天記錄暴露團隊真正的摩擦。模型能力變化後也可以刪掉多餘實現細節,保留穩定的流程。一個實踐建議是挑一個每週重複五次的驗收環節讓Agent自己完成並留下證據,跑穩以後再把重複錯誤寫進lint和型別,接著接入真實任務來源給自動修復加聚合隊列,等數據證明它可靠才討論並行和自動合併。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。