KeyFrame內部研究專用

One Day, $1,000 in Tokens: An AI War Room for Legacy Code — Ford Prior, GEICO

AI Engineer英文
觀看原始影片

三句話摘要

Geico 如何透過 AI 原生的「多人戰爭室」系統與 FleetKit 協調框架,加速大型軟體變更的協作與決策,打破外層迴圈的瓶頸。 AI 的價值不在於自動化編碼,而在於透過精密的協作架構與決策框架,將整個組織的思考與決策速度提升到與機器編碼相當的水準。 --- 部落格文章參考 講者提到所有投影片與視覺化內容都在今日發佈的部落格文章中,建議查閱原始資源以取得更詳細的架構圖與實驗細節。 軟體交付的真正瓶頸不在編碼:Geico 的內層迴圈因 AI 大幅加速,但工程師只有 25% 頻寬投入驅動競爭力的重大功能變更。外層迴圈——協作、決策、各方同步——仍依賴人工同步,成為新的限制因素。

重點整理

  1. 軟體交付的真正瓶頸不在編碼:Geico 的內層迴圈因 AI 大幅加速,但工程師只有 25% 頻寬投入驅動競爭力的重大功能變更。外層迴圈——協作、決策、各方同步——仍依賴人工同步,成為新的限制因素。

  2. AI 原生戰爭室設計:結合決策者、技術專家、統一通訊平台、互動設計工具、程式碼庫與 agent 艦隊為一體。Agent 不是自動執行,而是產生高品質的分析與建議,由人類在關鍵門檢審核與批准。

  3. FleetKit 的核心:分階段決策流:先派遣「領導者」agent 進行廣泛研究與方案推理,置入人工審核隊列供決策者與專家評論,核准後再派遣「建築者」agent 執行。這個設計既確保了決策品質,也控制了 token 成本。

  4. 外層迴圈加速展現具體成效:三個實驗跨越簡單到複雜的領域,Agent 產出的設計文件與架構圖品質高到讓工程團隊主動保留。其中租賃域減少 8,500 次/月 API 呼叫、報廢域發現生產 bug,證明了人工智慧與人類決策的互補價值。

實用技巧與重點

  • 核心工具與技術
  • FleetKit:基於 markdown 規則的 agent 協調框架,最佳化於 Anthropic Fable
  • Anthropic Code Modernization Plugin:用於架構轉型分析
  • Claude Artifacts:生成互動式 HTML 表單與設計文件
  • Beads:agent 進度追蹤
  • MCP Servers:本機與企業級工具接取
  • Draw.io/Figma:設計與架構視覺化
  • 具體指標
  • 工程師時間配置:僅 25% 頻寬用於主要功能(V1→V2→V3)
  • 租賃域實驗:減少 8,500 次/月 API 呼叫
  • 預算效率:一天內 1,000 美元 AI token 完成一個完整領域映射與提案
  • 三項試驗領域:租賃(Uplift)、損害(Transform)、報廢(Reimagine)
  • FleetKit 九步流程
  • Boot 啟動
  • 2-4. Leader agents:研究、方案設計、決策推理
  • 人工審核隊列:決策者與專家批准
  • 6-9. Builder agents:實施、測試、部署、產出變更請求
  • 協作工件
  • 互動式工作表:由 Cloud Artifacts 產生,人工填寫缺口,自動保存
  • 設計文件:複雜的架構圖、業務拓撲圖,質量高到團隊長期保留
  • 通訊頻道:自動建立 Slack/內部平台頻道,與會者實時協作
  • 效能與成本洞察
  • Prompt Caching 效益遠高於預期
  • Sonnet 5.5 在複雜程式碼改寫中表現與 Fable 相當或更優
  • 警示:勿讓 Fable 自動設置 cron 檢查(每次觸發燒新 session 預算)
  • Subagent 行為偶有不預期情況
  • 未來優化方向
  • 加強決策門檢執行
  • 改進決策模型與模型選擇框架
  • 用圖形化工具(Graphify、Obsidian 等)優化上下文搜尋
  • 音訊自動轉錄(減少手工筆記的資訊丟失)
  • 跨組織推廣部署

結論

AI 的價值不在於自動化編碼,而在於透過精密的協作架構與決策框架,將整個組織的思考與決策速度提升到與機器編碼相當的水準。 --- 部落格文章參考 講者提到所有投影片與視覺化內容都在今日發佈的部落格文章中,建議查閱原始資源以取得更詳細的架構圖與實驗細節。

完整解析

Geico 是大型保險公司,claims 技術群有 300 名工程師。講者 Ford Prior 是資深工程師兼技術傳道者,任務是找出並實踐最佳開發實踐。六個月前,Geico 發現一個嚴重失衡:工程師將時間分散在小型修補與次要升級上,只有 25% 甚至更少的頻寬投入真正驅動競爭力的重大功能變更(如 V1→V2→V3 的版本升級)。

為了釋放工程師的頻寬,Geico 開始投資 AI agent,讓它們承擔規格制定到部署的全程工作。這個決策產生了立竿見影的效果——內層迴圈(編碼與構建)加速了。然而,新的問題隨之而來:大型變更需要把對的人聚集在一起,在正確的時刻做出正確的決定。這涉及複雜的協作——不同的團隊、不同的視角、不同的業務與技術考量。同時,這些決策需要「智慧」:要把眾多變數縫合在一起、進行事實檢查、分析複雜的程式碼,才能給決策者信心去推進變更。簡言之,協作與智慧的缺口成為了新的瓶頸。

為了突破這個瓶頸,Geico 創造了「多人 AI 原生戰爭室」。這不是一個簡單的 AI 工具,而是一個精密的系統,包含四個要素:首先是決策者與領域專家的名單;其次是一名「駕駛手」(講者本人)來操縱昂貴的 AI 工具;再次是 AI 原生的生產力套件,包括通訊頻道(Slack 或內部平台)、互動設計工具(如 Figma)和程式碼庫;最後是強力的 agent 艦隊,配合工作流、技能、MCP 伺服器。

這個系統的核心是 FleetKit,一套精妙的 markdown 規則框架,為 Anthropic Fable 模型最佳化。FleetKit 的邏輯簡潔而有力:首先接收一個任務目標,派遣「領導者」agent 進行廣泛的研究、代碼分析與方案推理,將所有發現與建議置入人工審核隊列(可用 GitHub issues 或 Slack thread 實現),由各相關人員與其他 agent 加入評論與批准。一旦核心方案得到批准,FleetKit 才派遣「建築者」agent 進行實際的實施工作,最終產生可落實的變更請求或程式碼修改。

Geico 在三個不同的領域進行了三次實驗,都在一天內完成了從架構分析到可交付提案的全程。第一個實驗是「租賃」領域——當客戶的車禍車在修理時如何快速安排租賃車。Agent 發現可以連接現有的資料點,將每月的 API 呼叫減少 8,500 次。第二個實驗是「損害」領域,即如何給報告的損失標上金額,Agent 為此開發了新的 API。第三個實驗最複雜,涉及「報廢」領域,包括車輛報廢時的全套流程。在此案例中,Agent 不僅產出了經過各層批准的完整遷移計畫與 API 規格,甚至發現了一個生產環境的 bug。

這個過程中最令人驚喜的是 Agent 產生的工作表與設計文件。這些不是簡陋的草稿,而是精心設計的互動式 HTML 表單與複雜的架構圖。許多工程團隊決定長期保留這些文件,因為它們系統化了過去沒人有時間繪製的業務與技術脈絡。

講者也分享了幾個寶貴的經驗教訓。首先,Token 成本與 Prompt Caching 的效益遠超預期——單日 1,000 美元的預算在精心設計的工作流中能產出高品質成果。其次,模型選擇至關重要:在複雜的舊系統改寫任務上,基準測試顯示 Sonnet 5.5 的表現甚至優於 Fable,這開啟了成本最佳化的空間。還有一個教訓是千萬不要讓 Claude Fable 自動設置 cron job 來檢查進度,因為每次觸發都會啟動新的 session,瞬間燒光預算。

展望未來,Geico 計畫加強決策門檢的執行、改進決策模型與模型選擇框架、用圖形化工具改進知識管理(目前只用 markdown)、引入自動音訊轉錄以減少會議記錄的資訊丟失,並最終將這套系統推廣到整個組織。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。