One Day, $1,000 in Tokens: An AI War Room for Legacy Code — Ford Prior, GEICO
三句話摘要
Geico 如何透過 AI 原生的「多人戰爭室」系統與 FleetKit 協調框架,加速大型軟體變更的協作與決策,打破外層迴圈的瓶頸。 AI 的價值不在於自動化編碼,而在於透過精密的協作架構與決策框架,將整個組織的思考與決策速度提升到與機器編碼相當的水準。 --- 部落格文章參考 講者提到所有投影片與視覺化內容都在今日發佈的部落格文章中,建議查閱原始資源以取得更詳細的架構圖與實驗細節。 軟體交付的真正瓶頸不在編碼:Geico 的內層迴圈因 AI 大幅加速,但工程師只有 25% 頻寬投入驅動競爭力的重大功能變更。外層迴圈——協作、決策、各方同步——仍依賴人工同步,成為新的限制因素。
重點整理
軟體交付的真正瓶頸不在編碼:Geico 的內層迴圈因 AI 大幅加速,但工程師只有 25% 頻寬投入驅動競爭力的重大功能變更。外層迴圈——協作、決策、各方同步——仍依賴人工同步,成為新的限制因素。
AI 原生戰爭室設計:結合決策者、技術專家、統一通訊平台、互動設計工具、程式碼庫與 agent 艦隊為一體。Agent 不是自動執行,而是產生高品質的分析與建議,由人類在關鍵門檢審核與批准。
FleetKit 的核心:分階段決策流:先派遣「領導者」agent 進行廣泛研究與方案推理,置入人工審核隊列供決策者與專家評論,核准後再派遣「建築者」agent 執行。這個設計既確保了決策品質,也控制了 token 成本。
外層迴圈加速展現具體成效:三個實驗跨越簡單到複雜的領域,Agent 產出的設計文件與架構圖品質高到讓工程團隊主動保留。其中租賃域減少 8,500 次/月 API 呼叫、報廢域發現生產 bug,證明了人工智慧與人類決策的互補價值。
實用技巧與重點
- 核心工具與技術
- FleetKit:基於 markdown 規則的 agent 協調框架,最佳化於 Anthropic Fable
- Anthropic Code Modernization Plugin:用於架構轉型分析
- Claude Artifacts:生成互動式 HTML 表單與設計文件
- Beads:agent 進度追蹤
- MCP Servers:本機與企業級工具接取
- Draw.io/Figma:設計與架構視覺化
- 具體指標
- 工程師時間配置:僅 25% 頻寬用於主要功能(V1→V2→V3)
- 租賃域實驗:減少 8,500 次/月 API 呼叫
- 預算效率:一天內 1,000 美元 AI token 完成一個完整領域映射與提案
- 三項試驗領域:租賃(Uplift)、損害(Transform)、報廢(Reimagine)
- FleetKit 九步流程
- Boot 啟動
- 2-4. Leader agents:研究、方案設計、決策推理
- 人工審核隊列:決策者與專家批准
- 6-9. Builder agents:實施、測試、部署、產出變更請求
- 協作工件
- 互動式工作表:由 Cloud Artifacts 產生,人工填寫缺口,自動保存
- 設計文件:複雜的架構圖、業務拓撲圖,質量高到團隊長期保留
- 通訊頻道:自動建立 Slack/內部平台頻道,與會者實時協作
- 效能與成本洞察
- Prompt Caching 效益遠高於預期
- Sonnet 5.5 在複雜程式碼改寫中表現與 Fable 相當或更優
- 警示:勿讓 Fable 自動設置 cron 檢查(每次觸發燒新 session 預算)
- Subagent 行為偶有不預期情況
- 未來優化方向
- 加強決策門檢執行
- 改進決策模型與模型選擇框架
- 用圖形化工具(Graphify、Obsidian 等)優化上下文搜尋
- 音訊自動轉錄(減少手工筆記的資訊丟失)
- 跨組織推廣部署
結論
AI 的價值不在於自動化編碼,而在於透過精密的協作架構與決策框架,將整個組織的思考與決策速度提升到與機器編碼相當的水準。 --- 部落格文章參考 講者提到所有投影片與視覺化內容都在今日發佈的部落格文章中,建議查閱原始資源以取得更詳細的架構圖與實驗細節。
完整解析
Geico 是大型保險公司,claims 技術群有 300 名工程師。講者 Ford Prior 是資深工程師兼技術傳道者,任務是找出並實踐最佳開發實踐。六個月前,Geico 發現一個嚴重失衡:工程師將時間分散在小型修補與次要升級上,只有 25% 甚至更少的頻寬投入真正驅動競爭力的重大功能變更(如 V1→V2→V3 的版本升級)。
為了釋放工程師的頻寬,Geico 開始投資 AI agent,讓它們承擔規格制定到部署的全程工作。這個決策產生了立竿見影的效果——內層迴圈(編碼與構建)加速了。然而,新的問題隨之而來:大型變更需要把對的人聚集在一起,在正確的時刻做出正確的決定。這涉及複雜的協作——不同的團隊、不同的視角、不同的業務與技術考量。同時,這些決策需要「智慧」:要把眾多變數縫合在一起、進行事實檢查、分析複雜的程式碼,才能給決策者信心去推進變更。簡言之,協作與智慧的缺口成為了新的瓶頸。
為了突破這個瓶頸,Geico 創造了「多人 AI 原生戰爭室」。這不是一個簡單的 AI 工具,而是一個精密的系統,包含四個要素:首先是決策者與領域專家的名單;其次是一名「駕駛手」(講者本人)來操縱昂貴的 AI 工具;再次是 AI 原生的生產力套件,包括通訊頻道(Slack 或內部平台)、互動設計工具(如 Figma)和程式碼庫;最後是強力的 agent 艦隊,配合工作流、技能、MCP 伺服器。
這個系統的核心是 FleetKit,一套精妙的 markdown 規則框架,為 Anthropic Fable 模型最佳化。FleetKit 的邏輯簡潔而有力:首先接收一個任務目標,派遣「領導者」agent 進行廣泛的研究、代碼分析與方案推理,將所有發現與建議置入人工審核隊列(可用 GitHub issues 或 Slack thread 實現),由各相關人員與其他 agent 加入評論與批准。一旦核心方案得到批准,FleetKit 才派遣「建築者」agent 進行實際的實施工作,最終產生可落實的變更請求或程式碼修改。
Geico 在三個不同的領域進行了三次實驗,都在一天內完成了從架構分析到可交付提案的全程。第一個實驗是「租賃」領域——當客戶的車禍車在修理時如何快速安排租賃車。Agent 發現可以連接現有的資料點,將每月的 API 呼叫減少 8,500 次。第二個實驗是「損害」領域,即如何給報告的損失標上金額,Agent 為此開發了新的 API。第三個實驗最複雜,涉及「報廢」領域,包括車輛報廢時的全套流程。在此案例中,Agent 不僅產出了經過各層批准的完整遷移計畫與 API 規格,甚至發現了一個生產環境的 bug。
這個過程中最令人驚喜的是 Agent 產生的工作表與設計文件。這些不是簡陋的草稿,而是精心設計的互動式 HTML 表單與複雜的架構圖。許多工程團隊決定長期保留這些文件,因為它們系統化了過去沒人有時間繪製的業務與技術脈絡。
講者也分享了幾個寶貴的經驗教訓。首先,Token 成本與 Prompt Caching 的效益遠超預期——單日 1,000 美元的預算在精心設計的工作流中能產出高品質成果。其次,模型選擇至關重要:在複雜的舊系統改寫任務上,基準測試顯示 Sonnet 5.5 的表現甚至優於 Fable,這開啟了成本最佳化的空間。還有一個教訓是千萬不要讓 Claude Fable 自動設置 cron job 來檢查進度,因為每次觸發都會啟動新的 session,瞬間燒光預算。
展望未來,Geico 計畫加強決策門檢的執行、改進決策模型與模型選擇框架、用圖形化工具改進知識管理(目前只用 markdown)、引入自動音訊轉錄以減少會議記錄的資訊丟失,並最終將這套系統推廣到整個組織。


