Why Waiting for the Next AI Model Can Pay Off - John Stecher, Blackstone & Scott Worland, Norm AI
三句話摘要
企業 CTO 分享如何正確部署 AI Agent:資料戰略、評估機制和分層架構是成功的關鍵。 AI Agent 的真正價值不在模型有多先進,而在扎實的資料基礎、可靠的評估機制、務實的成本決策,以及既保護核心又擁抱變化的架構設計。 資料策略是必要條件:Blackstone CTO 指出,大多數公司部署 Agent 失敗的根本原因是缺乏清晰的資料遷移計畫。Agent 能力再強也需要能訪問整理好的資料。Blackstone 花費大量資源將專有資料、公開資料和交易系統統一架構化,才能真正發揮 AI 的能力。
重點整理
資料策略是必要條件:Blackstone CTO 指出,大多數公司部署 Agent 失敗的根本原因是缺乏清晰的資料遷移計畫。Agent 能力再強也需要能訪問整理好的資料。Blackstone 花費大量資源將專有資料、公開資料和交易系統統一架構化,才能真正發揮 AI 的能力。
評估集合是品質保證:Norm 透過建立數萬個專家標注的評估樣本,形成持續的回歸測試基準。當模型版本變化、基礎設施改變或資料更新時,評估集合能立即暴露系統偏差。在金融和法律領域,這種「責任感」遠高於消費應用。
務實的投資決策:不是「能做就做」,而是問「現在做和等 6 個月後新模型出現再做,哪種成本更低?」有時答案是等待,有時是立即行動。但無論哪種情況,都應快速製作概念驗證來驗證想法的價值,而不是預先撰寫完整文件。
分層架構兼顧安全與創新:核心基礎設施(資料架構、模型工作流、沙箱控制)必須 100% 人工審核,但上層應用可動態迭代。這種方式既保護敏感資料安全,又允許邊界外的快速試驗。
實用技巧與重點
- 資料遷移模式:交易系統 → 統一可訪問架構
- 評估方法:Map-Reduce 工作流架構、數萬個手標記樣本、持續回歸測試
- 開發工具:Fable(快速概念設計)、Cloud Code(代碼執行驗證)、Claude Opus(日常編碼)
- 時間估算:概念到互動原型 = 數小時(無需完整文件或最佳化架構)
- ROI 評估:立即開發成本 vs. 等待新模型後的成本對比
- SRE 整合要求:Agent 生成的代碼需可追蹤、可監控、能整合至現有 SRE 平台
- 核心系統清單:資料模型、Agent 基礎設施、沙箱、資料流向控制 ← 必須人工審查
- 上層應用:允許 Agent 快速迭代,但不可修改核心系統
結論
AI Agent 的真正價值不在模型有多先進,而在扎實的資料基礎、可靠的評估機制、務實的成本決策,以及既保護核心又擁抱變化的架構設計。
完整解析
AI Agent 的成功不是技術問題,而是組織和決策問題。Norm 的 CTO Scott Worley 和 Blackstone 的 CTO John Stecher 揭示了企業級部署的真實困難。
資料是第一道關卡。許多公司看到 Agent 的潛力,就想快速建立大量應用來提取價值,卻忽視了前置條件:Agent 需要能訪問、管理和記憶資料。Blackstone 擁有龐大的交易系統和資料庫,卻都是孤立的。他們花費大量努力將專有資料、公開資料和交易系統遷移至統一架構,使 Agent 能夠有效運用。這不是技術難題,而是組織和流程設計的挑戰。
評估集合保證品質。Norm 在 2023 年創立時面臨一個關鍵決策:如何在金融和法律領域確保 Agent 的輸出準確且一致?他們投入人力建立數萬個專家標注的評估樣本。當模型版本更新、基礎設施改變或資料源更新時,這些樣本形成持續的回歸測試基準,立即暴露系統偏差。這在消費應用中可能過度,但在金融服務領域,準確性的責任和法律風險使這種投資成為必要。
務實的投資決策框架。John 分享他在 Blackstone 的決策方式:不是「我們能用 Agent 做這個嗎?」而是「現在做和等 6 個月後新模型出現再做,哪種成本更低?」有時答案是等待—因為模型進步將大幅降低實現成本,而業務需求不迫切。但另一方面,不能過度等待新技術。他的解決方案是快速製作概念驗證。借助 Fable(Claude 的精簡模型用於快速思考)和 Cloud Code(模型能執行代碼),團隊可以在數小時內從想法迭代到可點擊互動的原型。這打破了過去「完整設計 → 完整代碼 → 上線」的瀑布流,允許快速失敗和反覆運算。
分層架構平衡安全與創新。在敏感領域,不是所有工作都能信任 Agent 獨立完成。Norm 和 Blackstone 實施分級控制:核心基礎設施層(資料架構、模型工作流、沙箱控制、資料流向)必須 100% 人工審核其設計、開發和任何變更。但在這些核心上層構建的應用可以更動態。這兼顧了安全邊界的嚴肅性和邊界外的創新速度。
心態的深層轉變。John 反思自己 27 年的工程生涯。過去,系統上線後要服役多年,重寫成本極高。如今,AI 使快速重建成為可行。他現在問的問題是「應該重寫這個系統嗎?重寫是否比持續版本升級成本更低?」曾經聞所未聞,現在變成常規決策。這解放了工程思維—不必終身維護老系統,反而專注於當下最有價值的是什麼。


