How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver
三句話摘要
在金融交易環境中如何構建模組化的自有 AI 平台,透過即時 P&L 反饋與精準測量實現規模化應用。 交易環境的即時 P&L 反饋驅動了快速、模組化、全層可測量的 AI 平台設計,成功的關鍵在於避免供應商鎖定、賦予員工自服務與成本可視性、透過多代理編排而非功能堆砌來管理複雜度。 交易環境提供即時 P&L 反饋決策影響當日可見,與傳統科技公司以週月年計的反饋週期完全不同。錯失市場機會(如 SpaceX IPO)成本極高,要求快速行動、精準測量、強烈行動偏見,驅動平台必須模組化、可迭代、每層可測量。
重點整理
交易環境提供即時 P&L 反饋決策影響當日可見,與傳統科技公司以週月年計的反饋週期完全不同。錯失市場機會(如 SpaceX IPO)成本極高,要求快速行動、精準測量、強烈行動偏見,驅動平台必須模組化、可迭代、每層可測量。
推理基礎設施統一路由避免供應商鎖定:透過推理閘道整合第三方、自托管、開源模型,所有互動記錄供評估系統使用。曾經供應商推理閘道因流程緩慢無法及時引入新模型,促使公司自建基礎設施以掌握迭代速度。
代幣成本最佳化透過可視性與自服務實現:發現員工新對話預設加載 200k+ 代幣,引入 MCP 工具搜尋、CLI 包裝 MCP、動態快取調整、知識庫改進,再配合成本公開與限額管理,員工主動設定合理支出上限,實現 ROI 改善。
代理架構從單體走向多編排:初期將所有功能融入單一代理導致複雜度爆炸,改為輕量化代理各聚焦單一任務,透過統一代理閘道通訊與協調,提升可測量性、生命週期管理效率與可維護性。
實用技巧與重點
- 交易規模
- 每日交易量:1000 萬筆以上
- 定價範圍:100 萬+ 個金融工具
- 每日數據量:Petabyte 級
- 全球據點:10+ 個位置
- 推理架構組件
- 統一推理閘道:路由、成本管理、預算分配
- 模型來源:第三方供應商 + 自托管開源模型 + 自有 GPU
- 第三方約定:零資料保留條款
- 平台層次
- 推理閘道層:模型路由、成本追蹤
- 代理平台層:技能、外掛、工具、知識與記憶系統
- 代理閘道層:全公司代理統一註冊、編排、身份管理
- 中繼層(Harness Meta Layer):團隊自訂配置、可移植性
- Web 入口層:工作台、協作編輯、多人代理房間、Slack 客戶端
- 成本最佳化策略
- 預設上下文成本:200k+ 代幣(最佳化前)
- MCP 工具搜尋導入
- 代理 CLI 包裝 MCP(提升效率)
- 快取參數動態調整
- 知識庫檢索最佳化(減少冗餘上下文)
- 開源模型成本競爭力評估
- 動態模型路由(便宜模型用實作,昂貴模型用規劃)
- 分層推理策略
- 團隊級自定警報與支出限額系統
- 新模型上線流程
- 時間:同日可在生產環境使用
- 測試:在內部「黃金集」基準測試
- 合作:與關鍵交易團隊蒐集內部基準
- 評估:運行基準即知指標
- 支援:24/7 全球地區輪值支援
- 溝通:分享結果與推薦給公司全員
- 代理設計原則
- 版本管理:每個代理獨立版本控制
- 功能範圍:聚焦單一任務而非功能堆砌
- 協調機制:透過代理閘道相互通訊
- 測量性:保持可測量狀態便於優化
- 生命週期:便於版本更新與維護
- 知識庫方案
- 混合方式:層級化 Markdown 檔案 + 向量搜尋
- 探索方向:圖資料庫
- 評估與回放
- 記錄範圍:所有工具呼叫、輸入、輸出
- 世界狀態快照:交易資料庫可點對點回放;其他系統需信心值
- MCP 代理層代理快照機制
結論
交易環境的即時 P&L 反饋驅動了快速、模組化、全層可測量的 AI 平台設計,成功的關鍵在於避免供應商鎖定、賦予員工自服務與成本可視性、透過多代理編排而非功能堆砌來管理複雜度。
完整解析
Optiver 是全球市場造商,每日進行超過一千萬筆交易,為一百萬個以上的金融工具定價,並處理 PB 級的每日數據。公司最獨特之處在於其獲利反饋機制:每天開盤時清空資產負債表,收盤時統計當日利潤。這與傳統科技企業的月度或季度 ROI 評估截然不同。這種即時反饋意味著員工對決策的影響有著最直接的認知,錯過市場機會(如新的首次公開募股)的成本極其高昂,要求決策速度快、測量精確、行動果決。
為在此環境中規模化 AI,Optiver 構建了一套自有平台,核心原則是快速移動、模組化與全層可測量。推理層設計尤為關鍵:透過統一推理閘道路由第三方模型、自托管開源模型與自有 GPU,完全避免被單一供應商鎖定。曾有推理閘道供應商因內部流程緩慢,無法快速引入新模型,促使 Optiver 決定自建基礎設施。所有推理互動自動記錄至評估系統,每當前沿模型發佈,團隊立即在內部基準集測試,並與關鍵交易團隊分享結果,決定是否生產化。全球各地進行 24/7 輪值支援,確保停機時間最小化。
代理架構演進反映了現實的複雜性。初期嘗試將所有功能融入單一代理,導致功能擴張時複雜度爆炸——例如一個團隊的程式碼分析代理若要擴展至其他團隊的倉庫,立即面臨多倉庫、不同設定等問題。現策略是讓每個代理聚焦單一任務,透過統一代理閘道互相通訊與協調,宛如多個輕量微服務。這大幅提升可測量性(易於診斷問題)與生命週期管理效率。Web 入口平台則滿足員工自服務需求:工作台、協作文件編輯、多人代理房間共享、Slack 客戶端,員工若發現有價值的工作流改進,直接送 PR 更新,形成共同演進。
代幣成本控制是另一個核心挑戰。Optiver 發現員工新對話預設會加載 200k+ 代幣的上下文,因為大量不必要的資訊被嵌入系統提示。透過引入 MCP 工具搜尋、用 CLI 包裝 MCP(效率更高)、仔細調整快取失效時機、改進知識庫設計(檢索適量上下文而非全量),將成本納入控制。更重要的是,Optiver 向全公司透明展示成本數據,賦予團隊自訂警報與支出限額的能力——許多團隊主動設定合理上限。此外,探索開源模型的成本競爭力、動態路由(廉價模型用於實作、昂貴模型用於規劃)等策略。雖然總支出仍然很大,但 ROI 持續改善,將超額代幣使用轉化為生產價值。


