KeyFrame內部研究專用

How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver

AI Engineer英文
觀看原始影片

三句話摘要

在金融交易環境中如何構建模組化的自有 AI 平台,透過即時 P&L 反饋與精準測量實現規模化應用。 交易環境的即時 P&L 反饋驅動了快速、模組化、全層可測量的 AI 平台設計,成功的關鍵在於避免供應商鎖定、賦予員工自服務與成本可視性、透過多代理編排而非功能堆砌來管理複雜度。 交易環境提供即時 P&L 反饋決策影響當日可見,與傳統科技公司以週月年計的反饋週期完全不同。錯失市場機會(如 SpaceX IPO)成本極高,要求快速行動、精準測量、強烈行動偏見,驅動平台必須模組化、可迭代、每層可測量。

重點整理

  1. 交易環境提供即時 P&L 反饋決策影響當日可見,與傳統科技公司以週月年計的反饋週期完全不同。錯失市場機會(如 SpaceX IPO)成本極高,要求快速行動、精準測量、強烈行動偏見,驅動平台必須模組化、可迭代、每層可測量。

  2. 推理基礎設施統一路由避免供應商鎖定:透過推理閘道整合第三方、自托管、開源模型,所有互動記錄供評估系統使用。曾經供應商推理閘道因流程緩慢無法及時引入新模型,促使公司自建基礎設施以掌握迭代速度。

  3. 代幣成本最佳化透過可視性與自服務實現:發現員工新對話預設加載 200k+ 代幣,引入 MCP 工具搜尋、CLI 包裝 MCP、動態快取調整、知識庫改進,再配合成本公開與限額管理,員工主動設定合理支出上限,實現 ROI 改善。

  4. 代理架構從單體走向多編排:初期將所有功能融入單一代理導致複雜度爆炸,改為輕量化代理各聚焦單一任務,透過統一代理閘道通訊與協調,提升可測量性、生命週期管理效率與可維護性。

實用技巧與重點

  • 交易規模
  • 每日交易量:1000 萬筆以上
  • 定價範圍:100 萬+ 個金融工具
  • 每日數據量:Petabyte 級
  • 全球據點:10+ 個位置
  • 推理架構組件
  • 統一推理閘道:路由、成本管理、預算分配
  • 模型來源:第三方供應商 + 自托管開源模型 + 自有 GPU
  • 第三方約定:零資料保留條款
  • 平台層次
  • 推理閘道層:模型路由、成本追蹤
  • 代理平台層:技能、外掛、工具、知識與記憶系統
  • 代理閘道層:全公司代理統一註冊、編排、身份管理
  • 中繼層(Harness Meta Layer):團隊自訂配置、可移植性
  • Web 入口層:工作台、協作編輯、多人代理房間、Slack 客戶端
  • 成本最佳化策略
  • 預設上下文成本:200k+ 代幣(最佳化前)
  • MCP 工具搜尋導入
  • 代理 CLI 包裝 MCP(提升效率)
  • 快取參數動態調整
  • 知識庫檢索最佳化(減少冗餘上下文)
  • 開源模型成本競爭力評估
  • 動態模型路由(便宜模型用實作,昂貴模型用規劃)
  • 分層推理策略
  • 團隊級自定警報與支出限額系統
  • 新模型上線流程
  • 時間:同日可在生產環境使用
  • 測試:在內部「黃金集」基準測試
  • 合作:與關鍵交易團隊蒐集內部基準
  • 評估:運行基準即知指標
  • 支援:24/7 全球地區輪值支援
  • 溝通:分享結果與推薦給公司全員
  • 代理設計原則
  • 版本管理:每個代理獨立版本控制
  • 功能範圍:聚焦單一任務而非功能堆砌
  • 協調機制:透過代理閘道相互通訊
  • 測量性:保持可測量狀態便於優化
  • 生命週期:便於版本更新與維護
  • 知識庫方案
  • 混合方式:層級化 Markdown 檔案 + 向量搜尋
  • 探索方向:圖資料庫
  • 評估與回放
  • 記錄範圍:所有工具呼叫、輸入、輸出
  • 世界狀態快照:交易資料庫可點對點回放;其他系統需信心值
  • MCP 代理層代理快照機制

結論

交易環境的即時 P&L 反饋驅動了快速、模組化、全層可測量的 AI 平台設計,成功的關鍵在於避免供應商鎖定、賦予員工自服務與成本可視性、透過多代理編排而非功能堆砌來管理複雜度。

完整解析

Optiver 是全球市場造商,每日進行超過一千萬筆交易,為一百萬個以上的金融工具定價,並處理 PB 級的每日數據。公司最獨特之處在於其獲利反饋機制:每天開盤時清空資產負債表,收盤時統計當日利潤。這與傳統科技企業的月度或季度 ROI 評估截然不同。這種即時反饋意味著員工對決策的影響有著最直接的認知,錯過市場機會(如新的首次公開募股)的成本極其高昂,要求決策速度快、測量精確、行動果決。

為在此環境中規模化 AI,Optiver 構建了一套自有平台,核心原則是快速移動、模組化與全層可測量。推理層設計尤為關鍵:透過統一推理閘道路由第三方模型、自托管開源模型與自有 GPU,完全避免被單一供應商鎖定。曾有推理閘道供應商因內部流程緩慢,無法快速引入新模型,促使 Optiver 決定自建基礎設施。所有推理互動自動記錄至評估系統,每當前沿模型發佈,團隊立即在內部基準集測試,並與關鍵交易團隊分享結果,決定是否生產化。全球各地進行 24/7 輪值支援,確保停機時間最小化。

代理架構演進反映了現實的複雜性。初期嘗試將所有功能融入單一代理,導致功能擴張時複雜度爆炸——例如一個團隊的程式碼分析代理若要擴展至其他團隊的倉庫,立即面臨多倉庫、不同設定等問題。現策略是讓每個代理聚焦單一任務,透過統一代理閘道互相通訊與協調,宛如多個輕量微服務。這大幅提升可測量性(易於診斷問題)與生命週期管理效率。Web 入口平台則滿足員工自服務需求:工作台、協作文件編輯、多人代理房間共享、Slack 客戶端,員工若發現有價值的工作流改進,直接送 PR 更新,形成共同演進。

代幣成本控制是另一個核心挑戰。Optiver 發現員工新對話預設會加載 200k+ 代幣的上下文,因為大量不必要的資訊被嵌入系統提示。透過引入 MCP 工具搜尋、用 CLI 包裝 MCP(效率更高)、仔細調整快取失效時機、改進知識庫設計(檢索適量上下文而非全量),將成本納入控制。更重要的是,Optiver 向全公司透明展示成本數據,賦予團隊自訂警報與支出限額的能力——許多團隊主動設定合理上限。此外,探索開源模型的成本競爭力、動態路由(廉價模型用於實作、昂貴模型用於規劃)等策略。雖然總支出仍然很大,但 ROI 持續改善,將超額代幣使用轉化為生產價值。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。