KeyFrame內部研究專用

⚡ Building ChatGPT for Finance — Joseph Kim, OpenAI's Head of Financial Services

Latent Space27 min英文
觀看原始影片

三句話摘要

OpenAI 聊天機器人金融服務產品的設計理念與金融領域 AI 應用的未來發展路徑。 成功的垂直化 AI 產品不在於獨占特殊模型能力,而在於深入理解產業現狀、控制關鍵資料品質、利用既有制度框架進行安全設計,並透過結合驗證獎勵和人類品味偏好的訓練方法持續提升模型能力。 產業理解優先於第一性原理:OpenAI 將自己定位為「研究與部署公司」,先透過研究確定模型能力邊界,再基於此設計產品。金融產品成功的關鍵在於理解產業現狀與競爭態勢,而非純粹邏輯推導,如資料整合決策就源於實地測試發現 MCP 連接器的高錯誤率。

重點整理

  1. 產業理解優先於第一性原理:OpenAI 將自己定位為「研究與部署公司」,先透過研究確定模型能力邊界,再基於此設計產品。金融產品成功的關鍵在於理解產業現狀與競爭態勢,而非純粹邏輯推導,如資料整合決策就源於實地測試發現 MCP 連接器的高錯誤率。

  2. 垂直整合解決資料品質問題:市場雖有多個金融資料連接器可用,但實測發現知名供應商的錯誤率達 40% 以上。團隊決定自行整合資料來源,增加成本卻確保了終端使用體驗一致性,成為客戶最看重的產品優勢。

  3. 安全設計遵循既有金融制度:不創造全新框架,而是將金融機構現有的人工審查層級(分析師→助理→副總→董事)映射到 AI 工具設計,利用已驗證有效的內部制衡機制降低風險。

  4. 品味訓練成為下一階段核心課題:模型在事實正確性已大幅改善,瓶頸轉移至美學判斷、格式適當性等軟性目標。解決方案為強化學習人類反饋(RLHF),透過人類評判成對輸出結果,該方法已在程式碼生成驗證有效。

實用技巧與重點

  • 產品資訊:
  • 產品名稱:ChatGPT for Financial Services
  • 目標市場:投資銀行、股票研究、資產管理
  • 設計合作夥伴:Morgan Stanley、Evercore
  • 推出計畫:企業版已上市,逐步擴展至 Pro 計劃
  • 技術架構:
  • 建築基礎:ChatGPT 外掛架構
  • 訓練資料:金融特定資料整合到主模型(GPT-6-Astra、GPT-6.1-Astra)
  • 資料來源:自行整合(未明確列舉,但提及 Bloomberg、FactSet 等)
  • 品質控制:內部資料驗證,市場供應商 MCP 錯誤率達 40%+
  • 採用數據:
  • Codex Desktop App 發布(2024年2月)後,金融領域採用率從接近 0% 跳升至 90%
  • 軟體工程採用率呈穩定上升,金融/法律/銷售領域為陡峭上升
  • 安全框架:
  • 核心原則:始終保持人工審查迴路
  • 權限模型:新進員工先獲讀取權限,後逐級開放寫入權限
  • 層級審查制:初級分析師→助理→VP→董事→執行董事
  • 評估現狀:
  • GDP Eval 已飽和,多數測試題目有缺陷(錯誤答案鑰匙、模糊提示)
  • 正在開發新評估基準,目標是預測「特定職位工作自動化能力」
  • 招聘職位:
  • 前後端工程師
  • 產品經理(投資銀行、股票研究、資產管理方向)
  • 主題專家(Subject Matter Expert):將金融專業知識引入 AI 訓練
  • 聯繫人:Bill Bonlington

結論

成功的垂直化 AI 產品不在於獨占特殊模型能力,而在於深入理解產業現狀、控制關鍵資料品質、利用既有制度框架進行安全設計,並透過結合驗證獎勵和人類品味偏好的訓練方法持續提升模型能力。

完整解析

OpenAI 的金融服務產品代表了在特定領域垂直化 AI 應用的一次系統性探索。Joseph Kim 在演講中強調,該公司最近推出的 ChatGPT for Financial Services 並非簡單的模型部署,而是研究、產品、工程三者深度融合的結果。在設計初期,團隊面臨的第一個挑戰就是如何理解金融產業的現實狀況。雖然第一性原理分析可能會建議利用現有的 MCP 連接器來整合資料,但實地測試發現這些供應商的錯誤率高達 40% 以上。這項發現改變了整個產品策略——團隊決定自行整合資料來源,儘管這增加了成本,但卻成為了產品的核心賣點。客戶在調查中最先提及的優勢就是資料品質,證明這個看似成本高昂的決策實際上創造了市場差異化。

從技術實現層面,Kim 特別強調了一個重要事實:95% 的產品功能實際上可以由初創企業複製。團隊建築在 ChatGPT 外掛架構之上,使用與所有開發者相同的原始工具和介面。這意味著成功的關鍵不在於訪問特殊的模型能力,而在於如何選擇、整合和優化資料,以及提供獨特的用戶體驗。Kim 甚至大膽預測,未來會有價值十億美元的企業建立在 ChatGPT 外掛基礎之上,他們的競爭力來自於「秘密醬料」——可能是資料、UI 設計或系統整合。這一觀點揭示了 AI 時代企業競爭的新格局:模型本身逐漸成為商品,而差異化轉向了應用層的創新。

安全性的解決方案同樣體現了對產業現狀的深刻理解。OpenAI 沒有創造全新的安全框架,而是將金融機構現有的人工審查層級制度(初級分析師→助理→副總經理→董事)映射到產品設計中。這種做法有兩個優勢:一是與金融專業人士的直覺相符,二是利用了已驗證有效的內部制衡機制。當被問及如何處理「一個錯誤可能毀滅職業生涯」的風險時,Kim 指出,隨著模型在事實正確性上的改善(hallucination 問題已大幅改善),真正的瓶頸轉移到了「品味」層面——即美學判斷、格式恰當性、專業風格等軟性目標。

解決品味問題的方法回歸到強化學習人類反饋(RLHF)的基礎。Kim 指出,早期的 RLHF 訓練完全圍繞人類品味進行,方法論是讓人類評判成對的輸出並選擇更優者。人類在審美判斷上的能力遠超模型,因此利用人類偏好來訓練模型的品味是高效的策略。這個方法在程式碼生成領域已驗證有效——透過比較代碼品質(不只是正確性,還包括可維護性、系統設計、測試性),模型已達成 80% 的能力。現在他們正在將相同的方法應用到金融工作中——訓練模型生成更美觀的幻燈片、更合理的 Excel 模型結構,以及最終,更具洞察力的投資觀點。

對於投資論文和創意生成,Kim 坦言這是下一個邊界,因為結果驗證困難(可能需要三年才能知道投資決策是否正確)。但他對此並不悲觀,因為解決方案同樣來自於三個方面:擴展基礎模型規模、在研究上加大投入,以及收集來自金融專家的頂層反饋。在評估體系上,Kim 坦率地指出當前財務評估基準的嚴重問題。廣泛使用的 GDP Eval 已經飽和,許多測試題目本身就有缺陷。為了解決這一問題,OpenAI 的團隊正在構建新的評估基準,目標是能夠預測某個職位(如投資銀行初級分析師)的工作自動化潛力。

最後,Kim 強調了跨學科人才的需求。除了傳統的工程師和產品經理,他們重點招聘「主題專家」——擁有金融專業背景的人才,能夠與工程師、研究人員協作,確保模型改進的方向正確。這是他們在程式碼生成上成功的關鍵(優秀工程師能夠評判代碼品質),現在他們正在努力在金融領域複製這一模式。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資