KeyFrame內部研究專用

A Bank Trained Its Own Foundation Model to Catch Fraud — Freddy Lecue, Wells Fargo

AI Engineer英文
觀看原始影片

三句話摘要

Wells Fargo開發首個金融交易基礎模型,使用Transformer架構在數十億筆交易上預訓練,實現欺詐檢測與多個下游任務的大幅改進。 針對專業領域的結構化數據,從零開始預訓練領域特定的基礎模型比套用通用模型更有效,且單一基礎模型能跨多個下游任務與組織重用,創造顯著的商業價值。 交易數據需要專門設計的基礎模型:傳統XGBoost無法有效捕捉交易序列間的時間依賴關係,而Transformer的注意力機制能夠自動學習當前交易與完整歷史交易的複雜關係,這是改進欺詐檢測性能的核心機制。

重點整理

  1. 交易數據需要專門設計的基礎模型:傳統XGBoost無法有效捕捉交易序列間的時間依賴關係,而Transformer的注意力機制能夠自動學習當前交易與完整歷史交易的複雜關係,這是改進欺詐檢測性能的核心機制。

  2. 分詞化是建構金融基礎模型的首要難題:交易數據包含異質特徵(數值型交易金額、時間差、分類型交易類型、地理信息等),需要精心設計如何編碼這些特徵為代幣與嵌入表示,複雜度遠高於語言模型。

  3. 架構設計基於Chinchilla原理指導規模選擇:採用解碼器唯一結構,初期預計20倍參數量的代幣數,實驗發現實際需要10倍更多,反映了金融交易數據的複雜性與高維度特性。

  4. 單一基礎模型跨多個任務與組織重用:預訓練完成後,同一模型可微調用於欺詐檢測、信用額度提升、反洗錢、行銷等應用,相較於為每個任務獨立構建模型,大幅提升投資回報率。

實用技巧與重點

  • 交易規模:每月數十億筆交易、百萬級賬戶、每客戶每月平均數百筆交易
  • 五個核心維度:Who(客戶/商戶)、What(購買內容)、How(渠道:信用卡/借記卡/數位支票)、When(時間)、Where(位置)
  • 核心特徵:最終使用約100個原始特徵(初期數千個,經篩選而得)
  • 模型規模:10億參數(下一版本11億)
  • 架構類型:解碼器唯一(Decoder-only) Transformer
  • 訓練週期:初期數週,後優化至數天
  • 推理延遲預算:250毫秒內(實際遠低於此)
  • 訓練優化技術:混合精度、分散式數據並行、Flash Attention、激活檢查點(Activation Checkpointing)、RoPE
  • 基準對比:XGBoost(生產環境現有模型)
  • 下游任務應用:欺詐檢測、信用額度提升、反洗錢、行銷
  • 關鍵改進指標:欺詐檢測率提升、假正例率降低,商業價值為數百萬美元節省

結論

針對專業領域的結構化數據,從零開始預訓練領域特定的基礎模型比套用通用模型更有效,且單一基礎模型能跨多個下游任務與組織重用,創造顯著的商業價值。

完整解析

Wells Fargo面臨的核心挑戰是如何充分利用其龐大的交易數據資產。該行擁有每月數十億筆交易、百萬級客戶賬戶,這些數據來自借記卡、信用卡、數位支票等多個渠道,包含豐富的客戶、商戶、交易特徵信息。傳統的機器學習方法,如現有生產環境中的XGBoost模型,雖然經過大量手工特徵工程精心打造,卻難以有效捕捉交易序列間的時間依賴關係與長期行為模式。講者團隊意識到,如果能建構一個通用的交易基礎模型,在所有交易數據上預訓練,便可作為統一的骨幹架構,被多個下游任務(欺詐檢測、信用評分、反洗錢等)所重用,大幅降低各個任務的特徵工程成本。

構建這樣的模型首先面臨分詞化的難題。不同於語言模型處理文本代幣,交易數據包含高度異質的特徵:數值型的交易金額與時間差、分類型的交易類型、地理信息如郵遞區號,甚至IP地址信息。講者團隊透過仔細分析確定了約100個核心原始特徵,而非依賴為具體下游任務預先工程化的特徵。他們精心設計了如何將這些異質特徵編碼為代幣及其嵌入表示。在架構選擇上,採用解碼器唯一的Transformer架構,使用Chinchilla數學原理指導模型規模的決策,最終確定10億參數的配置。初期根據經驗法則設定代幣數為參數量的20倍,但實驗表明實際需要10倍更多代幣才能達到最優效果。

在預訓練階段,團隊在完全零初始化的權重基礎上,使用GPU集群在數十億筆真實交易上進行多週的訓練。預訓練的目標是學習序列中的下一筆交易預測,但實際目的是讓模型習得客戶交易模式的深層表示。Transformer架構的關鍵優勢在於,其注意力機制能自動學習當前交易與整個歷史交易序列間的複雜關係,這是傳統XGBoost所無法實現的。在下游欺詐檢測應用中,模型將客戶的完整交易序列作為輸入,透過注意力機制評估當前交易是否符合該客戶的歷史行為模式,從而判別欺詐風險。

實驗結果表明,新模型相比現有XGBoost系統取得顯著進展:不僅欺詐檢測率大幅提升,更難能可貴的是假正例率(誤報率)也同時降低。這一改進直接轉化為商業價值,因為每一次錯誤拒絕合法交易都會導致客戶投訴與運營成本損失。講者強調,這個基礎模型已成功應用於欺詐檢測、信用額度提升、反洗錢與行銷等多個領域,體現了單一基礎模型跨多個業務單位與任務的重用價值,相較於傳統的為每個任務構建獨立模型的方式,大幅提高了整體投資回報率。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。