Do Not Let Models Invent Numbers - Vinoo Ganesh, Kepler
三句話摘要
Kepler 如何結合 LLM 與確定性架構,為財務分析提供可驗證、不會幻覺的數字引用系統。 金融 AI 的未來不在於讓模型更聰明,而在於建立架構讓模型只負責推理,把數字驗證與計算交給確定性系統,從根本上終結不可追蹤的幻覺數字。 問題根源:LLM 是概率機器,做語意檢索時會拉錯來源(如從部落格而非 10-K 拿數字),找到對的來源卻拿錯數字(把「17」當 17 億而非 17 百萬),以及模型自己做算術時會出錯,導致財務分析完全不可信任。
重點整理
問題根源:LLM 是概率機器,做語意檢索時會拉錯來源(如從部落格而非 10-K 拿數字),找到對的來源卻拿錯數字(把「17」當 17 億而非 17 百萬),以及模型自己做算術時會出錯,導致財務分析完全不可信任。
核心架構三層:第一層讓模型規畫步驟但只引用數字;第二層用確定性代碼(人工預寫的、非模型生成)負責所有數學運算;第三層是事後過濾,拒絕任何無法追蹤來源的數字,模型在結構上被迫交出可驗證的結果。
檢索與排序的複雜性:先用零嵌入(zero embeddings)1280 維配 BM25 混合搜尋寬泛檢索,拉回約 60K 文件,再用交叉編碼器重新排序,並依據信任度(10-K > 盈利電話會議逐字稿)再排一次,以處理相同事實在不同來源有不同說法的情況。
租戶隔離與安全:每筆引文在 Postgres 被重新授權驗證,確保 Citadel 某部門的研究不會洩露給另一部門,通過層層濾鏡和簽署裝置來保護投資者的專有信息(alpha)。
實用技巧與重點
- SEC 資料規模:3000+ 萬份文件,提取出 20,000 份人工撰寫的 MD&A 數字、約 3 百萬個單一備案事實作為可引用錨點
- 檢索維度:1280 維零嵌入
- 初步檢索量:約 60,000 份文件
- 評測結果:原生 RAG(Claude/ChatGPT + 向量資料庫)從 10,981 個拒絕的引文中,有 3,810 個是純粹錯誤數字
- 引文來源排序:10-K/10-Q > 投資者說明會 > 盈利電話會議逐字稿
- 三分之一的引文:是模型幻覺產生的數字,無法追蹤到真實來源
- 支援的資料來源:SEC 公開文件、SharePoint、Box、OneDrive、Outlook、BIP sync 等內部資料
- 架構保證:模型引用數字(不寫數字)→ 代碼運算 → 驗證後交付 → 每個數字可點擊查看來源與計算過程
結論
金融 AI 的未來不在於讓模型更聰明,而在於建立架構讓模型只負責推理,把數字驗證與計算交給確定性系統,從根本上終結不可追蹤的幻覺數字。
完整解析
金融分析中使用大語言模型面臨一個根本困境:分析師永遠不能呈現無法驗證的數字給客戶,但 LLM 本質上是概率機器,天生容易產生幻覺。Kepler 的創辦人 Vinod Ganesh 在這場演講中詳細說明了他們如何解決這個致命的矛盾。
傳統的檢索增強生成(RAG)做法是讓 LLM 回答問題後再補上來源連結,但這根本解決不了問題。首先,LLM 不是真的「讀文件」,而是把內容分塊做語意搜尋,很容易拉到半關聯的資料。其次,即便找到對的文件,也可能拿錯數字——同一個「17」在 10-K 裡可能代表 17 百萬美元、17 億日圓、或某一年的營收,需要脈絡才能判斷。最致命的是,LLM 會自己算數,但模型不做真正的數學,無法保證計算準確。
Kepler 的解決方案是根本性的架構重新設計。核心邏輯很簡單:模型只負責規畫步驟和引用數字,但永遠不寫數字;所有算術交給人工預寫的確定性代碼;事後有嚴格的過濾層,任何無法追蹤來源的數字都被刪除,導致平台在結構上不可能產生幻覺數字。
技術實現的複雜性在於檢索層。他們先用零嵌入配上 BM25 的混合搜尋從龐大的文件庫(3000+ 萬份 SEC 文件加上客戶內部資料)寬泛檢索出約 60,000 份候選文件,然後用交叉編碼器進行信任度排序——SEC 10-K 排在投資者說明會之前,後者又排在盈利電話會議逐字稿之前。這是因為相同的事實可能在不同來源以不同的精確度出現,系統必須有一套優先級。所有檢索結果在 Postgres 中被重新授權驗證,確保租戶隔離,例如 Citadel 的某個交易部門不會看到另一個部門的研究。
他們的評測數據很駭人。光是用原生 Claude 或 ChatGPT 配向量資料庫進行簡單的 RAG,系統拒絕了 10,981 個可疑引文,其中 3,810 個是完全錯誤的數字。這說明任何聲稱「只要 RAG 架構妥當就行」的金融 AI 工具都是危險的。更進一步,他們發現約三分之一的引文引自模型訓練資料本身的幻覺,特別是歷史數據(比如 2005 年的營收數字可能存在於模型訓練集,但無法追蹤確認來源和時間範圍)。
這套設計的代價是 Kepler 不能做很多人期望 AI 工具做的事。它不適合創意寫作、行銷內容或純粹的投機分析。它也不適合那些根本不在乎數字準確性的業務(比如某些銀行銷售業務就不需要精確的 DCF,只要能把產品賣出去)。但對於需要審計追蹤和數字可驗證性的金融分析,Kepler 的設計代表了一個新的標準——模型可以幻覺,但平台絕對不能。每個數字都是可點擊的,點進去能看到原始 10-K、8-K 或投資者說明會,以及背後的完整計算過程。


