AI Can't Make Up a Number It Can't Look Up - Vinoo Ganesh, Kepler
三句話摘要
Kepler CEO 解釋如何透過結構化驗證機制和指針架構來解決 AI 在金融決策中的信任與幻覺問題。 要讓 AI 在金融與其他需要信任的領域發揮價值,必須從架構層面內建可驗證機制而非事後補救,透過指針、預處理和結構約束確保引用的每個事實和數字確實來自可靠來源且無法被篡改。 華爾街對 AI 的不信任根源於結構問題,而非模型本身。所謂的「幻覺」其實代表了 Alpha——企業透過分析創意獲利的方式。真正的問題在於模型無法確保使用正確的資料來源,且企業內部數據常被忽視。現有 RAG 平台只承諾「模型最終會改進」,但這無法解決信任缺失的根本矛盾。
重點整理
華爾街對 AI 的不信任根源於結構問題,而非模型本身。所謂的「幻覺」其實代表了 Alpha——企業透過分析創意獲利的方式。真正的問題在於模型無法確保使用正確的資料來源,且企業內部數據常被忽視。現有 RAG 平台只承諾「模型最終會改進」,但這無法解決信任缺失的根本矛盾。
錯誤數字來自三個具體源頭需要分別應對:檢索到錯誤文件(需檢索正確文件)、從正確文件拉出錯誤數字(如誤將年份混淆,需在搜尋時驗證)、模型的數學推理失敗(應使用確定性工具計算)。傳統驗證層只能事後檢查,但 Kepler 在預處理階段就透過代碼指針和結構約束,讓模型無法生成未驗證的數字。
Kepler 的關鍵設計是將模型轉變為規劃者而非數字生成者。預處理階段代碼寫入指針和唯一標識符,模型決定檢索策略但由代碼執行檢索,模型只能讀取已驗證的指針。若指針無法解析就無法輸出該數字或事實,這使得系統無法幻覺任何不存在的數據。
安全性常被忽視但至關重要。主要風險包括租戶過濾不足、冒充其他實體、搜尋結果過時、直接讀取繞過規則、索引缺失。解決方案是內建安全的作用域搜尋機制,嚴格約束每次查詢可回傳的文件集合,保護 Alpha 與機密資訊。
實用技巧與重點
- 過去 3 個月 270 百萬美元 VC 資金流入 formal verification 層
- 80% 金融高管信任數字,但 31% 發現其中有誤
- 搜尋管線:ANN + BM25(最多 200 文件)→ reciprocal ranking(約 60 文件)→ cross-encoder(精確匹配)
- 五大安全風險:租戶過濾遺漏、身份冒充、搜尋結果過時、直接讀取繞過規則、索引未填入
- Kepler 架構:預處理代碼寫指針 → 模型規劃 → 代碼執行檢索 → 模型讀指針(不生成數字)
- 驗證合約三狀態:引用經驗證、搜尋時更正、直接拒絕
- 拒絕率在實裝後大幅下降(模型無法解析指針時)
- 金融界仍未實現完整 DCF 工具(搖籃到墳墓),現有 AI 工具多用於格式化 PowerPoint
結論
要讓 AI 在金融與其他需要信任的領域發揮價值,必須從架構層面內建可驗證機制而非事後補救,透過指針、預處理和結構約束確保引用的每個事實和數字確實來自可靠來源且無法被篡改。
完整解析
華爾街對 AI 的不信任並非源於幻覺本身,而是深層的結構問題。許多人認為模型「編造」數字是罪魁禍首,但 Kepler CEO 指出,所謂的幻覺其實就是 Alpha——企業透過分析洞察獲利的方式。真正的問題在於模型無法確保使用的是正確的資料來源,企業內部的獨有數據也無法被有效整合。當前的 RAG 平台普遍聲稱隨著模型改進會消除幻覺,但這個論點本質上有缺陷——如果消除所有創意元素只剩事實陳述,全世界應該只需要一家公司。
錯誤的數字和事實通常來自三個具體源頭。首先是檢索到了錯誤的文件,解決方案看似簡單但其實複雜,因為需要判斷「哪份文件是正確的」——是企業內部分析?還是信任的分析師報告?其次是從正確的文件中抽取了錯誤的數字,例如查看 2025 年的 10K 時誤將 2025 年收入當作 2023 年收入。第三類錯誤來自模型的數學推理失敗——模型本質上是預測下一個 token,而非進行真正的計算。傳統方案透過事後驗證層補救,但這已經太晚了。
Kepler 採取了截然不同的架構設計。在預處理階段,代碼會將每個事實(如 10K 文件中的數字)轉換為指針並賦予唯一標識符。這個龐大的預處理與情境化步驟將非結構化資料轉換為結構化數據儲存。隨後,模型扮演聰慧的分析師角色,它規劃檢索策略——決定到哪裡檢索、檢索什麼實體、如何組合——但不實際執行檢索。代碼和數學工具負責真正的檢索和計算。最關鍵的是,模型結構上無法生成任何未經驗證的數字,除非它透過解析指針的機制。若指針無法被解析(如該數字根本不存在),模型就無法在輸出中產生該數字。
搜尋機制同樣精心設計。系統先用 ANN 加 BM25 檢索回最多 200 份文件,透過 reciprocal ranking 縮減到約 60 份,最後用 cross-encoder 進行精確的文件分塊與查詢匹配。這樣做讓系統能廣泛搜尋而非陷入大型語言模型常見的貪心策略(快速收斂到第一個結果)。貪心搜尋之所以常見,是因為寬泛搜尋成本高昂且回報率低。
安全性往往被忽視但同樣重要。主要風險包括忘記過濾租戶導致一家公司搜尋另一家公司的文件、呼叫者冒充其他實體、搜尋結果包含過時資訊、直接讀取繞過搜尋安全規則、索引未被正確填入。解決方案是內建安全的作用域搜尋機制,嚴格約束每次查詢可回傳的文件集合。Alpha 是最難以捉摸的商品,確保機制能限制可存取的資訊集合至關重要。


