Why Datasite Stopped Building Its Own Parsing - Adit Abraham, Reducto & Raj Bakhru, Datasite
三句話摘要
Datasite首席技術官分享如何透過Reducto等工具解析大規模併購文檔,用專有數據建立AI應用的競爭優勢。 資料提取的品質比選擇哪個模型更重要,對金融AI應用的成敗起決定性作用。 建築vs購買的戰略取捨:自建文檔解析系統面臨無窮邊界案例(合併儲存格、圖表色調、巨集檔案等),耗費大量工程師時間處理支援問題。採購Reducto的專門化服務,讓有限的優秀工程師集中在營收產品上,是更理性的資源配置。
重點整理
建築vs購買的戰略取捨:自建文檔解析系統面臨無窮邊界案例(合併儲存格、圖表色調、巨集檔案等),耗費大量工程師時間處理支援問題。採購Reducto的專門化服務,讓有限的優秀工程師集中在營收產品上,是更理性的資源配置。
專有資料形成不可複製護城河:Datasite獨家擁有交易文檔的虛擬資料室(無人能存取)與Grata資料庫的2000萬家私企資料。資料靠近模型執行時,token成本下降、品質提升,形成無法被競爭對手複製的優勢。
提取品質比模型本身更關鍵:團隊發現大部分AI效能改善來自正確提取資料,而非提問端的模型改進。用Reducto替代內部工具後,召回率提升22%,說明上游解析的重要性被大幅低估。
人才槓桿與精準的成本優化:AI編程對資深工程師的效能提升最高(10倍),團隊採「啞鈴型」招聘策略。在金融使用者願意為準確答案付任何代價的前提下,優化優先順序為質量>速度>成本,需持續基準測試不同模型的行為。
實用技巧與重點
- 事實數據:
- 60%以上100億美元級交易透過Datasite進行
- 年度5.5萬份資料室,每年增長40%
- 50萬月活躍使用者
- Datasite營收規模約十億美元,目標20%年增長(需增加2億美元年營收)
- 團隊規模:250名工程師分布於5項主要計畫
- 工具與技術棧:
- Reducto:文檔解析與攝取管道
- Turbo Buffer:向量資料庫
- Claude Opus 55、Claude 3.5 Sonnet:模型選擇與成本權衡
- Graph RAG:圖形檢索增強生成
- OpenAI Cloud、Google Cloud for FS:競爭對手frontier模型
- 性能數據:
- 因Reducto解析改善,召回率提升22%
- VDR Bench內部評測:數百份文檔、數百個已知答案問題集
- 具體技術挑戰:
- Excel合併儲存格解析
- 圖表圖例色調與LLM視覺模型的不匹配
- XLSB檔(巨集啟用)和模板檔案
- Claude 3.5 Sonnet的工具調用垃圾郵件問題
- 資料匿名化需求(保護MNPI)
結論
資料提取的品質比選擇哪個模型更重要,對金融AI應用的成敗起決定性作用。
完整解析
Datasite作為全球最大的虛擬資料室平台,在併購交易中扮演關鍵角色。Raj Bakhru領導的Blue Flame團隊最初採取自建策略,開發內部文檔解析和資料攝取管道。然而,當Blue Flame被Datasite收購並面臨為全平台5.5萬份年度資料室提供AI解決方案時,自建方案的局限性暴露無遺。
金融文檔的複雜性遠超預期。合併的Excel儲存格、形形色色的圖表格式、巨集啟用的檔案——邊界案例無窮無盡。更令人挫折的是,即使使用最先進的視覺模型,也會因圖表色調的細微差異而誤讀內容。支援這些邊界案例耗費了大量工程師時間,而這些人才本應投入開發營收產品。基於這個認識,Raj做出了關鍵決定:採購Reducto的文檔解析服務。
這個決定帶來了顯著的改善。Reducto的專門化工具提供了22%的召回率提升,同時釋放了寶貴的工程資源。Datasite現在將250名工程師集中在5個主要的營收產品線上,將底層基礎設施外包給專業廠商。這體現了一個重要原則:高品質工程師應該投入在競爭對手難以複製的問題上,而不是在已被解決的通用問題上重複建築。
Datasite的真正競爭優勢來自於獨家資料。虛擬資料室內的交易文檔是全世界最敏感的商業資料,沒有任何競爭對手能存取。加上Grata資料庫中的2000萬家私人企業檔案,Datasite掌握著無人能複製的資料集。透過在內部環境中執行Reducto解析、使用Turbo Buffer向量資料庫、構建Graph RAG,Datasite將資料靠近模型執行,降低token成本,提升回應品質。早期的假設——大部分工作應該在「回答側」進行——被驗證為錯誤。實際上,大部分價值來自正確的「提取側」。你只要把資料提取對了,其他一切都能順利進行。
在模型選擇上,Datasite面臨持續的權衡。Claude 3.5 Sonnet價格便宜得多,但出現工具調用垃圾郵件問題;Claude Opus 55則更穩定但成本較高。金融使用者願意為準確答案支付任何代價,所以優化優先順序明確:質量第一,其次速度,最後成本。團隊投入資源調試和優化便宜的模型,而非單純使用昂貴的替代方案。
當前的挑戰包括如何處理機構客戶的資料匿名化需求。一些交易賣方有海量的交易檔案庫,但需要在傳遞給外部系統前刪除重大非公開資訊。Raj正考慮開源內部的VDR Bench評測工具,這個包含數百份真實文檔和數百個已知答案的問題集,用來驗證系統性能是否超越OpenAI和Google的frontier模型。


