KeyFrame內部研究專用

Why Datasite Stopped Building Its Own Parsing - Adit Abraham, Reducto & Raj Bakhru, Datasite

AI Engineer英文
觀看原始影片

三句話摘要

Datasite首席技術官分享如何透過Reducto等工具解析大規模併購文檔,用專有數據建立AI應用的競爭優勢。 資料提取的品質比選擇哪個模型更重要,對金融AI應用的成敗起決定性作用。 建築vs購買的戰略取捨:自建文檔解析系統面臨無窮邊界案例(合併儲存格、圖表色調、巨集檔案等),耗費大量工程師時間處理支援問題。採購Reducto的專門化服務,讓有限的優秀工程師集中在營收產品上,是更理性的資源配置。

重點整理

  1. 建築vs購買的戰略取捨:自建文檔解析系統面臨無窮邊界案例(合併儲存格、圖表色調、巨集檔案等),耗費大量工程師時間處理支援問題。採購Reducto的專門化服務,讓有限的優秀工程師集中在營收產品上,是更理性的資源配置。

  2. 專有資料形成不可複製護城河:Datasite獨家擁有交易文檔的虛擬資料室(無人能存取)與Grata資料庫的2000萬家私企資料。資料靠近模型執行時,token成本下降、品質提升,形成無法被競爭對手複製的優勢。

  3. 提取品質比模型本身更關鍵:團隊發現大部分AI效能改善來自正確提取資料,而非提問端的模型改進。用Reducto替代內部工具後,召回率提升22%,說明上游解析的重要性被大幅低估。

  4. 人才槓桿與精準的成本優化:AI編程對資深工程師的效能提升最高(10倍),團隊採「啞鈴型」招聘策略。在金融使用者願意為準確答案付任何代價的前提下,優化優先順序為質量>速度>成本,需持續基準測試不同模型的行為。

實用技巧與重點

  • 事實數據:
  • 60%以上100億美元級交易透過Datasite進行
  • 年度5.5萬份資料室,每年增長40%
  • 50萬月活躍使用者
  • Datasite營收規模約十億美元,目標20%年增長(需增加2億美元年營收)
  • 團隊規模:250名工程師分布於5項主要計畫
  • 工具與技術棧:
  • Reducto:文檔解析與攝取管道
  • Turbo Buffer:向量資料庫
  • Claude Opus 55、Claude 3.5 Sonnet:模型選擇與成本權衡
  • Graph RAG:圖形檢索增強生成
  • OpenAI Cloud、Google Cloud for FS:競爭對手frontier模型
  • 性能數據:
  • 因Reducto解析改善,召回率提升22%
  • VDR Bench內部評測:數百份文檔、數百個已知答案問題集
  • 具體技術挑戰:
  • Excel合併儲存格解析
  • 圖表圖例色調與LLM視覺模型的不匹配
  • XLSB檔(巨集啟用)和模板檔案
  • Claude 3.5 Sonnet的工具調用垃圾郵件問題
  • 資料匿名化需求(保護MNPI)

結論

資料提取的品質比選擇哪個模型更重要,對金融AI應用的成敗起決定性作用。

完整解析

Datasite作為全球最大的虛擬資料室平台,在併購交易中扮演關鍵角色。Raj Bakhru領導的Blue Flame團隊最初採取自建策略,開發內部文檔解析和資料攝取管道。然而,當Blue Flame被Datasite收購並面臨為全平台5.5萬份年度資料室提供AI解決方案時,自建方案的局限性暴露無遺。

金融文檔的複雜性遠超預期。合併的Excel儲存格、形形色色的圖表格式、巨集啟用的檔案——邊界案例無窮無盡。更令人挫折的是,即使使用最先進的視覺模型,也會因圖表色調的細微差異而誤讀內容。支援這些邊界案例耗費了大量工程師時間,而這些人才本應投入開發營收產品。基於這個認識,Raj做出了關鍵決定:採購Reducto的文檔解析服務。

這個決定帶來了顯著的改善。Reducto的專門化工具提供了22%的召回率提升,同時釋放了寶貴的工程資源。Datasite現在將250名工程師集中在5個主要的營收產品線上,將底層基礎設施外包給專業廠商。這體現了一個重要原則:高品質工程師應該投入在競爭對手難以複製的問題上,而不是在已被解決的通用問題上重複建築。

Datasite的真正競爭優勢來自於獨家資料。虛擬資料室內的交易文檔是全世界最敏感的商業資料,沒有任何競爭對手能存取。加上Grata資料庫中的2000萬家私人企業檔案,Datasite掌握著無人能複製的資料集。透過在內部環境中執行Reducto解析、使用Turbo Buffer向量資料庫、構建Graph RAG,Datasite將資料靠近模型執行,降低token成本,提升回應品質。早期的假設——大部分工作應該在「回答側」進行——被驗證為錯誤。實際上,大部分價值來自正確的「提取側」。你只要把資料提取對了,其他一切都能順利進行。

在模型選擇上,Datasite面臨持續的權衡。Claude 3.5 Sonnet價格便宜得多,但出現工具調用垃圾郵件問題;Claude Opus 55則更穩定但成本較高。金融使用者願意為準確答案支付任何代價,所以優化優先順序明確:質量第一,其次速度,最後成本。團隊投入資源調試和優化便宜的模型,而非單純使用昂貴的替代方案。

當前的挑戰包括如何處理機構客戶的資料匿名化需求。一些交易賣方有海量的交易檔案庫,但需要在傳遞給外部系統前刪除重大非公開資訊。Raj正考慮開源內部的VDR Bench評測工具,這個包含數百份真實文檔和數百個已知答案的問題集,用來驗證系統性能是否超越OpenAI和Google的frontier模型。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。