KeyFrame內部研究專用

Connect AI to Billions of Legal Documents — Simon Eskildsen, turbopuffer & Jacob Lauritzen, Legora

AI Engineer英文
觀看原始影片

三句話摘要

Legora 與 Turbopuffer 如何透過向量搜索與全文搜索技術,在保持數據隔離與合規的前提下,高效處理海量法律文檔。 將數據隔離與加密需求置於架構基礎,透過充分利用現代記憶體階層,不僅能滿足企業合規要求,更能在大規模應用中達到性能與成本的最優平衡。 地域隔離到企業合規的技術演進:Legora 初期用單一 Elasticsearch,後來遇到美國、歐盟、亞太地區分別部署需求(簡單複製基礎設施三到四倍),再碰上企業客戶要求完整物理隔離與客戶管理加密金鑰,轉向 PostgreSQL 搭配激進分區策略,但在數十億規模時緩存抖動導致延遲從 100ms 惡化至 20 秒。

重點整理

  1. 地域隔離到企業合規的技術演進:Legora 初期用單一 Elasticsearch,後來遇到美國、歐盟、亞太地區分別部署需求(簡單複製基礎設施三到四倍),再碰上企業客戶要求完整物理隔離與客戶管理加密金鑰,轉向 PostgreSQL 搭配激進分區策略,但在數十億規模時緩存抖動導致延遲從 100ms 惡化至 20 秒。

  2. Turbopuffer 的隔離原生設計:直接寫入對象存儲(S3/GCS/Azure),每個命名空間獨立管理、獨立加密、可駐於不同桶或客戶帳戶,天然支持多租戶與企業合規,即使禁用 SSD 快取仍有優異性能。

  3. 記憶體階層最佳化:樹狀組織避免圖結構的隨機訪問,熱點數據(頻繁查詢法律條款)留在記憶體/SSD,冷點(少見法規)駐於對象存儲,查詢控制在三次往返內,實現性能與成本的最優平衡。

  4. 向量與全文搜索皆基於樹狀組織:向量搜索用多層聚類樹,根節點常駐記憶體,葉節點在 SSD;全文搜索用哈希表與位集交集實現 BM25 評分,均最小化往返次數與記憶體頻寬。

實用技巧與重點

  • 延遲改善:PostgreSQL 100ms → 20s(故障時)→ Turbopuffer 一個數量級改善(約 90% 降低)
  • 規模成長:數十萬 → 200 億 → 接近 100 億向量(法律研究)
  • 部署規模:70+ 租戶,數百個命名空間,部分客戶擁有數千個獨立存儲桶
  • Turbopuffer 架構:寫入 → 對象存儲;後台建構向量/文本/列式索引;查詢層級:記憶體快取 → NVMe SSD → 對象存儲
  • S3 效能:1MB blob 的 P99 延遲約 200 毫秒
  • 查詢往返目標:約 3 次
  • 記憶體階層應用範例:EU 法律(熱)→ 記憶體/SSD;丹麥法律(冷)→ 對象存儲(500ms 延遲可接受)
  • 全文搜索:BM25 評分算法,稀有詞權重更高(York 優於 New)

結論

將數據隔離與加密需求置於架構基礎,透過充分利用現代記憶體階層,不僅能滿足企業合規要求,更能在大規模應用中達到性能與成本的最優平衡。

完整解析

Legora 是法律工作的協作 AI 平台,供律師事務所與企業法務部進行合約審查、法律研究與訴訟支援。隨著業務快速成長,需要處理兩類搜索:專案搜索(特定交易的合約與文檔)與法律研究(跨越法律條款、判例、法規的深度查詢)。

初期採用單一 Elasticsearch 集群為所有租戶服務,運作相對順利。但隨著客戶擴展到美國、歐盟與亞太地區,監管需求要求各地區的數據處理必須在該地區進行。Legora 的解決方案是將整個基礎設施複製三到四倍,雖然有效卻極為低效。真正的轉折點來自大銀行與國際律師事務所的企業客戶:要求完整的物理數據隔離與客戶管理加密金鑰。在此約束下,Legora 將搜索系統從 Elasticsearch 轉向 PostgreSQL 搭配 pgvector 擴充,採取激進的分區策略(4000 多個分區)以隔離各專案。然而,當文檔規模達到數十億時,這套方案崩潰了——冷專案與熱專案被分配到同一分區,導致 PostgreSQL 不斷在記憶體與磁盤間抖動,搜索與索引的 P99 延遲從 100 毫秒惡化至 20 秒,用戶體驗大幅下降。

Legora 轉向 Turbopuffer 後,情況根本改變。Turbopuffer 的核心設計是直接寫入對象存儲(S3、GCS 或 Azure Blob),不涉及磁盤複製或分散式共識協議。每個命名空間(相當於表或目錄)獨立存儲,可被分配到不同的存儲桶、使用不同的加密金鑰,甚至駐留在客戶自己的雲帳戶中——部分客戶擁有數千個這樣的隔離命名空間。這種架構天然適配企業的隔離與合規需求。Legora 甚至發現,即使禁用了 NVMe SSD 快取(因為快取中的數據無法用客戶金鑰加密),僅依靠記憶體快取就能交付超群的性能。

Turbopuffer 的性能源於對記憶體階層的精細設計。在向量搜索中,向量以多層聚類樹組織,樹的上層(粗粒度聚類中心)常駐記憶體,下層(實際法律文檔)駐留在 SSD 或對象存儲。全文搜索則用哈希表存儲詞彙表,將文檔 ID 壓縮存儲在集合中,查詢時透過集合交集運算與 BM25 評分實現相關性排序。兩種搜索方法都嚴格控制往返次數(目標三次),最小化對象存儲的訪問開銷。搜索延遲因此下降了一個數量級。

在實務上,Legora 不再需要為每個租戶建立獨立的 Elasticsearch,而是在單一 Turbopuffer 集群內以命名空間區隔。在法律研究中,系統能處理接近 100 億向量,同時透過命名空間將熱點法律條款(如 EU 法律)保留在快速層級,冷點(如丹麥法律)放在對象存儲,接受 500 毫秒的延遲作為深度研究工作流的合理成本。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。