Connect AI to Billions of Legal Documents — Simon Eskildsen, turbopuffer & Jacob Lauritzen, Legora
三句話摘要
Legora 與 Turbopuffer 如何透過向量搜索與全文搜索技術,在保持數據隔離與合規的前提下,高效處理海量法律文檔。 將數據隔離與加密需求置於架構基礎,透過充分利用現代記憶體階層,不僅能滿足企業合規要求,更能在大規模應用中達到性能與成本的最優平衡。 地域隔離到企業合規的技術演進:Legora 初期用單一 Elasticsearch,後來遇到美國、歐盟、亞太地區分別部署需求(簡單複製基礎設施三到四倍),再碰上企業客戶要求完整物理隔離與客戶管理加密金鑰,轉向 PostgreSQL 搭配激進分區策略,但在數十億規模時緩存抖動導致延遲從 100ms 惡化至 20 秒。
重點整理
地域隔離到企業合規的技術演進:Legora 初期用單一 Elasticsearch,後來遇到美國、歐盟、亞太地區分別部署需求(簡單複製基礎設施三到四倍),再碰上企業客戶要求完整物理隔離與客戶管理加密金鑰,轉向 PostgreSQL 搭配激進分區策略,但在數十億規模時緩存抖動導致延遲從 100ms 惡化至 20 秒。
Turbopuffer 的隔離原生設計:直接寫入對象存儲(S3/GCS/Azure),每個命名空間獨立管理、獨立加密、可駐於不同桶或客戶帳戶,天然支持多租戶與企業合規,即使禁用 SSD 快取仍有優異性能。
記憶體階層最佳化:樹狀組織避免圖結構的隨機訪問,熱點數據(頻繁查詢法律條款)留在記憶體/SSD,冷點(少見法規)駐於對象存儲,查詢控制在三次往返內,實現性能與成本的最優平衡。
向量與全文搜索皆基於樹狀組織:向量搜索用多層聚類樹,根節點常駐記憶體,葉節點在 SSD;全文搜索用哈希表與位集交集實現 BM25 評分,均最小化往返次數與記憶體頻寬。
實用技巧與重點
- 延遲改善:PostgreSQL 100ms → 20s(故障時)→ Turbopuffer 一個數量級改善(約 90% 降低)
- 規模成長:數十萬 → 200 億 → 接近 100 億向量(法律研究)
- 部署規模:70+ 租戶,數百個命名空間,部分客戶擁有數千個獨立存儲桶
- Turbopuffer 架構:寫入 → 對象存儲;後台建構向量/文本/列式索引;查詢層級:記憶體快取 → NVMe SSD → 對象存儲
- S3 效能:1MB blob 的 P99 延遲約 200 毫秒
- 查詢往返目標:約 3 次
- 記憶體階層應用範例:EU 法律(熱)→ 記憶體/SSD;丹麥法律(冷)→ 對象存儲(500ms 延遲可接受)
- 全文搜索:BM25 評分算法,稀有詞權重更高(York 優於 New)
結論
將數據隔離與加密需求置於架構基礎,透過充分利用現代記憶體階層,不僅能滿足企業合規要求,更能在大規模應用中達到性能與成本的最優平衡。
完整解析
Legora 是法律工作的協作 AI 平台,供律師事務所與企業法務部進行合約審查、法律研究與訴訟支援。隨著業務快速成長,需要處理兩類搜索:專案搜索(特定交易的合約與文檔)與法律研究(跨越法律條款、判例、法規的深度查詢)。
初期採用單一 Elasticsearch 集群為所有租戶服務,運作相對順利。但隨著客戶擴展到美國、歐盟與亞太地區,監管需求要求各地區的數據處理必須在該地區進行。Legora 的解決方案是將整個基礎設施複製三到四倍,雖然有效卻極為低效。真正的轉折點來自大銀行與國際律師事務所的企業客戶:要求完整的物理數據隔離與客戶管理加密金鑰。在此約束下,Legora 將搜索系統從 Elasticsearch 轉向 PostgreSQL 搭配 pgvector 擴充,採取激進的分區策略(4000 多個分區)以隔離各專案。然而,當文檔規模達到數十億時,這套方案崩潰了——冷專案與熱專案被分配到同一分區,導致 PostgreSQL 不斷在記憶體與磁盤間抖動,搜索與索引的 P99 延遲從 100 毫秒惡化至 20 秒,用戶體驗大幅下降。
Legora 轉向 Turbopuffer 後,情況根本改變。Turbopuffer 的核心設計是直接寫入對象存儲(S3、GCS 或 Azure Blob),不涉及磁盤複製或分散式共識協議。每個命名空間(相當於表或目錄)獨立存儲,可被分配到不同的存儲桶、使用不同的加密金鑰,甚至駐留在客戶自己的雲帳戶中——部分客戶擁有數千個這樣的隔離命名空間。這種架構天然適配企業的隔離與合規需求。Legora 甚至發現,即使禁用了 NVMe SSD 快取(因為快取中的數據無法用客戶金鑰加密),僅依靠記憶體快取就能交付超群的性能。
Turbopuffer 的性能源於對記憶體階層的精細設計。在向量搜索中,向量以多層聚類樹組織,樹的上層(粗粒度聚類中心)常駐記憶體,下層(實際法律文檔)駐留在 SSD 或對象存儲。全文搜索則用哈希表存儲詞彙表,將文檔 ID 壓縮存儲在集合中,查詢時透過集合交集運算與 BM25 評分實現相關性排序。兩種搜索方法都嚴格控制往返次數(目標三次),最小化對象存儲的訪問開銷。搜索延遲因此下降了一個數量級。
在實務上,Legora 不再需要為每個租戶建立獨立的 Elasticsearch,而是在單一 Turbopuffer 集群內以命名空間區隔。在法律研究中,系統能處理接近 100 億向量,同時透過命名空間將熱點法律條款(如 EU 法律)保留在快速層級,冷點(如丹麥法律)放在對象存儲,接受 500 毫秒的延遲作為深度研究工作流的合理成本。


