KeyFrame內部研究專用

Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer

AI Engineer英文
觀看原始影片

三句話摘要

介紹 Turbo Puffer 如何在大規模向量搜尋中實現細粒度權限控制,支援企業 AI 分析系統對私密資料的安全存取。 在 AI 時代,精確的權限控制與毫秒級搜尋效能不必二選一,透過向量聚類與權限索引的聯合設計可同時達成。 私密資料管理的根本困難:公開資料完全透明,所有人看到相同內容;私密資料則附帶複雜的權限結構,可能有群組級權限、個人級權限或混合權限。傳統搜尋系統未針對此設計,導致效能與準確性無法兼得。

重點整理

  1. 私密資料管理的根本困難:公開資料完全透明,所有人看到相同內容;私密資料則附帶複雜的權限結構,可能有群組級權限、個人級權限或混合權限。傳統搜尋系統未針對此設計,導致效能與準確性無法兼得。

  2. 傳統方法的局限性:後過濾法先尋找全域最相似結果再去除無權限項目,會大幅降低召回率;前過濾法先篩出使用者有權限的文件再搜尋,若可存取文件數龐大(如 5 千萬份)則退化為順序掃描,延遲超過秒級。

  3. 原生過濾的聰慧設計:向量索引自動將相似向量聚集成約 200 文件的聚類,權限索引則記錄使用者能存取的聚類。查詢時先識別使用者可存取的聚類集合,再在其中進行向量相似度搜尋,既保證召回率又維持毫秒級延遲。

  4. 簡潔的權限表達與複雜的背後最佳化:使用者透過直觀的邏輯語言(如「viewers 包含 X,groups 包含 A 或 B」)定義權限規則,Turbo Puffer 在背後自動完成查詢規劃、聚類篩選與向量搜尋的協調,隱藏系統複雜性。

實用技巧與重點

  • Bridgewater Vault 規模:1 億份文件,來自 135 個外部資料來源及內部資源
  • 向量規格:常見維度為 1,024
  • 樸素全掃描成本:100 百萬文件 × 1 KB × 20 GB/秒 = 5 秒(超過可接受延遲)
  • 業界目標延遲:100 毫秒
  • Turbo Puffer 成本優勢:相比傳統系統成本約 1/10,效能具競爭力
  • 聚類規模:約 200 文件/聚類(持續調整)
  • 實測效能指標:450 百萬向量、100 百萬文件,P90 延遲 120 毫秒
  • 支援的搜尋類型:關鍵字搜尋、正則表達式、向量搜尋
  • 儲存後端:S3、GCS、Azure Blob Storage
  • Bridgewater 資料系統:Delorean(時間序列)+ Vault(非結構化)

結論

在 AI 時代,精確的權限控制與毫秒級搜尋效能不必二選一,透過向量聚類與權限索引的聯合設計可同時達成。

完整解析

Bridgewater Associates 是一家 50 年來專注於系統化研究市場與經濟的投資公司。他們建立了「研究循環」—— 感知、假設、調查、系統化、工業化運用 —— 這套流程 20 年來以人為核心,現正演進至機器輔助。為支援此轉變,Bridgewater 建立了兩套資料系統:Delorean(時間序列資料庫,經數十年積累)和 Vault(非結構化資料庫,約 1 億份文件)。Vault 整合 135 個外部來源及內部資料,每份文件都對應不同權限,需要精細的存取控制。

建構支援私密資料的 AI 分析系統面臨基礎性難題。傳統「後過濾」方案先搜尋全域最相似結果,再過濾無權限項目,導致使用者搜尋「紅色鞋子」時,應看到的權限內最相似結果會被遺漏,召回率極低。另一方向「前過濾」先篩出使用者有權限的全部文件再搜尋,但當可存取文件數達 5 千萬份時,就退化為全表掃描,延遲升至分鐘級,無法滿足 100 毫秒的需求。

Turbo Puffer 的解答是「原生過濾」—— 結合兩者優勢。系統的向量索引會自動將相似向量聚集,形成約 200 文件的聚類。權限索引則記錄每個使用者有權限的聚類。查詢時,系統先識別使用者可存取的聚類集合,再在這些聚類內搜尋最接近的向量。這樣既避免了全表掃描,又保證了完整召回。

在實踐中,這套方案在 Bridgewater 的 450 百萬向量、1 億文件規模上,達成了 P90 延遲 120 毫秒。使用者只需用簡潔的邏輯語言定義權限(「viewers 包含 X」「groups 包含 A 或 B」),Turbo Puffer 在背後自動規劃查詢、篩選聚類、執行向量搜尋,隱藏所有複雜性。系統還支援更廣泛的隔離需求:細粒度權限、地理資料鎖定、VPC 隔離、客戶控制加密等,共同構築「隔離原生搜尋引擎」。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。