KeyFrame內部研究專用

Stop Chunking Like It's 2022 — Yuval Belfer, AI21 Labs

AI Engineer英文
觀看原始影片

三句話摘要

RAG系統中的分塊策略非但未死,反而是改進檢索效能的關鍵基礎設施,透過多尺度索引可提升20-40%效能。 代理搜尋沒有殺死檢索,分塊也未死—用簡單方法應對這個不得不面對的基礎設施問題,就能無痛提升檢索效能20-40%。 分塊是資訊有損過程,無完美統一大小。大分塊保留脈絡但失細節,小分塊相反;同一資料集中不同查詢偏好不同大小。Oracle實驗證明固定分塊與動態最優間存在20-40%效能鴻溝,這就是任意選擇512或1000的代價。

重點整理

  1. 分塊是資訊有損過程,無完美統一大小。大分塊保留脈絡但失細節,小分塊相反;同一資料集中不同查詢偏好不同大小。Oracle實驗證明固定分塊與動態最優間存在20-40%效能鴻溝,這就是任意選擇512或1000的代價。

  2. 核心問題是資訊不對稱:索引時無法預知未來查詢,檢索時無法改變已固定的分塊大小。這導致大規模資料場景下檢索低效,如FIFA World Cup資料需遍歷所有資料夾才能回答「哪隊贏最多」這類聚合問題。

  3. 多尺度索引方案打破單一分塊承諾。對同一資料庫複製多份分別索引,檢索時查詢所有副本並改為檢索完整文件而非分塊,用倒數排名融合演算法融合多個排名,這是純粹的投票邏輯而非機器學習。

  4. 跨多資料集驗證效果確實。QMSum、NarrativeQA、Seinfeld、FinanceBench等測試中,多尺度方法均達到或超越最佳固定大小表現,平均提升20-40%。額外開銷僅2-5倍記憶體且可平行執行,對端對端延遲影響極小。

實用技巧與重點

  • 實驗資料集:QMSum(會議逐字稿)、NarrativeQA(小說問答)、Seinfeld(劇本瑣碎知識)、FinanceBench、MTB
  • 測試分塊大小:50、100、200、500、1000、2000 tokens
  • 檢索範圍轉變:從分塊級改為文件級
  • 融合演算法:倒數排名融合(Reciprocal Rank Fusion, RRF)
  • 效能增幅:20-40%(依資料集而異)
  • 記憶體開銷:2-5倍基線
  • 檢索呼叫數:N個(N為重複資料庫份數,實驗中N=6)
  • Oracle實驗結果:靜態與動態最優效能差20-40%

結論

代理搜尋沒有殺死檢索,分塊也未死—用簡單方法應對這個不得不面對的基礎設施問題,就能無痛提升檢索效能20-40%。

完整解析

Yuval來自AI21實驗室,在業界流行「RAG已死」、「分塊該死」的風潮中,抓住了一個被集體忽視的機會:分塊策略本質上是不被重視但高度影響效能的「無聊基礎設施」。代理搜尋雖改進了檢索調優環節,但在大規模資料場景中仍無法解決高成本與低效率問題。

RAG系統分為前置索引與檢索兩階段。索引階段通常被視作「枯燥的前置工作」而遭忽視,但正是這裡隱藏著系統性的設計缺陷。以FIFA World Cup資料為例,若按年份將資料分散在不同資料夾,要回答「哪隊贏過最多冠軍」就必須遍歷所有資料夾聚合答案,這便是分塊策略不當導致的低效率。

Yuval團隊透過Oracle實驗揭示了關鍵矛盾:分塊本質上是有損壓縮,無論如何都會損失資訊。分塊太大保留脈絡但失細節;分塊太小則喪失上下文。更重要的是,不存在通用的「最佳大小」。在QMSum、NarrativeQA等多個資料集上測試發現,同一資料集內的不同查詢會偏好不同的分塊大小。例如「Jerry最愛的教堂叫什麼名字」(高度聚焦)與「Jerry把誰描述為死敵」(分散型資訊)需要完全不同的分塊粒度。

假設存在一個預言機能為每個查詢選擇最優分塊大小(Oracle實驗),結果顯示與任意固定大小之間存在20-40%的效能鴻溝。這恰好量化了盲目選擇512或1000的代價。根本問題在於資訊時序錯位:索引時無法預知查詢內容,檢索時無法改變已鎖定的分塊大小。

針對此,團隊提出多尺度索引方案:放棄單一分塊承諾,改為對同一資料庫複製多份,每份用不同分塊大小(50、100、200、500、1000、2000 tokens)獨立索引。檢索時查詢所有副本,改為檢索完整文件而非分塊片段,再用倒數排名融合演算法合併多個排名結果。這演算法極其簡潔,就是一個無需訓練的公式,幾乎不消耗額外計算。

實驗結果跨越多個資料集:QMSum、NarrativeQA、Seinfeld、FinanceBench乃至MTB,多尺度方法均達到或超越最佳固定大小,效能提升20-40%不等,熱力圖對比顯示改進明顯。權衡方面,額外成本為2-5倍記憶體用於儲存多份副本,但因可平行執行檢索且RRF運算極輕,對端對端延遲幾乎無影響。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。