KeyFrame內部研究專用

The unreasonable effectiveness of BM25 for agentic search — Jo Kristian Bergum, Hornet.dev

AI Engineer英文
觀看原始影片

三句話摘要

BM25 這個 30 年老詞彙評分算法在 LLM 驅動代理搜尋中的重新有效性。 LLM 時代下,BM25 因精確匹配、計算高效且可被模型理解的特性,成為代理搜尋最實用且經濟的基礎工具。 代理搜尋需要三大要素:有能力使用工具的 LLM、將檢索函數暴露給模型的系統架構(工具呼叫或程式碼模式)、能在数十億級文件上高效檢索的引擎。Context window 極限(約 350,000 tokens,類比軟盤 1.4MB)意味著檢索品質直接決定任務完成率。

重點整理

  1. 代理搜尋需要三大要素:有能力使用工具的 LLM、將檢索函數暴露給模型的系統架構(工具呼叫或程式碼模式)、能在数十億級文件上高效檢索的引擎。Context window 極限(約 350,000 tokens,類比軟盤 1.4MB)意味著檢索品質直接決定任務完成率。

  2. 「用戶」變強了是 BM25 復興的根本原因。LLM 具備通用知識、能寫長查詢、懂 Web 搜尋語法(site 操作符、短語匹配等),而人類查詢仍然很短。這種新型工作負荷讓 BM25 的精確匹配能力價值倍增。

  3. 評估方法根本改變。傳統資訊檢索只看單一查詢的排名清單。代理搜尋中 agent 會反覆改寫查詢、多輪檢索、逐步擴展,應評估 end-to-end 任務完成度,而非單次排名品質。

  4. 實現細節影響深遠。原始 Browse comp plus 論文用的 BM25 參數配置不適合長文件,導致基準看似很差。同時結合 BM25(精確)與 embedding(語義),在程式碼操作模式下讓模型管理文件系統式工作區,既獲得可解釋性又有檢索品質。

實用技巧與重點

  • BM25:Best Match 25(第 25 次實驗的最佳結果)
  • 超參數:2 個控制評分函數的超參數
  • Browse comp plus 基準:830 個問題、100,000~105,000 個 web 文件、end-to-end 準確率評估
  • Context window 限制:約 350,000 tokens
  • 軟體與基礎設施:Hornet Dev 提供 BM25 檢索引擎、支援 100 百萬 web 文件單節點部署
  • 參考論文:Waterloo 大學 Jimmy Lin 團隊《Scaling direct corpus interaction via dynamic workspace expansion》
  • 性能指標:Hornet 在相同硬體上相比其他引擎有更高 QPS 和更低延遲
  • 工作模式:漸進式揭露(先看標題和摘要,模型決定是否深入)+ 檔案系統式工作區 + Bash/程式碼操作

結論

LLM 時代下,BM25 因精確匹配、計算高效且可被模型理解的特性,成為代理搜尋最實用且經濟的基礎工具。

完整解析

Joe Bergam 是 Hornet Dev 的執行長,從事搜尋檢索領域 20 年以上。他在本次演講中探討為什麼 BM25 這個 1990 年代的詞彙評分函數,在當今大語言模型驅動的代理搜尋中重新展現強大生命力。

代理搜尋(Agentic Search)指的是在 agent 執行任務的循環中進行資訊檢索。例如當 agent 試圖完成寫程式、深度研究等任務時,需要檢索相關資訊支援決策。建立有效的代理搜尋系統需要三大要素:具有工具使用能力的強大 LLM、將檢索函數暴露給模型的系統架構(透過工具呼叫或程式碼模式實現),以及能在數十億級文件上高效檢索的引擎。

關鍵洞察是「用戶」變強了。傳統搜尋使用者是人類,查詢通常很短。但 LLM 擁有豐富的通用知識,了解實體名稱、SKU 碼、日期等,能寫出遠長於人類的查詢,甚至使用 Web 搜尋的語法操作符(如 site:)和短語匹配。這種新型工作負荷讓 BM25 的精確匹配能力重新變得極其寶貴——因為模型知道具體要找的實體,可以精確指定查詢詞。

Browse comp plus 是 Waterloo 大學的深度研究基準測試,包含 830 個複雜問題、約 100,000 個 web 文件。評估發現,當直接將證據文件塞進 context window 時,模型準確率很高;但暴露檢索工具後,準確率下降,因為模型需要自主查詢和改寫查詢。這證明檢索品質直接決定 end-to-end 準確率。演講者用軟盤容量(1.4MB)比喻 context window 的固定限制(約 350,000 tokens),說明即使未來達到 AGI,也無法無限擴展 context——因此檢索永遠必要。原始論文中 BM25 看似表現很差,但最近研究發現其參數配置不適合長文件,調整後表現大幅改善。

評估方法也需根本改變。傳統資訊檢索看一次查詢的排名清單。但 agent 會多輪查詢、改寫查詢、逐步擴展理解,應評估的是整個任務最終是否完成。Waterloo 團隊的論文提出創新做法:將檢索結果組織為檔案系統式工作區,模型先看文檔標題和摘要片段,決定是否深入後,可用自己擅長的 Bash 和程式碼操作來管理和檢視內容,完美發揮現代 LLM 的優勢。

BM25 在代理搜尋中有效有三大原因:精確匹配對 LLM 重要(模型理解具體實體),成本低廉(相比 8 十億參數的 embedding 模型需要額外基礎設施),且模型能理解為什麼特定查詞返回該結果,幫助改寫查詢。Hornet Dev 的實現在單節點上相比競爭引擎有更高吞吐和更低延遲,展示 BM25 作為生產級檢索基礎設施的優勢。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。