How we taught agents to use good retrieval - Hanna Lichtenberg, Mixedbread AI

Mixtbred 發現了一個在產業界被廣泛忽視的瓶頸問題：儘管大型語言模型的推理能力在過去數年呈指數級增長，從 GPT 3.5 到 GPT 5.5 的性能躍升足以說明這一點，但檢索系統的進步卻極其緩慢。這造成了一個不對稱現象——模型的「知識差距」。通過分析 Browscom Plus 和 OfficeQA Pro 兩個真實基準測試，這個問題得到了量化驗證。當研究人員在查詢中直接提供正確的相關文檔時（即 Oracle 場景），模型在 Browscom Plus 上達到 93% 的準確率。但一旦切換到現實場景，使用 Codex 及其默認搜尋工具，準確率驟降至 9%——一個近 84 個百分點的落差。OfficeQA Pro 上的情況類似，從 64% 跌到 8%。

更有趣的是，觀察代理實際生成的搜尋查詢時，問題變得清晰可見。模型輸出的不是規範的搜尋陳述句，而是充滿無關鍵詞組合的混亂文本，如「Senator woman questions billionaires not a company then okay thank you staff will check hearing」。這個現象有三個根本原因：首先，模型的訓練數據主要來自代碼任務，這使它傾向於使用正則表達式和精確匹配的思維方式；其次，模型學會了模仿人類在網路搜尋中的習慣，即堆砌關鍵詞；第三，業界標準基準測試如 BEIR 過度偏向 BM25 演算法友善的實體型查詢，強化了這個不良模式。

為了突破這個瓶頸，Mixtbred 構建了一套完整的多工具代理搜尋系統。系統包含四種專用搜尋工具：概覽搜尋以快速掌握語料庫全景（返回 50 個文本摘要），主要語義搜尋以進行精準檢索（返回前 10 個完整文本），元數據過濾工具用於精確篩選，以及關鍵詞工具用於精確字串匹配。代理在最多四輪迭代中工作，每輪可並行執行多個搜尋查詢。流程的關鍵在於初始規劃階段——代理接收使用者查詢、初始語義搜尋預覽以及可用元數據提示，據此制定搜尋策略，將查詢意圖分解為最多四個獨立的查詢方向，為每個方向選擇最合適的工具。系統還會自動去重結果，防止相同文本塊重複出現浪費上下文。

為了引導模型寫出規範的自然語言查詢而非關鍵詞堆砌，Mixtbred 採用了巧妙的提示工程技巧。與其直接指示「寫搜尋查詢」，系統要求模型「寫一句話描述你想找什麼」。同時提供良好查詢的示例，展示如何將複雜查詢分解為多個探索維度。這些設計巧妙地繞過了模型的既有模式，使其生成自然流暢的語句。

訓練過程採用先後兩個階段。首先進行監督微調，使用較大的教師模型生成標準答案。隨後進行強化學習，引入自訂搜尋獎勵函數。這個獎勵函數結合了兩個維度：檢索維度衡量最終排序的質量（使用 NDCG 等標準指標配合 LLM 相關性判斷），軌跡維度評估搜尋過程本身（檢查查詢是否自然、探索是否充分、資源消耗是否高效）。為了保持成本效益，系統選擇訓練一個小型 LLM 代理，犧牲一定的絕對性能以換取速度和低成本。

結果相當令人矚目。在 ObliqueQA Congress 基準上，訓練中的代理達到 NDCG@10 為 0.4，相較該基準論文報告的最佳結果 0.18 提升了超過 100%。更重要的是，生產版本的 Mixtbred 代理搜尋目前在 MetQA 基準排名第一，當配合 Gemini 3.5 Flash 模型時，準確率達 93.4%，並以遠低於競品的成本與計算量實現了這一成績。