KeyFrame內部研究專用

Bypassing the Multimodal Tax: Hybrid RAG, SQL RRF & UI Telemetry - Abed Matini, Ogilvy

AI Engineer45 min英文
觀看原始影片

三句話摘要

如何構建本地化的 RAG 問答系統:從文檔預處理、智慧分塊到混合檢索的完整方案。 數據質量和預處理策略往往比選擇最大的模型更能決定 RAG 系統的成敗。 文檔預處理比模型選擇更關鍵 — 直接拖放原始 PDF 會產生無意義的分塊(如簽名、日期等),導致 token 浪費、幻覺增加、準確度下降。經過結構化處理的數據能用較小的模型達到更好效果。

重點整理

  1. 文檔預處理比模型選擇更關鍵 — 直接拖放原始 PDF 會產生無意義的分塊(如簽名、日期等),導致 token 浪費、幻覺增加、準確度下降。經過結構化處理的數據能用較小的模型達到更好效果。

  2. 分塊策略必須匹配業務場景 — 不同文檔類型需要不同分塊方式:FAQ 適合標題分塊、非結構化文本用段落或固定字符(512 字符含 64% 重疊)、緊急訊息用句子分塊。正確的分塊方式直接影響後續檢索精度。

  3. 混合檢索勝於單一方法 — 向量檢索(余弦相似度)適合尋找語義相關內容,關鍵詞檢索(BM25)適合精確匹配。結合兩者並透過排序器(Re-ranker)篩選最相關的結果。

  4. 本地執行提供完整控制與成本優化 — 使用 Ollama 運行 5 億參數的 Quen 2.5 模型(400MB),無需付費 API,避免數據外流,可在 Python 層級加入防護(注入檢測、醫療告警)而非依賴 LLM 本身。

實用技巧與重點

  • 模型與基礎設施
  • Quen 2.5(5 億參數,400MB,比 7B 模型快且幻覺少)
  • BGE-M3 嵌入模型
  • PostgreSQL 向量數據庫
  • Ollama 本地 LLM 運行時
  • Docker 容器化
  • FastAPI 後端 + React 前端
  • Langfuse 可觀測性平台(免費)
  • 分塊策略
  • 標題分塊:依文檔 heading 分割
  • 段落分塊:每段作為一個 chunk
  • 固定 512 字符分塊 + 64% 重疊
  • 句子分塊:適合郵件或短訊息
  • 檢索與排序
  • 混合檢索:向量檢索(最近鄰尋找)+ BM25 關鍵詞檢索
  • 余弦距離計算相似度
  • 限制檢索結果數量(預設 2 個,可按場景調整)
  • Re-ranker 重新排序最終結果
  • 安全與可觀測性
  • Langfuse 追蹤每筆對話(model、回應數、延遲、成本估算)
  • 意圖檢測(Intent Reject)攔截不相關查詢
  • 醫療告警詞庫(escalation keywords)
  • LLM 分類器檢測注入攻擊
  • 所有檢查在 Python 層級,不送交 LLM

結論

數據質量和預處理策略往往比選擇最大的模型更能決定 RAG 系統的成敗。

完整解析

構建高效 RAG 系統的核心問題有二:一是用戶上傳文檔時即刻消耗 token,卻未回答任何問題;二是生產環境結合向量資料庫、關鍵詞搜尋、多個工具時管理複雜。講者提出「結構優先」的解法,而非直接依賴雲端 LLM。

具體做法從文檔預處理開始。使用 Dockling 將 PDF、Word、圖像轉為 Markdown 文件,再選擇適合的分塊策略。以 HR 員工手冊為例,若直接上傳 28 頁 PDF,分塊結果會包含「簽名」、「日期」等無意義內容,導致檢索時混入雜訊。相比之下,先將手冊改寫為「常見問題與回答」格式,再按標題分塊,每個 chunk 都具有明確的問題-答案對應,檢索時即能追蹤來源並驗證準確性。

檢索層面採用混合策略。向量檢索透過嵌入模型(BGE-M3)將查詢和文檔轉為向量,用余弦相似度找出語義相近的前 N 個結果;同時 BM25 關鍵詞檢索負責精確匹配(如產品名稱、編號)。兩路結果經排序器重新打分後,取得最相關的候選。限制返回結果數量也很關鍵——太多選項令用戶混淆,太少則遺漏重要資訊,需按使用場景調整。

系統採用本地優先架構,所有元件都能在筆電或 Code Space 運行。5 億參數的 Quen 2.5 模型(400MB)搭配 PostgreSQL 向量資料庫,使用 Langfuse 記錄每次查詢的模型、回應數、延遲等指標。關鍵創新在於安全防護不仰賴 LLM 本身的「理解」,而在 Python 層級預先攔截風險查詢——醫療相關詞彙觸發告警、注入攻擊字樣直接拒絕,確保只有合法請求才送交模型。這樣既減少 token 消耗,也避免了 LLM 有時遵守指令、有時「自作聰明」的不確定性。

整個系統無需任何付費 API 或外部依賴,成本為零,同時完全掌握數據流向和系統行為。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI