The Local AI Strategy Nobody Can Shut Down

政府和監管機構日益加強對 AI 模型的禁用，這為完全依賴某個雲端模型的應用帶來了嚴重的單點風險。講者透過一個基於 ProGit 書（關於 Git 的詳細手冊）的文檔問答系統，展示如何設計出能應對模型被禁用的韌性系統。這個應用允許用戶提出自然語言問題（如「如何建立並切換分支」），系統將返回精確的答案，並引用書籍中的具體頁碼和區塊作為證據來源。

系統的核心設計採用了雙路架構。講者實現了兩個完全獨立的版本：第一版使用 Mistral 的最新雲端服務，包括先進的 OCR 模型 Mistral OCR 4 和語言模型 Mistral 3B Latest；第二版完全本地化，使用開源的 doctr 進行文字識別，透過 LM Studio 在本地機器上運行開源的 Mistral 模型。這兩個版本的公開 API 和商業邏輯完全相同，透過一個「主權模式」的單一配置參數在兩者間切換，無需修改任何應用代碼。

摄取流程分為幾個關鍵步驟。PDF 檔案進入系統後，應用檢查主權模式設定，選擇使用 Mistral OCR 4（雲端）或 doctr（本地）進行光學文字識別。在演示中，20 頁的 ProGit PDF 經過 Mistral OCR 4 產生了 171 個結構化塊，每個塊包含文本、邊界框、內容類型和置信度分數；而本地 doctr 則產生了 20 個更粗粒度的塊。這反映出雲端模型的精細程度更高，但本地模型的輸出仍足以支撐後續任務。所有塊隨後使用 FastEmbed 轉換為向量嵌入，存儲在本地向量數據庫中。

查詢流程同樣支持雙路。當用戶提問時，系統使用相同的嵌入方法將問題向量化，在向量數據庫中檢索最相關的塊作為來源，然後將這些源文本與用戶問題一起傳遞給語言模型。在雲端路徑中使用 Mistral 3B Latest，在本地路徑中使用 LM Studio 中運行的開源 Mistral 模型。這裡有個關鍵的架構決策：由於 Mistral 已開源其語言模型，本地版本和雲端版本在輸出行為上完全相同，只是執行環境和成本不同。這與 OCR 層的情況不同——那裡 Mistral OCR 4 在功能上明顯優於 doctr。正因為這個設計選擇，系統在雲端不可用時的降級不會產生功能劣化，只是速度和成本變化。

演示證實了這個設計的實用性。無論使用雲端還是本地模型，系統都能正確引用 ProGit 書中的相關章節。雖然塊的粒度不同，但都完成了任務。講者進一步建議，若必須使用雲端模型，應確保相同模型可透過多個提供者訪問（例如 Claude Opus 既可透過 Anthropic API 也可透過 Google Vertex 或 OpenRouter 訪問），以規避任何單一提供商的禁用風險。同時應探索小型開源模型替代昂貴的最新模型，雖然性能會下降，但提供了無可替代的備用方案。