How To Use Claude Code With Ollama (Free Local AI Setup)
三句話摘要
在本機使用 Olama 執行 Anthropic Compatible API,用本地開源 AI 模型運行 Claude Code 進行開發。 本地運行 Claude Code 經由 Olama 的 Anthropic 相容層已成可行,關鍵是根據硬體挑選模型規模,並將 context window 提升至 64K 來充分發揮模型能力。 Olama 的 API 相容性突破:Olama 現已支援 Anthropic Compatible API 端點,讓 Claude Code 能直接呼叫本機執行的模型,打破雲端綁定的限制。
重點整理
重點- 1
Olama 的 API 相容性突破:Olama 現已支援 Anthropic Compatible API 端點,讓 Claude Code 能直接呼叫本機執行的模型,打破雲端綁定的限制。
- 2
模型選擇與硬體匹配:Jammer 4 e2b(8GB 記憶體)提供 30-40 tokens/sec 的回應速度,Jammer 4 12b(13GB 記憶體)提供顯著更強的推理能力;Qwen 3.6 27b 適合 24GB 以上機器。
- 3
Context Window 是關鍵瓶頸:Olama 預設 8K tokens 的 context 遠不足以支持複雜編程任務,必須手動提升至 64K 才能讓 Claude Code 維持完整的對話歷史與任務指示。
- 4
模型規模影響輸出品質:2B 模型在跨多個檔案的 HTML/CSS/JavaScript 一致修改上失敗,12B 模型能正確分析根本原因並精準修復,凸顯參數規模對複雜推理的決定性影響。
實用技巧與重點
乾貨- 下載來源:olama.com
- 推薦模型與需求:
- Jammer 4 e2b:8GB RAM,30-40 tokens/sec
- Jammer 4 12b:13GB RAM
- Qwen 3.6 27b:24GB+ RAM
- 必須設定:context length = 64K(在 Olama 設定中修改)
- 啟動命令:透過 Olama 的指定頁面取得,會自動偵測並安裝 Claude Code CLI
- 硬體:M4 MacBook Air 可運行,任何現代 Mac/Windows/Linux 都支援
- MLX 優化版本:Apple Silicon 專用優化
- 生成時間範例:3 分鐘建立完整待辦事項應用;4 分鐘添加暗黑模式功能
結論
結論“本地運行 Claude Code 經由 Olama 的 Anthropic 相容層已成可行,關鍵是根據硬體挑選模型規模,並將 context window 提升至 64K 來充分發揮模型能力。”
完整解析
詳細Olama 最近推出的 Anthropic Compatible API 支援,改變了本地開發者運行大型語言模型的方式。過去 Claude Code 只能透過雲端 API 執行,現在則能直接與執行在使用者機器上的開源模型溝通,既規避了隱私風險,也消除了 API 成本。
安裝流程簡潔明快:從 olama.com 下載適合作業系統的安裝程式,複製安裝命令貼到終端機即完成。Olama 啟動後駐留在工作列,用戶需進入模型庫選擇與硬體相匹的版本。對於 24GB 記憶體以上的機器,Qwen 3.6 27b 是頂級編碼模型;對於中等硬體,Jammer 4 系列(8GB 用 e2b、13GB 用 12b)是平衡點。Apple Silicon Mac 應優先下載 MLX 優化版本以發揮最大效能。
然而初期設置有一項關鍵卻容易忽視的步驟:Olama 預設的 8K context window 完全不足應付編程任務。在使用 Claude Code 前必須將其提升至 64K,讓模型保留完整的對話歷史與任務指示。演示中用 Jammer 4 e2b 建立待辦事項應用只需三分鐘,顯示小模型對簡單任務游刃有餘,生成速度達 30-40 tokens 每秒。
但當任務複雜度提升,問題隨之浮現。嘗試添加暗黑模式時,2B 參數模型無法同時在三個檔案(HTML/CSS/JavaScript)間保持邏輯一致,導致 UI 美觀度下降。此時升級至 Jammer 4 12b 展現了參數規模的實際影響:模型不只生成更好的代碼,更重要的是能正確診斷問題根源(CSS 規則未更新、JavaScript 切換邏輯衝突),然後應用精準的修復。雖然單次迭代耗時更長,但推理能力的跳躍式提升使得最終產物達到可用水準。
關鍵時刻
Pipeline v2帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。


