KeyFrame內部研究專用

How To Use Claude Code With Ollama (Free Local AI Setup)

Ksk Royal8 min英文
觀看原始影片

三句話摘要

在本機使用 Olama 執行 Anthropic Compatible API,用本地開源 AI 模型運行 Claude Code 進行開發。 本地運行 Claude Code 經由 Olama 的 Anthropic 相容層已成可行,關鍵是根據硬體挑選模型規模,並將 context window 提升至 64K 來充分發揮模型能力。 Olama 的 API 相容性突破:Olama 現已支援 Anthropic Compatible API 端點,讓 Claude Code 能直接呼叫本機執行的模型,打破雲端綁定的限制。

重點整理

  1. Olama 的 API 相容性突破:Olama 現已支援 Anthropic Compatible API 端點,讓 Claude Code 能直接呼叫本機執行的模型,打破雲端綁定的限制。

  2. 模型選擇與硬體匹配:Jammer 4 e2b(8GB 記憶體)提供 30-40 tokens/sec 的回應速度,Jammer 4 12b(13GB 記憶體)提供顯著更強的推理能力;Qwen 3.6 27b 適合 24GB 以上機器。

  3. Context Window 是關鍵瓶頸:Olama 預設 8K tokens 的 context 遠不足以支持複雜編程任務,必須手動提升至 64K 才能讓 Claude Code 維持完整的對話歷史與任務指示。

  4. 模型規模影響輸出品質:2B 模型在跨多個檔案的 HTML/CSS/JavaScript 一致修改上失敗,12B 模型能正確分析根本原因並精準修復,凸顯參數規模對複雜推理的決定性影響。

實用技巧與重點

  • 下載來源:olama.com
  • 推薦模型與需求:
  • Jammer 4 e2b:8GB RAM,30-40 tokens/sec
  • Jammer 4 12b:13GB RAM
  • Qwen 3.6 27b:24GB+ RAM
  • 必須設定:context length = 64K(在 Olama 設定中修改)
  • 啟動命令:透過 Olama 的指定頁面取得,會自動偵測並安裝 Claude Code CLI
  • 硬體:M4 MacBook Air 可運行,任何現代 Mac/Windows/Linux 都支援
  • MLX 優化版本:Apple Silicon 專用優化
  • 生成時間範例:3 分鐘建立完整待辦事項應用;4 分鐘添加暗黑模式功能

結論

本地運行 Claude Code 經由 Olama 的 Anthropic 相容層已成可行,關鍵是根據硬體挑選模型規模,並將 context window 提升至 64K 來充分發揮模型能力。

完整解析

Olama 最近推出的 Anthropic Compatible API 支援,改變了本地開發者運行大型語言模型的方式。過去 Claude Code 只能透過雲端 API 執行,現在則能直接與執行在使用者機器上的開源模型溝通,既規避了隱私風險,也消除了 API 成本。

安裝流程簡潔明快:從 olama.com 下載適合作業系統的安裝程式,複製安裝命令貼到終端機即完成。Olama 啟動後駐留在工作列,用戶需進入模型庫選擇與硬體相匹的版本。對於 24GB 記憶體以上的機器,Qwen 3.6 27b 是頂級編碼模型;對於中等硬體,Jammer 4 系列(8GB 用 e2b、13GB 用 12b)是平衡點。Apple Silicon Mac 應優先下載 MLX 優化版本以發揮最大效能。

然而初期設置有一項關鍵卻容易忽視的步驟:Olama 預設的 8K context window 完全不足應付編程任務。在使用 Claude Code 前必須將其提升至 64K,讓模型保留完整的對話歷史與任務指示。演示中用 Jammer 4 e2b 建立待辦事項應用只需三分鐘,顯示小模型對簡單任務游刃有餘,生成速度達 30-40 tokens 每秒。

但當任務複雜度提升,問題隨之浮現。嘗試添加暗黑模式時,2B 參數模型無法同時在三個檔案(HTML/CSS/JavaScript)間保持邏輯一致,導致 UI 美觀度下降。此時升級至 Jammer 4 12b 展現了參數規模的實際影響:模型不只生成更好的代碼,更重要的是能正確診斷問題根源(CSS 規則未更新、JavaScript 切換邏輯衝突),然後應用精準的修復。雖然單次迭代耗時更長,但推理能力的跳躍式提升使得最終產物達到可用水準。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。