Run Your Own AI? 🦙 Full Ollama Setup + Practical Agentic AI
三句話摘要
如何使用 Ollama 在本機電腦執行開源 AI 模型，實現完全私密的本地 AI 助手。 Ollama 讓任何人都能在三分鐘內擁有私密、零成本且完全可控的本地 AI，並透過簡單端點對接外部工具，開啟隱私保護與自動化的全新可能。 本地 AI 提供三大優勢：完全隱私（無數據上傳伺服器）、零成本運行（一次下載永久使用）、離線可用（無需網路連接）。講者強調這對處理敏感筆記和個人工作特別重要，可直接在 Obsidian 等筆記軟體中查詢個人知識庫而無隱私洩露風險。
重點整理
重點- 1
本地 AI 提供三大優勢：完全隱私（無數據上傳伺服器）、零成本運行（一次下載永久使用）、離線可用（無需網路連接）。講者強調這對處理敏感筆記和個人工作特別重要，可直接在 Obsidian 等筆記軟體中查詢個人知識庫而無隱私洩露風險。
- 2
Ollama 是最易上手的本地模型框架，安裝只需執行單一指令或下載應用程式，新手可在一分鐘內完成整個設定流程並獲得聊天介面，使用體驗與 ChatGPT 無異。
- 3
模型選擇需依據硬體配置：Gemma E2B 適合 4GB RAM（手機），Gemma E4B 適合 8GB RAM（大多筆電），Gemma 31B 需 32GB+ RAM（桌機）。關鍵是「有效參數」(effective parameters) 概念能用更少資源模擬大型模型行為。
- 4
本地模型必須擴展上下文視窗至 64K 以支援 Hermes 等 AI 代理工具執行複雜任務，可透過建立模型變體實現，完成後即可連接外部工具進行自動化工作流程。
實用技巧與重點
乾貨- 安裝指令：
- `curl -fsSL https://ollama.ai/install.sh | sh` （自動安裝）
- `ollama version` （檢查安裝）
- `ollama pull gemma2:7b` （拉取模型）
- `ollama run gemma2:7b` （啟動對話）
- `ollama list` （檢視已安裝模型）
- `ollama ps` （查看執行狀態）
- Gemma 2 系列規格：
- Gemma E2B：4GB RAM，用於手機，約 2GB 儲存
- Gemma E4B：8GB RAM，大多筆電適用，3.3GB，預設上下文 32,768
- Gemma 12B：32GB RAM，約 12GB
- Gemma 31B：32GB+ RAM，20GB
- Gemma E64K（自製變體）：上下文 64,000 token
- 建立模型變體：
- ```
- echo "FROM gemma2:7b
- PARAMETER num_ctx 64000" | ollama create gemma2:64k -
- ```
- 端點設定：
- 本地 Ollama 端點：`http://localhost:11434`
- OpenAI 相容端點：`http://localhost:11434/v1`
- 支援連接工具： Hermes、Claude Code、Codex、Open Claw
- 其他可用模型類型： Qwen 3.6（編碼）、視覺模型、嵌入模型、思考類模型
結論
結論“Ollama 讓任何人都能在三分鐘內擁有私密、零成本且完全可控的本地 AI，並透過簡單端點對接外部工具，開啟隱私保護與自動化的全新可能。”
完整解析
詳細本地 AI 運行的核心價值在於重新掌握隱私、成本與自主性。講者指出每次使用雲端 AI 都在付出代價——無論是數據被監控分析，還是直接的訂閱費用。相比之下，本地模型一次下載永久使用，所有對話永遠留在自己的電腦上，成本只有電費，且可離線運行。這對管理敏感資訊特別重要——比如在 Obsidian 等筆記軟體中直接查詢個人知識庫，整個流程完全私密。
安裝 Ollama 本身毫無難度。用戶只需執行單一指令或點擊下載，系統自動配置命令列工具。三秒內檢驗版本，數秒內拉取第一個模型（如 Gemma E4B），一分鐘後就能在終端機與 AI 對話，體驗完全等同 ChatGPT 的聊天介面。桌面應用提供更友善的 UI，支援模型切換與對話記錄保存。
然而真正的價值在於模型選擇與優化。硬體決定了可運行的模型規模：4GB RAM 的手機只適合 E2B，大多筆電的 8GB RAM 可跑 E4B，專業級桌機才能駕馭 31B 參數的模型。關鍵創新是「有效參數」概念——通過分層嵌入技術，E4B 用更少資源達到 12B 模型的效能。但這些模型的預設上下文視窗（32K token）對 Hermes 等代理工具不足，Hermes 需要 64K token 才能掛載工具。解決方案是建立模型變體，只需編寫簡單配置，無需額外存儲空間，即可將上下文翻倍。
完成優化後，用戶透過 OpenAI 相容端點將本地模型暴露給 Hermes、Claude Code 等外部工具。Hermes 中輸入自訂端點 URL 後，本地 Gemma 模型瞬間變身全功能 AI 代理，可執行多步驟任務、訪問工具、進行自動化流程——完全無需雲端依賴。講者展示進階用法：在桌機上運行大型模型，透過網路從筆電遠程呼叫。整個生態開放且可組合，用戶根據需求堆疊不同的代理框架和模型，打造完整的本地智能系統。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
