別再只用 ChatGPT!開源 AI 模型已經強到你想不到!
三句話摘要
如何在 80% 時間內掌握開源 AI 模型的核心知識,並介紹 4 種執行方式及其應用場景。 開源模型不再是複雜技術,任何人都能用現有電腦免費執行,企業級應用採用 VPS 方案最具成本效益與資訊安全保障。 開源模型已從理論概念進化成可直接應用的企業級解決方案。講者強調現在開源模型的表現已與閉源模型無異,但提供更大彈性——使用者擁有完全控制權,可選擇在本地或雲端執行,避免資料外洩風險。高度客製化能力(包括微調和新增防護欄)成為企業導入 AI 時的關鍵需求,尤其是對資訊安全高度重視的政府部門和金融機構。
重點整理
開源模型已從理論概念進化成可直接應用的企業級解決方案。講者強調現在開源模型的表現已與閉源模型無異,但提供更大彈性——使用者擁有完全控制權,可選擇在本地或雲端執行,避免資料外洩風險。高度客製化能力(包括微調和新增防護欄)成為企業導入 AI 時的關鍵需求,尤其是對資訊安全高度重視的政府部門和金融機構。
開源模型的免費特性在企業規模擴大時效益倍增。相比 ChatGPT 的月費 20-30 美金,企業若有數百至數千員工使用,長期成本差異極為可觀。講者親身經歷在香港無法使用 Claude 時改用本地開源模型,說明開源模型的實用價值不僅在於成本,更在於確保業務連續性。
實用技巧與重點
- 開源模型的 5 個核心組件
- 模型架構
- 模型權重
- 訓練程式碼
- 推理程式碼
- 合法使用證書
- 4 種執行開源模型的方式
- 本地執行(Local Operation)
- 工具:Ollama
- 安裝時間:不超過 3 分鐘
- 優勢:完全隱私、免費使用、離線可用
- 新功能:支援本機 Agent、自動程式碼編寫、會議記錄整合
- 瀏覽器/沙盒執行
- 平台:groq.com、Hugging Face(擁抱臉)
- 優勢:無需安裝、無需寫程式碼、無需購買硬體
- 缺點:隱私風險較高
- 託管 API
- 平台:Fireworks AI
- 方式:第三方提供託管模型,直接串接 API 使用
- 成本趨勢:2026 年 Q3 成本下跌 50%
- 虛擬專用伺服器(VPS)
- 內含:CPU、記憶體、資料庫
- 適用:企業級解決方案(使用者 1,000 人以上)
- GPU 租借:vast.ai(按小時計費)
- 應用客戶:政府部門、金融管理、高科技製造業
- 硬體需求
- 4B(40 億參數):任何電腦、手機均可執行
- 8B-13B 參數:MacBook Pro 等主流筆電可執行
- 更大參數:企業級硬體或雲端伺服器必需
- 講者背景資訊
- CrazyLing 創辦人漢克蔡
- 已幫助 70+ 家企業導入 AI 解決方案
- 公司累計服務逾 10 萬用戶
- Anthropic(Claude 公司)官方合作伙伴
- 開源模型的三大優勢
- 完全控制權:選擇執行位置(本地或雲端)
- 高度客製化:支援微調、架構修改、防護欄(Guardrail)新增
- 免費使用:相比訂閱制的顯著成本優勢
結論
開源模型不再是複雜技術,任何人都能用現有電腦免費執行,企業級應用採用 VPS 方案最具成本效益與資訊安全保障。
完整解析
作為成功幫助超過 70 家企業導入 AI 的企業家,講者漢克蔡在近兩年時間內與團隊反覆測試開源模型的可行性、安全性和商業效益後,決定製作本支影片。他要打破一個普遍迷思:開源模型並非複雜的技術工程,任何人用現有電腦就能執行,完全不需要程式碼基礎。事實上,開源模型已成為 AI 新創公司和眾多企業的首選方案。
開源模型的核心定義包含五個組件:模型架構、模型權重、訓練程式碼、推理程式碼,以及合法使用證書。截至 2026 年中期,市場上涌現眾多高效能的開源模型選項。開源模型的表現已與 ChatGPT、Claude 和 Gemini 等閉源模型相當,使用者應開始思考何時採用開源、何時採用閉源方案。開源模型提供三大優勢:完全控制權(可在本地電腦或雲端執行)、高度客製化(支援微調和架構修改,尤其是新增防護欄 Guardrail——這是企業 AI 導入時最重視的面向,也是 CrazyLing 獲得 Anthropic 官方合作伙伴認證的核心原因)、完全免費使用(相比 ChatGPT 月費 20-30 美金,企業規模越大成本差異越明顯)。
講者介紹了四種實踐開源模型的方式。第一種本地執行是最推薦的起點,使用 Ollama 等桌面應用程式,從官網下載安裝僅需 3 分鐘。優勢在於最高的隱私性、完全免費(除硬體和電力成本)、離線可用。講者舉例在香港出差時無法使用 Claude,轉而依賴本地開源模型完成工作,說明其實用價值。Ollama 已升級支援本機 Agent,能自動編寫程式碼並整合會議記錄等資料。
第二種瀏覽器/沙盒執行更加便捷,無需安裝或程式碼基礎。groq.com 和 Hugging Face(擁抱臉)等平台已預先架設模型供使用者直接測試,打開瀏覽器即可體驗開源模型與閉源模型的差異。缺點是隱私風險相對較高。
第三種託管 API 適合想快速創造客戶價值但缺乏基建投資意願的創業者。Fireworks AI 等平台已整理完善的開源模型,使用者只需將 API 串接到軟體中即可。根據最新數據,2026 年第三季託管 API 的智能成本已下跌 50%,且這是不可逆的趨勢——隨著基建完善,所有模型(開源或閉源)的成本和算力成本必將持續下降。
第四種虛擬專用伺服器(VPS) 是講者 CrazyLing 的主要營收來源,也是企業級解決方案的最優選擇。VPS 租借已架設的硬體(CPU、記憶體、資料庫),使用者在其上架設軟體、串接 AI、微調模型,適合使用者超過 1,000 人且客戶無硬體投資意願的情況。講者坦言公司九成以上的政府部門、金融管理和高科技製造客戶都採用 VPS 方案。對於涉及模型微調等進階應用,必須租借 GPU,可透過 vast.ai 等平台按小時計費(計費方式特殊,需留意)。
硬體需求相對親民。4B 參數的小模型任何電腦甚至手機都能執行,講者親測 2025 年購入的 MacBook Pro 成功執行 4B 和 8B 參數模型,唯一限制是無法同時進行影片編輯等耗資源工作。許多企業購買 Mac mini 等專用硬體來獨立執行開源模型和 AI Agent,避免佔用主機資源造成效能下降。


