KeyFrame內部研究專用

別再只用 ChatGPT!開源 AI 模型已經強到你想不到!

漢克蔡 | Ai 集14 min中文
觀看原始影片

三句話摘要

如何在 80% 時間內掌握開源 AI 模型的核心知識,並介紹 4 種執行方式及其應用場景。 開源模型不再是複雜技術,任何人都能用現有電腦免費執行,企業級應用採用 VPS 方案最具成本效益與資訊安全保障。 開源模型已從理論概念進化成可直接應用的企業級解決方案。講者強調現在開源模型的表現已與閉源模型無異,但提供更大彈性——使用者擁有完全控制權,可選擇在本地或雲端執行,避免資料外洩風險。高度客製化能力(包括微調和新增防護欄)成為企業導入 AI 時的關鍵需求,尤其是對資訊安全高度重視的政府部門和金融機構。

重點整理

  1. 開源模型已從理論概念進化成可直接應用的企業級解決方案。講者強調現在開源模型的表現已與閉源模型無異,但提供更大彈性——使用者擁有完全控制權,可選擇在本地或雲端執行,避免資料外洩風險。高度客製化能力(包括微調和新增防護欄)成為企業導入 AI 時的關鍵需求,尤其是對資訊安全高度重視的政府部門和金融機構。

  2. 開源模型的免費特性在企業規模擴大時效益倍增。相比 ChatGPT 的月費 20-30 美金,企業若有數百至數千員工使用,長期成本差異極為可觀。講者親身經歷在香港無法使用 Claude 時改用本地開源模型,說明開源模型的實用價值不僅在於成本,更在於確保業務連續性。

實用技巧與重點

  • 開源模型的 5 個核心組件
  • 模型架構
  • 模型權重
  • 訓練程式碼
  • 推理程式碼
  • 合法使用證書
  • 4 種執行開源模型的方式
  • 本地執行(Local Operation)
  • 工具:Ollama
  • 安裝時間:不超過 3 分鐘
  • 優勢:完全隱私、免費使用、離線可用
  • 新功能:支援本機 Agent、自動程式碼編寫、會議記錄整合
  • 瀏覽器/沙盒執行
  • 平台:groq.com、Hugging Face(擁抱臉)
  • 優勢:無需安裝、無需寫程式碼、無需購買硬體
  • 缺點:隱私風險較高
  • 託管 API
  • 平台:Fireworks AI
  • 方式:第三方提供託管模型,直接串接 API 使用
  • 成本趨勢:2026 年 Q3 成本下跌 50%
  • 虛擬專用伺服器(VPS)
  • 內含:CPU、記憶體、資料庫
  • 適用:企業級解決方案(使用者 1,000 人以上)
  • GPU 租借:vast.ai(按小時計費)
  • 應用客戶:政府部門、金融管理、高科技製造業
  • 硬體需求
  • 4B(40 億參數):任何電腦、手機均可執行
  • 8B-13B 參數:MacBook Pro 等主流筆電可執行
  • 更大參數:企業級硬體或雲端伺服器必需
  • 講者背景資訊
  • CrazyLing 創辦人漢克蔡
  • 已幫助 70+ 家企業導入 AI 解決方案
  • 公司累計服務逾 10 萬用戶
  • Anthropic(Claude 公司)官方合作伙伴
  • 開源模型的三大優勢
  • 完全控制權:選擇執行位置(本地或雲端)
  • 高度客製化:支援微調、架構修改、防護欄(Guardrail)新增
  • 免費使用:相比訂閱制的顯著成本優勢

結論

開源模型不再是複雜技術,任何人都能用現有電腦免費執行,企業級應用採用 VPS 方案最具成本效益與資訊安全保障。

完整解析

作為成功幫助超過 70 家企業導入 AI 的企業家,講者漢克蔡在近兩年時間內與團隊反覆測試開源模型的可行性、安全性和商業效益後,決定製作本支影片。他要打破一個普遍迷思:開源模型並非複雜的技術工程,任何人用現有電腦就能執行,完全不需要程式碼基礎。事實上,開源模型已成為 AI 新創公司和眾多企業的首選方案。

開源模型的核心定義包含五個組件:模型架構、模型權重、訓練程式碼、推理程式碼,以及合法使用證書。截至 2026 年中期,市場上涌現眾多高效能的開源模型選項。開源模型的表現已與 ChatGPT、Claude 和 Gemini 等閉源模型相當,使用者應開始思考何時採用開源、何時採用閉源方案。開源模型提供三大優勢:完全控制權(可在本地電腦或雲端執行)、高度客製化(支援微調和架構修改,尤其是新增防護欄 Guardrail——這是企業 AI 導入時最重視的面向,也是 CrazyLing 獲得 Anthropic 官方合作伙伴認證的核心原因)、完全免費使用(相比 ChatGPT 月費 20-30 美金,企業規模越大成本差異越明顯)。

講者介紹了四種實踐開源模型的方式。第一種本地執行是最推薦的起點,使用 Ollama 等桌面應用程式,從官網下載安裝僅需 3 分鐘。優勢在於最高的隱私性、完全免費(除硬體和電力成本)、離線可用。講者舉例在香港出差時無法使用 Claude,轉而依賴本地開源模型完成工作,說明其實用價值。Ollama 已升級支援本機 Agent,能自動編寫程式碼並整合會議記錄等資料。

第二種瀏覽器/沙盒執行更加便捷,無需安裝或程式碼基礎。groq.com 和 Hugging Face(擁抱臉)等平台已預先架設模型供使用者直接測試,打開瀏覽器即可體驗開源模型與閉源模型的差異。缺點是隱私風險相對較高。

第三種託管 API 適合想快速創造客戶價值但缺乏基建投資意願的創業者。Fireworks AI 等平台已整理完善的開源模型,使用者只需將 API 串接到軟體中即可。根據最新數據,2026 年第三季託管 API 的智能成本已下跌 50%,且這是不可逆的趨勢——隨著基建完善,所有模型(開源或閉源)的成本和算力成本必將持續下降。

第四種虛擬專用伺服器(VPS) 是講者 CrazyLing 的主要營收來源,也是企業級解決方案的最優選擇。VPS 租借已架設的硬體(CPU、記憶體、資料庫),使用者在其上架設軟體、串接 AI、微調模型,適合使用者超過 1,000 人且客戶無硬體投資意願的情況。講者坦言公司九成以上的政府部門、金融管理和高科技製造客戶都採用 VPS 方案。對於涉及模型微調等進階應用,必須租借 GPU,可透過 vast.ai 等平台按小時計費(計費方式特殊,需留意)。

硬體需求相對親民。4B 參數的小模型任何電腦甚至手機都能執行,講者親測 2025 年購入的 MacBook Pro 成功執行 4B 和 8B 參數模型,唯一限制是無法同時進行影片編輯等耗資源工作。許多企業購買 Mac mini 等專用硬體來獨立執行開源模型和 AI Agent,避免佔用主機資源造成效能下降。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。