KeyFrame內部研究專用

Learn Open Source AI in 13 Minutes | A Complete Guide

李厂长来了13 min中文
觀看原始影片

三句話摘要

開源AI模型的現狀、優勢與構建AI Agent的技術棧 開源AI模型已進入爆發期,掌握數據隱私、大幅降低成本、打破供應商鎖定,現在正是切入開源AI生態的最佳時機。 開源AI讓用戶獲得完整控制權,可在本地部署、自訂修改架構,無需受限於單一廠商。相比之下,使用Claude等閉源模型會產生「平台風險」——公司倒閉時數據永久丟失,且模型會保留你的操作方式用於訓練自己的系統。

重點整理

  1. 開源AI讓用戶獲得完整控制權,可在本地部署、自訂修改架構,無需受限於單一廠商。相比之下,使用Claude等閉源模型會產生「平台風險」——公司倒閉時數據永久丟失,且模型會保留你的操作方式用於訓練自己的系統。

  2. 成本差異懸殊是開源模型最強競爭力:Claude 3.5 Sonnet每百萬token輸出代幣需50美元,DeepSeek V3僅需0.18美元,差價達277倍,足以改變商業經濟性,使開源模型對絕大多數用戶極具吸引力。

  3. 中國開源模型(Qwen、Kimi、GLM)實現關鍵突破,被全球開發者採用,也被Thomson Reuters、Cursor、ByteDance、Perplexity等美國科技巨頭用於生產應用,原因在於數據隱私保護優於成本考量,特別是在金融、法律等敏感領域。

  4. 構建開源AI Agent的技術棧分為四層:第一層選擇基礎模型(Qwen/Kimi/GLM等),第二層用Ollama簡化本地部署,第三層透過n8n或Agent SDK框架授予模型工具和記憶能力,第四層根據具體任務用自有數據進行微調。

實用技巧與重點

  • 主要開源模型(2026年9月):
  • Moonshot AI 的 Kimi / Kimi k2.5
  • Zhipu AI 的 GLM
  • Alibaba 的 Qwen
  • DeepSeek V3
  • 主要閉源模型:
  • OpenAI GPT / GPT-4o / GPT-4o-mini
  • Anthropic Claude 3.5 Sonnet
  • Google Gemini
  • X Grok
  • token成本對比:
  • Claude 3.5 Sonnet:50美元/百萬token輸出
  • DeepSeek V3:0.18美元/百萬token輸出
  • GPT-4o-mini:降價80%
  • GPT-4o:輸入token降價20%、輸出token降價33%
  • 模型管理工具:
  • Ollama
  • Agent框架與SDK:
  • n8n
  • OpenAI Agent SDK
  • Google Agent Development Kit
  • 模型評測與比較網站:
  • artificialanalysis.ai
  • LLMStats
  • Arena Leaderboard
  • 實際案例公司:
  • Thomson Reuters(使用Qwen)
  • Cursor(使用Kimi k2.5)
  • ByteDance(使用Qwen)
  • Perplexity(使用DeepSeek)
  • 市場數據:
  • Qwen 擁有超過150,000個社區衍生模型
  • 美國創業公司有80%概率正在使用中國開源模型
  • 2025年6-7月間,中國模型下載量首次超越美國

結論

開源AI模型已進入爆發期,掌握數據隱私、大幅降低成本、打破供應商鎖定,現在正是切入開源AI生態的最佳時機。

完整解析

開源AI模型的崛起已成為當今AI產業的關鍵轉折點。自2022年GPT發佈以來,OpenAI和Anthropic主導的閉源模型長期獨占鰲頭,用戶只能透過API或網頁應用存取這些模型,無法掌控底層技術或數據使用方式。直到2025年1月DeepSeek-R1的出現,才首次讓開源模型與最頂級閉源模型相互競爭,這一突破性時刻打開了開源AI加速發展的大門。根據雲部署平台的統計,從2026年6月至8月間,平台上開源模型的token使用比例明顯上升,反映出市場對開源方案的需求正在快速增長。

開源模型的優勢遠超表面上的成本節省。閉源模型如Claude會保留用戶數據用於訓練,導致用戶實際上是在透過API分享自己的操作邏輯與敏感信息給AI公司,形成嚴重的「平台風險」——若OpenAI或Anthropic倒閉,你的所有數據將永久丟失。相比之下,開源模型讓你完全掌控數據,可在本地或私有雲運行,無需擔心供應商鎖定。成本差異則更加驚人:Claude 3.5 Sonnet每百萬token輸出代幣需50美元,而DeepSeek V3儘管功能強大,卻僅需0.18美元,價差超過200倍。OpenAI也開始大幅降價(GPT-4o-mini下降80%),明確表示開源模型的競爭壓力已迫使整個產業重新評估定價策略。

中國開源模型的快速崛起是值得深入分析的現象。Alibaba的Qwen、Moonshot的Kimi、Zhipu的GLM等模型不僅被全球開發者下載,更被Thomson Reuters、Cursor、ByteDance、Perplexity等美國科技巨頭用於構建生產級應用。這並非這些企業缺乏自有技術,而是出於數據隱私和成本效益的考量——尤其在金融、法律等敏感領域,企業需要能夠完全控制模型的行為和數據流向。同時,這些公司往往使用自有業務數據對開源模型進行微調,使其更深刻理解企業特定需求。Qwen已擁有超過150,000個社區衍生版本,展現了開源模型驚人的生命力與創新活力。

構建自己的開源AI Agent需要明確的技術棧設計。第一步,透過artificialanalysis.ai、LLMStats等網站對比各模型排名,選擇符合任務需求的基礎模型。第二步,使用Ollama等工具簡化本地部署流程,無需複雜配置即可在筆記型電腦上執行模型。第三步,透過n8n或OpenAI Agent SDK等框架,為模型授予調用外部工具、記憶儲存、背景知識等能力,將基礎模型升級為具備Agent功能的系統。第四步,根據具體業務需求使用自有數據進行微調,使Agent更深刻理解你的業務邏輯與偏好。這個三層架構使得個人開發者和中小企業也能快速構建具備企業級功能的AI系統,成本遠低於依賴閉源API的方案。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。