KeyFrame內部研究專用

Why Large? Tiny LMs & Agents on Edge/Robotics — Cormac Brick, Google

AI Engineer21 min英文
觀看原始影片

三句話摘要

如何通過微型 AI 模型在邊界設備上部署智能功能,打破 DRAM 成本限制,讓更廣泛的消費設備和機器人獲得 AI 能力。 通過量化、微調和合成數據集,微型 AI 模型可以在消費級邊界設備上實現可靠的生產功能,解鎖被 DRAM 成本門檻排除在外的數百萬設備。 邊界 AI 的核心優勢:低延遲、隱私保護、離線可用、成本節省。尤其在大規模用戶交互場景中,即使便宜的雲端調用也會因流量×成本快速累積,使邊界部署在經濟上更優。

重點整理

  1. 邊界 AI 的核心優勢:低延遲、隱私保護、離線可用、成本節省。尤其在大規模用戶交互場景中,即使便宜的雲端調用也會因流量×成本快速累積,使邊界部署在經濟上更優。

  2. DRAM 成本成為主導制約:設備廠商正在降低 DRAM 配置,Raspberry Pi 16GB 版本價格上升 2.5 倍。這一瓶頸迫使工程師必須在量化和模型最小化上投入大量工作。

  3. 小型模型的能力與限制:1-4B 參數模型(如 Gemma)通過零樣本提示即可達成不錯性能,但需要 4GB+ RAM,限制其部署範圍;微型模型(50M-500M)雖然內存需求更低,卻需要精心微調才能達成可靠功能。

  4. 合成數據微調是實用方案:投入 10,000 至 10 百萬樣本的合成數據集進行微調,可使遠小得多的模型達成與大型模型相當或更好的效果,同時在更廣泛的設備上運行且響應速度更快。

實用技巧與重點

  • 組織與工具:
  • Google AI Edge Team 開發的開源項目:Literity LM、Literity Media Pipe
  • Gemma 系列模型(特別是 Gemma 2B)
  • Function Gemma:為函數調用預先訓練的變體
  • Mobile Actions 數據集(Huggingface 開源)
  • AI Edge Gallery(iOS/Android 應用)
  • 性能數據:
  • Raspberry Pi 上 Gemma 2B:7.6 tokens/sec 解碼(無 MTP);開啟 MTP 可達 2 倍速度
  • Jetson Nano:24 tokens/sec 解碼
  • Qualcomm IoT 板:~4,000 tokens/sec 預填充,31 tokens/sec 解碼
  • 內存占用:Gemma 2B 權重 41MB;運行時 ~2GB 活躍 RAM;加上 OS 需 4GB+ 總 RAM
  • Apple FastVLM:0.5B 參數視覺模型,實時性能優異
  • Mobile Actions 模型:10 個函數輸出,86% 可靠度
  • 模型規模與參數:
  • 小型模型:1-4B 參數(如內置 Android 高端機、Apple Intelligence)
  • 微型模型:50M-500M 參數(如 Gemma tree 270M 基礎模型)
  • 微調數據集規模:10,000-10,000,000 樣本
  • 部署案例:
  • 無訂閱語音聽寫 App(iOS):雙層微調 Gemma 模型架構(ASR + 文本清理引擎)
  • OpenDoc Mini V2 機器人:使用 Jetson Nano 或 Raspberry Pi 實現視覺和語音交互
  • Chrome 內置 API:摘要、校對功能透過微型模型提供給更廣泛用戶

結論

通過量化、微調和合成數據集,微型 AI 模型可以在消費級邊界設備上實現可靠的生產功能,解鎖被 DRAM 成本門檻排除在外的數百萬設備。

完整解析

邊界 AI 的核心吸引力在於低延遲、數據隱私和離線可靠性,但大型 AI 模型部署在邊界設備上面臨嚴峻挑戰。最迫切的制約來自 DRAM 成本:在消費級硬件上,DRAM 配置甚至在縮減,而通用方案則面臨記憶體牆。這迫使工程團隊必須既要通過激進的量化壓縮模型,也要尋求最小化模型本身。

演講者介紹了 Google 在這一領域的工作方向:首先是與 Gemma 團隊合作開發小型模型。1-4B 參數的 Gemma 模型在推理能力上可與一年前的 Gemma 3 大型模型相當,通過零樣本提示已能達成不錯效果。為了優化內存足跡,團隊使用了混合量化策略(2 位、4 位和 8 位)將權重降至平均 2.9 位,使 Gemma 2B 的內存占用僅為 41MB(不計運行時)。加上 KV 緩存和運行時開銷,生產部署通常需要 4GB+ RAM——這限制了其部署範圍。在速度方面,Raspberry Pi 上達到 7.6 tokens/sec,Jetson Nano 可達 24 tokens/sec,而 Qualcomm IoT 板在啟用硬件加速後可達到幾乎實時的性能(4,000 tokens/sec 預填充、31 tokens/sec 解碼),足以每秒處理 3 幀高分辨率圖像。

然而小型模型仍無法滿足所有需求。許多場景要求更低的內存占用或更快的響應,且模型往往只是整個應用中的一小部分功能。這促使開發微型模型,通常在 50M-500M 參數範圍內。對於固定任務如自動語音識別、視覺和嵌入,已有現成的優化模型可用(如 0.5B 參數的 Apple FastVLM)。但若需要通用推理或特定功能,關鍵策略是對基礎模型進行微調。團隊發現合成數據集微調是最實用的方案:投入 10,000 到 10 百萬樣本的合成數據,可使 270M 參數的 Function Gemma 達到 86% 的函數調用可靠度,涵蓋 10 種不同輸出函數。這一方法已在生產中驗證——iOS 上的無訂閱語音聽寫應用採用雙層微調架構(ASR 引擎 + 文本清理引擎),完全離線運行卻能達到高質量輸出,並支持去除言語填充詞和個人化偏向。

此外,Chrome 等平台已開始通過微型模型內置摘要和校對 API,使更廣泛的用戶能訪問這些功能。語音轉函數調用(voice-to-function calling)成為關鍵用例,因為低端設備通常缺乏友好的設置菜單,但通過微調小模型已可實現可靠的交互。整個方法論的核心是選擇合適的基礎模型、驗證性能和內存占用、投入時間生成高質量的合成數據集,最後通過微調達成既小又快又可靠的部署。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。