Why Large? Tiny LMs & Agents on Edge/Robotics — Cormac Brick, Google
三句話摘要
如何通過微型 AI 模型在邊界設備上部署智能功能，打破 DRAM 成本限制，讓更廣泛的消費設備和機器人獲得 AI 能力。 通過量化、微調和合成數據集，微型 AI 模型可以在消費級邊界設備上實現可靠的生產功能，解鎖被 DRAM 成本門檻排除在外的數百萬設備。 邊界 AI 的核心優勢：低延遲、隱私保護、離線可用、成本節省。尤其在大規模用戶交互場景中，即使便宜的雲端調用也會因流量×成本快速累積，使邊界部署在經濟上更優。
重點整理
重點- 1
邊界 AI 的核心優勢：低延遲、隱私保護、離線可用、成本節省。尤其在大規模用戶交互場景中，即使便宜的雲端調用也會因流量×成本快速累積，使邊界部署在經濟上更優。
- 2
DRAM 成本成為主導制約：設備廠商正在降低 DRAM 配置，Raspberry Pi 16GB 版本價格上升 2.5 倍。這一瓶頸迫使工程師必須在量化和模型最小化上投入大量工作。
- 3
小型模型的能力與限制：1-4B 參數模型（如 Gemma）通過零樣本提示即可達成不錯性能，但需要 4GB+ RAM，限制其部署範圍；微型模型（50M-500M）雖然內存需求更低，卻需要精心微調才能達成可靠功能。
- 4
合成數據微調是實用方案：投入 10,000 至 10 百萬樣本的合成數據集進行微調，可使遠小得多的模型達成與大型模型相當或更好的效果，同時在更廣泛的設備上運行且響應速度更快。
實用技巧與重點
乾貨- 組織與工具：
- Google AI Edge Team 開發的開源項目：Literity LM、Literity Media Pipe
- Gemma 系列模型（特別是 Gemma 2B）
- Function Gemma：為函數調用預先訓練的變體
- Mobile Actions 數據集（Huggingface 開源）
- AI Edge Gallery（iOS/Android 應用）
- 性能數據：
- Raspberry Pi 上 Gemma 2B：7.6 tokens/sec 解碼（無 MTP）；開啟 MTP 可達 2 倍速度
- Jetson Nano：24 tokens/sec 解碼
- Qualcomm IoT 板：~4,000 tokens/sec 預填充，31 tokens/sec 解碼
- 內存占用：Gemma 2B 權重 41MB；運行時 ~2GB 活躍 RAM；加上 OS 需 4GB+ 總 RAM
- Apple FastVLM：0.5B 參數視覺模型，實時性能優異
- Mobile Actions 模型：10 個函數輸出，86% 可靠度
- 模型規模與參數：
- 小型模型：1-4B 參數（如內置 Android 高端機、Apple Intelligence）
- 微型模型：50M-500M 參數（如 Gemma tree 270M 基礎模型）
- 微調數據集規模：10,000-10,000,000 樣本
- 部署案例：
- 無訂閱語音聽寫 App（iOS）：雙層微調 Gemma 模型架構（ASR + 文本清理引擎）
- OpenDoc Mini V2 機器人：使用 Jetson Nano 或 Raspberry Pi 實現視覺和語音交互
- Chrome 內置 API：摘要、校對功能透過微型模型提供給更廣泛用戶
結論
結論“通過量化、微調和合成數據集，微型 AI 模型可以在消費級邊界設備上實現可靠的生產功能，解鎖被 DRAM 成本門檻排除在外的數百萬設備。”
完整解析
詳細邊界 AI 的核心吸引力在於低延遲、數據隱私和離線可靠性，但大型 AI 模型部署在邊界設備上面臨嚴峻挑戰。最迫切的制約來自 DRAM 成本：在消費級硬件上，DRAM 配置甚至在縮減，而通用方案則面臨記憶體牆。這迫使工程團隊必須既要通過激進的量化壓縮模型，也要尋求最小化模型本身。
演講者介紹了 Google 在這一領域的工作方向：首先是與 Gemma 團隊合作開發小型模型。1-4B 參數的 Gemma 模型在推理能力上可與一年前的 Gemma 3 大型模型相當，通過零樣本提示已能達成不錯效果。為了優化內存足跡，團隊使用了混合量化策略（2 位、4 位和 8 位）將權重降至平均 2.9 位，使 Gemma 2B 的內存占用僅為 41MB（不計運行時）。加上 KV 緩存和運行時開銷，生產部署通常需要 4GB+ RAM——這限制了其部署範圍。在速度方面，Raspberry Pi 上達到 7.6 tokens/sec，Jetson Nano 可達 24 tokens/sec，而 Qualcomm IoT 板在啟用硬件加速後可達到幾乎實時的性能（4,000 tokens/sec 預填充、31 tokens/sec 解碼），足以每秒處理 3 幀高分辨率圖像。
然而小型模型仍無法滿足所有需求。許多場景要求更低的內存占用或更快的響應，且模型往往只是整個應用中的一小部分功能。這促使開發微型模型，通常在 50M-500M 參數範圍內。對於固定任務如自動語音識別、視覺和嵌入，已有現成的優化模型可用（如 0.5B 參數的 Apple FastVLM）。但若需要通用推理或特定功能，關鍵策略是對基礎模型進行微調。團隊發現合成數據集微調是最實用的方案：投入 10,000 到 10 百萬樣本的合成數據，可使 270M 參數的 Function Gemma 達到 86% 的函數調用可靠度，涵蓋 10 種不同輸出函數。這一方法已在生產中驗證——iOS 上的無訂閱語音聽寫應用採用雙層微調架構（ASR 引擎 + 文本清理引擎），完全離線運行卻能達到高質量輸出，並支持去除言語填充詞和個人化偏向。
此外，Chrome 等平台已開始通過微型模型內置摘要和校對 API，使更廣泛的用戶能訪問這些功能。語音轉函數調用（voice-to-function calling）成為關鍵用例，因為低端設備通常缺乏友好的設置菜單，但通過微調小模型已可實現可靠的交互。整個方法論的核心是選擇合適的基礎模型、驗證性能和內存占用、投入時間生成高質量的合成數據集，最後通過微調達成既小又快又可靠的部署。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
