OpenClaw in Your Hand: Building a Physical AI Terminal - Lech Kalinowski, Callstack
三句話摘要
物理學博士用微控制器和雙屏設計打造 AI 原生終端設備，既能遠程控制無人機，也能進行由 LLM 生成的文字RPG冒險遊戲。 輕量級硬件也能有效驅動複雜的 LLM 應用，關鍵在於創新性的設計取捨，而文字 RPG 遊戲則證明了減法設計往往能創造最沉浸式的體驗。 雙屏混合設計解決了電子墨水屏響應慢的硬傷 — 用 OLED 負責快速交互反饋，電子墨水屏負責靜態信息與低功耗，兩者互補，既實現了流暢的用戶體驗也控制了能耗。
重點整理
重點- 1
雙屏混合設計解決了電子墨水屏響應慢的硬傷 — 用 OLED 負責快速交互反饋，電子墨水屏負責靜態信息與低功耗，兩者互補，既實現了流暢的用戶體驗也控制了能耗。
- 2
微控制器也能駕馭 LLM 推理 — 通過使用 TensorRT Serving 優化模型、OpenAI 兼容 API 代理，以及後端服務處理計算密集的任務，證明了輕量級硬件搭配雲端推理能實現本地 AI 應用。
- 3
RPG 遊戲模式是開發中的創意轉向 — 原本目標是無人機遙控器，但發現文字介面特別適合 LLM 生成的沉浸式故事體驗，包括 NPC、世界觀、技能樹等全部由模型動態生成。
- 4
工程細節決定成敗 — I2C 上拉配置、GPIO 靜默失敗、電源穩壓器設計缺陷、廉價編碼器噪音等微小問題均花費數週排查，體現了從原型到產品化的複雜性。
實用技巧與重點
乾貨- 硬件核心： ESP32 雙核微控制器、OLED 彩色小屏、電子墨水屏、鍵盤、旋轉編碼器
- AI 模型與服務： 120 億參數開源 GPT、TensorRT Serving 系統、OpenAI 風格 API 代理
- 外部集成： DJI Spark 無人機、開放 API 控制
- RPG 世界設定： 4 個獨立世界（賽博龐克、巫師奇幻、虛空深空、未知領域）
- 項目數據： 130 條代碼注釋、3 個月開發周期、單塊鋰聚合物電池供電
- 系統架構： 設備端固件 + 後端服務（LLM 推理、無人機控制）
- 技術細節： 一位圖像內存渲染、固定靜態緩衝區、無 malloc、無 markdown 引擎、功率管理系統、編碼器去噪
結論
結論“輕量級硬件也能有效驅動複雜的 LLM 應用，關鍵在於創新性的設計取捨，而文字 RPG 遊戲則證明了減法設計往往能創造最沉浸式的體驗。”
完整解析
詳細演講者在整理地下室時發現一台古舊的 80 年代設備，這激發了他構建一個物理、AI 原生終端的靈感。最初的實際需求是打造 DJI 無人機的遙控器，但他發現傳統電子墨水屏雖然省電，卻無法實時顯示動態內容。於是他創新性地採用了雙屏設計——用 OLED 負責快速的交互反饋，電子墨水屏處理靜態信息和省電阅讀，兩者相輔相成。
硬件上選擇了 ESP32 微控制器而非強大的專用計算機，這帶來了架構上的創意挑戰。他部署了一個 120 億參數的開源 GPT 模型，通過 TensorRT Serving 系統進行優化，並通過 OpenAI 兼容的 API 代理暴露給設備。系統分為設備端固件和遠端後端兩部分，設備通過 Wi-Fi 與後端通信進行 LLM 推理與無人機控制。為了在有限的嵌入式環境下工作，他採用了一位圖像內存渲染技術，預先分配內存中的靜態緩衝區，避免使用 malloc 和複雜的 markdown 引擎。
開發過程暴露了許多工程細節的重要性。I2C 通信需要正確的上拉配置，某些 GPIO 引腳會出現靜默失敗必須更換，電源穩壓器設計不當會損壞 LED 和顯示器組件（導致等待數週的替代品），便宜的旋轉編碼器會產生旋轉噪音，需要額外的電容和上拉電阻才能解決。
最有趣的轉折發生在功能拓展時。受到紙質 RPG 遊戲的啟發，他為設備開發了文字冒險 RPG 系統。系統包含 4 個完全不同的世界——賽博龐克、《巫師》風格的奇幻設定、虛空深空探險等。所有內容都由 LLM 動態生成：NPC 角色、世界觀背景、地圖、技能樹等。生成的圖像通過一位圖像渲染轉換為內存矩陣，最終顯示在電子墨水屏上。這個創意轉向揭示了一個有趣的洞察——高互動遊戲並不需要彩色顯示或強大圖形處理，純文本界面反而能提供更沉浸式、更無干擾的遊戲體驗，這在當今被各種通知和網頁廣告轟炸的時代彌足珍貴。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
