KeyFrame內部研究專用

OpenClaw in Your Hand: Building a Physical AI Terminal - Lech Kalinowski, Callstack

AI Engineer24 min英文
觀看原始影片

三句話摘要

物理學博士用微控制器和雙屏設計打造 AI 原生終端設備,既能遠程控制無人機,也能進行由 LLM 生成的文字RPG冒險遊戲。 輕量級硬件也能有效驅動複雜的 LLM 應用,關鍵在於創新性的設計取捨,而文字 RPG 遊戲則證明了減法設計往往能創造最沉浸式的體驗。 雙屏混合設計解決了電子墨水屏響應慢的硬傷 — 用 OLED 負責快速交互反饋,電子墨水屏負責靜態信息與低功耗,兩者互補,既實現了流暢的用戶體驗也控制了能耗。

重點整理

  1. 雙屏混合設計解決了電子墨水屏響應慢的硬傷 — 用 OLED 負責快速交互反饋,電子墨水屏負責靜態信息與低功耗,兩者互補,既實現了流暢的用戶體驗也控制了能耗。

  2. 微控制器也能駕馭 LLM 推理 — 通過使用 TensorRT Serving 優化模型、OpenAI 兼容 API 代理,以及後端服務處理計算密集的任務,證明了輕量級硬件搭配雲端推理能實現本地 AI 應用。

  3. RPG 遊戲模式是開發中的創意轉向 — 原本目標是無人機遙控器,但發現文字介面特別適合 LLM 生成的沉浸式故事體驗,包括 NPC、世界觀、技能樹等全部由模型動態生成。

  4. 工程細節決定成敗 — I2C 上拉配置、GPIO 靜默失敗、電源穩壓器設計缺陷、廉價編碼器噪音等微小問題均花費數週排查,體現了從原型到產品化的複雜性。

實用技巧與重點

  • 硬件核心: ESP32 雙核微控制器、OLED 彩色小屏、電子墨水屏、鍵盤、旋轉編碼器
  • AI 模型與服務: 120 億參數開源 GPT、TensorRT Serving 系統、OpenAI 風格 API 代理
  • 外部集成: DJI Spark 無人機、開放 API 控制
  • RPG 世界設定: 4 個獨立世界(賽博龐克、巫師奇幻、虛空深空、未知領域)
  • 項目數據: 130 條代碼注釋、3 個月開發周期、單塊鋰聚合物電池供電
  • 系統架構: 設備端固件 + 後端服務(LLM 推理、無人機控制)
  • 技術細節: 一位圖像內存渲染、固定靜態緩衝區、無 malloc、無 markdown 引擎、功率管理系統、編碼器去噪

結論

輕量級硬件也能有效驅動複雜的 LLM 應用,關鍵在於創新性的設計取捨,而文字 RPG 遊戲則證明了減法設計往往能創造最沉浸式的體驗。

完整解析

演講者在整理地下室時發現一台古舊的 80 年代設備,這激發了他構建一個物理、AI 原生終端的靈感。最初的實際需求是打造 DJI 無人機的遙控器,但他發現傳統電子墨水屏雖然省電,卻無法實時顯示動態內容。於是他創新性地採用了雙屏設計——用 OLED 負責快速的交互反饋,電子墨水屏處理靜態信息和省電阅讀,兩者相輔相成。

硬件上選擇了 ESP32 微控制器而非強大的專用計算機,這帶來了架構上的創意挑戰。他部署了一個 120 億參數的開源 GPT 模型,通過 TensorRT Serving 系統進行優化,並通過 OpenAI 兼容的 API 代理暴露給設備。系統分為設備端固件和遠端後端兩部分,設備通過 Wi-Fi 與後端通信進行 LLM 推理與無人機控制。為了在有限的嵌入式環境下工作,他採用了一位圖像內存渲染技術,預先分配內存中的靜態緩衝區,避免使用 malloc 和複雜的 markdown 引擎。

開發過程暴露了許多工程細節的重要性。I2C 通信需要正確的上拉配置,某些 GPIO 引腳會出現靜默失敗必須更換,電源穩壓器設計不當會損壞 LED 和顯示器組件(導致等待數週的替代品),便宜的旋轉編碼器會產生旋轉噪音,需要額外的電容和上拉電阻才能解決。

最有趣的轉折發生在功能拓展時。受到紙質 RPG 遊戲的啟發,他為設備開發了文字冒險 RPG 系統。系統包含 4 個完全不同的世界——賽博龐克、《巫師》風格的奇幻設定、虛空深空探險等。所有內容都由 LLM 動態生成:NPC 角色、世界觀背景、地圖、技能樹等。生成的圖像通過一位圖像渲染轉換為內存矩陣,最終顯示在電子墨水屏上。這個創意轉向揭示了一個有趣的洞察——高互動遊戲並不需要彩色顯示或強大圖形處理,純文本界面反而能提供更沉浸式、更無干擾的遊戲體驗,這在當今被各種通知和網頁廣告轟炸的時代彌足珍貴。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI