Building a Real AI Jarvis (GPT Realtime 2 + Cursor)

這段影片展示了在零編程基礎下，使用 Cursor IDE 和 OpenAI 最新技術打造個人化 AI 助手的完整過程。講者分三階段完成：初期構建核心應用、配置 API 修復功能缺陷、迭代優化用戶體驗和高階功能。

初期構建與技術基礎 流程從在 Cursor 中建立新專案開始。核心思想是寫一份詳細的自然語言提示詞，描述應用的所有需求——包括 UI 設計（簡潔風格、臉部動畫、左右分割版面）、功能需求（網路搜尋、圖表生成、圖像編輯）、交互方式（語音控制、電腦操控）。講者強調，GPT Real Time 2 是這個應用的「魔法」核心——它是 OpenAI 的嶄新語音模型，能夠進行自然實時對話、支援工具調用、理解使用者中斷，使互動體驗彷彿在與真人交談。Cursor 根據提示詞自動部署 GPT-4o 進行程式碼生成，在 10-15 分鐘內完成整個 Electron 桌面應用，包括帶眨眼和表情動畫的 AI 角色、對話介面和多功能面板。

API 整合與功能啟用 應用完成後，講者發現網路搜尋功能無法運作，原因是缺少 Exa API 密鑰。Exa 是一個高品質的網路搜尋 API，能讓 AI 助手快速存取最新網路資訊。透過從 Exa 平台獲取 API 密鑰並提交給 Cursor（在提示詞中貼上密鑰），應用自動重新生成並包含了正常運作的網路搜尋功能。同時 OpenAI API 密鑰配置用於驅動 GPT Real Time 語音功能。這個過程展示了 Cursor 的優勢——不需要開發者手動除錯或修改程式碼，只需提供新資訊並重新執行提示詞，系統自動更新整個應用。

迭代優化與高階功能 初版應用後，講者列舉十多項改進需求：修復 Mermaid 圖表的解析錯誤、移除過多圓角改採極簡設計、優化按鈕排版到左側面板底部、調整左右版面比例至 50:50、改進口型同步動畫質量使其更逼真。Cursor 根據這份綜合需求清單逐一實現改進。特別亮眼的是圖像生成與編輯工具的設計——用戶要求 AI 能夠生成多個縮圖候選，以 3 列網格形式顯示，每新生成的圖像自動插入位置 1（最新），所有圖像自動編號。使用者可以通過語音說出編號選擇特定圖像（「顯示第 13 張」），也可以提出編輯要求（「加上藍色墨鏡」、「背景改成森林」），應用會更新該位置的圖像。電腦控制模式允許 AI 助手在取得使用者確認後操作桌面——打開應用、輸入文字、按下按鍵等，增加了實用性。

實踐應用與商業擴展 整個過程展示了成品 AI 助手的實際能力：進行網路搜尋並以簡潔方式總結（如「最新世界盃新聞」轉化為易理解的文字說明）、生成並編輯圖像進行縮圖製作工作流、用 Mermaid 圖表可視化複雜概念（如「AI 工作原理」流程圖）、進入電腦控制模式執行桌面操作。講者提及其團隊正在協助企業在 Slack、iMessage 等團隊溝通工具中集成 AI 代理，用於營銷廣告管理、內容創建、市場研究等實際工作流程。完整應用程式碼將上傳至 GitHub，使用者可直接克隆或基於提示詞範本創作自己的版本。