I Built A USEFUL AI Agent (3 months of learnings in 10 mins)
三句話摘要
Boop開源AI代理的開發經驗分享:如何為iMessage代理添加Apple整合、瀏覽器功能、多SDK支援和桌面應用。 AI代理的能力天花板由你提供的工具與資料存取權限決定;完整的功能整合和消除摩擦的UX設計一樣重要。 本機資料庫整合:Apple不開放API,但iMessage、Notes、Reminders都儲存為裝置本機SQL資料庫,代理可直接查詢存取,代價是需要完整磁碟權限。
重點整理
重點- 1
本機資料庫整合:Apple不開放API,但iMessage、Notes、Reminders都儲存為裝置本機SQL資料庫,代理可直接查詢存取,代價是需要完整磁碟權限。
- 2
瀏覽器自動化挑戰:Instagram、LinkedIn等網站封鎖AI瀏覽器,需使用Playwright修改版本(Patchrite)來繞過機器人檢測,同時採「人環模式」處理登入需求——代理打開瀏覽器請求使用者介入。
- 3
SDK無關架構設計:透過適配器模式將工具抽象化,使用者可在設定中選擇Claude或OpenAI SDK,系統自動路由流量,易於未來擴展其他提供商。
- 4
資料層與後端選擇:採用Convex資料庫因其提供開箱即用的實時同步、內置定時任務、代碼形式的後端(易於AI代理理解和修改),無需自建後端基礎設施。
實用技巧與重點
乾貨- 整合工具:Composio(已連接數百種工具)、Playwright、Puppeteer、Patchrite(Playwright機器人檢測繞過版本)
- 資料庫:Convex(實時同步、定時任務、代碼優先)
- SDK:Anthropic Agent SDK、OpenAI SDK、支援Vercel和PI等SDK
- 本機資料庫路徑:iMessage、Apple Notes、Apple Reminders均為SQL資料庫
- 權限需求:Apple整合需要完整磁碟存取權限
- 登入模式:人環模式(Human-in-the-loop)
- 功能新增:圖像支援、簡訊改變設置、自動後台運行、時區設定
結論
結論“AI代理的能力天花板由你提供的工具與資料存取權限決定;完整的功能整合和消除摩擦的UX設計一樣重要。”
完整解析
詳細Boop是一個基於iMessage的AI代理,兩個月開發週期內積累了大量功能。最核心的技術挑戰在於Apple服務缺乏官方API。講者發現這並非不可能,因為iMessage、Apple Notes和Apple Reminders實際上都儲存在裝置本機的SQL資料庫中。當使用者透過文字訊息詢問「媽媽問的水瓶牌子是什麼」時,Boop會構建SQL查詢從多年前的對話歷史中精確找到相關訊息。這種方法的代價是需要完整磁碟權限,這也促成了桌面應用程式的開發——通過Electron包裝Web控制面板,使用者可以直接授予應用權限,而不必授予終端完整存取權。
網頁瀏覽器功能的實現經歷了更複雜的演進。雖然Claude Agent SDK內建網頁工具,但Instagram、LinkedIn等平台直接封鎖AI瀏覽器,且無法存取登入牆後的內容。講者研究了Playwright和Puppeteer等自動化庫,最終採用Patchrite(Playwright的修改版)來有效繞過機器人檢測。為了處理登入需求,講者實施了「人環模式」:當代理需要登入時,它會打開裝置上的實際瀏覽器並提示使用者「我已打開瀏覽器,你能登入嗎?」完成後代理繼續執行任務。這種設計優雅地解決了安全性與功能性的平衡。
架構層面的改革源於使用者對多SDK支援的強烈需求。原本系統完全基於Anthropic Agent SDK,但為支援OpenAI SDK(讓使用者可用其訂閱而非完全依賴Claude Code訂閱),講者進行了完全重寫。新架構透過適配器模式將所有工具從特定SDK中抽象,使用者在設定中選擇Claude或OpenAI後,系統自動路由到對應適配器。這個模式的優勢在於架構本身SDK無關,未來可輕鬆添加其他提供商。資料層則選擇Convex資料庫,因為它提供實時同步、內置定時任務、整個後端皆為代碼形式——對AI代理特別重要,因為代理可直接理解和修改後端邏輯,而無需複雜的配置。
桌面應用程式不僅是UI包裝,更解決了運營問題。原先使用者必須在終端持續運行Boop,若電腦重啟或終端崩潰就需手動重啟。桌面應用使其在背景自動運行,下拉選單可查看所有正在運行的程序。同時應用還支援透過簡訊改變設置(如「能用Codeex作為安全套嗎?」)、支援圖像輸入等生活品質改進。最令講者興奮的是開源後,社區對其進行修改、深入研究架構並基於學到的概念開發新產品,這種生態發展超越了工具本身的價值。
關鍵時刻
Pipeline v2帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。


