KeyFrame內部研究專用

【吃透龙虾】OpenClaw全攻略:从底层原理到本地部署实战,玩法 + 风险一次性讲透 OpenClaw保姆级教程 AI agent智能体进阶 卢菁#人工智能 #openclaw #agent

Dr.LuAIclass AI expert·4月13日週一·48 min中文

三句話摘要

以 OpenClaw(龍蝦)為教學案例,拆解 AI 智能體的核心原理:上下文工程、工具調用、子智能體繁殖與安全防護機制。 --- 龍蝦的能力上限由大模型與工具集共同決定,它本身只是精巧的上下文調度器;真正值得深入掌握的是其背後的架構思想——上下文工程、漸進式加載、子智能體繁殖——這些才是構建任何 AI 智能體的通用基礎。 1. 龍蝦的本質是調度器,不是 AI 本身

重點整理

重點
  • 1

    1. 龍蝦的本質是調度器,不是 AI 本身

  • 2

    OpenClaw 不創造功能,它把大模型的推理能力與外部工具集串聯起來;若大模型較弱,龍蝦的表現就直接受限,這是理解其能力邊界的根本前提。

  • 3

    2. 大模型無狀態特性驅動了上下文工程的存在

  • 4

    大模型每次請求都是全新的「接紙張」行為,龍蝦必須將身份、性格、用戶資訊、記憶等五類 MD 文件與對話歷史全部組裝後一起發送,導致上下文隨對話輪數快速累積,直接推高 token 成本。

  • 5

    3. 工具調用通過命令行實現,開放性帶來安全隱患

  • 6

    大模型返回 JSON 格式工具調用字符串,龍蝦解析並執行 Linux Shell 指令,理論上能操作整台電腦;若不限制權限,惡意指令可導致刪除系統文件或資金轉移,而提示詞層級的防禦未必有效,人工確認雖安全但犧牲自動化。

  • 7

    4. 子智能體繁殖與漸進式加載是核心效率機制

  • 8

    可拆分的並行任務由大模型動態繁殖子龍蝦分頭執行,各自獨立消耗上下文後只回傳結果;Skills 只在確認需要時才載入完整文檔,避免無用 token 消耗與工具誤判,兩者共同壓低運行成本。

  • 9

    --

實用技巧與重點

乾貨
  • 具體數字
  • 單次問「你是誰」消耗近 4,000 tokens(提示詞文件過長)
  • 第三方 Skills 市場惡意注入比例約 12%
  • 工具與平台
  • 消息渠道:飛書、WhatsApp
  • 底層執行:Linux Shell 命令行(read / write 等指令)
  • 記憶系統底層:RAG(語義向量搜索)
  • 工具封裝協議:MCP(Model Context Protocol)
  • AI 自動生成工具:AI Coding(工具不足時大模型現場寫代碼並調用)
  • 框架:OpenClaw(OpenCloud)
  • 文件與架構
  • 提示詞分五類 MD 文件:身份、性格、用戶資訊、記憶、環境配置
  • Skills 文件結構:一行簡短描述(漸進式掃描入口)+ 完整工具說明文檔
  • MCP 與 Skills 關係:MCP 是封裝好的接口工具,Skills 是使用說明書,上下游配合
  • 方法與流程
  • 工具調用流程:大模型返回 JSON 字符串 → 龍蝦識別特殊符號 → 執行 Shell 命令 → 結果回傳大模型 → 判斷下一步
  • 上下文壓縮策略一:保留工具調用結果,刪除中間過程細節
  • 上下文壓縮策略二:超過長度閾值後對歷史做 Summary 摘要壓縮
  • 子智能體深度控制:寫死代碼禁止二代目繼續繁殖,防止層層外包導致指令失真
  • 主動智能體機制:定時腳本(心跳)+ 排程文件,讓龍蝦定點自動執行任務
  • 安全建議(四條)
  • 權限最小化(不給支付、密碼等敏感權限)
  • 環境隔離(專用設備運行)
  • 審計機制(定期查看龍蝦在執行什麼)
  • 在 MD 文件中明確寫入安全邊界
  • --

結論

結論

龍蝦的能力上限由大模型與工具集共同決定,它本身只是精巧的上下文調度器;真正值得深入掌握的是其背後的架構思想——上下文工程、漸進式加載、子智能體繁殖——這些才是構建任何 AI 智能體的通用基礎。

完整解析

詳細

OpenClaw(龍蝦)是一套 AI 智能體框架,整體架構分為消息渠道(飛書、WhatsApp 等)、網關、智能體核心與工具集四層。講師在課程中將重點集中在智能體核心與工具調用兩個模塊,並反覆強調一個核心前提:龍蝦本身不是 AI,它是調度器,其能力的天花板由背後接入的大模型推理能力與掛載的工具集廣度共同決定。

要理解龍蝦的工作原理,必須先掌握大模型的「無狀態」特性。大模型每次接收請求時完全不記得之前的對話,因此龍蝦必須在每次請求時,將身份設定、性格描述、用戶資訊、對話歷史等全部組裝成提示詞一併發送。這些提示詞分別存放在五個本地 MD 文件中,可由用戶手動編輯,也可在對話中由智能體自動更新寫入。正因如此,僅僅問一句「你是誰」,就已消耗將近 4,000 tokens,且隨著對話輪數增加,上下文長度線性累積,運行成本急速攀升——這正是龍蝦依賴大模型長上下文能力突破的根本原因,也是兩年前同樣的架構無法落地的原因。

工具調用是龍蝦實現「操作電腦」能力的核心機制。大模型無法直接執行程序,只能回傳字符串;龍蝦識別到特殊格式的 JSON 字符串後,便解析並執行對應的 Linux Shell 命令。以「讀取一個問題文件並將答案寫入新文件」為例,整個流程需要兩次工具調用循環:每次調用結果都回傳大模型,由大模型判斷下一步,直到確認任務完成為止。這套機制理論上讓龍蝦能控制整台電腦,但也帶來嚴重安全風險——無限制的 Shell 權限可能被用於刪除系統或自動轉賬。講師指出有兩種防禦路徑:在提示詞中寫明操作限制(但大模型有自身判斷,未必照章執行);或對每次工具執行要求人工二次確認(安全但犧牲自動化)。此外,當龍蝦所需工具不存在時,大模型可直接 AI Coding 現場生成工具代碼並調用,這種「工具自我繁殖」能力是未來極重要的方向。

在效率與架構設計上,龍蝦引入了兩項關鍵機制。第一是「漸進式加載」:系統只先掃描每個 Skill 的一行簡短描述,確認需要哪個工具後才載入完整使用說明,避免一次性將所有工具文檔塞入上下文,既節省 token 又降低誤判概率。第二是「子智能體繁殖」:當任務可拆分為彼此獨立的並行子任務時(例如同時讀取 A、B 兩篇論文做摘要),大模型繁殖出子龍蝦分頭執行,各自消耗獨立上下文,最終只把結果匯報父智能體——但需在代碼層面寫死深度限制,防止層層外包導致指令嚴重失真。記憶系統則以 RAG 為底層,重要資訊自動寫入記憶庫,下次調用時透過語義搜索撈出相關內容注入提示詞,在無狀態模型之上實現跨對話的長期記憶。上下文壓縮方面,龍蝦採取兩種策略:抹去工具調用中間過程只保留結果;或在歷史長度超過閾值時做 Summary 摘要壓縮,以「系統提示詞 + 摘要 + 最新問題」替代完整歷史,從根本上控制成本。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。