KeyFrame內部研究專用

AI Agents Explained - What Is an AI Agent and how to build one? (Real Examples, Not Hype)

Tech With Tim·7月16日週四·21 min英文

三句話摘要

深度講解 AI 代理的本質、核心架構組成,以及 4 種不同層級的實戰構建方法。 AI 代理的本質就是在循環中運行的 LLM 加工具調用系統,理解其工程結構而非被「魔法」迷惑才是關鍵,選擇構建方式取決於複雜度和技術水平,而非平台本身。 AI 代理不是魔法,是明確的工程架構——本質只是在循環中運行可呼叫工具的 LLM。LLM 只負責預測文本和決策邏輯,不能直接執行操作,而是輸出結構化消息告訴系統要調用哪個工具,系統執行後再反饋結果。這種理解把抽象的概念變成可構建的東西。

重點整理

重點
  • 1

    AI 代理不是魔法,是明確的工程架構——本質只是在循環中運行可呼叫工具的 LLM。LLM 只負責預測文本和決策邏輯,不能直接執行操作,而是輸出結構化消息告訴系統要調用哪個工具,系統執行後再反饋結果。這種理解把抽象的概念變成可構建的東西。

  • 2

    上下文工程是關鍵瓶頸——上下文窗口(最多 100 萬 token)是代理的短期記憶,但容量有限。長期記忆和文檔訪問必須透過向量資料庫加 RAG 技術解決,巧妙選擇放入上下文的信息是構建優質代理的核心技能。

  • 3

    消息架構與循環機制決定連貫性——系統提示設定規則、用戶消息是輸入、助手消息是回復,三者組成完整事件日誌。模型沒有持久記憶,每次執行都需要將整個對話歷史重新放入上下文,形成「思考→行動→觀察→再思考」的自主循環,直到完成目標。

  • 4

    構建方式多元,但決策邏輯統一——所有層級都要做同樣的決策:選擇平台、選擇模型、設計上下文內容、定義工具與控制流。區別只在誰承擔構建工作和自己掌握多少控制權,而非底層邏輯。

實用技巧與重點

乾貨
  • 核心架構組件:
  • LLM(大腦):只能預測文本,沒有直接執行能力
  • 工具調用(Tool Calling):LLM 輸出結構化訊息,系統執行工具後反饋結果
  • 上下文窗口:短期工作記憶,最多 100 萬 token
  • 系統提示:設定角色、規則、行為準則
  • 消息角色:系統消息(規則)、用戶消息(輸入)、助手消息(模型回復)
  • 向量資料庫/RAG:長期記憶,支持文檔搜索和事實檢索
  • 四層構建方式與代表平台:
  • 無代碼:GenSpark、OpenAI Agent Builder、Lindy、Gumloop、Stack AI、Relevance AI、Botpress、Voiceflow
  • 低代碼:n8n、Flowise、LangFlow、Dify、Active Pieces
  • 代理框架:Open Claw、Hermes Agent、Letta
  • 完整代碼:LangGraph、自訂 Python 實現
  • 具體工具與數據:
  • 網頁搜索與整合:Perplexity、Firecrawl、維基百科
  • 語音輸入工具:WhisperFlow
  • 內置功能:對話記憶、網絡搜索、MCP 伺服器連接
  • 演示結果:所有方法都生成了包含摘要、主要發現、來源的研究成果
  • 關鍵決策(所有層級通用):
  • 選擇平台/框架
  • 選擇模型(GPT-4o、Claude、Gemini 等)
  • 設計上下文(可訪問的信息、資料庫連接)
  • 定義控制流、決策樹、工具類型

結論

結論

AI 代理的本質就是在循環中運行的 LLM 加工具調用系統,理解其工程結構而非被「魔法」迷惑才是關鍵,選擇構建方式取決於複雜度和技術水平,而非平台本身。

完整解析

詳細

講者開篇澄清最大的誤解:聊天機器人和 AI 代理根本不是同一回事。普通 LLM 只能收消息、預測文本、回覆訊息,然後停止——它無法查看郵件、搜索網路、預訂機票或更新資料庫。而 AI 代理多了兩個關鍵能力:一是在現實世界採取行動(工具調用),二是自主持續運行(循環)。這個差異把 AI 代理從看似神奇的概念變成了可以理解和構建的工程系統。

AI 代理的核心由四個組件組成。首先是 LLM,充當大腦,但講者特別強調它只是個文本預測器——它沒有手、沒有記憶、無法直接執行任何操作。只是根據訓練結果預測接下來該做什麼。其次是工具調用,這給了代理的「手」。LLM 不會真的上網或預訂東西,而是輸出結構化文本訊息說「我想調用搜索工具」,後台系統看到這個訊息就執行工具、獲取結果、再反饋給 LLM。這種交接是 AI 代理大規模工作的全部方式。

第三個關鍵組件是上下文窗口,相當於代理的短期工作記憶。它容納了模型一次能看到的所有內容:指令、對話、工具呼叫、工具結果。但這裡有明顯限制——你不能把整個程式庫或千頁文檔都丟進去。雖然現在的窗口已經相當大(100 萬 token),但對於龐大的企業程式庫還是不夠。這就是「上下文工程」的重要性——需要巧妙地選擇放什麼信息進窗口。對於超出容量的長期記憶或龐大文檔,解決方案是向量資料庫加 RAG 技術:把資料轉換成數值表示(embedding),儲存起來,然後給代理一個搜索工具,讓它只提取相關信息。

消息架構決定了代理的連貫性。上下文由不同角色的訊息組成:系統提示用於設定規則(「你是研究助理,務必註明資料來源」),用戶訊息是外部輸入,助手訊息是模型的回復。這種 system-user-assistant 的結構是每次互動的骨架。但這裡有個關鍵點:模型本身沒有持久記憶。如果對話結束後不把歷史記錄傳回,模型就會忘記所有事。所以每次執行代理時,都要將整個對話歷史重新放入上下文窗口——相當於每次都要重新閱讀發生過的一切。隨著對話變長,窗口會被填滿,導致無法記住早期步驟,性能下降。

最後是循環機制——這才是代理能自主運行的原因。流程是:模型看到目標和上下文,思考並決定是否調用工具。如果決定調用,系統執行工具、獲取結果、反饋給模型。模型再看結果、再思考下一步該做什麼——可能再調用工具,可能查詢記憶庫,可能給出回覆。這個「思考→行動→觀察→再思考」的循環反覆進行,直到模型認為任務完成。這就是 AI 代理的全部運作原理。

講者接著展示了構建這種循環的四種完全不同方法。無代碼平台如 GenSpark,用戶只需填表單、拖組件,系統自動生成代理。低代碼工具如 n8n 提供了視覺化編輯器,可以配置系統提示、token 限制、連接多個工具(Perplexity、維基百科、對話記憶),但仍無需編寫完整代碼。代理框架如 Hermes Agent 則是安裝一個功能完整的系統,講者只需通過自然語言提示定義「技能」、連接 MCP 伺服器和自訂工具就能得到可用的代理。完整代碼方案則由講者自己用 Python 實現整個循環:定義系統提示、將工具編碼為 JSON 物件、手動檢查 LLM 是否要調用工具、執行工具、取得結果、反饋給模型,完全掌控每個細節。

三種演示都完成了相同任務(研究 2026 年表現最好的 AI YouTuber),都生成了包含摘要、主要發現、來源的結果。區別在效能、複雜度、控制力的權衡:GenSpark 最快最簡單但自訂空間最小,n8n 提供適度自訂且易於部署,Hermes 需要安裝設置但生產就緒,完整代碼給最多控制但工作最重。

講者最後給出選擇建議:只想快速啟用功能且不懂技術,用無代碼平台;需要複雜邏輯和多服務連接但不想管理代碼庫,用低代碼平台;想要生產級別的強大、可靠代理,用 Hermes 或 Open Claw;需要深度集成或完全控制每個細節,才用完整代碼。關鍵認識是所有四種方法用的都是同一個 LLM 和同一套底層循環邏輯,選擇其實就是在決定由誰來做構建工作、自己要掌握多少控制權。即使是講者這樣的技術人員,很多時候也會選擇更容易使用的方案因為速度更快、不需要完全控制。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。