KeyFrame內部研究專用

LLM Agents: From Tokens to Actions

Practical AI3 min英文
觀看原始影片

三句話摘要

LLM 作為令牌生成器的根本局限,以及如何透過工具調用、結構化輸出與 Harness 框架將其轉化為有實際行動能力的智能代理。 LLM 時代的競爭力不僅取決於模型本身,更取決於如何透過 Harness 等軟體框架高效地將模型的令牌生成能力轉化為實際的決策與行動。 LLM 的根本限制:模型本身只是令牌生成器,沒有直接的執行能力。工具調用機制的核心作用是賦予模型「決策能力」——讓它選擇調用哪個工具,就像給無法行動的大腦配上身體。

重點整理

  1. LLM 的根本限制:模型本身只是令牌生成器,沒有直接的執行能力。工具調用機制的核心作用是賦予模型「決策能力」——讓它選擇調用哪個工具,就像給無法行動的大腦配上身體。

  2. 工具調用的運作流程:系統預先定義工具及其參數,模型根據上下文生成令牌序列,系統解析這些令牌並映射到實際程式碼執行。這形成一個 while 循環,使模型能持續推理與行動,但實現細節遠比概念複雜。

  3. 軟體層面的關鍵優化:Harness 框架需要處理上下文窗口壓縮、工具參數驗證、內存索引等多個維度。這些看似瑣碎的優化直接決定了整個系統的性能和穩定性。

  4. 性能瓶頸的轉移:當模型性能開始趨於漸近線時,開發者發現通過軟體優化可以顯著提升系統效能,即使模型本身保持不變。這意味著更好的程式架構能帶來比模型升級更大的實質收益。

實用技巧與重點

  • 核心概念:令牌生成器、工具調用、結構化輸出
  • 關鍵系統:Harness 框架(AI 代理執行層)
  • 開發時間軸:約 3 年前開始系統性開發工具調用方案
  • 軟體優化維度:上下文窗口壓縮、工具參數驗證、內存索引、上下文管理
  • 架構隱喻:大腦(LLM)+ 身體(Harness)= AI 智能代理
  • 核心發現:性能瓶頸從模型改進轉向軟體架構優化

結論

LLM 時代的競爭力不僅取決於模型本身,更取決於如何透過 Harness 等軟體框架高效地將模型的令牌生成能力轉化為實際的決策與行動。

完整解析

LLM 的根本屬性是一個令牌生成器——它只能預測序列中的下一個令牌,無法直接執行真實世界的操作。這決定了單純的模型無法完成任何實際工作,需要額外的機制來橋接「思考」與「行動」。大約 3 年前,開發者開始系統地探索工具調用和結構化輸出方案,為 LLM 賦予決策能力。

工具調用的基本邏輯是:預先定義一組可用工具(如天氣 API、發送郵件等)及其參數規格,然後告訴模型「你可以調用這些工具」。模型根據用戶需求生成相應的令牌序列,系統則負責解析這些令牌,將其映射到具體的程式碼執行。整個過程形成一個循環:模型輸出 → 系統解析執行 → 將結果回傳給模型 → 模型繼續推理。最初這種實現方式很原始,幾乎是動態執行字符串代碼。但經過 3 年的軟體演進,Harness 這樣的框架應運而生,它本質上是一個執行層,賦予了模型「身體」去執行大腦的決策。

在實現層面,Harness 需要處理多個軟體工程的挑戰。當使用者輸入或對話歷史使上下文窗口過大時,系統需要進行壓縮;模型生成的工具調用必須有正確的參數格式;隨著交互次數增加,內存管理和索引變得至關重要。這些看似細節的優化工作,實際上直接決定了整個系統的性能、可靠性和成本效率。

有趣的是,隨著模型本身的性能逐漸趨於渐近線,模型提供商和開發者發現了一個重要的現象:進一步提升系統性能的關鍵不再是模型算法的改進,而是軟體架構的優化。即使在模型參數完全相同的情況下,一個設計精良的 Harness 框架能實現顯著優於設計不周的系統的性能表現。這意味著投入於軟體優化的回報,可能遠超於追求模型升級。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。