LLM Agents: From Tokens to Actions
三句話摘要
LLM 作為令牌生成器的根本局限，以及如何透過工具調用、結構化輸出與 Harness 框架將其轉化為有實際行動能力的智能代理。 LLM 時代的競爭力不僅取決於模型本身，更取決於如何透過 Harness 等軟體框架高效地將模型的令牌生成能力轉化為實際的決策與行動。 LLM 的根本限制：模型本身只是令牌生成器，沒有直接的執行能力。工具調用機制的核心作用是賦予模型「決策能力」——讓它選擇調用哪個工具，就像給無法行動的大腦配上身體。
重點整理
重點- 1
LLM 的根本限制：模型本身只是令牌生成器，沒有直接的執行能力。工具調用機制的核心作用是賦予模型「決策能力」——讓它選擇調用哪個工具，就像給無法行動的大腦配上身體。
- 2
工具調用的運作流程：系統預先定義工具及其參數，模型根據上下文生成令牌序列，系統解析這些令牌並映射到實際程式碼執行。這形成一個 while 循環，使模型能持續推理與行動，但實現細節遠比概念複雜。
- 3
軟體層面的關鍵優化：Harness 框架需要處理上下文窗口壓縮、工具參數驗證、內存索引等多個維度。這些看似瑣碎的優化直接決定了整個系統的性能和穩定性。
- 4
性能瓶頸的轉移：當模型性能開始趨於漸近線時，開發者發現通過軟體優化可以顯著提升系統效能，即使模型本身保持不變。這意味著更好的程式架構能帶來比模型升級更大的實質收益。
實用技巧與重點
乾貨- 核心概念：令牌生成器、工具調用、結構化輸出
- 關鍵系統：Harness 框架（AI 代理執行層）
- 開發時間軸：約 3 年前開始系統性開發工具調用方案
- 軟體優化維度：上下文窗口壓縮、工具參數驗證、內存索引、上下文管理
- 架構隱喻：大腦（LLM）+ 身體（Harness）= AI 智能代理
- 核心發現：性能瓶頸從模型改進轉向軟體架構優化
結論
結論“LLM 時代的競爭力不僅取決於模型本身，更取決於如何透過 Harness 等軟體框架高效地將模型的令牌生成能力轉化為實際的決策與行動。”
完整解析
詳細LLM 的根本屬性是一個令牌生成器——它只能預測序列中的下一個令牌，無法直接執行真實世界的操作。這決定了單純的模型無法完成任何實際工作，需要額外的機制來橋接「思考」與「行動」。大約 3 年前，開發者開始系統地探索工具調用和結構化輸出方案，為 LLM 賦予決策能力。
工具調用的基本邏輯是：預先定義一組可用工具（如天氣 API、發送郵件等）及其參數規格，然後告訴模型「你可以調用這些工具」。模型根據用戶需求生成相應的令牌序列，系統則負責解析這些令牌，將其映射到具體的程式碼執行。整個過程形成一個循環：模型輸出 → 系統解析執行 → 將結果回傳給模型 → 模型繼續推理。最初這種實現方式很原始，幾乎是動態執行字符串代碼。但經過 3 年的軟體演進，Harness 這樣的框架應運而生，它本質上是一個執行層，賦予了模型「身體」去執行大腦的決策。
在實現層面，Harness 需要處理多個軟體工程的挑戰。當使用者輸入或對話歷史使上下文窗口過大時，系統需要進行壓縮；模型生成的工具調用必須有正確的參數格式；隨著交互次數增加，內存管理和索引變得至關重要。這些看似細節的優化工作，實際上直接決定了整個系統的性能、可靠性和成本效率。
有趣的是，隨著模型本身的性能逐漸趨於渐近線，模型提供商和開發者發現了一個重要的現象：進一步提升系統性能的關鍵不再是模型算法的改進，而是軟體架構的優化。即使在模型參數完全相同的情況下，一個設計精良的 Harness 框架能實現顯著優於設計不周的系統的性能表現。這意味著投入於軟體優化的回報，可能遠超於追求模型升級。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
