KeyFrame內部研究專用

Your Agent Is Wasting Tokens and You Don't Know It - Erik Hanchett, AWS

AI Engineer5 min英文
觀看原始影片

三句話摘要

使用 AI agents 時節省 token 成本的五大策略。 系統性地優化 agent 的設計,通過快取、模型選擇、結果卸載、迴圈控制和歷史管理五項技術,可以在不損害功能的前提下大幅降低 token 成本。 提示詞快取是基礎:在第一次呼叫時發送完整系統提示詞,之後呼叫則使用縮減版本。這適用於系統提示詞、工具提示詞和訊息,能顯著降低重複成本。

重點整理

  1. 提示詞快取是基礎:在第一次呼叫時發送完整系統提示詞,之後呼叫則使用縮減版本。這適用於系統提示詞、工具提示詞和訊息,能顯著降低重複成本。

  2. 模型選擇要差異化:不應該所有任務都使用最昂貴的模型。應根據難度判斷——簡單任務用 Claude Haiku,中等難度用 Claude Sonnet,複雜任務才用最新的前沿模型。甚至可以用一個便宜模型來決定使用哪個模型。

  3. 工具結果的管理至關重要:大型工具結果應儲存在本地或雲端,再用總結技術處理。這樣在 agent 重複呼叫時,就不會每次都把整個工具結果丟回語言模型,造成 token 的大量消耗。

  4. 迴圈控制和監控可防止浪費:設置最大迭代次數防止無限迴圈,並使用可觀性工具檢查每個工具的執行時間和迴圈次數,找出低效之處並改進。

實用技巧與重點

  • AWS Bedrock Agents(示例使用的框架)
  • 模型選擇方案:Claude Haiku(便宜選項)、Claude Sonnet(中等難度)、新型前沿模型(困難任務)
  • 滑窗對話管理器(Sliding Window Conversation Manager):預設保留最後 10 則訊息,可自訂
  • 可觀性工具:用於監控工具呼叫時間和迴圈次數
  • 具體問題舉例:多輪對話會造成對話歷史「數百甚至數千 tokens」的消耗
  • 講者聯繫方式:LinkedIn - Eric Hanchett;部落格 - programwitheric.com;社群媒體 - @EricCH

結論

系統性地優化 agent 的設計,通過快取、模型選擇、結果卸載、迴圈控制和歷史管理五項技術,可以在不損害功能的前提下大幅降低 token 成本。

完整解析

在構建和使用 AI agents 時,token 成本往往是被忽視的優化點。講者 Eric Hanchett 從 AWS 的實踐經驗出發,提出了五個可行的成本控制策略。

首先是提示詞快取。這個技術的核心是在代碼中設置 cache_prompt 等於 default,使得完整的系統提示詞只在第一次呼叫時傳輸,之後的呼叫都會使用一個縮減版本。這個方法同樣適用於工具提示詞和訊息快取,是最直接的成本削減手段。

其次是智慧的模型路由。許多開發者傾向於為所有任務使用最貴的模型,但實際上可以根據任務難度選擇。簡單的邏輯判斷或數據提取可以用 Claude Haiku 這樣的便宜模型,中等複雜度的任務用 Claude Sonnet,只有真正困難的推理任務才需要最新的前沿模型。甚至可以先用一個便宜模型來評估任務難度,再決定使用哪個模型,這樣能大幅降低成本。

第三個策略是卸載工具結果。當 agent 呼叫工具後會獲得大量結果,如果每次 agent 迴圈都把完整結果傳回語言模型,token 消耗會非常驚人。解決方案是把大型工具結果儲存在本地或雲端,使用總結技術將其壓縮,這樣在重複呼叫時就只傳遞摘要而非完整結果。

第四點是迴圈控制。講者提到曾遇過 agent 不停呼叫同一個工具的情況,如果沒有設置最大迭代次數,可能會迴圈 10、20 次甚至陷入無限迴圈。在部署前應該用可觀性工具監控每個工具呼叫的耗時和迴圈次數,找出低效的地方進行改進。

最後是歷史記錄修剪。多輪對話中,完整的對話歷史會不斷增長,每次新訊息都要把整個歷史傳回給語言模型,這可能消耗數百甚至數千 tokens。AWS Bedrock Agents 提供了「滑窗對話管理器」(預設保留最後 10 則訊息),只發送必要的最近訊息。權衡是會失去早期的對話上下文,解決方案是對早期歷史做總結,放入上下文窗口,這樣既節省 token 又保留重要資訊。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI