KeyFrame內部研究專用

Harness Engineering: Building the Production Cage for Powerful Domain Agents — Mike Chambers, AWS

AI Engineer英文
觀看原始影片

三句話摘要

如何設計和部署生產規模的 AI agent,透過 AWS Bedrock Agent Core 實現 harness engineering 的最佳實踐。 生產 agent 的成功在於將基礎設施分層獨立設計與擴展,而 Bedrock Agent Core 將此複雜度從開發者轉移到框架本身。 兩種 agent 的設計理念差異:開發編碼助手等「使用的 agent」時可最大化 token 效率,但開發供他人使用的 agent 時必須謹慎考量受眾需求,不能一味堆砌功能。

重點整理

  1. 兩種 agent 的設計理念差異:開發編碼助手等「使用的 agent」時可最大化 token 效率,但開發供他人使用的 agent 時必須謹慎考量受眾需求,不能一味堆砌功能。

  2. Harness 的核心定義:即 agent 去掉模型後的所有組件。包括記憶管理策略、可用的技能和工具、MCP 伺服器連接、編碼標準等,是讓 agent 在組織內可靠運作的基礎架構。

  3. 生產規模的多層次挑戰:不能將所有功能塞入單一容器部署。需要分別管理記憶層、運行時、調度、支付、身份驗證、上下文管理、可觀測性等,各自獨立擴展才能應對數千用戶規模。

  4. Bedrock Agent Core 的實現方法:透過 CLI 工具自動化生成完整的 agent 配置和基礎設施即代碼,開發者只需定義系統提示和工具集,框架負責多租戶隔離、安全身份管理和雲端擴展。

實用技巧與重點

  • 框架與工具:Strand Agents SDK(開源、模型優先框架)、Amazon Bedrock Agent Core(AWS agent 部署堆棧)
  • 部署方式:HTTP、MCP、AGUI 等多種連接選項
  • 模型支援:不限於 Amazon 模型,支援任何模型(示例使用 Sonnet 4.5)
  • 記憶體系:長期記憶和短期記憶分開部署在雲端基礎設施
  • CLI 命令:`agentcore dev`(本地開發與實時更新)、`agentcore deploy`(生產部署)
  • 可觀測性:支援 traces、記憶檢查、debug 介面
  • AWS Agent Toolkit:GitHub 免費工具包,預防「slop ops」(類似 click ops 的代理操作不當)
  • 無代碼 Harness 部分:JSON 配置檔只需指定模型和系統提示,可不含任何 agent 代碼直接部署

結論

生產 agent 的成功在於將基礎設施分層獨立設計與擴展,而 Bedrock Agent Core 將此複雜度從開發者轉移到框架本身。

完整解析

講者 Mike Chambers 從 AWS 角度介紹了 agent 架構的兩個關鍵維度。首先,他區分了「使用的 agent」(如 Claude Code、Cursor 等開發工具)和「建構的 agent」(企業自行開發部署的 agent)。前者允許激進的 token 優化策略;後者必須以使用者體驗和組織需求為中心設計。

在定義 harness 時,他引用了 LangChain 和 Martin Fowler 的相關文章,簡化為:harness = agent 移除模型後的所有部分。對於編碼助手,這包括記憶管理策略、可用技能與工具集、MCP 伺服器連接、組織編碼標準等。AWS 已內建這些標準到其 Bedrock 產品中。

演講的核心在於生產規模部署的現實複雜性。單純在筆記型電腦上運行的 agent 無法應對數千用戶的需求。必須分離出多個獨立的可擴展層次:記憶層(分長期與短期,由雲端服務非同步管理)、運行時層、調度層、支付管理、身份驗證、上下文管理、和可觀測性(traces、評估、debug)。每層需要獨立設計和擴展。

Bedrock Agent Core 正是為解決此問題而設計。透過 `agentcore` CLI 工具,開發者可以逐步回答配置問題(選擇模型、部署方式、記憶類型等),工具會自動生成完整的代碼骨架和基礎設施即代碼配置。開發者只需在此基礎上添加系統提示和工具定義,框架自動處理多租戶隔離、安全身份管理、雲端擴展。`agentcore dev` 提供本地開發環境,`agentcore deploy` 使用基礎設施即代碼部署到生產環境,並提供完整的可觀測性介面查看 traces、儲存記憶和除錯資訊。演講並展示了一個簡化場景:若 80% 的 use case 只需要系統提示和 MCP 工具連接,Bedrock 提供的無代碼 harness(純 JSON 配置)就足以部署。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI