KeyFrame內部研究專用

Agent Harness 已死?越复杂的 Agent,越像智商税

AI学长小林12 min中文
觀看原始影片

三句話摘要

Harness 正在從複雜的模型輔助層演進為簡潔的基礎設施層,寫代碼的 harness 越來越薄,但三項核心價值——基礎設施、權限控制、成本優化——永遠無法消亡。 Harness 不是在死去,而是在進化——從複雜的模型輔助層蛻變成簡潔的基礎設施層,其核心價值從「讓模型更聰明」轉向「安全、權限、成本控制」,而你應該投資的是自己積累的知識和工作流,而非任何特定工具。 Harness 是模型外層的軟件框架,決定了提示詞、工具使用、記憶管理、護欄規則、任務編排等。一個完整的 AI 系統等於「模型 + Harness」,外層框架決定了實際的使用體驗和效率,這就是為什麼三年內職位名稱從「提示詞工程師」演進到「Harness 工程師」。

重點整理

  1. Harness 是模型外層的軟件框架,決定了提示詞、工具使用、記憶管理、護欄規則、任務編排等。一個完整的 AI 系統等於「模型 + Harness」,外層框架決定了實際的使用體驗和效率,這就是為什麼三年內職位名稱從「提示詞工程師」演進到「Harness 工程師」。

  2. UC Berkeley 研究團隊的實驗證實複雜 harness 邊際效益遞減:7 個模型配 3 種 harness(最簡潔的 Pi 只有四個工具),編程成績相差不到 2%,但成本卻相差最高 5 倍,顯示簡潔工具往往更經濟,且跨工具配合效果有時優於官方配置。

  3. 「數據飛輪」解釋了 harness 的進化路徑:Harness 先扶起模型不會的事 → 使用者增多產生任務 → 任務成為訓練數據 → 模型習得能力 → Harness 簡化 → 重複循環尋找新領域。寫代碼領域已完整轉過一圈,所以 coding harness 正在簡化。

  4. Harness 有三項永遠無法被模型吃掉的核心價值:基礎設施(雲端執行、狀態保存、斷線重連)、權限控制(API 密鑰管理、操作邊界劃定)、成本優化(快取命中率、token 使用量調優),這些與模型智能程度無關,是外層系統的基本職責。

實用技巧與重點

  • 關鍵人物
  • Jediah Katz:Cursor harness 工程師,現任 SpaceX AI 部門
  • 研究機構:UC Berkeley/Arena 團隊、瑞士洛桑聯邦理工
  • 具體數據
  • 2025 年 1 月:Cursor 用幾百個 agent、一週寫超過 100 萬行代碼
  • Claude Code 系統提示詞刪除 80%,新模型仍正常運作
  • Claude Fable 5:Claude Code 97.8% vs Codex/Pi 96.7%(差 1.1%)
  • 成本:Claude Code $1.33/次 vs Pi $0.67/次(差一倍)
  • Claude Code 首次調用內容是 Pi 的 10 倍以上
  • 12 組模型+harness 比較中,9 組非官方 harness 效果最優
  • Harness 核心組件
  • 系統提示詞(System Prompt)
  • 工具定義(Tool Definition)
  • 記憶管理(Memory Management)
  • 護欄規則(Guard Rails)
  • Agent 編排(Agent Orchestration)
  • 主要工具與平台
  • Claude Code(Anthropic,提示詞長度最長)
  • Codex(OpenAI)
  • Pi(開源工具,僅含:讀檔、寫檔、改檔、執行命令)
  • Cursor(現被 SpaceX 以 600 億美元收購)
  • Grok Bot(SpaceX AI,2025 年 8 月 11 日發布)
  • Grok Bot 架構特性
  • 組織:中央協調者 + 多個執行 agent
  • 功能:投影片製作、訂票、寄信等辦公任務
  • 策略:自主判斷何時執行、何時詢問;定期回報進度

結論

Harness 不是在死去,而是在進化——從複雜的模型輔助層蛻變成簡潔的基礎設施層,其核心價值從「讓模型更聰明」轉向「安全、權限、成本控制」,而你應該投資的是自己積累的知識和工作流,而非任何特定工具。

完整解析

Jediah Katz 在 AI Engineer 大會上的演講揭示了 harness 進化的真實軌跡。Harness 本質上是模型外層的軟件架構,Katz 用「馬具」比喻:模型就像一匹馬,再有力也拉不了車,需要馬具來指揮它的每個動作——包括使用哪些工具、如何記憶對話、怎樣壓縮上下文、何時拒絕操作。在 Claude Code、Cursor、Codex 等工具中,我們使用的都是「模型 + Harness」的組合,而外層 harness 決定了整個系統用起來順不順手。

職位演變反映了這個領域的成熟:2023 年流行「提示詞工程師」,2025 年上半年變成「上下文工程師」,現在才有了「Harness 工程師」這個名稱。其實三個時期都在做同一件事——優化模型外層的框架——只是聚焦點逐漸精準。年初 Cursor 發布博客宣傳時氣勢如虹,展示了幾百個 agent 協同工作、寫出 100 多萬行代碼的壯舉,當時的邏輯是「模型不夠聰明,就用複雜的 harness 來補」。然而到了下半年,整個產業的風向改變了。

UC Berkeley 和 Arena 團隊的研究提供了轉折的證據。他們測試了 7 個模型配合 3 種 harness(共 21 種組合),在兩套公開編程測試上跑結果令人震驚。第一個發現是換 harness 對做對多少題影響很小,但對成本影響巨大——同樣的成績,成本最多差 5 倍。第二是最簡潔的 Pi(只有四個工具:讀檔、寫檔、改檔、跑命令)成績和成本都能打,甚至更優。第三個更驚人:模型配別家的 harness 有時比配自家的還好——12 組 Anthropic/OpenAI 的比較裡,有 9 組是這樣。具體來看,Claude Fable 5 在 Claude Code 中達到 97.8% 準確率,放在 Codex 和 Pi 中都是 96.7%,相差不足 1.1 個百分點,也就是大概每 90 道題多做對 1 道。但成本呢?Claude Code 每次調用要 $1.33,Pi 只要 $0.67,正好貴一倍。貴在哪裡?Claude Code 在首次調用時塞進去的內容平均是 Pi 的 10 倍以上,主要是更長的說明和更多工具定義——還沒開始幹活就先讀了十倍長的說明書。

瑞士洛桑聯邦理工的第二項研究測試的是讓 AI 自己做機器學習工程,這類 agent 往往套著一大堆複雜規則、多個 agent 互相編排、還有專門查資料的子 agent。結論同樣是:這些精心搭建的系統和一個只會讀寫、跑命令的極簡 agent,在同樣時間內沒有優勢。

那 harness 真的死了嗎?Katz 用一張圖作為演講核心:「模型吃掉 harness,Harness 去開闢下一片疆土」。中心是一個五節點的「數據飛輪」。首先 harness 幫模型解鎖能力——模型自己做不到的事,靠提示詞和工具扶起來;其次 agent 開始接手新任務,使用者增多;第三這些任務變成訓練數據流向模型實驗室;第四模型把能力學進去了,比如在陌生代碼庫裡搜索、長時間連續工作不跑偏、自動跑測試檢查;最後 harness 把當初的脚手架刪掉,回到第一步去找下一個模型還不會的地方。寫代碼這個飛輪已經轉完整個周期,所以 coding harness 越來越薄。這不是失敗,是成功——harness 的活幹完了。

Anthropic 為新一代 Claude 模型刪掉了 Claude Code 系統提示詞的 80%,新模型照樣能用;同時 SpaceX AI 發布的 Grok Bot(幫辦公的 agent)卻在把提示詞和護欄加回去,因為在辦公領域,模型還沒學會那些能力。Grok Bot 的結構像是請了一個有能力的律師直接跟你對接,具體的活分給手下一群助理。在 Grok Bot 上,Katz 和同事的做法和在 Cursor 時反過來——一條條把提示詞和護欄加上去,定義了多久跟用戶匯報一次、何時自己做、何時先停下來問。

但 harness 有三件事永遠無法消亡。第一是基礎設施:任務可能從幾分鐘變成幾小時幾天,不能掛在筆記本上,需要雲端機器、狀態保存、斷線重連。第二是權限控制:沒人會把所有密鑰塞進一個檔案交給 agent,公司安全部門更不同意,得有人為每個 agent、每個人划定能碰什麼。第三是成本優化:Katz 自己過去一個月在優化 Grok Bot 的快取命中率和 token 搭配,成本和速度都下來了而質量沒掉,越多用 agent 幹活這一層就越值錢。這三件事和模型聰不聰明無關,本來就是外層的活。

未來的 harness 會朝兩個方向演進:一是內部越來越複雜,多個 agent 編排、自動分診、多步驟流程,但對外越來越簡潔,因為暴露的每個細節都會有人依賴;二是從拼接模型調用變成拼接 agent,Cursor 內部已有例子,bug 報告自動分診後拉起雲端 agent 修復,完成後錄製對比視頻當證據,代碼上線後再拉 agent 盯著線上有沒有問題。

對用戶而言,真正值錢的不是工具,而是你自己積累的 skills 和記憶檔案。測試證明工具是可以換的,12 組比較中有 9 組是別家工具跑得最好,誰便宜誰順手就用誰。但換工具時帶不走的東西才是損失。所以有兩件事可以做:第一,把給 AI 寫的規則和踩過的坑盡量寫成普通檔案放在自己的項目裡,別只存在某個工具的設置裡,這樣明天換 harness 時東西跟著走;第二,看一眼賬單,同一個模型在兩個工具各跑一遍編程任務,看 token 用了多少,差別往往比想象大。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。