Agent Harness 已死?越复杂的 Agent,越像智商税
三句話摘要
Harness 正在從複雜的模型輔助層演進為簡潔的基礎設施層,寫代碼的 harness 越來越薄,但三項核心價值——基礎設施、權限控制、成本優化——永遠無法消亡。 Harness 不是在死去,而是在進化——從複雜的模型輔助層蛻變成簡潔的基礎設施層,其核心價值從「讓模型更聰明」轉向「安全、權限、成本控制」,而你應該投資的是自己積累的知識和工作流,而非任何特定工具。 Harness 是模型外層的軟件框架,決定了提示詞、工具使用、記憶管理、護欄規則、任務編排等。一個完整的 AI 系統等於「模型 + Harness」,外層框架決定了實際的使用體驗和效率,這就是為什麼三年內職位名稱從「提示詞工程師」演進到「Harness 工程師」。
重點整理
Harness 是模型外層的軟件框架,決定了提示詞、工具使用、記憶管理、護欄規則、任務編排等。一個完整的 AI 系統等於「模型 + Harness」,外層框架決定了實際的使用體驗和效率,這就是為什麼三年內職位名稱從「提示詞工程師」演進到「Harness 工程師」。
UC Berkeley 研究團隊的實驗證實複雜 harness 邊際效益遞減:7 個模型配 3 種 harness(最簡潔的 Pi 只有四個工具),編程成績相差不到 2%,但成本卻相差最高 5 倍,顯示簡潔工具往往更經濟,且跨工具配合效果有時優於官方配置。
「數據飛輪」解釋了 harness 的進化路徑:Harness 先扶起模型不會的事 → 使用者增多產生任務 → 任務成為訓練數據 → 模型習得能力 → Harness 簡化 → 重複循環尋找新領域。寫代碼領域已完整轉過一圈,所以 coding harness 正在簡化。
Harness 有三項永遠無法被模型吃掉的核心價值:基礎設施(雲端執行、狀態保存、斷線重連)、權限控制(API 密鑰管理、操作邊界劃定)、成本優化(快取命中率、token 使用量調優),這些與模型智能程度無關,是外層系統的基本職責。
實用技巧與重點
- 關鍵人物
- Jediah Katz:Cursor harness 工程師,現任 SpaceX AI 部門
- 研究機構:UC Berkeley/Arena 團隊、瑞士洛桑聯邦理工
- 具體數據
- 2025 年 1 月:Cursor 用幾百個 agent、一週寫超過 100 萬行代碼
- Claude Code 系統提示詞刪除 80%,新模型仍正常運作
- Claude Fable 5:Claude Code 97.8% vs Codex/Pi 96.7%(差 1.1%)
- 成本:Claude Code $1.33/次 vs Pi $0.67/次(差一倍)
- Claude Code 首次調用內容是 Pi 的 10 倍以上
- 12 組模型+harness 比較中,9 組非官方 harness 效果最優
- Harness 核心組件
- 系統提示詞(System Prompt)
- 工具定義(Tool Definition)
- 記憶管理(Memory Management)
- 護欄規則(Guard Rails)
- Agent 編排(Agent Orchestration)
- 主要工具與平台
- Claude Code(Anthropic,提示詞長度最長)
- Codex(OpenAI)
- Pi(開源工具,僅含:讀檔、寫檔、改檔、執行命令)
- Cursor(現被 SpaceX 以 600 億美元收購)
- Grok Bot(SpaceX AI,2025 年 8 月 11 日發布)
- Grok Bot 架構特性
- 組織:中央協調者 + 多個執行 agent
- 功能:投影片製作、訂票、寄信等辦公任務
- 策略:自主判斷何時執行、何時詢問;定期回報進度
結論
Harness 不是在死去,而是在進化——從複雜的模型輔助層蛻變成簡潔的基礎設施層,其核心價值從「讓模型更聰明」轉向「安全、權限、成本控制」,而你應該投資的是自己積累的知識和工作流,而非任何特定工具。
完整解析
Jediah Katz 在 AI Engineer 大會上的演講揭示了 harness 進化的真實軌跡。Harness 本質上是模型外層的軟件架構,Katz 用「馬具」比喻:模型就像一匹馬,再有力也拉不了車,需要馬具來指揮它的每個動作——包括使用哪些工具、如何記憶對話、怎樣壓縮上下文、何時拒絕操作。在 Claude Code、Cursor、Codex 等工具中,我們使用的都是「模型 + Harness」的組合,而外層 harness 決定了整個系統用起來順不順手。
職位演變反映了這個領域的成熟:2023 年流行「提示詞工程師」,2025 年上半年變成「上下文工程師」,現在才有了「Harness 工程師」這個名稱。其實三個時期都在做同一件事——優化模型外層的框架——只是聚焦點逐漸精準。年初 Cursor 發布博客宣傳時氣勢如虹,展示了幾百個 agent 協同工作、寫出 100 多萬行代碼的壯舉,當時的邏輯是「模型不夠聰明,就用複雜的 harness 來補」。然而到了下半年,整個產業的風向改變了。
UC Berkeley 和 Arena 團隊的研究提供了轉折的證據。他們測試了 7 個模型配合 3 種 harness(共 21 種組合),在兩套公開編程測試上跑結果令人震驚。第一個發現是換 harness 對做對多少題影響很小,但對成本影響巨大——同樣的成績,成本最多差 5 倍。第二是最簡潔的 Pi(只有四個工具:讀檔、寫檔、改檔、跑命令)成績和成本都能打,甚至更優。第三個更驚人:模型配別家的 harness 有時比配自家的還好——12 組 Anthropic/OpenAI 的比較裡,有 9 組是這樣。具體來看,Claude Fable 5 在 Claude Code 中達到 97.8% 準確率,放在 Codex 和 Pi 中都是 96.7%,相差不足 1.1 個百分點,也就是大概每 90 道題多做對 1 道。但成本呢?Claude Code 每次調用要 $1.33,Pi 只要 $0.67,正好貴一倍。貴在哪裡?Claude Code 在首次調用時塞進去的內容平均是 Pi 的 10 倍以上,主要是更長的說明和更多工具定義——還沒開始幹活就先讀了十倍長的說明書。
瑞士洛桑聯邦理工的第二項研究測試的是讓 AI 自己做機器學習工程,這類 agent 往往套著一大堆複雜規則、多個 agent 互相編排、還有專門查資料的子 agent。結論同樣是:這些精心搭建的系統和一個只會讀寫、跑命令的極簡 agent,在同樣時間內沒有優勢。
那 harness 真的死了嗎?Katz 用一張圖作為演講核心:「模型吃掉 harness,Harness 去開闢下一片疆土」。中心是一個五節點的「數據飛輪」。首先 harness 幫模型解鎖能力——模型自己做不到的事,靠提示詞和工具扶起來;其次 agent 開始接手新任務,使用者增多;第三這些任務變成訓練數據流向模型實驗室;第四模型把能力學進去了,比如在陌生代碼庫裡搜索、長時間連續工作不跑偏、自動跑測試檢查;最後 harness 把當初的脚手架刪掉,回到第一步去找下一個模型還不會的地方。寫代碼這個飛輪已經轉完整個周期,所以 coding harness 越來越薄。這不是失敗,是成功——harness 的活幹完了。
Anthropic 為新一代 Claude 模型刪掉了 Claude Code 系統提示詞的 80%,新模型照樣能用;同時 SpaceX AI 發布的 Grok Bot(幫辦公的 agent)卻在把提示詞和護欄加回去,因為在辦公領域,模型還沒學會那些能力。Grok Bot 的結構像是請了一個有能力的律師直接跟你對接,具體的活分給手下一群助理。在 Grok Bot 上,Katz 和同事的做法和在 Cursor 時反過來——一條條把提示詞和護欄加上去,定義了多久跟用戶匯報一次、何時自己做、何時先停下來問。
但 harness 有三件事永遠無法消亡。第一是基礎設施:任務可能從幾分鐘變成幾小時幾天,不能掛在筆記本上,需要雲端機器、狀態保存、斷線重連。第二是權限控制:沒人會把所有密鑰塞進一個檔案交給 agent,公司安全部門更不同意,得有人為每個 agent、每個人划定能碰什麼。第三是成本優化:Katz 自己過去一個月在優化 Grok Bot 的快取命中率和 token 搭配,成本和速度都下來了而質量沒掉,越多用 agent 幹活這一層就越值錢。這三件事和模型聰不聰明無關,本來就是外層的活。
未來的 harness 會朝兩個方向演進:一是內部越來越複雜,多個 agent 編排、自動分診、多步驟流程,但對外越來越簡潔,因為暴露的每個細節都會有人依賴;二是從拼接模型調用變成拼接 agent,Cursor 內部已有例子,bug 報告自動分診後拉起雲端 agent 修復,完成後錄製對比視頻當證據,代碼上線後再拉 agent 盯著線上有沒有問題。
對用戶而言,真正值錢的不是工具,而是你自己積累的 skills 和記憶檔案。測試證明工具是可以換的,12 組比較中有 9 組是別家工具跑得最好,誰便宜誰順手就用誰。但換工具時帶不走的東西才是損失。所以有兩件事可以做:第一,把給 AI 寫的規則和踩過的坑盡量寫成普通檔案放在自己的項目裡,別只存在某個工具的設置裡,這樣明天換 harness 時東西跟著走;第二,看一眼賬單,同一個模型在兩個工具各跑一遍編程任務,看 token 用了多少,差別往往比想象大。


