KeyFrame內部研究專用

不换模型,反超Gemini!解读 Google Harness²

为什么叫QQ9 min中文
觀看原始影片

三句話摘要

透過系統化優化 Agent 的執行環境配置(Harness),弱模型可以超越強模型的原始性能,配置的力量足以抹平模型代差。 模型是租來的,Harness 是自己的;與其追逐模型升級,不如系統性地優化和積累 Agent 執行環境的配置資產,長期拉開的差距就在於此。 Agent 效能取決於模型與外圍執行環境配置兩者,Harness 包含系統提示詞、護欄、長期記憶、技能庫、工具說明、腳本等八大組件,每個都是可編輯的工程資產,其改進效果足以反超一個更強的基礎模型。

重點整理

  1. Agent 效能取決於模型與外圍執行環境配置兩者,Harness 包含系統提示詞、護欄、長期記憶、技能庫、工具說明、腳本等八大組件,每個都是可編輯的工程資產,其改進效果足以反超一個更強的基礎模型。

  2. Harness² 採用雙層遞迴自動優化:任務級遞迴讓 Agent 針對當前工作改進配置,透過對比改動前後的行為差異而非標準答案來驗證有效性;改進級遞迴將優化經驗積累成知識庫,使得改進本身也在被系統性地改進。

  3. 驗證優於生成在開放環境中最有價值,系統無須知道標準答案,只需觀察 Agent 行為是否產生有意義的變化(如開始檔案回讀、開始跨表核對),每個改動都需綁定具體觀察證據,拒絕沒有依據的修改。

  4. 改進的實質是工程實踐的積累,如護欄強制檢查、驗證腳本、工具說明的細節優化,這些都不是高深技術而是實戰經驗,可以跨不同任務和模型遷移複用,長期積累成團隊的配置資產。

實用技巧與重點

  • 基準測試改進數據:
  • GLM-5 + OpenCode Harness,WorkBuddy-Bench:64.2 → 75.7(+11.5 分)
  • Gemini 3.5 Flash:72.4 → 77.5(+5.1 分)
  • JobBench:+4.5 分
  • Harvey 法律基準(LAB):通過率 +11.8 個百分點
  • 執行步數減少:Gemini 25.4 → 21.9 步
  • 系統架構:
  • Harness 八大組件:systemprompt.md、guardrails.md、長期記憶 Markdown、skills 目錄、tool_guidance.md、Python 腳本、子代理定義、TypeScript 中間件
  • 編輯模型預設:Claude Opus 4.8
  • 並行遞迴(k=5)額外收益:WorkBuddy 2.9-3.9 分、JobBench 3.0-4.2 分、LAB 2.6-6.7 個百分點
  • 消融實驗損失:
  • 去掉經驗庫:-3.1 分
  • 去掉候選範圍划分:-2.9 分
  • 去掉組合機制:-1.6 分
  • 具體案例:
  • 排期人員預算對帳任務,43.1 → 77.8 分(+34.7 分)
  • 改進項目:強制檔案回讀護欄、對帳技能、美元符號清洗工具說明、驗證腳本

結論

模型是租來的,Harness 是自己的;與其追逐模型升級,不如系統性地優化和積累 Agent 執行環境的配置資產,長期拉開的差距就在於此。

完整解析

Google Cloud AI Research 與西北大學的研究打破了一個根深蒂固的假設:Agent 的優劣主要看模型版本。這篇論文證明,模型外層的執行環境配置(Harness)對最終表現的影響同樣巨大,甚至能讓配置優化後的弱模型超越強模型的原始狀態。

核心發現是 GLM-5 在經過 Harness 優化後,WorkBuddy-Bench 基準的分數從 64.2 躍升至 75.7,增幅達 11.5 分。這個分數不僅超越了使用原始配置的 Gemini 3.5 Flash(72.4 分),還揭示了一個容易被忽視的工程現實:我們日常隨手糊的配置,其力量足以反轉模型層面的差異。Harness 包含八個核心組件,從系統提示詞、護欄和長期記憶,到技能庫、工具說明、腳本、子代理定義和中間件插件,每一個都是可編輯的資產。

論文提出的 Harness² 系統採用雙層遞迴機制。第一層是任務級遞迴:Agent 用當前配置執行任務,留下執行軌跡,編輯模型(預設 Claude Opus 4.8)讀取軌跡並提出兩類修改候選——一類解決規劃和工具調用等通用問題,一類針對領域特定規則。兩個候選都實際執行,系統透過對比行為變化判斷改動有效性。這種行為對比機制特別適合沒有明確標準答案的工作,如撰寫法律文件或進行資料對帳,因為系統無須知道「對」是什麼,只需觀察 Agent 是否開始做正確的事。

第二層是改進級遞迴,任務完成後系統回顧整個修改過程,將有效的改動記錄成可複用的經驗。每條經驗都帶著適用條件、證據記錄和可執行的 Harness 配置檔,這些經驗甚至可跨任務遷移。參數 k 控制預算,k=5 時的並行遞迴額外帶來 2.9-3.9 分增益。消融實驗顯示,經驗庫、候選範圍划分和組合機制缺一不可,分別貢獻 3.1、2.9 和 1.6 分的改進。

在具體案例中,一個排期人員預算對帳任務原本只得 43.1 分,問題是數字不跨檔案核對、輸出不回讀驗證。改進後的 Harness 增加四項實踐:強制檔案回讀的護欄、對帳技能、美元符號清洗的工具說明、驗證腳本。重新執行後得分躍升至 77.8 分,增幅 34.7 分。這些改動都不涉及高深技術,完全是實戰經驗,只是這次改寫者是 Agent 自己。

11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
AI 技術英文11月19日

DeepMind Just Released The Best Thing AI Ever Did

Two Minute Papers看原片 ↗
  • 同一個DNA變異在不同細胞中會產生截然不同的效應——例如胰島素產生的β細胞與其他胰臟細胞對同一基因變異的反應完全不同,這使得精準預測變成考量數十億個變異×數百種細胞類型的難題。
  • 利用既有的大規模單細胞測序數據作為訓練資料是關鍵突破,科學家已測量過大量細胞中各基因的活性水準,這提供了足夠的輸入輸出對讓AI學習細胞特定的基因調控模式。