Why The Harness Matters More Than The Model | YC Paper Club
三句話摘要
YC Harness Club 分享會,探討 AI 代理系統(agent harnesses)的設計原理、自我改進機制,以及三個實務專案(Prime Agent、Open Jarvis、QM)的核心架構與效能突破。 同一個模型,透過精心的代理系統設計——包括分層上下文管理、自我改進機制和長期執行能力——可以達到 3 倍甚至 10 倍以上的性能提升,這比追求更大的模型更划算、更實用。 代理系統從靜態到動態的演進。過去六年進步主要來自提示工程和系統設計,而非模型改進。現在系統不只優化提示詞,還能自動學習和改進自己的架構(包括系統提示、技能、子代理配置),形成閉環反饋。
重點整理
代理系統從靜態到動態的演進。過去六年進步主要來自提示工程和系統設計,而非模型改進。現在系統不只優化提示詞,還能自動學習和改進自己的架構(包括系統提示、技能、子代理配置),形成閉環反饋。
分層上下文管理是關鍵。系統需要跨越模型權重(最穩定、最難更新)、輸入上下文(靈活但容量有限)、檔案系統(可擴展但速度慢)、持久化記憶體等多個層級。Prime Agent 的「Ripple」(活躍記憶體)突破在於讓代理直接在 RAM 中操作變數,省去編碼回文本的 token 消耗。
長期執行能力需要持久化設計。真正有用的代理必須支援多天至多週的工作。持久化子代理可以獨立執行、積累上下文、進入休眠、按需喚醒,避免重複重建背景資訊的浪費。
本地化+雲端最佳化的混合方案。Open Jarvis 證明可用雲端高端模型優化本地棧的配置,然後在推論時用經濟的本地模型執行,實現 80% 效能下削減成本 800 倍、保護隱私、降低延遲。
實用技巧與重點
- 性能數據
- Arc AGI:Claude Opus 基礎 30%、Prime Agent 達 95%、Nvidia AVO 達 100%
- Prime Agent on GPT-4o:78%;on Opus 5:95.5%
- Open Jarvis 成本降低 800 倍、延遲大幅降低
- 模型與工具
- 本地模型:Qwen 3.8 27B(與 Claude Opus 4.6 相當)、Llama、Gemma 3N
- 推論引擎:Ollama、Llama CPP、vLLM、SGLang
- 學習技術:DSPy(系統提示優化)、LoRA/SFT(權重微調)、Japa
- Prime Agent 核心特性
- Ripple:在 RAM 中直接操作 Python 變數,避免 token 過度消耗
- 持久化子代理:支援離線存儲、任意時刻訊息喚醒、上下文保留
- CRUD 操作:能動態更新系統提示、技能、子代理規格、記憶體
- 子代理訊息傳遞:父子、兄弟姊妹間直接通訊
- Open Jarvis 五大基礎組件
- 使用者介面
- 代理邏輯
- 語言模型引擎
- 工具與記憶體(MCP 協議)
- 學習系統
- QM 核心三大工具
- 遠端沙箱執行
- 物件存儲讀寫
- 內部應用發布
- 長期實驗規模
- nano GPT speedrun:8 個 H200、執行一週
- 工廠模擬任務:633 個代理、2300 萬 token 輸出、7 天執行
結論
同一個模型,透過精心的代理系統設計——包括分層上下文管理、自我改進機制和長期執行能力——可以達到 3 倍甚至 10 倍以上的性能提升,這比追求更大的模型更划算、更實用。
完整解析
過去六年,AI 代理系統的進步主要來自提示工程和系統設計的創新,而非模型本身。這場分享會揭示了代理系統如何從靜態提示工程演進到動態自我改進。講者首先駁斥「提示工程不值得研究」的觀點,用實際數據論證其重要性:在 Arc AGI(一個衡量液體智力的基準)上,Claude Opus 裸跑僅達 30%,但透過精心設計的代理系統架構,性能可提升至 95%。這證明系統設計對 AI 能力發揮的決定性影響。
代理系統的核心創新在於多層次的上下文管理。傳統方法只是在系統提示中添加指示(如 chain-of-thought),但現代系統需要跨越多個層級:模型權重是最穩定但最難更新的層級,輸入上下文是最靈活但容量有限的層級(通常數千 token),而檔案系統和持久化記憶體則提供無限擴展空間但速度較慢。Prime Agent 的創新在於引入「Ripple」概念——一個活躍記憶體層,讓代理直接在 RAM 中操作 Python 變數和資料結構,而無需編碼回純文本格式。這大幅節省了 token 消耗,是實現長期高效工作的關鍵。
第二個關鍵議題是支持長期自主工作能力。真正有用的代理必須處理多天甚至多週的任務。Prime Agent 透過持久化子代理機制實現這一點:每個子代理可獨立執行任務、在 RAM 中積累上下文,完成後進入休眠狀態,主代理隨時可透過訊息喚醒它。這避免了重複重建背景資訊的浪費。系統還能動態優化自身,根據過去執行軌跡自動改進系統提示、建立新技能或調整子代理角色。講者展示的實驗規模印證了這一設計的威力:一個七天工廠模擬任務部署了 633 個代理、產生 2300 萬個輸出 token,系統始終未陷入循環,持續取得技術進展。
Open Jarvis 專案則解決了實踐層面的痛點:雲端 API 的高成本和隱私風險。該項目證明透過精心設計本地模型棧和最佳化策略,可在個人設備上達成 80% 的雲端模型效能,同時成本降低 800 倍、延遲大幅降低、能源消耗大幅減少。其巧妙之處在於混合策略:用高端雲端模型(如 GPT-4o)最佳化本地棧的配置和提示,然後在實際推論中使用經濟的本地模型(如 Qwen 3.8 27B),實現最佳效能與成本的平衡。這種方案特別適合組織在成本敏感但需要高效能的場景。
最後,YC 的 QM 專案展示了如何在組織內部部署可擴展的代理系統。QM 的架構極其精簡:所有資料集中存儲在 PostgreSQL 中,代理可訪問跨越整個組織的上下文,沙箱從「代理居住的家」轉變為「代理隨時可利用的資源」。這帶來了新的挑戰,尤其是訊息權限管理和代理的社交理解。講者強調現有模型在理解複雜社交情境和權限邊界時仍有不足,這需要在系統層面提供清晰的約束、精細的權限系統和人類審核來補償。此外,系統還發現代理容易過早放棄任務,因此引入了「grind tool」(設置時間或預算預限)的機制,強制代理持續嘗試,結果大幅改善了研究品質。


