KeyFrame內部研究專用

Why The Harness Matters More Than The Model | YC Paper Club

Y Combinator60 min英文
觀看原始影片

三句話摘要

YC Harness Club 分享會,探討 AI 代理系統(agent harnesses)的設計原理、自我改進機制,以及三個實務專案(Prime Agent、Open Jarvis、QM)的核心架構與效能突破。 同一個模型,透過精心的代理系統設計——包括分層上下文管理、自我改進機制和長期執行能力——可以達到 3 倍甚至 10 倍以上的性能提升,這比追求更大的模型更划算、更實用。 代理系統從靜態到動態的演進。過去六年進步主要來自提示工程和系統設計,而非模型改進。現在系統不只優化提示詞,還能自動學習和改進自己的架構(包括系統提示、技能、子代理配置),形成閉環反饋。

重點整理

  1. 代理系統從靜態到動態的演進。過去六年進步主要來自提示工程和系統設計,而非模型改進。現在系統不只優化提示詞,還能自動學習和改進自己的架構(包括系統提示、技能、子代理配置),形成閉環反饋。

  2. 分層上下文管理是關鍵。系統需要跨越模型權重(最穩定、最難更新)、輸入上下文(靈活但容量有限)、檔案系統(可擴展但速度慢)、持久化記憶體等多個層級。Prime Agent 的「Ripple」(活躍記憶體)突破在於讓代理直接在 RAM 中操作變數,省去編碼回文本的 token 消耗。

  3. 長期執行能力需要持久化設計。真正有用的代理必須支援多天至多週的工作。持久化子代理可以獨立執行、積累上下文、進入休眠、按需喚醒,避免重複重建背景資訊的浪費。

  4. 本地化+雲端最佳化的混合方案。Open Jarvis 證明可用雲端高端模型優化本地棧的配置,然後在推論時用經濟的本地模型執行,實現 80% 效能下削減成本 800 倍、保護隱私、降低延遲。

實用技巧與重點

  • 性能數據
  • Arc AGI:Claude Opus 基礎 30%、Prime Agent 達 95%、Nvidia AVO 達 100%
  • Prime Agent on GPT-4o:78%;on Opus 5:95.5%
  • Open Jarvis 成本降低 800 倍、延遲大幅降低
  • 模型與工具
  • 本地模型:Qwen 3.8 27B(與 Claude Opus 4.6 相當)、Llama、Gemma 3N
  • 推論引擎:Ollama、Llama CPP、vLLM、SGLang
  • 學習技術:DSPy(系統提示優化)、LoRA/SFT(權重微調)、Japa
  • Prime Agent 核心特性
  • Ripple:在 RAM 中直接操作 Python 變數,避免 token 過度消耗
  • 持久化子代理:支援離線存儲、任意時刻訊息喚醒、上下文保留
  • CRUD 操作:能動態更新系統提示、技能、子代理規格、記憶體
  • 子代理訊息傳遞:父子、兄弟姊妹間直接通訊
  • Open Jarvis 五大基礎組件
  • 使用者介面
  • 代理邏輯
  • 語言模型引擎
  • 工具與記憶體(MCP 協議)
  • 學習系統
  • QM 核心三大工具
  • 遠端沙箱執行
  • 物件存儲讀寫
  • 內部應用發布
  • 長期實驗規模
  • nano GPT speedrun:8 個 H200、執行一週
  • 工廠模擬任務:633 個代理、2300 萬 token 輸出、7 天執行

結論

同一個模型,透過精心的代理系統設計——包括分層上下文管理、自我改進機制和長期執行能力——可以達到 3 倍甚至 10 倍以上的性能提升,這比追求更大的模型更划算、更實用。

完整解析

過去六年,AI 代理系統的進步主要來自提示工程和系統設計的創新,而非模型本身。這場分享會揭示了代理系統如何從靜態提示工程演進到動態自我改進。講者首先駁斥「提示工程不值得研究」的觀點,用實際數據論證其重要性:在 Arc AGI(一個衡量液體智力的基準)上,Claude Opus 裸跑僅達 30%,但透過精心設計的代理系統架構,性能可提升至 95%。這證明系統設計對 AI 能力發揮的決定性影響。

代理系統的核心創新在於多層次的上下文管理。傳統方法只是在系統提示中添加指示(如 chain-of-thought),但現代系統需要跨越多個層級:模型權重是最穩定但最難更新的層級,輸入上下文是最靈活但容量有限的層級(通常數千 token),而檔案系統和持久化記憶體則提供無限擴展空間但速度較慢。Prime Agent 的創新在於引入「Ripple」概念——一個活躍記憶體層,讓代理直接在 RAM 中操作 Python 變數和資料結構,而無需編碼回純文本格式。這大幅節省了 token 消耗,是實現長期高效工作的關鍵。

第二個關鍵議題是支持長期自主工作能力。真正有用的代理必須處理多天甚至多週的任務。Prime Agent 透過持久化子代理機制實現這一點:每個子代理可獨立執行任務、在 RAM 中積累上下文,完成後進入休眠狀態,主代理隨時可透過訊息喚醒它。這避免了重複重建背景資訊的浪費。系統還能動態優化自身,根據過去執行軌跡自動改進系統提示、建立新技能或調整子代理角色。講者展示的實驗規模印證了這一設計的威力:一個七天工廠模擬任務部署了 633 個代理、產生 2300 萬個輸出 token,系統始終未陷入循環,持續取得技術進展。

Open Jarvis 專案則解決了實踐層面的痛點:雲端 API 的高成本和隱私風險。該項目證明透過精心設計本地模型棧和最佳化策略,可在個人設備上達成 80% 的雲端模型效能,同時成本降低 800 倍、延遲大幅降低、能源消耗大幅減少。其巧妙之處在於混合策略:用高端雲端模型(如 GPT-4o)最佳化本地棧的配置和提示,然後在實際推論中使用經濟的本地模型(如 Qwen 3.8 27B),實現最佳效能與成本的平衡。這種方案特別適合組織在成本敏感但需要高效能的場景。

最後,YC 的 QM 專案展示了如何在組織內部部署可擴展的代理系統。QM 的架構極其精簡:所有資料集中存儲在 PostgreSQL 中,代理可訪問跨越整個組織的上下文,沙箱從「代理居住的家」轉變為「代理隨時可利用的資源」。這帶來了新的挑戰,尤其是訊息權限管理和代理的社交理解。講者強調現有模型在理解複雜社交情境和權限邊界時仍有不足,這需要在系統層面提供清晰的約束、精細的權限系統和人類審核來補償。此外,系統還發現代理容易過早放棄任務,因此引入了「grind tool」(設置時間或預算預限)的機制,強制代理持續嘗試,結果大幅改善了研究品質。

4 min
AI 安全中文11月6日

AI量產948個Linux漏洞?Claude自家功能曝真的RCE,風險有多大?|11/6 今日10x日報

10x Daily 十倍日報看原片 ↗
  • AI已成為攻擊工具的量產工廠:OpenAI開發的系統用120萬美元重現1,724個已知Linux漏洞,其中948個能直接取得系統最高權限。這意味著以前頂尖團隊耗數月才寫出的攻擊程式,現在只需預算就能買到,每個漏洞平均成本不到1,300美元。
  • 供應鏈與廣告成為新入侵切口:幣安駭案證明恆久信任的開源工具包(如Homebrew)被竄改、加入惡意廣告,已取代釣魚信成為主流破口。短時間內同產業被攻陷37次,問題不是單一公司防火牆,而是整個產業安全基線都太低。
73 min
AI 技術中文9月15日

【全網最全】80分鐘搞定 Grok Bot!不用寫程式,打造24小時自動幫你打工的「AI 智能體軍團」!

李哈利 | AI看原片 ↗
  • 工具架構設計:軍師(主管理助手)統一與使用者溝通,下轄多個領域專責 BOT(郵件助手、Clickup 專案管理、會議記錄、行銷團隊等),層級清楚、各司其職,但只需跟一個人交互。
  • 技能與自動化:透過自然語言指令定義 SOP,將重複工作流程變成可複用的 Skill(如每周郵件報告、每兩小時掃描線索),系統自動執行無需人工干預。
145 min
GitHub 熱點英文7月16日

React JS - React Tutorial for Beginners

Programming with Mosh看原片 ↗
  • 組件與虛擬DOM是React的本質。React應用是一棵組件樹,每個組件是獨立的UI片段。組件透過state儲存數據,render方法描述UI樣貌。React維護虛擬DOM(內存中的輕量級DOM),當狀態改變時,會比較新舊虛擬DOM,只更新
  • JSX是React的核心語法。JSX看起來像HTML但實際是JavaScript擴展,既不是字符串也不是真正HTML。Babel編譯器將JSX轉換成React.createElement()的調用,讓開發者用熟悉的標記語言語法描述UI,同時