What if the harness mattered more than the model? - Aditya Bhargava, Etsy
三句話摘要
如何透過優化框架（Harness）的設計，讓弱模型達到強模型的性能，而不依賴昂貴的專有模型。 框架設計的好壞決定了代理性能，在弱模型上尤其關鍵；透過語言層級支援（如 Agency）的漸進式框架優化，可讓本地開源模型替代昂貴專有模型。 框架的重要性被嚴重低估。業界普遍認為「模型夠強就不需要複雜框架」，但 HarnessBench 基準測試顯示，在相同模型下改變框架設計能產生超過 20 分點的性能差異，對弱模型的影響尤其明顯。這意味著任何團隊都能透過優化框架來彌補模型的不足。
重點整理
重點- 1
框架的重要性被嚴重低估。業界普遍認為「模型夠強就不需要複雜框架」，但 HarnessBench 基準測試顯示，在相同模型下改變框架設計能產生超過 20 分點的性能差異，對弱模型的影響尤其明顯。這意味著任何團隊都能透過優化框架來彌補模型的不足。
- 2
構建優秀框架需要語言層級的支援。Aditya 開發了 Agency 語言來解決現有框架無法達成的目標，提供工具定義、中斷機制、部分函數應用、優化器等原語，讓代理開發既簡單又安全。
- 3
框架改進遵循明確的遞進路徑。從工具定義開始，加入安全控制（中斷與處理器），透過部分函數應用實現自動化同時保持安全，引入反饋循環提升推理能力，再利用子代理組織複雜任務，最後透過自我優化系統地改進性能。
實用技巧與重點
乾貨- HarnessBench 基準：106 個任務，框架單獨造成的性能差異從 52.4% 到 76.2%（差 23.8 個百分點）
- Agency 語言特性：
- 語法受 TypeScript 啟發，混合 Python 語法
- 每個函數可自動成為工具（無額外配置）
- 中斷（Interrupts）機制實現暫停/恢復執行
- 部分函數應用（PFA）限制參數以確保安全
- 內建 JEPA 優化器用於自動提示詞優化
- 標準庫工具：read/write、Wikipedia 搜尋等
- React 模式（Reason-Act-Observe）：推理 → 行動 → 觀察結果 → 循環
- 子代理模式：允許平行調用多個特化代理，減少上下文污染
- 自我優化流程：建立基線 → 迭代改進 → 測量目標達成度
結論
結論“框架設計的好壞決定了代理性能，在弱模型上尤其關鍵；透過語言層級支援（如 Agency）的漸進式框架優化，可讓本地開源模型替代昂貴專有模型。”
完整解析
詳細Aditya Paragov 是 Etsy 的工程師，專長是演算法與視覺化教學。他的演講從一個核心觀點出發：業界普遍認為「模型夠好就無需複雜框架」這個想法是錯的，甚至帶錯了方向。為何？因為這種思維將我們綁在需要昂貴企業 API 的專有模型上。相反，若框架設計足夠優秀，連本地開源模型也能達到先進模型的性能水準。
過去六個月，Aditya 花時間研究「如何打造優秀框架」，發現現有框架都不夠用，因此他設計了一門新語言 Agency。Agency 的哲學受 Alan Kaye 啟發：「簡單事應該簡單，複雜事應該可能」。他透過一個實例貫穿整場演講：教一個代理修復一個計算中位數的 Python 錯誤。從第一個例子開始，代理只有模型，無法讀取檔案。加入工具後，代理能調用函數，但可能不安全。於是加入「中斷」與「處理器」要求使用者確認，這樣安全但低效。下一步用部分函數應用鎖定參數範圍，讓代理無需人工核准就能安全行動。再來引入反饋迴路：讓代理讀檔、修改、執行測試、觀察結果、再次修改，直到測試通過。這時代理已能自主完成任務。
後期例子涉及更高階概念。子代理模式讓代理委派工作給特化的子代理——如一個修復程式碼的代理、另一個搜尋 Wikipedia 的代理——避免上下文過度膨脹，提升選擇正確工具的一致性。最後是自我優化：标記需要改進的變數（如提示詞），讓 Agency 內建的優化器自動測試與迭代，測量目標達成度，系統性地改進而非猜測試驗。整場演講展示的架構改進階梯清晰：添加工具 → 加入安全機制 → 實現自動化 → 引入推理反饋 → 組織子代理 → 系統優化。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
