KeyFrame內部研究專用

What if the harness mattered more than the model? - Aditya Bhargava, Etsy

AI Engineer32 min英文
觀看原始影片

三句話摘要

如何透過優化框架(Harness)的設計,讓弱模型達到強模型的性能,而不依賴昂貴的專有模型。 框架設計的好壞決定了代理性能,在弱模型上尤其關鍵;透過語言層級支援(如 Agency)的漸進式框架優化,可讓本地開源模型替代昂貴專有模型。 框架的重要性被嚴重低估。業界普遍認為「模型夠強就不需要複雜框架」,但 HarnessBench 基準測試顯示,在相同模型下改變框架設計能產生超過 20 分點的性能差異,對弱模型的影響尤其明顯。這意味著任何團隊都能透過優化框架來彌補模型的不足。

重點整理

  1. 框架的重要性被嚴重低估。業界普遍認為「模型夠強就不需要複雜框架」,但 HarnessBench 基準測試顯示,在相同模型下改變框架設計能產生超過 20 分點的性能差異,對弱模型的影響尤其明顯。這意味著任何團隊都能透過優化框架來彌補模型的不足。

  2. 構建優秀框架需要語言層級的支援。Aditya 開發了 Agency 語言來解決現有框架無法達成的目標,提供工具定義、中斷機制、部分函數應用、優化器等原語,讓代理開發既簡單又安全。

  3. 框架改進遵循明確的遞進路徑。從工具定義開始,加入安全控制(中斷與處理器),透過部分函數應用實現自動化同時保持安全,引入反饋循環提升推理能力,再利用子代理組織複雜任務,最後透過自我優化系統地改進性能。

實用技巧與重點

  • HarnessBench 基準:106 個任務,框架單獨造成的性能差異從 52.4% 到 76.2%(差 23.8 個百分點)
  • Agency 語言特性:
  • 語法受 TypeScript 啟發,混合 Python 語法
  • 每個函數可自動成為工具(無額外配置)
  • 中斷(Interrupts)機制實現暫停/恢復執行
  • 部分函數應用(PFA)限制參數以確保安全
  • 內建 JEPA 優化器用於自動提示詞優化
  • 標準庫工具:read/write、Wikipedia 搜尋等
  • React 模式(Reason-Act-Observe):推理 → 行動 → 觀察結果 → 循環
  • 子代理模式:允許平行調用多個特化代理,減少上下文污染
  • 自我優化流程:建立基線 → 迭代改進 → 測量目標達成度

結論

框架設計的好壞決定了代理性能,在弱模型上尤其關鍵;透過語言層級支援(如 Agency)的漸進式框架優化,可讓本地開源模型替代昂貴專有模型。

完整解析

Aditya Paragov 是 Etsy 的工程師,專長是演算法與視覺化教學。他的演講從一個核心觀點出發:業界普遍認為「模型夠好就無需複雜框架」這個想法是錯的,甚至帶錯了方向。為何?因為這種思維將我們綁在需要昂貴企業 API 的專有模型上。相反,若框架設計足夠優秀,連本地開源模型也能達到先進模型的性能水準。

過去六個月,Aditya 花時間研究「如何打造優秀框架」,發現現有框架都不夠用,因此他設計了一門新語言 Agency。Agency 的哲學受 Alan Kaye 啟發:「簡單事應該簡單,複雜事應該可能」。他透過一個實例貫穿整場演講:教一個代理修復一個計算中位數的 Python 錯誤。從第一個例子開始,代理只有模型,無法讀取檔案。加入工具後,代理能調用函數,但可能不安全。於是加入「中斷」與「處理器」要求使用者確認,這樣安全但低效。下一步用部分函數應用鎖定參數範圍,讓代理無需人工核准就能安全行動。再來引入反饋迴路:讓代理讀檔、修改、執行測試、觀察結果、再次修改,直到測試通過。這時代理已能自主完成任務。

後期例子涉及更高階概念。子代理模式讓代理委派工作給特化的子代理——如一個修復程式碼的代理、另一個搜尋 Wikipedia 的代理——避免上下文過度膨脹,提升選擇正確工具的一致性。最後是自我優化:标記需要改進的變數(如提示詞),讓 Agency 內建的優化器自動測試與迭代,測量目標達成度,系統性地改進而非猜測試驗。整場演講展示的架構改進階梯清晰:添加工具 → 加入安全機制 → 實現自動化 → 引入推理反饋 → 組織子代理 → 系統優化。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI