KeyFrame內部研究專用

How to Get Frontier Coding Results at 70% Lower Cost - Nouha Dziri, Cohere

AI Engineer英文
觀看原始影片

三句話摘要

如何透過多代理協作架構,以70%更低的成本達到frontier級別的程式編寫性能。 多代理團隊是降低成本前提下提升frontier編碼性能的有效途徑,關鍵是找出任務瓶頸並集中分配代理,用強領導配廉價工作者可達70%成本降幅。 分層團隊結構優於平行多次嘗試——領導者分配任務給工作者,每個工作者從清空上下文開始作業,避免單個代理長時間執行導致的上下文爆炸,工作者只回報精簡結果,讓領導者保持全局視圖。

重點整理

  1. 分層團隊結構優於平行多次嘗試——領導者分配任務給工作者,每個工作者從清空上下文開始作業,避免單個代理長時間執行導致的上下文爆炸,工作者只回報精簡結果,讓領導者保持全局視圖。

  2. 任務瓶頸決定代理分配方向——在Program Bench(需探索未知二進制程式)上,規劃階段是瓶頸,向規劃階段分配代理可以以一半成本達到相同性能;但在Commit Zero(有明確規格)上,瓶頸在實作階段,應在此分配代理。

  3. 強領導者是必要條件,工作者可用廉價模型——強領導+便宜工作者(Luna模型)比全用Sol模型便宜60%,效能幾乎相同;反過來廉價領導+強工作者則無法彌補領導能力不足,領導者決定團隊天花板,工作者決定成本。

  4. 提示工程和階段分配比代理數量更關鍵——從最少提示到精細提示(PIV),單個代理性能提升6點;選對分配階段比盲目增加代理數更能優化成本效益,關鍵是「把代理放在對的地方」。

實用技巧與重點

  • 測試基準:Program Bench(反向工程二進制程式)、Commit Zero(實作已知規格的程式碼)
  • 團隊組態範例:Sol+Luna(強領導+便宜規劃工作者)= PIV Solo成本的40%,性能相當
  • 成本效益數據:
  • 團隊vs單個代理:性能+10點,成本4-7倍
  • 規劃專用代理:相同性能,成本減半
  • 16人規劃團隊 vs All-Sol PIV:便宜70%
  • Luna規劃工作者:成本降60%,性能損失輕微
  • 溝通模式:84%訊息工作者→領導者;worker-to-worker <1訊息/任務;直接溝通無性能提升
  • 模型表現:Claude 5.6最善於委派(+7點);Claude 4.7很少委派(+1點);Gemini委派多但收益少
  • 任務分工選項:
  • 規劃階段團隊:領導探索+實作+驗證
  • 實作階段團隊:領導規劃+驗證
  • 驗證階段團隊:領導規劃+實作

結論

多代理團隊是降低成本前提下提升frontier編碼性能的有效途徑,關鍵是找出任務瓶頸並集中分配代理,用強領導配廉價工作者可達70%成本降幅。

完整解析

多代理編程團隊的核心問題在於成本與效能的平衡。傳統思路是讓單個代理思考更久或平行採樣,但當代理執行多小時的複雜任務時,上下文視窗會爆炸,再多嘗試也無法救援。Nuha的解決方案是組建分層團隊:由領導者保持全局視圖並委派子任務,每個工作者從清空上下文開始獨立作業,完成後只回報精簡結果,如此既避免上下文爆炸,又能分工提升整體效能。

但盲目擴大團隊規模會急速增加成本。研究發現,任務的軟體工程瓶頸決定代理應該被分配在何處。在Program Bench這類需要探索未知二進制程式的任務中,規劃階段是瓶頸——需要反覆探測程式行為才能寫出正確實作,多個規劃者在各自上下文中探索不同角度,最後由領導者綜合各方發現,效率遠優於單人規劃。實驗證實:向規劃階段分配代理可以用一半的成本達到等同性能,而向實作或驗證階段分配代理則無效。相反地,在Commit Zero這類規格明確的任務中,瓶頸在實作階段,此時應該向實作階段分配代理。

進一步最佳化後發現:強領導者是必要的,但工作者可以用廉價模型。用Sol領導加Luna規劃工作者組合,可以比全用Sol模型省60%成本、達到接近frontier的性能。但廉價領導加強工作者則不可行——領導者決定了團隊的性能天花板,工作者決定了成本。同時,提示工程至關重要:從最小化提示到精細指導(PIV),光是改進提示就能讓單個代理性能跳升6點;而且往往「把代理放在對的地方」比「增加代理數量」更能優化效能。

代理間通訊模式出乎意料——84%的訊息是工作者回報給領導者,worker-to-worker溝通少於每任務1條訊息,且直接peer溝通未帶來性能提升,反而有時會分散注意力。儘管代理有能力彼此溝通,它們卻自發表現出階層行為,這反映了任務設計和現有模型的能力限制。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。