How to Get Frontier Coding Results at 70% Lower Cost - Nouha Dziri, Cohere
三句話摘要
如何透過多代理協作架構,以70%更低的成本達到frontier級別的程式編寫性能。 多代理團隊是降低成本前提下提升frontier編碼性能的有效途徑,關鍵是找出任務瓶頸並集中分配代理,用強領導配廉價工作者可達70%成本降幅。 分層團隊結構優於平行多次嘗試——領導者分配任務給工作者,每個工作者從清空上下文開始作業,避免單個代理長時間執行導致的上下文爆炸,工作者只回報精簡結果,讓領導者保持全局視圖。
重點整理
分層團隊結構優於平行多次嘗試——領導者分配任務給工作者,每個工作者從清空上下文開始作業,避免單個代理長時間執行導致的上下文爆炸,工作者只回報精簡結果,讓領導者保持全局視圖。
任務瓶頸決定代理分配方向——在Program Bench(需探索未知二進制程式)上,規劃階段是瓶頸,向規劃階段分配代理可以以一半成本達到相同性能;但在Commit Zero(有明確規格)上,瓶頸在實作階段,應在此分配代理。
強領導者是必要條件,工作者可用廉價模型——強領導+便宜工作者(Luna模型)比全用Sol模型便宜60%,效能幾乎相同;反過來廉價領導+強工作者則無法彌補領導能力不足,領導者決定團隊天花板,工作者決定成本。
提示工程和階段分配比代理數量更關鍵——從最少提示到精細提示(PIV),單個代理性能提升6點;選對分配階段比盲目增加代理數更能優化成本效益,關鍵是「把代理放在對的地方」。
實用技巧與重點
- 測試基準:Program Bench(反向工程二進制程式)、Commit Zero(實作已知規格的程式碼)
- 團隊組態範例:Sol+Luna(強領導+便宜規劃工作者)= PIV Solo成本的40%,性能相當
- 成本效益數據:
- 團隊vs單個代理:性能+10點,成本4-7倍
- 規劃專用代理:相同性能,成本減半
- 16人規劃團隊 vs All-Sol PIV:便宜70%
- Luna規劃工作者:成本降60%,性能損失輕微
- 溝通模式:84%訊息工作者→領導者;worker-to-worker <1訊息/任務;直接溝通無性能提升
- 模型表現:Claude 5.6最善於委派(+7點);Claude 4.7很少委派(+1點);Gemini委派多但收益少
- 任務分工選項:
- 規劃階段團隊:領導探索+實作+驗證
- 實作階段團隊:領導規劃+驗證
- 驗證階段團隊:領導規劃+實作
結論
多代理團隊是降低成本前提下提升frontier編碼性能的有效途徑,關鍵是找出任務瓶頸並集中分配代理,用強領導配廉價工作者可達70%成本降幅。
完整解析
多代理編程團隊的核心問題在於成本與效能的平衡。傳統思路是讓單個代理思考更久或平行採樣,但當代理執行多小時的複雜任務時,上下文視窗會爆炸,再多嘗試也無法救援。Nuha的解決方案是組建分層團隊:由領導者保持全局視圖並委派子任務,每個工作者從清空上下文開始獨立作業,完成後只回報精簡結果,如此既避免上下文爆炸,又能分工提升整體效能。
但盲目擴大團隊規模會急速增加成本。研究發現,任務的軟體工程瓶頸決定代理應該被分配在何處。在Program Bench這類需要探索未知二進制程式的任務中,規劃階段是瓶頸——需要反覆探測程式行為才能寫出正確實作,多個規劃者在各自上下文中探索不同角度,最後由領導者綜合各方發現,效率遠優於單人規劃。實驗證實:向規劃階段分配代理可以用一半的成本達到等同性能,而向實作或驗證階段分配代理則無效。相反地,在Commit Zero這類規格明確的任務中,瓶頸在實作階段,此時應該向實作階段分配代理。
進一步最佳化後發現:強領導者是必要的,但工作者可以用廉價模型。用Sol領導加Luna規劃工作者組合,可以比全用Sol模型省60%成本、達到接近frontier的性能。但廉價領導加強工作者則不可行——領導者決定了團隊的性能天花板,工作者決定了成本。同時,提示工程至關重要:從最小化提示到精細指導(PIV),光是改進提示就能讓單個代理性能跳升6點;而且往往「把代理放在對的地方」比「增加代理數量」更能優化效能。
代理間通訊模式出乎意料——84%的訊息是工作者回報給領導者,worker-to-worker溝通少於每任務1條訊息,且直接peer溝通未帶來性能提升,反而有時會分散注意力。儘管代理有能力彼此溝通,它們卻自發表現出階層行為,這反映了任務設計和現有模型的能力限制。


