GPT-6 Astra: The harness matters more than you think
三句話摘要
模型性能的真正決定因素不是模型本身,而是評測框架設計 架構設計對模型性能的影響已超過模型本身的能力,選擇合適的架構比選擇更強大的模型更關鍵。 架構的四個核心職能決定了模型的實際表現:架構層管理提示詞構建、工具執行、屏幕回饋和記憶管理。在ARC AGI測試中,標準架構在每次行動後丟棄模型的推理記錄,導致模型需要每次從零開始分析遊戲規則,嚴重浪費模型的推理能力。
重點整理
架構的四個核心職能決定了模型的實際表現:架構層管理提示詞構建、工具執行、屏幕回饋和記憶管理。在ARC AGI測試中,標準架構在每次行動後丟棄模型的推理記錄,導致模型需要每次從零開始分析遊戲規則,嚴重浪費模型的推理能力。
記憶和上下文管理是性能的杠桿點:當架構保留推理狀態並使用摘要壓縮而非截斷歷史時,同一模型在同一遊戲上的得分從62.7%躍升至99.9%,提升幅度達50%。這說明良好的記憶設計能替代重複思考。
成本與性能存在相反的權衡設計:在提供商優化架構下,增加推理努力反而降低總成本,因為深度思考導致API調用次數減少。優化架構不僅快3.6倍、減少49% token,而且整線成本都低於標準架構。
架構的通用性存在邊界:小模型如Qwen 3.8B在思考模式開啟時會耗盡整個推理預算而無法生成內容,說明不同架構對不同模型的適配度差異大。
實用技巧與重點
- ARC AGI基準測試:小型交互式益智遊戲,模型未見過,無指令,得分為行動效率而非解題百分比
- GPT-5.6 Soul在ARC AGI:標準架構7.8%,優化架構38%
- Claude 5:30.2%(標準架構,2025年7月)
- Astra:標準架構62.7%,優化架構99.9%
- 標準架構限制:推理記錄每次動作後刪除,超過175,000字符執行滾動截斷
- 優化架構增強:保留推理狀態、使用摘要壓縮替代截斷
- 作者實驗(DeepSeek Qwen 4B Flash,20個編碼任務)
- 名義成本:$1.52/任務
- 實際成本(計入cache):$18.82/任務(相差8倍)
- Deepseek harness cache命中率:98.7%
- Claude Code cache命中率:98%,實際排名從最貴升至中等
- API-only架構:6,100 token系統提示,4個工具(讀、編、批處理)
- 架構對性能的影響幅度:小任務差異93倍median token,大任務差異173倍median token
結論
架構設計對模型性能的影響已超過模型本身的能力,選擇合適的架構比選擇更強大的模型更關鍵。
完整解析
當OpenAI宣佈GPT-6 Astra在ARC AGI基準測試中達到99.9%的成績時,鮮少有人注意到同一模型在相同基準上的另一個數字:62.7%。唯一的區別不是模型本身,而是評測框架(harness)——圍繞模型的一層代碼,決定了模型看什麼、記什麼,和被允許做什麼。這個看似微小的區別揭示了一個深刻的真相:在現代AI系統中,架構設計對性能的影響已經超過了原始模型能力本身。
ARC AGI是一套模型未見過的小型交互式益智遊戲,設計用來測試模型的泛化能力而非記憶力。在ARC團隊釋出的標準架構下,每個前沿模型的得分都在1%以下。到了2025年7月,Claude 5達到30.2%,而Astra則是62.7%。但當模型改用提供商優化的架構時,Astra直接躍至99.9%——這50個百分點的提升完全來自架構設計,與模型智能無關。
標準架構的瓶頸在於兩個設計決策。首先,它在每次行動後丟棄模型的推理記錄,迫使模型在下一輪時從零開始理解遊戲規則。其次,當對話歷史超過175,000字符時,它採用滾動截斷,不僅拋棄了推理過程,還丟掉了模型之前執行的動作。而提供商優化架構則保留推理狀態,用歷史摘要替代截斷,讓模型既保持思考痕跡,也保留行動記憶。這個改變帶來的不僅是性能提升——在Astra的情況下,同一模型在同一遊戲上的得分提升50%——更有成本的大幅下降。根據ARC的測量,優化架構下的模型速度快3.6倍、token使用減少49%,即便推理努力參數從最小到最大變化,性能也穩定在96-99.9%之間。
作者自己的實驗進一步驗證了這一點。在測試DeepSeek Qwen 4B Flash於20個編碼任務時,看似成本每任務$1.52的估算實際上忽視了關鍵細節:97%的輸入token是通過prompt cache讀取,而cache讀取成本只有新token的1/50。實際成本是$18.82,相差8倍。更有趣的是,不同架構的cache命中率差異巨大——Deepseek達到98.7%,Claude Code儘管token使用最多,但大型系統提示的cache命中率98%,實際成本反而排名中等。而最小化的API-only架構看似高效,卻因為沒有上下文管理,在長任務中context window從2,000膨脹至178,000 token。這些發現表明:看到基準測試中的數字時,那其實是模型能力與架構設計的乘積。一個優秀的模型搭配不適配的架構可能得分慘淡,而同樣的模型用精心設計的架構則表現驚人。


