KeyFrame內部研究專用

GPT-6 Astra: The harness matters more than you think

Prompt Engineering英文
觀看原始影片

三句話摘要

模型性能的真正決定因素不是模型本身,而是評測框架設計 架構設計對模型性能的影響已超過模型本身的能力,選擇合適的架構比選擇更強大的模型更關鍵。 架構的四個核心職能決定了模型的實際表現:架構層管理提示詞構建、工具執行、屏幕回饋和記憶管理。在ARC AGI測試中,標準架構在每次行動後丟棄模型的推理記錄,導致模型需要每次從零開始分析遊戲規則,嚴重浪費模型的推理能力。

重點整理

  1. 架構的四個核心職能決定了模型的實際表現:架構層管理提示詞構建、工具執行、屏幕回饋和記憶管理。在ARC AGI測試中,標準架構在每次行動後丟棄模型的推理記錄,導致模型需要每次從零開始分析遊戲規則,嚴重浪費模型的推理能力。

  2. 記憶和上下文管理是性能的杠桿點:當架構保留推理狀態並使用摘要壓縮而非截斷歷史時,同一模型在同一遊戲上的得分從62.7%躍升至99.9%,提升幅度達50%。這說明良好的記憶設計能替代重複思考。

  3. 成本與性能存在相反的權衡設計:在提供商優化架構下,增加推理努力反而降低總成本,因為深度思考導致API調用次數減少。優化架構不僅快3.6倍、減少49% token,而且整線成本都低於標準架構。

  4. 架構的通用性存在邊界:小模型如Qwen 3.8B在思考模式開啟時會耗盡整個推理預算而無法生成內容,說明不同架構對不同模型的適配度差異大。

實用技巧與重點

  • ARC AGI基準測試:小型交互式益智遊戲,模型未見過,無指令,得分為行動效率而非解題百分比
  • GPT-5.6 Soul在ARC AGI:標準架構7.8%,優化架構38%
  • Claude 5:30.2%(標準架構,2025年7月)
  • Astra:標準架構62.7%,優化架構99.9%
  • 標準架構限制:推理記錄每次動作後刪除,超過175,000字符執行滾動截斷
  • 優化架構增強:保留推理狀態、使用摘要壓縮替代截斷
  • 作者實驗(DeepSeek Qwen 4B Flash,20個編碼任務)
  • 名義成本:$1.52/任務
  • 實際成本(計入cache):$18.82/任務(相差8倍)
  • Deepseek harness cache命中率:98.7%
  • Claude Code cache命中率:98%,實際排名從最貴升至中等
  • API-only架構:6,100 token系統提示,4個工具(讀、編、批處理)
  • 架構對性能的影響幅度:小任務差異93倍median token,大任務差異173倍median token

結論

架構設計對模型性能的影響已超過模型本身的能力,選擇合適的架構比選擇更強大的模型更關鍵。

完整解析

當OpenAI宣佈GPT-6 Astra在ARC AGI基準測試中達到99.9%的成績時,鮮少有人注意到同一模型在相同基準上的另一個數字:62.7%。唯一的區別不是模型本身,而是評測框架(harness)——圍繞模型的一層代碼,決定了模型看什麼、記什麼,和被允許做什麼。這個看似微小的區別揭示了一個深刻的真相:在現代AI系統中,架構設計對性能的影響已經超過了原始模型能力本身。

ARC AGI是一套模型未見過的小型交互式益智遊戲,設計用來測試模型的泛化能力而非記憶力。在ARC團隊釋出的標準架構下,每個前沿模型的得分都在1%以下。到了2025年7月,Claude 5達到30.2%,而Astra則是62.7%。但當模型改用提供商優化的架構時,Astra直接躍至99.9%——這50個百分點的提升完全來自架構設計,與模型智能無關。

標準架構的瓶頸在於兩個設計決策。首先,它在每次行動後丟棄模型的推理記錄,迫使模型在下一輪時從零開始理解遊戲規則。其次,當對話歷史超過175,000字符時,它採用滾動截斷,不僅拋棄了推理過程,還丟掉了模型之前執行的動作。而提供商優化架構則保留推理狀態,用歷史摘要替代截斷,讓模型既保持思考痕跡,也保留行動記憶。這個改變帶來的不僅是性能提升——在Astra的情況下,同一模型在同一遊戲上的得分提升50%——更有成本的大幅下降。根據ARC的測量,優化架構下的模型速度快3.6倍、token使用減少49%,即便推理努力參數從最小到最大變化,性能也穩定在96-99.9%之間。

作者自己的實驗進一步驗證了這一點。在測試DeepSeek Qwen 4B Flash於20個編碼任務時,看似成本每任務$1.52的估算實際上忽視了關鍵細節:97%的輸入token是通過prompt cache讀取,而cache讀取成本只有新token的1/50。實際成本是$18.82,相差8倍。更有趣的是,不同架構的cache命中率差異巨大——Deepseek達到98.7%,Claude Code儘管token使用最多,但大型系統提示的cache命中率98%,實際成本反而排名中等。而最小化的API-only架構看似高效,卻因為沒有上下文管理,在長任務中context window從2,000膨脹至178,000 token。這些發現表明:看到基準測試中的數字時,那其實是模型能力與架構設計的乘積。一個優秀的模型搭配不適配的架構可能得分慘淡,而同樣的模型用精心設計的架構則表現驚人。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。