How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI
三句話摘要
AI 模型同時追蹤多個指令的能力上限在一年內提升了十倍,以及這對開發技能檔案工作流程的實際影響。 指令容量上限十倍躍升使容量不再是瓶頸,但驗證模型確實執行指令已成為新的核心挑戰。 指令追蹤能力十倍進展:基於 IFScale 基準測試,透過測量模型是否在文本中包含指定詞彙,證實前沿模型在過去 12 個月內從 200-300 條指令的上限躍升至 2,000-5,000 條,某些情況甚至達到 10,000 條。
重點整理
指令追蹤能力十倍進展:基於 IFScale 基準測試,透過測量模型是否在文本中包含指定詞彙,證實前沿模型在過去 12 個月內從 200-300 條指令的上限躍升至 2,000-5,000 條,某些情況甚至達到 10,000 條。
四種異質化失敗模式:Deepseek 採傳統路線靜默遺忘指令;Claude 出於安全顧慮直接拒絕(尤其當詞彙組合含有危險關鍵字);Gemini 因過度使用思考 token 耗盡預算導致無法輸出;GPT-5.5 則禮貌地在半途宣稱任務愚蠢後放棄,造成最難偵測的無聲失敗。
工程假設需重新評估:過去為避免模型遺忘,開發者被迫將技能檔案限制在極短長度並透過複雜的子技能層級進行分片;如今可直接將數百甚至數千條規則寫入單一提示,無需繁瑣的架構設計。
成本延遲權衡取代容量限制:核心問題從「模型能做到嗎」轉變為「做這件事值不值得」,因為長提示會導致更高的成本與更慢的回應速度,且後續研究顯示指令順序改變可能大幅影響遵循品質。
實用技巧與重點
- 基準測試資訊
- IFScale:將詞彙追蹤精度作為指令遵循的代理指標
- 測試規模升級:500 → 1,000 → 2,000 → 5,000 → 10,000 個詞彙
- 舊基準模型(一年前)
- GPT-4.1、Claude Sonnet 4、Gemini 2.5 Pro
- 失敗點:200-300 條規則
- 新基準模型及失敗點
- GPT-5.5:5,000 條規則時 99% 精度(超過後禮貌放棄)
- Claude Opus 4.7:觸發安全過濾器時直接 API 拒絕
- Gemini 3.1 Pro:5,000 條規則表現最佳,超過後因思考 token 耗盡無法輸出
- Deepseek V4 Pro:750 條開始遺忘、2,000 條時丟失 50%
- 測試成本
- 2,300 次 API 查詢、7 個模型、總耗資 29 美元
- 後續研究發現
- 46 模型基準測試:改變指令順序可導致遵循質量大幅下降
- 新興基準:Firebench、CCR Bench、Guidebench
- Chroma 研究:長輸入上的精度下降 30-50%,發生在上下文窗口限制之前
結論
指令容量上限十倍躍升使容量不再是瓶頸,但驗證模型確實執行指令已成為新的核心挑戰。
完整解析
演講者 Lori 任職於 Arise AI(前 npm 創辦人),起因於去年 AI Engineer 大會上聽到 Dexter Horthy 順帶一提的數字:代理可追蹤約 200 條指令。這引起她的警覺——200 條指令對於真實的技能檔案來說少得可憐,即使簡單的規則(「如果使用者說 X 則做 Y」、「總是包含 Z 段落」、「絕不使用 W 短語」)堆積起來也能輕易超過 200 條。若模型會在 200 條後靜默忘記指令,那對可複雜度就成了硬天花板。
為驗證這個數字,Lori 採用 IFScale 基準測試。測試原理簡潔優雅:要求模型生成包含特定詞彙(如「客戶」、「營收」)的商業報告,計算實際出現的詞彙數量。雖然隨機詞彙插入不等同於真實指令遵循,但它們都是離散的具名約束,因此該測試提供了有效的上限測度。重現原始基準後,一年前的 200-300 指令邊界線確實存在。
轉向當前前沿模型時測試立即失效——所有模型在原始基準上達成 100% 精度。Lori 隨之擴大測試規模,逐倍增加詞彙數量至 10,000。新發現令人震撼:四款最新模型的失敗方式迥然相異。GPT-5.5 表現最佳,直至 5,000 條規則維持 99% 精度,但超過限度後會在報告寫到中途突然宣稱任務愚蠢而放棄;Claude Opus 因隨機詞彙組合(如「炭疽」加「氰化物」)觸發安全分類器而直接拒絕;Gemini 過度依賴思考 token,導致完整思考後無法生成實際輸出;Deepseek 則採最傳統方式靜默遺忘指令。
這十倍能力躍升根本改變了工程實踐。過去開發者被迫將技能檔案壓縮在 200 條指令以下,透過複雜的子技能層級與多層轉發迴避模型遺忘。現在數百甚至數千條規則可直接納入單一提示,消除了繁瑣的架構設計。然而新的權衡隨之浮現:成本與延遲。容量問題已解決,驗證問題卻成焦點——開發者必須確認模型確實遵循了所有指令。特別危險的是 GPT 式的半途放棄,看似完整的回應可能在中途已經放棄,需要 AI 評估機制持續監測。此外,後續研究揭示指令順序的改變可能大幅影響遵循品質,最佳順序安排仍在探索中。


