KeyFrame內部研究專用

How long can your skills be before your agent forgets what you told it? — Laurie Voss, Arize AI

AI Engineer英文
觀看原始影片

三句話摘要

AI 模型同時追蹤多個指令的能力上限在一年內提升了十倍,以及這對開發技能檔案工作流程的實際影響。 指令容量上限十倍躍升使容量不再是瓶頸,但驗證模型確實執行指令已成為新的核心挑戰。 指令追蹤能力十倍進展:基於 IFScale 基準測試,透過測量模型是否在文本中包含指定詞彙,證實前沿模型在過去 12 個月內從 200-300 條指令的上限躍升至 2,000-5,000 條,某些情況甚至達到 10,000 條。

重點整理

  1. 指令追蹤能力十倍進展:基於 IFScale 基準測試,透過測量模型是否在文本中包含指定詞彙,證實前沿模型在過去 12 個月內從 200-300 條指令的上限躍升至 2,000-5,000 條,某些情況甚至達到 10,000 條。

  2. 四種異質化失敗模式:Deepseek 採傳統路線靜默遺忘指令;Claude 出於安全顧慮直接拒絕(尤其當詞彙組合含有危險關鍵字);Gemini 因過度使用思考 token 耗盡預算導致無法輸出;GPT-5.5 則禮貌地在半途宣稱任務愚蠢後放棄,造成最難偵測的無聲失敗。

  3. 工程假設需重新評估:過去為避免模型遺忘,開發者被迫將技能檔案限制在極短長度並透過複雜的子技能層級進行分片;如今可直接將數百甚至數千條規則寫入單一提示,無需繁瑣的架構設計。

  4. 成本延遲權衡取代容量限制:核心問題從「模型能做到嗎」轉變為「做這件事值不值得」,因為長提示會導致更高的成本與更慢的回應速度,且後續研究顯示指令順序改變可能大幅影響遵循品質。

實用技巧與重點

  • 基準測試資訊
  • IFScale:將詞彙追蹤精度作為指令遵循的代理指標
  • 測試規模升級:500 → 1,000 → 2,000 → 5,000 → 10,000 個詞彙
  • 舊基準模型(一年前)
  • GPT-4.1、Claude Sonnet 4、Gemini 2.5 Pro
  • 失敗點:200-300 條規則
  • 新基準模型及失敗點
  • GPT-5.5:5,000 條規則時 99% 精度(超過後禮貌放棄)
  • Claude Opus 4.7:觸發安全過濾器時直接 API 拒絕
  • Gemini 3.1 Pro:5,000 條規則表現最佳,超過後因思考 token 耗盡無法輸出
  • Deepseek V4 Pro:750 條開始遺忘、2,000 條時丟失 50%
  • 測試成本
  • 2,300 次 API 查詢、7 個模型、總耗資 29 美元
  • 後續研究發現
  • 46 模型基準測試:改變指令順序可導致遵循質量大幅下降
  • 新興基準:Firebench、CCR Bench、Guidebench
  • Chroma 研究:長輸入上的精度下降 30-50%,發生在上下文窗口限制之前

結論

指令容量上限十倍躍升使容量不再是瓶頸,但驗證模型確實執行指令已成為新的核心挑戰。

完整解析

演講者 Lori 任職於 Arise AI(前 npm 創辦人),起因於去年 AI Engineer 大會上聽到 Dexter Horthy 順帶一提的數字:代理可追蹤約 200 條指令。這引起她的警覺——200 條指令對於真實的技能檔案來說少得可憐,即使簡單的規則(「如果使用者說 X 則做 Y」、「總是包含 Z 段落」、「絕不使用 W 短語」)堆積起來也能輕易超過 200 條。若模型會在 200 條後靜默忘記指令,那對可複雜度就成了硬天花板。

為驗證這個數字,Lori 採用 IFScale 基準測試。測試原理簡潔優雅:要求模型生成包含特定詞彙(如「客戶」、「營收」)的商業報告,計算實際出現的詞彙數量。雖然隨機詞彙插入不等同於真實指令遵循,但它們都是離散的具名約束,因此該測試提供了有效的上限測度。重現原始基準後,一年前的 200-300 指令邊界線確實存在。

轉向當前前沿模型時測試立即失效——所有模型在原始基準上達成 100% 精度。Lori 隨之擴大測試規模,逐倍增加詞彙數量至 10,000。新發現令人震撼:四款最新模型的失敗方式迥然相異。GPT-5.5 表現最佳,直至 5,000 條規則維持 99% 精度,但超過限度後會在報告寫到中途突然宣稱任務愚蠢而放棄;Claude Opus 因隨機詞彙組合(如「炭疽」加「氰化物」)觸發安全分類器而直接拒絕;Gemini 過度依賴思考 token,導致完整思考後無法生成實際輸出;Deepseek 則採最傳統方式靜默遺忘指令。

這十倍能力躍升根本改變了工程實踐。過去開發者被迫將技能檔案壓縮在 200 條指令以下,透過複雜的子技能層級與多層轉發迴避模型遺忘。現在數百甚至數千條規則可直接納入單一提示,消除了繁瑣的架構設計。然而新的權衡隨之浮現:成本與延遲。容量問題已解決,驗證問題卻成焦點——開發者必須確認模型確實遵循了所有指令。特別危險的是 GPT 式的半途放棄,看似完整的回應可能在中途已經放棄,需要 AI 評估機制持續監測。此外,後續研究揭示指令順序的改變可能大幅影響遵循品質,最佳順序安排仍在探索中。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。