KeyFrame內部研究專用

Context Engineering in 2026 — Louis-François Bouchard, Omar Solano & Samridhi Vaid, Towards AI

AI Engineer63 min英文
觀看原始影片

三句話摘要

2026年上下文工程:如何通過優化LLM的上下文管理來降成本、提升回憶、加快速度。 ## 別預設要壓縮——先列出約束(成本、硬件、延遲),再從提示緩存、RAG、完整歷史中選最優方案,小模型加好檢索往往勝過複雜的摘要策略。 1. 上下文工程的核心矛盾

重點整理

  1. 1. 上下文工程的核心矛盾

  2. 上下文窗口有限但LLM無狀態,導致要麼重複發送昂貴tokens,要麼摘要會損失細節。傳統壓縮策略(選擇性保留、摘要、滑動窗口)看似聰明,實際上透過降低回憶率和增加工具呼叫,反而更昂貴。

  3. 2. 提示緩存的遊戲改變

  4. 幾乎所有API(Gemini、DeepSeek、Claude)都支援提示緩存,讓已發送過的tokens便宜50倍。這表示最多tokens的設置反而最便宜——只要不破壞緩存。摘要等轉換會失效緩存,可能無法回本。

  5. 3. 實驗的反直覺結果

  6. 在96轉以上的長會話中,保留完整歷史達95%的事實回憶率,而摘要只有32%。本地模型因硬件限制(MacBook最多32K tokens)無法競爭;但使用混合RAG檢索可本地達100%精度,適合文件場景。

  7. 4. 實務決策框架

  8. 根據約束選工具——雲端用DeepSeek V4 Flash(緩存折扣50倍)搭完整歷史+混合檢索;本地受限32K時用RAG而非摘要;超過800K tokens沒看到context rot,只需監控成本與延遲。

  9. ##

實用技巧與重點

  • 模型與成本:
  • Gemini 3.5 Flash:單轉$0.50、多轉$0.24/turn、完整歷史最便宜
  • DeepSeek V4 Flash:緩存折扣50倍,100K-1M turns/日成本$1,900-$18,000/月(vs Gemini $40,000/月)
  • 本地7B/8B/32B模型:無成本但context窗口上限32K(MacBook)
  • 檢索與工具:
  • 混合搜尋:語義(cohereai embedding) + BM25關鍵字,rerank前5
  • Dense RAG:50K-200K tokens達80%精度,但超400K掉到0%(buried facts問題)
  • 文件系統瀏覽工具:用bash ls/find/grep,但實驗顯示無回憶提升,反而慢50%
  • 滑動窗口清除:每5,000 tokens清除舊工具輸出但保留最後5筆
  • 評估數據:
  • 單轉任務:60組QA對(自網站學生提問+回答,篩除過時版本問題)
  • 多轉任務:生成式數據集,插入真實facts、filler message、probe問題
  • 長度測試:36轉會話1.78M tokens、96轉對話最多800K tokens、本地化測試25-340秒輸出時間
  • 專案配置:
  • LangChain ReAct型代理 + 中間件特性化行為
  • FastAPI後端 + Next.js前端
  • 知識庫8M+ tokens(2年課程+Langchain/Lamaindex/OpenAI文檔)
  • 工具輸出上限100K tokens,查詢結果top-5
  • ##

結論

別預設要壓縮——先列出約束(成本、硬件、延遲),再從提示緩存、RAG、完整歷史中選最優方案,小模型加好檢索往往勝過複雜的摘要策略。

完整解析

Towards AI是一間AI教育公司,為工程師開設課程並提供AI家教系統回答學生問題。他們面臨的問題很常見:代理會做出你不想要的事,根本原因往往不是模型變笨,而是上下文窗口填滿了、內容不斷惡化。為了理解如何最佳化上下文,團隊做了一系列系統實驗。

上下文工程的核心在於兩個制約:第一,上下文窗口有限——系統提示、課程內容、工具定義、聊天歷史、工具輸出都擠在同一空間,發送越多tokens成本越高、品質越差;第二,LLM無狀態——學生重新進入對話時,模型毫無記憶。傳統方案是透過壓縮來解決——滑動窗口、摘要、選擇性保留。看起來邏輯完美,但實驗結果完全相反。

關鍵轉折來自提示緩存技術。Gemini、DeepSeek、Claude等都支援它,一旦tokens被緩存,重用時便宜50倍。這改變了計算方式:發送最多tokens的設置實際上成本最低,因為97%的tokens被緩存且極便宜。而摘要等任何上下文轉換會破壞緩存,每轉都要重新計算新的tokens,反而更貴更慢。

實驗分兩類。單轉任務(60組學生提問)中,所有策略都得高分,因為還沒堆積足夠tokens觸發壓縮。多轉任務才顯真章:在96轉對話中,完整歷史達95%事實回憶率,摘要只有32%。成本方面,DeepSeek V4 Flash加完整歷史的設置發送最多tokens,卻是最便宜的——一天100K-1M轉換下來月成本$1,900,比Gemini的$40,000便宜20倍。即使推到800K tokens的長會話,模型也沒出現context rot,一直穩定回憶事實。

本地化測試則暴露了硬件瓶頸。MacBook只能跑32K context窗口,超過就必須壓縮。在這個限制下,摘要不管用,混合RAG檢索才救命——用語義搜尋加BM25關鍵字搜尋,即使面對400K tokens的大文檔也能達100%精度。但對話歷史場景就不同了,32K窗口放不下多轉對話,本地模型最後只回憶32%,遠不如雲端。

最終決策:採用DeepSeek V4 Flash(雲端、有50倍緩存折扣)搭完整歷史保留到30K tokens、混合檢索。這組合在當前學生規模最便宜,回憶率最好,不做主動摘要。

##

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI