KeyFrame內部研究專用

Mythos 要來了,你的舊提示詞正在拖垮新模型?

Gary Chen·4月19日週日·14 min中文

三句話摘要

隨著 AI 模型能力提升,為舊模型設計的複雜提示詞與系統流程反而成為阻力,需要主動調整架構以適配新模型。 模型升級可能是獨自升級,你必須主動審視並清除為舊模型設計的複雜框架,才能真正受惠於新能力;真正的核心競爭力已從「寫複雜 prompt」轉向「定清楚目標」和「提供乾淨 context」。 Bitter Lesson 的現代啟示:AI 領域 60 年來已反覆證明,給模型越多人工指導反而不如提供更強的模型和更少干預。棋類、圖像辨識、語言模型都遵循此規律,提示詞設計需要與此趨勢同步。

重點整理

重點
  • 1

    Bitter Lesson 的現代啟示:AI 領域 60 年來已反覆證明,給模型越多人工指導反而不如提供更強的模型和更少干預。棋類、圖像辨識、語言模型都遵循此規律,提示詞設計需要與此趨勢同步。

  • 2

    三項系統檢查:審視保姆式提示詞(詳細步驟指令)、過度設計的檢索框架(為舊 context window 和弱模型而設)、以及寫死的硬編碼規則(應區分 business rule 和 model rule)。每項都應問自己「這是模型做不到,還是我曾被它踩過坑」。

  • 3

    架構轉變的核心:從「流程導向」轉向「結果導向」。不再告訴模型「先分類、再查庫、再檢查」,而是定義「解決客戶問題、符合公司政策」,讓模型自主規劃執行路徑。

  • 4

    新時代能力需求:寫精密 prompt、調 RAG 管線的價值在 2026 年會快速貶值。真正決定競爭力的是「會定目標」(清楚表達成功/失敗樣貌)和「會給 context」(判斷模型需要什麼資訊),這兩項是通用工作能力,不因模型而生。

實用技巧與重點

乾貨
  • 核心參考
  • Bitter Lesson:Rich Sutton 於 2019 年提出的 AI 發展觀察
  • Anthropic Context Engineering Guide:明確指出隨模型進步應減少人為干預
  • OpenAI GPT 5 Prompting Guide:建議停止長篇幅風格規定,直接說需求
  • 檢查清單
  • 保姆式提示詞:「先做 A、再做 B、最後做 C」的逐步指令
  • 檢索框架檢查項:chunking 策略、re-ranking 權重、hybrid search 設定、context window 管理
  • 模型成本:舊架構中客服 agent system prompt 常達三千 token(一半為程序性指令)
  • 新架構四要素
  • Outcome spec:定義終點和成功標準,非執行步驟
  • Guardrail:業務規則底線(法規、權限、資安),不因模型升級而變
  • 工具清單:定義每個 tool 的邊界、輸入輸出、權限範圍
  • 協作模式:多 agent 系統中只定「誰規劃、誰執行、誰評估」
  • Business Rule vs Model Rule
  • Business Rule(保留):法規要求、權限控管、資安底線、退款額度、3D 驗證時機
  • Model Rule(可刪):檢查語氣、勿自造產品名、遇不確定要明說、URL 檢查
  • 實例檢驗:「把 Mythos 跑這個任務,少了這條硬規則它會不會自己做對?」→ 會 = model rule;不會或法規強制 = business rule。

結論

結論

模型升級可能是獨自升級,你必須主動審視並清除為舊模型設計的複雜框架,才能真正受惠於新能力;真正的核心競爭力已從「寫複雜 prompt」轉向「定清楚目標」和「提供乾淨 context」。

完整解析

詳細

這支影片討論的是 AI builder 面對模型快速進化時的一個隱藏陷阱。講者用實習生升遷的比喻開場:三年前新人需要詳細手冊,成為準管理層時反而只需要 OKR,但很多系統仍用著為舊模型設計的複雜提示詞。這個矛盾並非新鮮事——AI 領域已反覆驗證了一個原理,Rich Sutton 在 2019 年稱之為「Bitter Lesson」:歷史上每次人類試圖靠自己的專業知識手把手教 AI 怎麼做,最後都輸給了提供更強模型、讓機器自己學的方案。西洋棋、圍棋、影像辨識、現在的語言模型都是如此。

講者指出,你塞給模型的每一個「how to」都是在賭模型不會變聰明——模型一變聰明,那些指令就從助力變阻力。Anthropic 和 OpenAI 都公開給出同樣建議:隨著模型進步,人為干預要減少。這不是巧合,而是業界共識。

問題是,為什麼那麼多人還是不願意砍掉這些複雜的提示詞和流程?講者認為根本不是技術問題,而是身份焦慮——把寫的 prompt 複雜度當成自己 AI 能力的證明。這就像父母不願放手讓成長的孩子獨立做決定,明知那樣阻礙孩子進步。

影片的後半部分給出三項立刻可檢查的方向。第一是「保姆式提示詞」,即那種「先做 A、再做 B、最後做 C」的逐步指令。以客服 agent 為例,舊模型需要 3000 token 的 system prompt,其中大半是告訴模型先分類意圖、再查庫、再檢查幻覺。但新模型只要告訴它目標(「解決這個客戶問題,他離開時應該滿意」),它會自己找路。審視方法很簡單:逐句讀提示詞,問自己「這段是因為模型做不到,還是因為我被它踩過坑」。如果是後者,就試著刪掉——驚人的多數情況下品質不變甚至更好。

第二是「檢索框架」。一年前 context window 小、模型也無法自主判斷,所以必須提前準備好所有可能的資料。現在 context window 達百萬 token,模型能自主判斷。Anthropic 的 Claude Code 就採用輕量級檔案引用模式——不提前 index,而是讓模型需要時自己用 glob、grep 查找,效果還更好。但這不代表可以擺爛;資料存放、權限控管、查詢成本等基礎建設仍需要你做。關鍵是問:這個檢索階段存在是因為模型無法判斷相關性,還是業務規則強制?前者可讓模型自主,後者必須保留。

第三是「寫死的規則」,最需要判斷力。比如客服系統寫著「購買未滿 30 天、非特價、要求退款就全退,否則轉人工」——這就是決策樹。舊模型無法從政策文件推理出判斷邏輯,所以需要你一條一條列出 40、80 條規則。但真實商業世界中不可能窮舉所有情境,決策樹必然遺漏 corner case。強大的模型只需要最高指導原則就能臨機應變。

講者提供了簡單的判斷標準:這條規則是 business rule 還是 model rule?Business rule 是法規、權限控管、資安底線——不管模型多聰明都必須遵守。Model rule 是「檢查語氣」「勿編造產品名」「遇不確定要明說」——當模型變聰明,這些全部無用武之地。直接問:「把 Mythos 跑這個任務,少了這條硬規則它會不會自己做對?」→ 會做對就是 model rule,可砍;法規強制或即使能做對也不能讓它自主決定,就是 business rule,要留。

當你完成這三項檢查後,系統會演變成一個新架構,包含四個要素。Outcome spec 告訴模型終點在哪(「解決客戶問題」而非「先分類再查庫」),讓模型規劃路徑。Guardrail 是不可越線的 business rule。工具清單 是你給模型什麼工具它就能做什麼,重點在於定義清楚而非決定調用順序——模型才是 orchestrator。協作模式 只在多 agent 系統中需要,核心只是定「誰規劃、誰執行、誰評估」。

這個新架構有個重要特性:系統知道的「怎麼做」越少,就越能吃新模型的紅利。塞滿流程的系統是一次性的,新模型來要重寫;結果導向和工具導向的系統是可升級的,新模型來幾乎無痛升級。

最後講者把這件事拉回個人發展。如果你現在把自己的 AI 能力定義為「寫精密 prompt、設計複雜 chain-of-thought、手調 RAG pipeline」,這些素養很重要,但在 2026 年價值會快速貶值。真正決定你能否搭上模型升級便車的是另外兩項能力:一是「會定目標」——清楚表達自己要什麼、成功/失敗樣貌;二是「會給 context」——判斷模型需要什麼資訊才能做好決定,然後準備好。這兩項能力都不是 AI 出現才有的,是通用工作能力,只是被 AI 時代放大了。有了這兩項,你不害怕模型升級,反而期待——因為模型越強,越需要清楚的方向和乾淨的資料,而不是詳細的步驟。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。