KeyFrame內部研究專用

你的 AI 用法可能全錯了|從新手到 AI Engineer 都在犯的三個錯

Gary Chen·4月14日週二·10 min中文

三句話摘要

揭示 AI 使用效率的三層陷阱:正確的 Context 管理才能讓 AI 思考而非搬磚。 AI 不是工具技能而是管理技能——懂得管理給 AI 的輸入、對話長度、context 品質,才能讓它真正為你思考而非搬磚。 Processing 和 Thinking 的本質差異:AI 消化輸入的工作(讀檔案、解析格式、整理對話)是 processing,不需要智慧但會燒 token;真正的 thinking 是推理和洞察。大多數使用者讓 AI 的算力被前者占據,造成付錢效益低。

重點整理

重點
  • 1

    Processing 和 Thinking 的本質差異:AI 消化輸入的工作(讀檔案、解析格式、整理對話)是 processing,不需要智慧但會燒 token;真正的 thinking 是推理和洞察。大多數使用者讓 AI 的算力被前者占據,造成付錢效益低。

  • 2

    對話長度的隱性成本:每送一條新訊息,系統會把整份對話歷史從第一句到最後一句完整複製送給模型重讀。對話越長,每一輪的處理量指數成長,到第 30 輪時甚至會飆到 40000 個 token,導致反應變慢。

  • 3

    Claude 和 ChatGPT 的根本差異:ChatGPT 會自動壓縮舊對話內容,長對話感受相同;Claude 保留完整歷史每次重讀,成本結構比較貴,月費相同但容易用完。

  • 4

    Context 工程的三層解決方案:初階用摘要法和格式轉換,中階定期開新對話並帶摘要前進,進階用索引系統和 prompt caching 降低重複處理成本。

實用技巧與重點

乾貨
  • 初階陷阱具體數據:
  • PDF 轉換時 token 膨脹 2-3 成,排版越複雜膨脹越多
  • 10 輪對話中每進一份文件,相當於付 10 次的費用
  • 中階陷阱的演進數據(Claude):
  • 第 5 輪:幾千個 token
  • 第 30 輪:~40000 個 token
  • 第 50 輪:~80000 個 token
  • 進階陷阱的成本對比:
  • 不做 context 優化:一天 50-100 美金成本
  • 做好索引和 context 控制:一天 10-15 美金成本
  • 具體做法:
  • PDF 處理方案:先摘要再開新對話 OR 轉成 markdown/JSON 格式
  • 對話管理:完成階段任務 → 請 AI 總結進度和關鍵決定 → 開新對話帶摘要繼續
  • 索引系統:像書籍目錄,讓 AI 知道資訊位置,需要時才取用
  • Prompt caching:穩定內容(system prompt)只讀一次,成本可降至十分之一
  • 業界概念:
  • Progressive disclosure:用不到的東西就不載入,需要時再給
  • Lost in the Middle:重要資訊被埋在雜訊中,AI 反而看不到

結論

結論

AI 不是工具技能而是管理技能——懂得管理給 AI 的輸入、對話長度、context 品質,才能讓它真正為你思考而非搬磚。

完整解析

詳細

現代知識工作者每天花在 AI 上的時間越來越多,但很少人理解 AI 如何消化輸入。講者用麥肯錫顧問的比喻開場:如果你把公司十年的檔案全搬進會議室要顧問先翻一下,他四十分鐘在翻資料,只有二十分鐘真正思考,你付的費用卻沒有產生相應價值。AI 也是一樣的邏輯。

講者提出核心概念:processing 和 thinking。Processing 是 AI 花算力消化你的輸入——讀 PDF、解析格式、整理對話歷史、在大量 token 中翻找相關片段。這些工作不需要智慧,卻全部要燒你的 token。Thinking 才是 AI 在乾淨的上下文下做推理、產生洞察、給真正有價值的回答,這才是你付錢買的東西。大多數人的使用方式讓 AI 的 80% 算力花在 processing,只有 20% 在 thinking。換句話說,你 token 燒得越兇,通常是因為 AI 花了很多時間幫你搬磚。

為了解決這個問題,講者分成三個層級來看。初階陷阱是不懂 AI 怎麼讀檔案。你拖三份 PDF 進對話要 AI 整理重點,聽起來很合理,但有兩個成本問題:PDF 不是乾淨文字,AI 解析時會連頁首頁尾、表格殘留、排版標記一起吃進來,token 數通常膨脹 2-3 成;更關鍵的是,這些內容一旦進了對話歷史,後面每一輪都會被重新送進模型,到第十輪你等於為同一份文件付了十次錢。解決方式有兩種:如果後續任務只需要概論不需要細節,可以先在一個對話中讓 AI 把文件濃縮成摘要,然後開新對話只帶摘要繼續工作;如果需要完整細節,可以先轉成 markdown 或 JSON 這種 AI 友善的格式再提供。

中階陷阱是不懂 AI 怎麼記對話。很多人會遇到一個對話跑了三四十輪後,AI 突然變慢變笨的經驗。背後的原因是對話太長了。講者揭露了一個很多人不知道的事實:AI 模型本身沒有記憶,你可以把跟 AI 的對話想像成一份共享文件,每次送出新訊息時,系統不是只把你這句新話送給模型,而是把整份文件從第一句話到最後一句話全部複製一份重新送給模型讀一遍。這意味著你第一輪的話到了第三十輪已經被讀了三十次。第十輪丟進去的 PDF 內容到第三十輪也被讀了二十次。對話越長,每一輪的處理量都在加速上升,所以你聊得越久,成本不是只增加一點點,而是整份文件長度都在膨脹。這解釋了為什麼對話到後面會感覺 AI 變慢變笨——它不是變笨了,而是被塞太多東西開始恍神。有趣的是,Claude 和 ChatGPT 在這點上有根本差異:ChatGPT 會自動壓縮比較舊的對話內容,所以跑一百輪和跑十輪感受差不多;Claude 不會自動壓縮,它在達到上限前保留完整對話歷史,每次都重新讀一遍,所以從 ChatGPT 搬過來的人會覺得 Claude 是 AI 界的奢侈品——同樣二十美金月費,Claude 特別容易用完。解決方式是有意識地管理對話長度:當你完成一個階段性任務,就是開新對話的好時機。開新對話前請 AI 幫你總結目前的進度和關鍵決定,然後把這份摘要帶到新對話裡繼續,這樣既不會丟失重要 context,也不會讓歷史對話一直膨脹。

進階陷阱是不懂 AI 怎麼找答案,踩這個坑的通常是自己在建 AI agent 系統的技術人員。他們的問題是 agent 架構裡每次呼叫都塞了二十萬 token 的 context、system prompt 寫了一萬五千 token,參考文件直接全部炸進去沒有任何索引機制。這不只是浪費錢的問題,產出品質也會變差。業界有個說法叫「Lost in the Middle」——重要資訊被埋在一堆雜訊中間,AI 反而看不到。更少的噪音等於更高的專注度,等於更好的回答。資訊給得多不如給的巧。沒有意識到這個問題的進階使用者一天花五十到一百美金在 AI 上面,但同樣的工作量,如果索引做好、context 控制好,一天可能只需要十到十五美金。修正方式也很直覺:第一,建立索引系統,就像書籍的目錄,讓 AI 知道什麼資訊在哪裡,需要的時候再去讀那一段,不用每次都把整本書吃進去;第二,如果用 API 在建 agent,可以用 prompt caching,告訴模型那段穩定的 system prompt 你讀過了沒變,不用再讀,做了 cache 後這些內容的處理成本可以降到原本的十分之一。

講者也提醒,給太少 context 也不行。他自己就有偷懶隨便丟幾句話給 AI,希望下一次 AI 會通靈猜到他想要什麼的經驗。相信很多人都經歷過這種無限循環:AI 產出不滿意,又不想花時間把需求講清楚,就一直重試。即使偶爾運氣好中了一次,長期下來品質也是不穩定的。他體感出來的結論是前面花時間把自己的意圖想清楚,才是真正省時間的做法。所以重點不是多或少,是對不對。真正的甜蜜點是恰到好處的 context,讓 AI 可以專注在思考上。而且模型只會越來越強、越來越貴,今天的壞習慣到下一代模型的時候代價只會更高。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。