KeyFrame內部研究專用

Notion's Token Town — Sarah Sachs, Notion

AI Engineer·7月23日週四·23 min英文

三句話摘要

如何透過模型無關架構、任務分層與多代理編排,在 AI 成本高企時代建構可持續的軟體工廠。 真正的 AI 成本領導力不在追求最強的模型,而在架構決策:模型無關性提供議價籌碼、任務分層優化成本效率、可協作的代理編排系統才能讓軟體工廠真正可持續且有利可圖。 供應商就是競爭對手——如果妳被單一供應商綁定,妳沒有議價能力。前沿實驗室對自家產品的定價遠低於對第三方開發者的價格,導致妳被迫以虧損方式轉售 tokens。真正的防守是建構模型無關的架構,能隨時切換,這就是妳的籌碼。

重點整理

重點
  • 1

    供應商就是競爭對手——如果妳被單一供應商綁定,妳沒有議價能力。前沿實驗室對自家產品的定價遠低於對第三方開發者的價格,導致妳被迫以虧損方式轉售 tokens。真正的防守是建構模型無關的架構,能隨時切換,這就是妳的籌碼。

  • 2

    成本與能力不成比例升級——新模型推出定價常高前代 40%,卻在四個月內被淘汰;有些新能力型模型多消耗三倍 tokens。如果盲目追最強模型,邊際成本會快速超過邊際收益。要精確評估每個任務真正需要什麼能力。

  • 3

    不是所有流量都相同——郵件分類、CSV 轉 PDF、確定性 SQL 查詢根本不需要 LLM,用 CPU 運算即可。Notion Auto Model 處理 75% 流量,同時提供最先進模型存取,才是真正的成本最佳化。開源模型(如 Claude 2.6)已足以處理中等難度任務,提供了協商籌碼。

  • 4

    軟體工廠的核心是多代理編排——不只是串聯 API 呼叫,而是可檢查、可追蹤、人機協作的工作流。Notion 的實例中,工程師在共享文件標記隊友,由不同代理(Claude、Devin)各司其職再自動化 PR,平均每任務省 3+ 分鐘,規模化後 ROI 巨大。但需要清晰的可見性、治理與監督。

實用技巧與重點

乾貨
  • 公司現況與數據
  • Notion 已於 2026 年大幅成長 AI 使用量
  • 88% 的公司卡在「AI as assistant」階段
  • AI 成熟度四階段
  • 思想夥伴(個人嘗試)→ 助理(執行單一任務)→ 隊友(自動化重複流程)→ 系統(跨流程自動化)
  • 成本相關數字
  • 新模型定價可能高前代 40%,在 4 個月後被棄用
  • 推理模型升級時 output tokens 消耗增加 3 倍
  • Notion Auto Model 處理約 75% 流量
  • 模型與工具
  • 開源模型:Claude 2.6、Llama 現已能勝任許多中等難度任務
  • Notion Workers:減少不必要的 LLM 呼叫
  • Notion Auto Model:提供多模型切換能力
  • 合作夥伴:Parallel(網路搜尋)、Devin agents(用戶聲音蒐集)
  • 安全與治理
  • 「致命三角」風險:私有資料存取 + 不信任內容輸入(MCP/郵件)+ 外部通訊能力
  • 自主程度越高,無監督風險越大
  • 需要可見性、可追蹤性與控制機制
  • 實際成效
  • 軟體工廠流程每任務平均省 3+ 分鐘
  • Vercel 採用類似方式,看到巨大 ROI 收益

結論

結論

真正的 AI 成本領導力不在追求最強的模型,而在架構決策:模型無關性提供議價籌碼、任務分層優化成本效率、可協作的代理編排系統才能讓軟體工廠真正可持續且有利可圖。

完整解析

詳細

AI 成本已成為許多公司的結構性障礙。Notion 的領導者 Sarah 在演講中指出,當前市場的主要問題不在 AI 能力本身,而在經濟面。新模型推出時定價常常比前代高 40%,卻在四個月內被淘汰;有些新能力型模型會多消耗三倍 tokens。這些成本漲幅往往與實際收入成長不成比例。如果一家公司盲目追求最強的模型,邊際成本會快速超過邊際收益,最終陷入虧損。

Notion 的核心洞察是:供應商就是妳的競爭對手。許多前沿實驗室對自家第一方產品(直接客戶)的定價遠低於對第三方開發者的價格。如果妳被單一供應商綁定,妳完全沒有議價能力。真正的勝利不在訓練自己的模型,而在建構模型無關的產品架構——用多個不同的模型支撐不同的任務,隨時都有能力切換供應商。Notion 的 Auto Model 就是這個概念的實踐:它默認處理約 75% 的流量,同時始終讓用戶能存取最先進的模型,避免被特定供應商綁定。

成本最佳化的第二個維度是任務分層與工具選擇。不是所有流量都應該送給最強的 Opus 模型。郵件分類、簡單資料轉換(如 CSV 轉 PDF)、確定性 SQL 查詢——這些任務根本不需要 LLM,用傳統 CPU 運算即可,成本差異巨大。同時,開源模型如 Claude 2.6 或 Llama 已足以處理許多「中等難度」任務,提供了與主流供應商協商的籌碼。正確的策略應該是:先精確評估每個使用場景真正需要什麼能力(延遲要求、準確度、複雜度),再從可用的模型和工具中選擇成本與性能的最佳點。

建構真正的軟體工廠則涉及更深層的架構與工作流設計。Notion 展示的實際案例展現了完整流程:工程師在共享文件中概述任務需求,Claude agent 自動解析並生成詳細規格;當信息不足時,系統能標記產品經理或設計師;適當時刻,Devin agents 負責蒐集用戶聲音等外部資料;最後由 Claude 自動生成 PR,經過程式碼審查(如 CodeX)後提交。這不只是串聯多個 API 呼叫,而是創造了可檢查、可追蹤、透明的人機協作工作流。實測資料表明每個任務平均節省超過三分鐘的處理時間;Vercel 採用類似方式也看到巨大 ROI 收益。但這一切的前提是系統有清晰的可見性、治理和監督——包括誰在用數據、系統的可維護性、以及多代理編排時各代理的權限邊界,這正是 Notion 投入的技術基礎。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。