KeyFrame內部研究專用

Your agents lack context: Here's how to fix "You're absolutely right!" — Brandon Waselnuk, Unblocked

AI Engineer英文
觀看原始影片

三句話摘要

如何通過建立上下文引擎(Context Engine)讓 AI 代理理解公司運作方式,提高代碼生成的準確性和成本效益。 AI 模型的能力已足夠強大,真正的瓶頸已從智慧轉移到上下文──用正確的上下文引擎圍繞模型,才能在組織規模上實現高效、可靠的代碼自動化。 代理採用曲線中的上下文問題:AI 代理類似於新入職的工程師,需要透過「工作中提問、提交 PR、參與會議」來建立公司背景知識。沒有這些上下文,代理寫出的代碼雖然能編譯,卻可能觸發生產環境故障(例如忽略特定的功能開關流程)。

重點整理

  1. 代理採用曲線中的上下文問題:AI 代理類似於新入職的工程師,需要透過「工作中提問、提交 PR、參與會議」來建立公司背景知識。沒有這些上下文,代理寫出的代碼雖然能編譯,卻可能觸發生產環境故障(例如忽略特定的功能開關流程)。

  2. 常見失敗方案的局限:「Curated context trap」(維護 Markdown 文檔或 GitHub 倉庫)會因文檔過期而失效;「MCP plateau」讓代理可能永不調用某個工具,或因「滿足搜尋偏差」(satisfaction of search bias)只用第一個找到的資訊,忽略其他來源(如昨晚 CTO 的 Slack 訊息)。

  3. 上下文引擎的六大特性:統一系統上下文(跨組織全景)、目標檢索(快速取得特定資訊)、衝突解決(判斷多個資訊源的優先級)、個性化相關性(根據使用者身分與工作範圍過濾)、令牌優化(避免冗長響應)、權限執行(防止資訊洩露)。

  4. 實際效果:同一個提示、同一個模型,有上下文的情況下 token 用量從 2,100 萬降至 1,080 萬(減少約 50%),牆鐘時間快 2 小時,並改善答案品質。

實用技巧與重點

  • 工具與資源
  • Social comment network(開源工具,分析 GitHub commits 和 code review 社交網路,可選配 OpenAI/Anthropic API 自動標籤化團隊)
  • Repo rules agent(掃描倉庫內所有 rules 檔案,去重並建立索引)
  • Beyond RAG workshop(6 個 PR 堆棧教學,教導建構 relational context engine)
  • readiness.unblocked.com(LLM 測驗工具,評估組織在 AI 採用曲線的位置)
  • 實測數據
  • 不使用上下文:2,100 萬 tokens、較長牆鐘時間
  • 使用上下文:1,080 萬 tokens(減少 50%)、快 2 小時
  • 結果品質:更高的準確度與相關性
  • 關鍵概念
  • Satisfaction of search bias(代理找到第一個看似正確的答案後即停止搜尋)
  • Shift left(早期發現缺陷成本更低)
  • Doom loops(重複修正浪費搜尋 tokens 和人工時間)
  • Token optimization(在回應品質與成本間平衡)
  • 提及的組織與平台
  • 企業客戶:LinkedIn、Workday、General Motors
  • 工具生態:GitHub、Slack、OAuth、MCP
  • 模型:Fable 5、Claude(Anthropic)

結論

AI 模型的能力已足夠強大,真正的瓶頸已從智慧轉移到上下文──用正確的上下文引擎圍繞模型,才能在組織規模上實現高效、可靠的代碼自動化。

完整解析

在 AI 代理日益廣泛應用的時代,開發團隊面臨一個微妙但深遠的問題:這些模型再智慧,也無法自動理解一間公司如何運作。講者 Brandon 用人類工程師的成長過程打比方──新入職者通過一年多的工作、提交代碼、被 code review 拒絕、參與會議,才逐漸建立起對公司運作方式的直覺。AI 代理每次啟動時都像一個剛入職的新人,缺乏這種背景知識。

問題的嚴重性在於,當這些代理被放大規模應用時,上下文不足的成本會指數級增長。在采用曲線的早期(如 Tab Complete 階段),人類仍在循環中快速判斷;但隨著代理自主程度提高,錯誤的上下文會導致「doom loops」——代理生成代碼、被告知有誤、修改、再被告知有誤,無限迴圈浪費搜尋 tokens 和人工時間。到了並行代理和後台自主運作的階段,缺乏上下文變成致命風險:代理可能寫出能編譯但在生產環境觸發 P0 故障的代碼(例如忽視某個必要的功能開關關閉流程)。

許多組織嘗試的解決方案看似有效但存在隱藏的失敗點。「Curated context trap」是指維護一套 Markdown 文檔或 GitHub 倉庫作為「專案全景」,讓代理通過 grep 搜尋。這方法的問題在於文檔會像所有其他技術文檔一樣過時,誰也不想維護它。「MCP plateau」雖然提供了工具整合機制,但代理可能永不調用某個 MCP 端點(因為描述不夠清晰),或被「滿足搜尋偏差」束縛──發現第一份資訊後即停止,忽視昨晚 CTO 在 Slack 發送的更新指示。

真正的上下文引擎需要六項核心能力:統一系統上下文(跨越整個組織的全景觀)、目標檢索(用戶提供連結時快速展開並取得文檔)、衝突解決(當多份資訊來源互相矛盾時判斷優先級)、個性化相關性(根據使用者身分和工作範圍過濾結果)、令牌優化(回應簡潔有效)、權限執行(確保無權限者看不到機密資訊)。

實際測試證實了效果。同一個提示給同一個模型,無上下文版本消耗 2,100 萬 tokens,有上下文版本只需 1,080 萬 tokens──約減少 50%。牆鐘時間也快了 2 小時。更重要的是,答案品質更佳,因為模型理解了業務邏輯。Unblocked 開源了三套工具:Social comment network 分析 GitHub 社交圖譜(顯示誰 commits 在哪、誰 review 誰的代碼);Repo rules agent 掃描所有 rules 檔案並去重;Beyond RAG workshop 則教授如何從零建構 relational context engine,不只依賴 RAG(因為 RAG 無法回答「我上週參與的所有認證相關 PR 是什麼」這類查詢)。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。