KeyFrame內部研究專用

Google Just Dropped a Masterclass on Agentic Engineering (It's SO Good)

Cole Medin·6月24日週三·21 min英文

三句話摘要

AI 驅動軟體開發中,系統框架比 LLM 模型本身更重要——前期投入框架建設能帶來3-10倍的可靠性提升和更低的運營成本。 AI 編碼的未來不在模型本身,而在構建圍繞模型的精心設計的系統框架——這個 90% 的基礎決定了實際效能和成本效益。 SDLC 中的瓶頸轉移:傳統軟體開發中,實現(編碼)環節最耗時,需 1-3 週。AI 編碼工具將其縮短至數小時,但需求收集、驗證、維護等前後期環節變成新瓶頸。這解釋了為什麼「AI 編碼生產力提升 10 倍」卻無法帶來業務 10 倍增長——系統要優化的遠不止編碼。

重點整理

重點
  • 1

    SDLC 中的瓶頸轉移:傳統軟體開發中,實現(編碼)環節最耗時,需 1-3 週。AI 編碼工具將其縮短至數小時,但需求收集、驗證、維護等前後期環節變成新瓶頸。這解釋了為什麼「AI 編碼生產力提升 10 倍」卻無法帶來業務 10 倍增長——系統要優化的遠不止編碼。

  • 2

    AI 編碼是光譜而非開關:從直觀編碼(純自然語言提示、風險高)→ 結構化 AI 輔助(更多細節但無正式規範)→ 智能體工程(完整規範、自動測試、CI/CD 門控、LLM 評審),需根據具體工作選擇層級。智能體工程是可靠系統的目標,但概念驗證或 MVP 時直觀編碼也合適。

  • 3

    框架決定效能:LLM 只是系統的 10%,其餘 90% 包括指令、MCP 工具、上下文規則、防護措施、工作流程、測試基礎設施、可觀測性等。谷歌與 Anthropic 都認為框架與模型同等重要,甚至更重要——即使使用 Sonnet,有優秀框架也能達到 Opus 水準(LangChain 實例提升 13.7%)。

  • 4

    代幣經濟的成本反轉:直觀編碼前期成本低但運營成本極高(數百萬代幣浪費在迭代糟糕代碼),智能體工程前期需投入建立規範和系統,但運營成本極低、可擴展性強,通常 3-10 個月內實現反轉且成本更便宜、可靠性 3-10 倍更高。

實用技巧與重點

乾貨
  • 模型與框架占比
  • LLM:系統的 10%
  • 框架(指令、MCP、上下文、防護措施、鉤子、測試、可觀測性):系統的 90%
  • AI 編碼光譜的三層級
  • | 維度 | 直觀編碼 | 結構化 AI 輔助 | 智能體工程 |
  • |------|---------|---------|---------|
  • | 深度規範 | 自然語言提示 | 更多細節,無正式規範 | 像程式一樣精心設計的規範 |
  • | 驗證 | 「看起來能用」 | 手動測試、靜態檢查 | 自動測試迭代、LLM 評審、CI/CD 門控 |
  • | 風險 | 很高 | 中等 | 很低 |
  • SDLC 時間分配(傳統 vs AI 驅動)
  • 需求收集:數天(保持)→ 數天(保持)
  • 設計:數天(保持)→ 數天(保持)
  • 實現:1-3 週 → 數小時~數分鐘
  • 測試/審查/部署/維護:1 週(保持)→ 1 週(保持)
  • 框架(Harness)的組件
  • 全域規則、系統提示、上下文規則
  • MCP 伺服器、工具集
  • 技能(工作流程、鉤子)
  • 防護措施(沙盒、代幣限制、安全策略)
  • 測試基礎設施、自動評估機制
  • 可觀測性、追蹤、可擴展性
  • 工程師的兩種角色模式
  • 指揮家:逐個文件處理,對每步完全掌控(生成式 AI 早期用法)
  • 編排者:讓代理處理跨代碼庫的大型任務,只審查結果(當代最佳實踐)
  • 上下文管理策略
  • 靜態上下文:規則、核心防護措施、系統提示(每次預先填充,成本高但可靠)
  • 動態上下文:按需加載的技能、代碼庫約定(高效可擴展,但需 LLM 主動觸發)
  • 代幣經濟對比
  • | 維度 | 直觀編碼 | 智能體工程 |
  • |------|---------|---------|
  • | 資本支出 | 低 | 高(前期投入人力建立系統) |
  • | 運營支出 | 極高(數百萬代幣浪費) | 極低(質量高、迭代少) |
  • | 可靠性 | 不穩定 | 3-10 倍更可靠 |
  • | 可擴展性 | 差 | 優秀(一次構建,持續演進) |
  • 具體工具與案例
  • BetterDB:語義快取和可觀測性平台(開源)
  • LangChain:通過框架工程將 Sonnet 性能提升 13.7%(相當於彌補與 Opus 的差距)
  • Llama 2 在 LLMeval Bench 2.0 上:通過創建規則和工作流,從前 30 名提升到前 5 名
  • 系統演化思維
  • 每當代理遇到問題,不只修復 bug,要與代理回顧「我們可以改進哪些工作流、規則或 AI 層組件?」
  • 像改進代碼庫一樣持續改進系統本身,每次迭代使系統更可靠
  • 代理設計最佳實踐
  • 保持一個通用代理 + 動態技能組合,優於多個專家代理
  • 技能通過漸進式披露提供專業化,避免系統提示臃腫
  • 將規劃和編碼分成獨立會話,規劃輸出作為工件傳給編碼代理(避免上下文累積偏見)

結論

結論

AI 編碼的未來不在模型本身,而在構建圍繞模型的精心設計的系統框架——這個 90% 的基礎決定了實際效能和成本效益。

完整解析

詳細

谷歌最新發布的 AI 編程大師課程提供了對軟體開發全貌的重新思考。傳統軟體開發生命週期(SDLC)包括需求收集、設計、實現、測試、部署、維護等環節,其中實現(編碼)環節往往耗時 1-3 週。然而,當 AI 編碼輔助工具出現後,這個最耗時的環節被壓縮到數小時甚至數分鐘。這看似是巨大的進步,但問題隨之出現:為什麼 AI 編碼能力提升 10 倍卻無法帶來業務效率的 10 倍增長?答案在於新的瓶頸已經轉移到需求收集、需求驗證等前後期環節。這揭示了一個核心洞察——AI 驅動的軟體開發並非只是優化編碼,而是優化整個系統。

在這個重新框架下,谷歌提出了一個顛覆性的觀點:LLM 只佔整個 AI 編碼系統的 10%,剩餘 90% 由框架組成。這個框架包括系統提示和規則、上下文管理、工具集成(MCP 伺服器)、工作流程(技能)、防護措施、測試基礎設施和可觀測性。這個比例的調整意味著著力點應從模型選擇轉向系統設計。實驗證明,即使使用效能稍弱的 Sonnet 模型,透過優秀的框架工程,其表現也能達到更強大的 Opus 模型的水準。

AI 編碼並非一個非此即彼的選擇,而是一個連續光譜。光譜的第一端是直觀編碼(Vibe Coding)——用自然語言提示描述需求,迭代幾次看起來能用就算完成,風險很高但前期投入最低。光譜中間是結構化 AI 輔助編碼,涉及更詳細的規範但沒有正式的架構文檔,需要手動測試和靜態檢查。光譜的終點是智能體工程——創建精心設計的規範(像編寫程式一樣嚴謹)、建立完整的工作流程、自動化測試與評估、設置 CI/CD 門控,讓代理可以自主迭代改進輸出。不同的工作應選擇不同的層級:概念驗證可用直觀編碼,但生產系統應指向智能體工程。

框架工程的核心包括靜態上下文和動態上下文的區分。靜態上下文(規則、防護措施、系統提示)每次都預先填充,成本高但可靠性有保障;動態上下文(技能、代碼庫約定)按需加載,高效可擴展但需要 LLM 在正確時機主動觸發。設計良好的框架應最小化靜態上下文(避免信息過載),最大化動態上下文靈活性。同時,保持一個通用代理搭配多種動態技能,優於構建眾多專家代理——這符合整個業界的發展趨勢。

代幣經濟學揭示了一個重要的投資決策邏輯。直觀編碼前期成本最低(無需構建系統),但運營成本極高——因為缺乏規範和評估機制,代理不斷在糟糕的程式碼上迭代,消耗數百萬代幣。智能體工程則相反:需要前期投入時間和人力建立規範、工作流、防護措施等框架,資本支出高;但一旦系統建立,運營支出極低,因為代理輸出質量高、迭代次數少。通常 3-10 個月內,智能體工程的總成本就會低於直觀編碼,且可靠性高 3-10 倍,並具有強大的可擴展性。這個反轉點的出現,使得提前投資框架工程成為明智之舉。

系統演化思維強調持續改進框架本身。每當代理遇到問題或需要額外迭代時,不應只是修復 bug,而要審視「我們可以在哪些工作流、規則或防護措施上改進?」就像改進代碼庫一樣,系統框架應納入版本控制、定期演進。視頻中舉例,將規劃和編碼分為獨立會話,規劃輸出作為工件傳給編碼代理,可以避免上下文累積的偏見。工程師的角色也在轉變:從指揮家(逐個文件微觀管理)向編排者(允許代理跨代碼庫大任務,只審查結果)進化。當系統足夠可靠時,工程師應信任系統持續保持編排者模式,而非頻繁切換回微觀管理。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。