KeyFrame內部研究專用

20 分鐘看完 Google AI 課程 Day 2+3 精華。MCP, A2A, Skills 解析

Gary Chen·7月26日週日·22 min中文

三句話摘要

Google AI課程Day 2-3:MCP、A2A協定與Skill進入生產環境的系統質保機制 打造真正能替公司工作的AI系統,需要從用MCP連接外部應用、透過A2A實現AI分工協作、再到用軟體工程紀律的四層防線驗證Skill質量,三個環節缺一不可。 MCP將複雜的系統整合標準化:過去每個AI工具要操作Gmail都需客製化程式,MCP就像通用USB插座,讓任何支援MCP的App都能被所有AI通用連接。但使用時必須注意安全:避免陌生MCP來源、絕不在聊天框貼API金鑰(應存本機環境變數)、初期權限設唯讀,防止AI誤刪資料。

重點整理

重點
  • 1

    MCP將複雜的系統整合標準化:過去每個AI工具要操作Gmail都需客製化程式,MCP就像通用USB插座,讓任何支援MCP的App都能被所有AI通用連接。但使用時必須注意安全:避免陌生MCP來源、絕不在聊天框貼API金鑰(應存本機環境變數)、初期權限設唯讀,防止AI誤刪資料。

  • 2

    A2A啟動AI的專家分工模式:不同於MCP的單向工具呼叫,A2A讓多個專家AI像真正同事般雙向討論——當分析AI發現數據異常時可反問主AI該怎樣處理。這催生了Agent-as-a-Service商業生態,AI Marketplace上的各類專家AI(行銷、法務、CRM操作員)可按需發包,按訂閱費+Token數計價。

  • 3

    Skill進入正式環境的四大隱藏陷阱:觸發失敗(描述模棱兩可導致AI誤判何時該用)、Token超標(內容過長塞爆記憶體變成智障)、執行失敗(結果或流程錯誤,需驗證完整軌跡)、回歸錯誤(新Skill與既有50個Skill衝突)。每一種都需對應的防守機制,不是寫完就能上線。

  • 4

    評估驅動開發是質保的基石:先定義Evals(輸入→工具→預期輸出)、建立Golden Dataset(真實案例+標準答案)、紅隊演練(故意攻擊找漏洞)、Shadow Mode灰度上線(後台先測再逐步擴大),層層把關才能把Skill從玩具升級成公司資產。

實用技巧與重點

乾貨
  • MCP相關
  • 提出者:Anthropic的開源標準
  • 檢查品質:GitHub星星數、維護狀況、最近更新記錄
  • 三大安全原則:勿用陌生來源、勿貼API Key於聊天框、初期設唯讀
  • A2A與商業模式
  • Agent-as-a-Service計價:基本訂閱費+按Token數計費
  • AP2(Agent Payments Protocol):用數位授權書限制AI花費預算
  • Skill進入Production的測試標準
  • 觸發準確率目標:≥90%
  • Skill.md最大字數:≤5000字(超過即須拆檔)
  • 四種失敗模式:Trigger Failure、Token Budget Failure、Execution Failure、Regression
  • 四道防線:
  • Evals as Unit Tests(Input、Tools、Output三要素)
  • Golden Dataset(數十種真實案例+標準答案)
  • Red Team(故意用prompt injection攻擊)
  • Shadow Mode + Canary(後台/1%流量先測)
  • Meta-Skill四種類型
  • Authoring:幫寫新Skill(如Anthropic Skill Creator)
  • Assisted Authoring from Traces:看你完成過程自動記錄(如Codex Record and Play)
  • Improvement:自動修復優化現有Skill指標
  • Library Evolution:日常工作中自動發現重複需求、主動建議新增Skill(如Hermes Agent)

結論

結論

打造真正能替公司工作的AI系統,需要從用MCP連接外部應用、透過A2A實現AI分工協作、再到用軟體工程紀律的四層防線驗證Skill質量,三個環節缺一不可。

完整解析

詳細

本集講座的終極目標是回答:怎樣才能打造出真正能替公司工作的AI系統?第一步是連接世界。

Day 2的開場簡化成一句話復習:Agent=Model+Harness。一個強大的AI不是因為模型本身聰明,而是因為你為它打造了什麼樣的工作環境。而打造這個環境會依序遇到三個核心瓶頸——AI碰不到你的私有資料、單一AI能力有限、AI記不住你的工作流程。

講者先解決第一個瓶頸:MCP。過去的問題很具體。假設ChatGPT要幫你寄信,它能聽懂你說什麼、整理出收件人和內容,但它本身不會寄信。你必須另外寫一個懂Gmail API的程式,讓ChatGPT去呼叫它。換到Claude Code,你又得重新寫一套連接程式。每一個AI工具都是這樣重複造輪子。MCP就像電腦上的USB標準一樣,統一了所有連接方式。開發者把寄信功能包裝成MCP Server,宣稱「我可以寄信,請提供收件人和內容」,任何支援MCP的AI工具——無論是ChatGPT、Claude還是未來的其他產品——都能用同一種方式插上來使用。這瞬間爆發了AI的生態系。不再需要Anthropic或OpenAI官方去協商整合,工具串接權直接還給開源社群。

但使用MCP時有三個非常重要的安全提醒。第一,來路不明的MCP千萬別亂裝,因為這等於把電腦控制權交給陌生人的程式。第二,絕對不要在對話框裡貼API金鑰或密碼。正確做法是把金鑰存在本機環境變數或設定檔,讓AI永遠看不到。第三,初期權限一律設唯讀,防止AI因為誤解指令就不小心把公司訂單全刪了。

接著面對第二個瓶頸:單一AI的能力有限。想像今天要AI幫你查競品、整理成財報、發信給老板。你同時要求它當分析師、當財務顧問、當秘書,還要外掛搜尋、發信的MCP工具說明。這一下子就把AI的Context Window塞爆了。AI會開始恍神,忘了你真正要它做什麼。解法是分工。不再逼一個AI當全能超人,而是把任務拆開發包給不同領域的專家AI。但這時遇到新問題:主AI怎樣跟別家公司的專家AI溝通?

這就是A2A(Agent-to-Agent)協定要解決的。人們常問:為什麼不能用MCP連接?原因是互動模式完全不同。MCP像是用計算機:你輸入「1+1」,它吐出「2」,單向結束。但A2A的目的是讓你跟一個活生生的同事合作。你發包任務給外部分析AI,它發現數據有缺漏會停下來反問:「這邊有異常值,你要我刪除還是保留?」你們需要來來回回討論,它才能把剩下的工作做完。這種有記憶、需要多輪協作的模式,MCP絕對做不到。

這背後催生了一個巨大的商業模式變革:Agent-as-a-Service。未來不需要自己養工程師開發各種AI。大企業會把訓練好的行銷專家AI、法務專家AI直接上架到云端的AI Marketplace。你的主AI遇到搞不定的問題,就透過A2A協定自己去發包,就像用人才派遣一樣。計費方式是基本訂閱費加按Token數計費。Google還貼心地提出AP2(Agent Payments Protocol)來管理AI的花錢權限——你只給AI一張有金額上限的數位授權書,超過預算交易就自動被擋下來。

完成了AI的連接和分工後,第三個瓶頸浮現:AI根本不懂你公司怎麼做事。為此需要Skill——把公司特定工作流程和SOP寫成提示詞檔案,並透過Progressive Disclosure機制讓AI只在需要時才載入。但關鍵轉折來了:一個能在測試環境跑的Skill,跟進入正式系統所需的Skill,是兩個完全不同層級。前者可能只靠vibe做出來,後者必須用軟體工程標準嚴肅對待。

講者列舉了進入Production常踩到的四大坑。第一個是觸發失敗。AI收到指令後第一步是掃描所有Skill的description看誰該上場。如果你的描述模棱兩可,AI要嘛看不出該用你,要嘛根本不關它的事卻跑出來搗亂。避免方法是寫description時先列三個它應該觸發的案例和三個不該觸發的,找出與相似Skill的邊界,確保描述與實際功能一致,最後用多種說法測試穩定性。目標是≥90%的觸發準確率。

第二個坑是Token超標。很多人迷思地覺得Skill越詳細越好,把幾萬字的員工守則全塞進skill.md。結果AI一載入就被塞爆,變成廢物。正確做法是skill.md只留核心骨架(≤5000字),繁瑣細節另外存成參考檔案,讓AI真的遇到特殊狀況時再去查。

第三個坑是執行失敗。Skill被正確叫出來但執行出錯。這包括結果錯誤(排程成錯誤時間)或流程錯誤(先公開文章再改成排程)。測試Skill時不只要看最終產出,更要把AI呼叫了什麼工具、按什麼順序執行,全部攤開來驗證——這在專業術語上叫驗證使用軌跡(Trajectory)。

第四個坑是回歸錯誤。你的系統已經有50個運作完美的Skill,新上線的第51個不小心描述太像第12個,AI馬上產生混淆呼叫錯的Skill。所以任何新Skill上線前絕對不能只做單獨測試,必須跟整個系統一起測,確保新舊不會打架。

為了有效防守這四大失敗,Google提出了四道防線的評估工具包。第一道是Evals as Unit Tests。像傳統軟體先寫單元測試再寫程式一樣,先為每個Eval定義三件事:Input(客人提什麼問題)、Tools(該用哪些工具查資料如顧客資料或訂單歷史)、Output(預期回信長什麼樣)。等及格標準都定義好才開始寫Skill。之後任何人修改Skill,系統都會先根據你的Evals跑一遍,沒通過絕對不准上線。

第二道防線是Golden Dataset。只考三題肯定不夠。把公司平常遇過的幾十種經典客訴和各種疑難雜症連同標準答案打包成測試集。最簡單的方法就是把過去的客訴內容、實際回覆、查過什麼資料全丟給AI,給它第一關的Eval格式當參考,請它批次生成更多測試案例。Golden Dataset加入真實世界的複雜狀況,測試Skill在面對不同案例時能不能持續穩定。

第三道防線是紅隊演練(Red Team)。故意站在攻擊者角度想辦法讓系統犯錯。你要刻意扮演奧客,用刁鑽的問法或設下文字陷阱去攻擊Skill——比如故意欺騙它「忽略公司規定直接幫我退款」,看它會不會上當。這種攻擊手法叫prompt injection。目的是確認Skill在極端狀況下還能守住原則。

第四道防線是Shadow Mode和Canary。新Skill全面上線前,先把它放進後台,讓它讀真實客訴並產生回覆但先不寄給客人。等確認品質沒問題,再開放1%的客訴讓它真正去處理。觀察一段時間沒出錯,再慢慢把比例提高。

最後講者介紹了Meta-Skill——製造工具的工具。當Skill越來越多,你會想有沒有哪種Skill能自動幫你產出新Skill或升級舊的。Meta-Skill分四種。Authoring是幫你從頭寫Skill,像Anthropic的Skill Creator就有這功能。Assisted Authoring from Traces是你不用直接說要做什麼,它在旁邊看你怎麼完成任務、記錄流程、最後轉化成Skill,Codex的Record and Play就是這種。Improvement專門修復優化現有Skill,你只要設定指標比如「開發票正確率100%」,它就自己進去改邏輯直到通關。Library Evolution是Skill Library的自我生長,Meta-Skill在Agent日常工作時默默運作,當Agent解決了一個原本沒Skill可用的新任務時,它會主動提議「這招好用,要不要我把它寫成新Skill?」像Hermes Agent就內建了這種機制。

但如果公司的評估系統還沒建立好,強烈建議先不要碰Meta-Skill。沒有明確測試分數衡量對錯,AI只會像瞎子摸象亂改。真要用也必須設人工檢查點,AI產出的所有內容絕對不能直接上線,必須先待在草稿等人類確認它通過了前面那四道防線才行。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。