KeyFrame內部研究專用

Building Great Agent Skills: The Missing Manual

AI Engineer20 min英文
觀看原始影片

三句話摘要

如何撰寫優質AI技能:評估框架與實踐指南。 優質技能的核心不在功能豐富,而在於用一致的主導詞、清晰的結構分支和無情的精簡,讓代理準確理解並執行你想要的行為。 觸發方式的成本權衡:用戶觸發技能(disable model invocation)不會在代理上下文加入描述,降低context load但增加用戶需要記住的技能數;模型觸發技能讓代理自動發現但每個描述都吃token。兩者都有代價,講者偏好用戶觸發以避免代理不遵循上下文指針的不可預測性。

重點整理

  1. 觸發方式的成本權衡:用戶觸發技能(disable model invocation)不會在代理上下文加入描述,降低context load但增加用戶需要記住的技能數;模型觸發技能讓代理自動發現但每個描述都吃token。兩者都有代價,講者偏好用戶觸發以避免代理不遵循上下文指針的不可預測性。

  2. 結構設計:步驟+參考分離:技能由步驟(流程)和參考資料(支持信息)組成,分支專用的參考資料應隱藏在外部檔案,只在skill.md中放入所有分支都需要的內容。這樣能保持主檔案精簡,同時保留完整資訊。

  3. 用主導詞精準指導:在技能文本中一致重複某些高含義詞彙(如「垂直切片」),代理會在推理過程中採納並重複這些詞,從而改變行為方式。這比冗長指示更有效。

  4. 技能分割增加專注度:當某個步驟需要更多工作時,將其分離為獨立技能,讓代理只看到當前步驟、隱藏未來目標,能大幅提升該步驟的投入程度。

實用技巧與重點

  • 技能四層框架
  • 觸發(Trigger):決定用戶觸發或模型觸發
  • 結構(Structure):由步驟+參考資料組成,分支資料用上下文指針外部連結
  • 指導(Steering):主導詞一致性、確保代理做足功課
  • 精簡(Pruning):移除重複、沉積物、無操作內容
  • 技能構成
  • 描述文檔(可選,模型觸發時可見)
  • skill.md檔案(主內容)
  • 外部參考檔案(分支專用,透過上下文指針連結)
  • 主導詞概念
  • 例子:「垂直切片」代替「別層層編碼」
  • 效果:代理在推理追蹤中會重複並採用這些詞彙
  • 驗證方式:查看reasoning traces是否出現該詞
  • 技能分割案例
  • 原始:plan mode(ask clarifying questions → create plan)
  • 改進:grill-with-docs(獨立技能)→ 2PRD(獨立技能)
  • 效果:隱藏未來步驟,增加當前步驟的工作量
  • 精簡失誤三種
  • 重複:同一資料在多處出現,無單一真實來源
  • 沉積物(sediment):多人協作積累的不相關內容
  • 無操作(no-ops):刪除後代理行為不變的文本
  • 檢驗方法
  • 刪除測試:移除段落後,代理表現是否改變
  • 講者技巧:使用主導詞compacting、刪除測試、確保單一真實來源
  • 外部資源
  • 技能倉庫:Matt Pocock's skills(Matpokot skills,業界最流行的工程技能集之一)
  • 新增技能:「writing great skills」(可從倉庫下載使用)
  • 比較對象:Superpowers(主要為模型觸發技能)
  • Newsletter:aihero.dev
  • 計畫:發布AI coding crash course

結論

優質技能的核心不在功能豐富,而在於用一致的主導詞、清晰的結構分支和無情的精簡,讓代理準確理解並執行你想要的行為。

完整解析

開發者正經歷「技能地獄」——雖然大量優質技能免費可用,但缺乏判斷標準和整合知識,導致無法獲得技能本身承諾的效益。這個問題在組織層級更嚴重——企業不知道如何從營運流程構建優質技能。講者因感到責任感(其技能倉庫是業界最受歡迎之一),決定分享一套技能評估框架。

框架的核心是四個層級。首先是觸發方式——技能有兩種被調用的方式。用戶可以手動呼叫任何技能(如 `/code-review`),但技能也可透過描述文檔被代理自動發現和觸發。這分別稱為用戶觸發和模型觸發技能。選擇時需權衡:模型觸發技能在代理上下文中加入描述,每個技能都消耗tokens且佔用代理注意力;用戶觸發技能避免這些,但用戶需記住更多技能。講者偏好用戶觸發,因為它避免了模型可能忽視上下文指針的不可預測性,儘管這增加了用戶認知負擔。

結構設計分為步驟和參考資料兩單位。步驟是逐步程序,參考資料是支持資訊。關鍵洞察是保持skill.md檔案最小化——精簡技能更易維護、審計,每刪除一個詞都節省tokens。當技能有多個使用分支時,只在某些分支中需要的參考資料應隱藏在外部檔案,透過上下文指針連結。例如domain modeling技能有2-3個分支(更新詞彙表、建立架構決策記錄、或都不做),只在特定分支使用的模板應外部存放。

指導方法的核心技巧是主導詞——那些能在小空間內承載大量意義的詞彙。舉例,不寫「確保建立一個小切片先工作再擴展」,而是貫穿技能使用「垂直切片」這個業界已知概念。代理會在推理過程中重複和採用這些詞,從而改變行為——你可在reasoning traces中看到它說「我們做為一個薄垂直切片」。另一個技巧是技能分割——當某步驟(如澄清問題)需要更多工作但代理因看到最終目標而倉促時,將其提取為獨立技能。這樣代理只看到當前步驟,不被未來目標所誘,大幅增加投入。

精簡階段是三類失誤檢查。首先是重複——同一資訊在多處出現無單一真實來源。其次是沉積物——多人協作時累積的不相關或過時內容。最後是無操作——看似重要但刪除後代理行為不變的文本。講者用刪除測試識別:移除某段落後代理是否仍表現相同,若是則該段無用。講者技能保持精簡的祕訣正是這些技巧:使用主導詞壓縮文本、透過刪除測試驗證、確保單一真實來源、避免沉積物。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。