Tessl Skills Clinic - Nnenna Ndukwe from Qodo
三句話摘要
AI 編碼技能如何通過系統評審和迭代改進來提升質量與觸發效果 技能質量的關鍵不在於自動生成，而在於清晰的觸發描述和人工驗證，這能將效果平均提升 14% 並突破 80% 的質量門檻。 技能描述決定觸發率 — 技能的名稱和描述是代理判斷何時使用該技能的關鍵。描述不清晰會導致技能永遠無法被觸發，這是很多人創建技能時常忽略的關鍵環節。
重點整理
重點- 1
技能描述決定觸發率 — 技能的名稱和描述是代理判斷何時使用該技能的關鍵。描述不清晰會導致技能永遠無法被觸發，這是很多人創建技能時常忽略的關鍵環節。
- 2
系統化評審流程 — 用 Tessl 代理針對 Anthropic 最佳實踐對技能進行自動評分，識別相對連結缺失、內容重複等問題，然後應用修復並重新測試，形成持續改進的循環。
- 3
人工驗證的價值 — AI 生成的技能雖有創意，但經過人類審視、修改和驗證後，平均性能提升約 14%。相比之下，未驗證的自動生成技能成功率通常只有 20-30%。
- 4
完整的質量工作流 — 從規劃、代碼生成、審查到問題解決的端到端流程，結合編碼規則約束（如「每個 Python 方法需有文件字符串」）和自動驗證檢查（lint、類型檢查、測試），才能確保代理生成的代碼始終符合標準。
實用技巧與重點
乾貨- 評分標準：通常門檻 80 分（考慮 LLM 隨機波動）
- 技能工具：Qodo Get Rules（提取編碼規則）、Qodo PR Resolver（自動修復 PR 中的審查問題）
- 初始評審結果（78%）發現的問題：
- 20 個相對連結缺失
- 存在內容重複區域
- 描述缺少自然觸發詞（「on」元數據是觸發代理的關鍵）
- 可加入更多具體應用場景
- 修復措施：
- 簡化和重組描述內容
- 移除冗餘段落
- 增加應用後驗證檢查（Run lint, type check, tests）
- 補全相對連結的 Markdown 格式
- 改進結果：78% → 89%（成長 11%）
- 程式碼庫：GitHub qodo-ai 和 qodo-skills 倉庫
- 研究數據：人工驗證技能平均提升 ~14%；自動生成技能平均提升 ~11%
結論
結論“技能質量的關鍵不在於自動生成，而在於清晰的觸發描述和人工驗證，這能將效果平均提升 14% 並突破 80% 的質量門檻。”
完整解析
詳細這支影片記錄了一場關於 AI 編碼技能品質評估與改進的實時演示工作坊。Tessl 的 Simon Maple 和 Qodo 的開發者關係負責人 Nnenna 共同探討如何系統性地評估和提升 AI 技能的質量。
Qodo 是一個 AI 代碼審查工具，可自動檢查拉取請求中的問題。而 Qodo PR Resolver 技能則進一步自動化了這一流程——開發者可在編碼代理中直接運行它，讓代理自動修復所有審查中指出的問題，並將修復後的程式碼變更推送回 PR。講者們決定用 Tessl 代理來評審這個技能本身的質量。
評審對技能文件打分 78%，並具體指出了六個改進方向。首先是連結問題——20 個相對連結的寫法偏離最佳實踐，應改為 Markdown 格式。其次是內容重複，需要移除冗餘段落。更重要的是，技能描述缺少足夠的「自然觸發詞」。講者強調，「名稱」和「描述」是代理判斷何時使用某項技能的兩大關鍵元數據。如果描述不清楚，代理就永遠不知道該在什麼情況下調用這項技能——這是很多技能創建者常忽略但最致命的問題。
講者進一步分享了一個有趣的研究發現：很多人通過 AI（如 Codex）的技能生成插件自動創建技能後就直接使用，但經過人類驗證和修改的技能性能表現明顯更好。研究數據顯示，人工驗證的技能平均性能提升約 14%；即使是經過自動修復的技能也平均提升 11%。而未經驗證的自動生成技能成功率通常只有 20-30%。
應用修復程序後，系統重新評審並自動重新執行測試。結果分數從 78% 躍升到 89%。改進包括：簡化描述內容、移除重複區域、加入驗證檢查步驟（運行 lint、類型檢查和測試）。整個過程展示了完整的代碼質量管理思想：從規劃、代碼生成、審查到問題解決，每一步都有明確的標準和自動驗證機制，確保代理生成的代碼始終符合團隊的編碼規則。
講者計畫將這些改進提交為拉取請求回饋給 Qodo 社群，讓其他開發者也能受益。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
