KeyFrame內部研究專用

Tessl Skills Clinic - Nnenna Ndukwe from Qodo

AI Native Dev16 min英文
觀看原始影片

三句話摘要

AI 編碼技能如何通過系統評審和迭代改進來提升質量與觸發效果 技能質量的關鍵不在於自動生成,而在於清晰的觸發描述和人工驗證,這能將效果平均提升 14% 並突破 80% 的質量門檻。 技能描述決定觸發率 — 技能的名稱和描述是代理判斷何時使用該技能的關鍵。描述不清晰會導致技能永遠無法被觸發,這是很多人創建技能時常忽略的關鍵環節。

重點整理

  1. 技能描述決定觸發率 — 技能的名稱和描述是代理判斷何時使用該技能的關鍵。描述不清晰會導致技能永遠無法被觸發,這是很多人創建技能時常忽略的關鍵環節。

  2. 系統化評審流程 — 用 Tessl 代理針對 Anthropic 最佳實踐對技能進行自動評分,識別相對連結缺失、內容重複等問題,然後應用修復並重新測試,形成持續改進的循環。

  3. 人工驗證的價值 — AI 生成的技能雖有創意,但經過人類審視、修改和驗證後,平均性能提升約 14%。相比之下,未驗證的自動生成技能成功率通常只有 20-30%。

  4. 完整的質量工作流 — 從規劃、代碼生成、審查到問題解決的端到端流程,結合編碼規則約束(如「每個 Python 方法需有文件字符串」)和自動驗證檢查(lint、類型檢查、測試),才能確保代理生成的代碼始終符合標準。

實用技巧與重點

  • 評分標準:通常門檻 80 分(考慮 LLM 隨機波動)
  • 技能工具:Qodo Get Rules(提取編碼規則)、Qodo PR Resolver(自動修復 PR 中的審查問題)
  • 初始評審結果(78%)發現的問題:
  • 20 個相對連結缺失
  • 存在內容重複區域
  • 描述缺少自然觸發詞(「on」元數據是觸發代理的關鍵)
  • 可加入更多具體應用場景
  • 修復措施:
  • 簡化和重組描述內容
  • 移除冗餘段落
  • 增加應用後驗證檢查(Run lint, type check, tests)
  • 補全相對連結的 Markdown 格式
  • 改進結果:78% → 89%(成長 11%)
  • 程式碼庫:GitHub qodo-ai 和 qodo-skills 倉庫
  • 研究數據:人工驗證技能平均提升 ~14%;自動生成技能平均提升 ~11%

結論

技能質量的關鍵不在於自動生成,而在於清晰的觸發描述和人工驗證,這能將效果平均提升 14% 並突破 80% 的質量門檻。

完整解析

這支影片記錄了一場關於 AI 編碼技能品質評估與改進的實時演示工作坊。Tessl 的 Simon Maple 和 Qodo 的開發者關係負責人 Nnenna 共同探討如何系統性地評估和提升 AI 技能的質量。

Qodo 是一個 AI 代碼審查工具,可自動檢查拉取請求中的問題。而 Qodo PR Resolver 技能則進一步自動化了這一流程——開發者可在編碼代理中直接運行它,讓代理自動修復所有審查中指出的問題,並將修復後的程式碼變更推送回 PR。講者們決定用 Tessl 代理來評審這個技能本身的質量。

評審對技能文件打分 78%,並具體指出了六個改進方向。首先是連結問題——20 個相對連結的寫法偏離最佳實踐,應改為 Markdown 格式。其次是內容重複,需要移除冗餘段落。更重要的是,技能描述缺少足夠的「自然觸發詞」。講者強調,「名稱」和「描述」是代理判斷何時使用某項技能的兩大關鍵元數據。如果描述不清楚,代理就永遠不知道該在什麼情況下調用這項技能——這是很多技能創建者常忽略但最致命的問題。

講者進一步分享了一個有趣的研究發現:很多人通過 AI(如 Codex)的技能生成插件自動創建技能後就直接使用,但經過人類驗證和修改的技能性能表現明顯更好。研究數據顯示,人工驗證的技能平均性能提升約 14%;即使是經過自動修復的技能也平均提升 11%。而未經驗證的自動生成技能成功率通常只有 20-30%。

應用修復程序後,系統重新評審並自動重新執行測試。結果分數從 78% 躍升到 89%。改進包括:簡化描述內容、移除重複區域、加入驗證檢查步驟(運行 lint、類型檢查和測試)。整個過程展示了完整的代碼質量管理思想:從規劃、代碼生成、審查到問題解決,每一步都有明確的標準和自動驗證機制,確保代理生成的代碼始終符合團隊的編碼規則。

講者計畫將這些改進提交為拉取請求回饋給 Qodo 社群,讓其他開發者也能受益。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。