KeyFrame內部研究專用

Context engineering still has a measurement problem: how do you know your CLAUDE.md is any good? Mar

Tessl AI英文
觀看原始影片

三句話摘要

AI 模型評估的手動化問題與解決方向——缺乏系統化的評估機制與自動化測試框架。 AI 模型開發需要從手動「感覺」評估轉向自動化測試框架,透過 evals、harnesses 和 loops 建立系統化的評估與改進循環。 評估機制缺失:目前沒有建立的評估方式,使用者無法客觀判斷自己的模型或提示詞是否有效,只能依賴主觀「感覺」。

重點整理

  1. 評估機制缺失:目前沒有建立的評估方式,使用者無法客觀判斷自己的模型或提示詞是否有效,只能依賴主觀「感覺」。

  2. 改進流程的侷限:改善模型表現的方式侷限於手動調整或要求 agent 臨時產生結果,缺乏系統化的迭代方法。

  3. 離線評估的角色:evals 作為靜態測試工具可以補足一部分需求,但不足以解決全部問題。

  4. 自動化測試框架的必要性:harnesses 和 loops 提供了一種可能的解決方向,暗示自動化、持續的測試與評估流程才是答案。

實用技巧與重點

  • Clone MD(模型提示詞或模型配置)
  • Evals(評估工具——離線、靜態測試)
  • Harnesses(測試框架)
  • Loops(反覆測試循環)

結論

AI 模型開發需要從手動「感覺」評估轉向自動化測試框架,透過 evals、harnesses 和 loops 建立系統化的評估與改進循環。

完整解析

講者指出當前 AI 模型開發存在一個核心問題:整個評估流程過於依賴人工,缺乏客觀、系統化的機制。當開發者想要判斷自己的 clone MD 是否運作良好時,沒有成熟的評估標準可以依循,只能靠「感覺」(vibes)來主觀判斷。這種評估方式不僅主觀,也無法追蹤進度或建立改進的基準線。

改進流程同樣面臨類似問題。如果開發者想優化 clone MD 的表現,目前的做法要麼是手動修改配置,要麼是要求 AI agent 臨時生成改進方案。這兩種方式都缺乏系統性,無法形成持續改進的工作流。

講者提到 evals 作為可能的補充方案,強調它可以作為離線或靜態測試工具來運作。然而,evals 本身還不足以完全解決問題。真正的突破點在於引入 harnesses(自動化測試框架)和 loops(反覆迭代循環)。這些工具可以建立自動化的評估與測試流程,使每次改動都能被系統地驗證,形成持續反饋的迴圈。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。