Context engineering still has a measurement problem: how do you know your CLAUDE.md is any good? Mar
三句話摘要
AI 模型評估的手動化問題與解決方向——缺乏系統化的評估機制與自動化測試框架。 AI 模型開發需要從手動「感覺」評估轉向自動化測試框架,透過 evals、harnesses 和 loops 建立系統化的評估與改進循環。 評估機制缺失:目前沒有建立的評估方式,使用者無法客觀判斷自己的模型或提示詞是否有效,只能依賴主觀「感覺」。
重點整理
評估機制缺失:目前沒有建立的評估方式,使用者無法客觀判斷自己的模型或提示詞是否有效,只能依賴主觀「感覺」。
改進流程的侷限:改善模型表現的方式侷限於手動調整或要求 agent 臨時產生結果,缺乏系統化的迭代方法。
離線評估的角色:evals 作為靜態測試工具可以補足一部分需求,但不足以解決全部問題。
自動化測試框架的必要性:harnesses 和 loops 提供了一種可能的解決方向,暗示自動化、持續的測試與評估流程才是答案。
實用技巧與重點
- Clone MD(模型提示詞或模型配置)
- Evals(評估工具——離線、靜態測試)
- Harnesses(測試框架)
- Loops(反覆測試循環)
結論
AI 模型開發需要從手動「感覺」評估轉向自動化測試框架,透過 evals、harnesses 和 loops 建立系統化的評估與改進循環。
完整解析
講者指出當前 AI 模型開發存在一個核心問題:整個評估流程過於依賴人工,缺乏客觀、系統化的機制。當開發者想要判斷自己的 clone MD 是否運作良好時,沒有成熟的評估標準可以依循,只能靠「感覺」(vibes)來主觀判斷。這種評估方式不僅主觀,也無法追蹤進度或建立改進的基準線。
改進流程同樣面臨類似問題。如果開發者想優化 clone MD 的表現,目前的做法要麼是手動修改配置,要麼是要求 AI agent 臨時生成改進方案。這兩種方式都缺乏系統性,無法形成持續改進的工作流。
講者提到 evals 作為可能的補充方案,強調它可以作為離線或靜態測試工具來運作。然而,evals 本身還不足以完全解決問題。真正的突破點在於引入 harnesses(自動化測試框架)和 loops(反覆迭代循環)。這些工具可以建立自動化的評估與測試流程,使每次改動都能被系統地驗證,形成持續反饋的迴圈。


