Evaling Video Slop — Maor Bril, Character.ai
三句話摘要
Character AI 如何從複雜評估管道演進到輕量快速的視覺語言模型，評估與改善 AI 生成影片品質。 用小型視覺語言模型做相對評估並前置到生成流程，在成本與速度間達到最優平衡，同時讓評估結果可解釋、可作用。 影片評估必須考慮故事維度：影片本質是故事媒介，評估需檢查故事敘述、物理一致性、角色一致性、節奏感、音頻同步等多維度。傳統幀級工具無法捕捉這些跨時間軸的屬性。
重點整理
重點- 1
影片評估必須考慮故事維度：影片本質是故事媒介，評估需檢查故事敘述、物理一致性、角色一致性、節奏感、音頻同步等多維度。傳統幀級工具無法捕捉這些跨時間軸的屬性。
- 2
LLM 評判的侷限與改進：直接用大型模型當評判者會遇到速度慢、提示詞敏感、結果不穩定的問題。改進方案是結合多種指標、人類標註校準、可重複的基準測試架構。
- 3
相對評估優於絕對評估：讓人用 1-10 分評同一支影片會得到差異極大的答案；但比較兩支影片哪個講故事更好，多數人意見一致。因此改用配對數據（A vs B）訓練模型。
- 4
評估前置到生成流程早期：在產生短影片前檢測幀漂移並修正，比等到完整影片生成後才發現問題便宜得多。透過代理工作流而非僵硬管道，模型能自適應各種用戶故事場景並自我驗證。
實用技巧與重點
乾貨- 傳統評估工具：CLIP score、LPIPS（幀間一致性檢測）
- 評估維度：故事敘述、物理一致性、角色一致性、節奏感、音頻同步、攝影機運動
- 新方案配置：
- 基礎模型：Qwen（小型 VLM）
- 音頻檢查工具：Atmos
- 推理速度：3 秒評分 15 秒影片
- 訓練方法：配對數據集（真實影片 vs AI 生成影片配對）
- 人類校準：定期 10-15 分鐘標註會議，多軸標註，用於持續校準 AI 評判
- 關鍵做法：確保兩邊編碼一致性，使用相同標註方法，避免模型變成 AI 檢測器
結論
結論“用小型視覺語言模型做相對評估並前置到生成流程，在成本與速度間達到最優平衡，同時讓評估結果可解釋、可作用。”
完整解析
詳細隨著 Kling、See Dance、Sora 等影片生成模型進步，生成高質量影片的成本已接近零，遠低於傳統工作室。然而大多數生成影片品質仍差，充斥幻覺——多出的肢體、物理錯誤、物體懸浮等。現實工作流往往需要大量短視頻生成配合後期編輯。
當前評估工具的根本問題是：它們沿用文本和圖像時代的設計。CLIP score 只看單幀與提示詞匹配度，LPIPS 檢測幀間像素變化一致性——都無法判斷影片是否講述了預期故事。真正的評估需考量故事敘述清晰度、物理邏輯（角色走樓梯 vs 懸浮）、角色跨鏡頭的一致性、節奏合理性、音效與視覺同步。
初期用大型語言模型當評判者，結果令人失望。問題出在三方面：一是推理巨慢，二是結果高度依賴提示詞措辭，三是同一模型在不同提示下給出截然相反的答案。改進方案是建立結合多指標的可重複基準，並用人類標註校準 LLM 評判。但這套方法成本高、速度慢。
突破口在於改變評估模式。第一，將評估前置到生成過程早期。在用兩幀作為種子生成完整影片之前，先檢測幀漂移，成本便宜得多。同理，對長影片，先檢測有問題的短片段並重生，再組合，整體品質更好。第二，將「專家委員會」蒸餾成輕量 VLM。選用 Qwen 小模型，推理 15 秒影片只需 3 秒，且能輸出「為什麼」而不只是評分。雖然更大的模型結果更好，但速度劣勢無法被性能提升所抵消。
另一核心洞察：不用絕對評分，改用相對比較。問 10 人用 1-10 分評同支影片的敘述，每人標準天差地別；但問哪支更好，大多數人達成共識。因此改用配對數據集（A vs B）訓練，並人為製造「壞」影片。
初版模型上線表現慘烈——給一支 4 秒靜止無攝影機運動的影片打 9.2 分（攝影機工作評分）。根本原因是它學會了檢測「凝聚度」和人工製品的「光澤」，而非故事敘述。解決方案是調整訓練數據：配對真實與 AI 生成影片。風險是模型可能變成 AI 檢測器，但通過確保雙方編碼一致、使用相同標註方法，最終效果非常好。
最後的架構變遷：從複雜管道轉向代理工作流。管道適合固定場景，但真實用戶會帶自己的角色、圖像、聲音講各種故事，系統容易偏離。代理工作流配合品質驗證工具，能自適應變化並自我修正。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
