KeyFrame內部研究專用

Evaling Video Slop — Maor Bril, Character.ai

AI Engineer23 min英文
觀看原始影片

三句話摘要

Character AI 如何從複雜評估管道演進到輕量快速的視覺語言模型,評估與改善 AI 生成影片品質。 用小型視覺語言模型做相對評估並前置到生成流程,在成本與速度間達到最優平衡,同時讓評估結果可解釋、可作用。 影片評估必須考慮故事維度:影片本質是故事媒介,評估需檢查故事敘述、物理一致性、角色一致性、節奏感、音頻同步等多維度。傳統幀級工具無法捕捉這些跨時間軸的屬性。

重點整理

  1. 影片評估必須考慮故事維度:影片本質是故事媒介,評估需檢查故事敘述、物理一致性、角色一致性、節奏感、音頻同步等多維度。傳統幀級工具無法捕捉這些跨時間軸的屬性。

  2. LLM 評判的侷限與改進:直接用大型模型當評判者會遇到速度慢、提示詞敏感、結果不穩定的問題。改進方案是結合多種指標、人類標註校準、可重複的基準測試架構。

  3. 相對評估優於絕對評估:讓人用 1-10 分評同一支影片會得到差異極大的答案;但比較兩支影片哪個講故事更好,多數人意見一致。因此改用配對數據(A vs B)訓練模型。

  4. 評估前置到生成流程早期:在產生短影片前檢測幀漂移並修正,比等到完整影片生成後才發現問題便宜得多。透過代理工作流而非僵硬管道,模型能自適應各種用戶故事場景並自我驗證。

實用技巧與重點

  • 傳統評估工具:CLIP score、LPIPS(幀間一致性檢測)
  • 評估維度:故事敘述、物理一致性、角色一致性、節奏感、音頻同步、攝影機運動
  • 新方案配置:
  • 基礎模型:Qwen(小型 VLM)
  • 音頻檢查工具:Atmos
  • 推理速度:3 秒評分 15 秒影片
  • 訓練方法:配對數據集(真實影片 vs AI 生成影片配對)
  • 人類校準:定期 10-15 分鐘標註會議,多軸標註,用於持續校準 AI 評判
  • 關鍵做法:確保兩邊編碼一致性,使用相同標註方法,避免模型變成 AI 檢測器

結論

用小型視覺語言模型做相對評估並前置到生成流程,在成本與速度間達到最優平衡,同時讓評估結果可解釋、可作用。

完整解析

隨著 Kling、See Dance、Sora 等影片生成模型進步,生成高質量影片的成本已接近零,遠低於傳統工作室。然而大多數生成影片品質仍差,充斥幻覺——多出的肢體、物理錯誤、物體懸浮等。現實工作流往往需要大量短視頻生成配合後期編輯。

當前評估工具的根本問題是:它們沿用文本和圖像時代的設計。CLIP score 只看單幀與提示詞匹配度,LPIPS 檢測幀間像素變化一致性——都無法判斷影片是否講述了預期故事。真正的評估需考量故事敘述清晰度、物理邏輯(角色走樓梯 vs 懸浮)、角色跨鏡頭的一致性、節奏合理性、音效與視覺同步。

初期用大型語言模型當評判者,結果令人失望。問題出在三方面:一是推理巨慢,二是結果高度依賴提示詞措辭,三是同一模型在不同提示下給出截然相反的答案。改進方案是建立結合多指標的可重複基準,並用人類標註校準 LLM 評判。但這套方法成本高、速度慢。

突破口在於改變評估模式。第一,將評估前置到生成過程早期。在用兩幀作為種子生成完整影片之前,先檢測幀漂移,成本便宜得多。同理,對長影片,先檢測有問題的短片段並重生,再組合,整體品質更好。第二,將「專家委員會」蒸餾成輕量 VLM。選用 Qwen 小模型,推理 15 秒影片只需 3 秒,且能輸出「為什麼」而不只是評分。雖然更大的模型結果更好,但速度劣勢無法被性能提升所抵消。

另一核心洞察:不用絕對評分,改用相對比較。問 10 人用 1-10 分評同支影片的敘述,每人標準天差地別;但問哪支更好,大多數人達成共識。因此改用配對數據集(A vs B)訓練,並人為製造「壞」影片。

初版模型上線表現慘烈——給一支 4 秒靜止無攝影機運動的影片打 9.2 分(攝影機工作評分)。根本原因是它學會了檢測「凝聚度」和人工製品的「光澤」,而非故事敘述。解決方案是調整訓練數據:配對真實與 AI 生成影片。風險是模型可能變成 AI 檢測器,但通過確保雙方編碼一致、使用相同標註方法,最終效果非常好。

最後的架構變遷:從複雜管道轉向代理工作流。管道適合固定場景,但真實用戶會帶自己的角色、圖像、聲音講各種故事,系統容易偏離。代理工作流配合品質驗證工具,能自適應變化並自我修正。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI