KeyFrame內部研究專用

How AI Filmmaking Pros ACTUALLY Make AI Videos

Skai Generated·7月2日週四·7 min英文

三句話摘要

如何使用 OpenArt Director 在單一平台完整製作 AI 短片,透過「氛圍導演」工作流避免分片生成造成的畫面不一致。 在單一平台內保持整體創意流,透過迭代式對話而非重複重建來逐步完善每個細節,是製作具有真正電影質感的 AI 短片的關鍵,而非看起來生硬的生成內容拼接。 一致性源於整體工作流而非分片生成。傳統方式逐片製作導致人物面孔、光線、色調、氛圍產生偏離;在單一平台內維持整個專案的創意連貫性,才能讓影片保持統一的電影感而非拼接感。

重點整理

重點
  • 1

    一致性源於整體工作流而非分片生成。傳統方式逐片製作導致人物面孔、光線、色調、氛圍產生偏離;在單一平台內維持整個專案的創意連貫性,才能讓影片保持統一的電影感而非拼接感。

  • 2

    故事最佳化是創意基礎。講者先用 Claude 將粗糙創意轉化為結構完整的故事簡案(包含工作標題、語調、故事架構),再由 OpenArt Director 進一步精化為飽滿的黑色電影敘事,為後續所有角色與視覺決策奠定堅實基礎。

  • 3

    角色一致性通過初期鎖定實現。生成角色卡(三視角:正面、側面、四分之三)並上傳至 Director 作為參考,而非在各場景中重新生成,確保整部影片人物的面部特徵、裝扮、表情風格完全一致。

  • 4

    微調而非重建是高效工作法。講者不刪除重新生成,而是給單個場景寫簡短修改指令(「讓小巷更暗」「車停警察身後移除雨」「保持警察面向一致」),Director 理解上下文並精確修改,這就是「氛圍導演」的體現——對話式引導而非逐條提示。

實用技巧與重點

乾貨
  • 工具與模型:
  • OpenArt Director(主平台)
  • Claude(故事與角色卡生成)
  • Nano Banana 2(影像模型)
  • 技術規格:
  • 角色卡:三視角(正面、側面、四分之三角度)
  • 解析度:2K
  • 寬高比:16:9
  • 完整工作流步驟:
  • Claude 故事簡案生成
  • OpenArt Director 故事強化
  • Claude 角色卡提示詞生成
  • OpenArt 生成角色三視圖
  • 上傳角色卡到 Director
  • Director 自動生成配角(3個)與環境
  • 整體短片生成
  • 分場景微調指令示例:「讓小巷更暗」、「車應停警察身後且無雨」、「警察全程面向一致無切鏡」
  • 時間線編輯(節奏、字幕、過渡)
  • 多語言配音測試(英文改日文保持唇形同步)
  • 成果特性:
  • 人物面部特徵全程一致
  • 唇形同步對話
  • 統一的黑色電影視覺美學
  • 多語言配音可保持真實感
  • 商業資訊:
  • 月度計畫折扣碼:15% 優惠
  • 年度計畫最具成本效益

結論

結論

在單一平台內保持整體創意流,透過迭代式對話而非重複重建來逐步完善每個細節,是製作具有真正電影質感的 AI 短片的關鍵,而非看起來生硬的生成內容拼接。

完整解析

詳細

講者開篇指出當前 AI 影片的通病:大多數作品看起來不真實,根本原因是創作者採用分片工作流——先製作一鏡頭,再做另一鏡頭,每段片段都會與前一段產生偏離。人物面孔改變、光線波動、整體氛圍轉變,最終成品看起來像是生硬拼接的分散輸出,完全喪失了電影的連貫性和沉浸感。為此,講者探索了 OpenArt Director 平台,其核心優勢在於能讓整個專案保持在單一的創意流中,從故事構想到最終成片都在同一個環境內完成。

工作流從故事開始。講者在 Claude 中使用故事簡案生成工具,輸入粗糙的創意設定:一位偵探返回故鄉追查失蹤案件,風格為黑色電影。Claude 返回的結果遠超預期——明確的工作標題《Lena Voss, Four Days》、清晰的語調定位、結構化的故事框架。講者隨後將成果粘貼到 OpenArt Director,平台進一步將其精化為關於 Ray Mercer 返回故鄉調查 Lena Voss 失蹤案的飽滿敘事,充斥著沉默、負罪感和道德壓力。這個轉折點標誌著從機械式「逐條提示」轉向創意式「氛圍導演」。

角色鎖定是確保視覺一致性的關鍵一環。講者用 Claude 生成了逼真黑色電影偵探的角色卡提示詞,指定三視角輸出(正面、側面、四分之三),然後在 OpenArt 中使用 Nano Banana 2 模型以 2K 分辨率、16:9 寬高比生成。結果呈現出 Ray Mercer 的完整視覺形象——帶疤的臉孔、禮帽、風衣、疲惫深邃的眼神——完全符合故事調性。講者將這份角色卡上傳至 Director,平台隨後建議微調使其更符合影片風格,講者接納了建議,角色變得更加黑暗沉鬱。當主角視覺形象鎖定後,Director 自動為故事創建了另外三個配角和環境設置,經過數次迭代,整個影片的視覺世界逐漸成形。

真正的區別體現在整體影片生成階段。講者在 Director 內一次性完整生成了整部短片,而非採用分片工作流。結果令人印象深刻——主角的面孔和形象保持完全一致,小鎮風貌統一,黑色電影的視覺美學始終貫穿全片,整體呈現出真實電影的質感而非百段拼接片段。隨後的微調工作展現了「氛圍導演」的精髓。講者不是刪除重來,而是給出簡短精準的場景修改指令:第一場景「讓小巷更暗」,第四場景「車應停在警察身後並移除雨景」,第二場景「警察全程保持同一面向方向且無切鏡」。Director 能夠理解這些指令的上下文含義,進行精確調整而不影響其他場景。

最後階段涉及時間線編輯,用來精準控制節奏、調整場景轉場、添加字幕,確保最終視頻的律動感恰當且專業。講者還測試了多語言功能——將第四場景的警察對白從英文改為日文。結果令人印象深刻:唇形同步完美保持、聲音仍符合角色個性、整個場景依然可信真實。這驗證了平台對多語言配音的支持力度,也展示了「氛圍導演」式工作流如何能夠在修改細節時保持整體真實感。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。