KeyFrame內部研究專用

Video Has No Memory. Here's How We Built One. — James Le, TwelveLabs

AI Engineer20 min英文
觀看原始影片

三句話摘要

視頻 AI 系統需要記憶層架構來理解時空關係,而非單純處理幀序列。 視頻 AI 的未來在於建立持久記憶層——跨時間跨來源連結實體、事件、證據的可遍歷結構,而非簡單逐幀處理。 影片本質不是幀序列而是時空體:傳統方法將視頻強行拆解成幀+轉錄文本,丟失了時空連續性。影片的意義來自時空模式和序列,應視為包含視覺、語音、動作、場景轉換等多維度信息的完整整體。

重點整理

  1. 影片本質不是幀序列而是時空體:傳統方法將視頻強行拆解成幀+轉錄文本,丟失了時空連續性。影片的意義來自時空模式和序列,應視為包含視覺、語音、動作、場景轉換等多維度信息的完整整體。

  2. 現有視頻技術棧存在三大缺陷:上下文錯誤(逐幀處理喪失空間時間關係)、記憶錯誤(無法跨時間跨來源連結信息,缺乏持久連續性)、推理不足(無法自動建立因果關係和實體追蹤)。

  3. 「上下文圖」分層連接視頻內容:從底層瞬間(拍攝現場)→實體出現位置時間→實體本身→關係事件→語料庫級脈絡,不同查詢在圖表不同部分遍歷,允許系統回答從簡單搜尋到複雜故事線等各類問題。

  4. 五大設計原則指導記憶層建構:單次攝取多次推理(預付成本一次理解)、儲存原始數據非僅答案、每個輸出需事實依據、讓意圖塑造記憶(同素材不同工作流有不同含義)、API 層保持可組合性。

實用技巧與重點

  • 企業與產品
  • 公司:Troll Lab(B 輪融資創業公司)
  • 核心模型:Pegasus(視頻上下文感知語言模型)
  • 產品:Jockey(視頻認知基礎設施)
  • 技術架構
  • 語義塊層(捕捉有意義時間單位)
  • 多模態嵌入編碼器(轉換時空關係為向量嵌入)
  • 時空上下文存儲(瞬間、實體、元數據)
  • VLM 推理層(元數據合成、比較、推理)
  • 視頻處理五大挑戰
  • 時間性、多模態、信息密集、模糊性、成本高
  • 應用案例具體成果
  • 體育(2022 卡達世界盃 67 個視頻):辨識未進球射門、球員追蹤、進球序列與傳球者識別
  • 交通監控:分類車輛/行人數量、檢測險情(近距離相撞)、雨天場景理解、公車識別
  • 廣告分析(5 分鐘阿迪達斯宣傳片):品牌露出位置、高衝擊動作、硬切場景識別
  • 應用領域
  • 媒體存檔、內容創作者平台、YouTube/TikTok、廣告分析、品牌安全、合規審查

結論

視頻 AI 的未來在於建立持久記憶層——跨時間跨來源連結實體、事件、證據的可遍歷結構,而非簡單逐幀處理。

完整解析

講者從一個根本問題切入:為什麼現有視頻 AI 系統無法像人類一樣理解視頻?答案指向現有技術架構中缺失的核心——記憶層。傳統視頻處理方法將視頻視為幀的集合,配以轉錄文本。這種拆解方式嚴重忽視了視頻最獨特的特性:連續性。視頻的意義並非來自孤立的畫面,而來自時空模式和序列關係。單個幀往往會產生誤導。講者強調應該將視頻理解為「時空體」,包含視覺訊息、語音、聲音、動作、光學字符識別、攝影機變化、場景轉換、元數據和時間戳等多維度信息,這樣才能在企業級規模下保持各部分之間的關係。

現有視頻技術棧存在三個根本性問題。首先是上下文錯誤:強行將視頻轉換為文字序列時,會丟失空間時間關係,而這些關係對於正確理解事件至關重要。其次是記憶錯誤:文本系統的記憶通常依靠向量搜索或擴大上下文窗口,但視頻記憶有完全不同的需求。它必須將今天的場景與另一個文件、另一集、不同攝影機角度、不同季度甚至不同年份的事件聯繫起來,這需要持久的連續性而非點狀檢索。最後是推理不足:文本系統無法自動推理運動、因果關係,無法自動建立持久結構記錄誰出現、發生了什麼、什麼改變了。

Troll Lab 提出「上下文圖」作為解決方案。這是一種持久的可查詢表示,採用分層結構連接視頻時刻、實體外觀、關係、時間戳、元數據和合成層級的脈絡。圖的底層是時間限制的瞬間(如拍攝現場),上層連接實體出現的位置和時間,再上層是實體本身(人物、品牌、地點、概念),然後是關係核心事件(不同地點時間線上出現的同一實體或品牌序列),最頂層是語料庫級的脈絡(整個視頻集合涵蓋的主要主題、模式、差距和內容)。關鍵創新在於不同類型的查詢會在圖表的不同部分移動:簡單搜尋直接進入瞬間,實體工作流程從一個人開始向外擴展到其出現的所有位置,而故事情節查詢則沿著時間推移追蹤關係和因果鏈。

基於這一架構,講者提出了構建視頻記憶層的五個核心原則。「一次攝取,多次推理」意味著不想每次查詢都從頭開始處理,而是預先支付成本對視頻內容進行一次完整解釋,然後將耗時的理解轉移到後續的所有調用中,這與資料庫思維模型相同。「儲存原始數據而非僅答案」保留瞬間、實體、外觀等基本元素,使下游工作流如搜尋、編輯、分析都能夠複用。「每個論點都要有事實依據」要求證據應與視頻中的特定時間戳對應。「讓意圖塑造記憶」認識到同樣的素材在不同工作流中意味著不同的東西——品牌安全、內容創作、分析等各場景需要提取不同的基本元素,因此內存層應該可配置。「保持層的可組合性」意味著採用 API 優先方式,提供各個層級使上層應用能夠注入結構化分級元數據。

在實際演示中,講者展示了 Jockey 在三個截然不同的領域的應用。在體育領域,系統從 2022 年卡達世界杯的 67 個視頻中識別出了近進球但最終未進球的射門、解釋失球原因、追蹤特定球員梅西在整個比賽中的移動軌跡(包括屏幕外出現的情況)、識別進球的具體發動和終結過程以及傳球者。在安全領域,系統能分類十字路口的車輛和行人數量、檢測安全事件如險些相撞、在不同天氣條件(例如下雨)下正確運作、識別公共交通工具。在廣告領域,系統能識別品牌露出的具體時刻、高衝擊動作的場景、硬切場景,這些對廣告商營造視覺衝擊和宣傳品牌內容至關重要。

最後,講者強調 Troll Lab 的目標不是開發應用層或編輯平台,而是構建「視頻認知基礎設施」。系統包含知識存儲庫(成為視頻記憶層)、可配置的注入功能讓開發者塑造系統識別什麼、語料庫摘要讓用戶了解庫中內容、搜尋回應 API 提供查詢能力。這個基礎設施面向所有涉及視頻內容工作流的企業,包括媒體存檔機構、內容創作者平台、廣告分析部門、媒體製作工作流等。

4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。
編輯精選
企業管理英文11月21日

What Anthropic's $900 Billion Bet Means for You

Nate Herk看原片 ↗
  • 訂閱用戶成為上市公司的收益基礎:4000 萬名小客戶(含 Claude Pro、Max、Ultra 或 API 用戶)合計貢獻 25% 的收入,形成 Wall Street 下注的對象。用戶每次訂閱續約都直接影響 Anthropic 股價,
  • 循環融資制造生態系統性風險:Amazon、Google、Broadcom 與 Nvidia 等公司既是投資者、又是運算服務提供商,同時採購 Anthropic 服務,形成相互依賴的閉環。若任一環節需求放緩,所有參與者將同時受創,系統風險無法
編輯精選
AI 技術英文11月20日

6 Lessons I Learned From Installing AI in a $10M Business

Liam Ottley看原片 ↗
  • AI 負責前 80% 工作,人的品味決定最後 20% — 系統一開始生成的提案很基礎,直到 Isaac 的設計師介入決定風格、選擇產品後,品質才大幅提升。需要將品味優秀的員工的規則和案例提供給 AI,讓初版更接近他們的標準。
  • 聚焦單一瓶頸,不要全面改造 — 分析發現提案環節是最大痛點:每月 15-20 張圖、每張 10 小時、成本 $500-1000、9 成無結果。選擇同時改善速度、成本、品質的用例,才是 AI 真正發揮價值的地方。