Video Has No Memory. Here's How We Built One. — James Le, TwelveLabs

講者從一個根本問題切入：為什麼現有視頻 AI 系統無法像人類一樣理解視頻？答案指向現有技術架構中缺失的核心——記憶層。傳統視頻處理方法將視頻視為幀的集合，配以轉錄文本。這種拆解方式嚴重忽視了視頻最獨特的特性：連續性。視頻的意義並非來自孤立的畫面，而來自時空模式和序列關係。單個幀往往會產生誤導。講者強調應該將視頻理解為「時空體」，包含視覺訊息、語音、聲音、動作、光學字符識別、攝影機變化、場景轉換、元數據和時間戳等多維度信息，這樣才能在企業級規模下保持各部分之間的關係。

現有視頻技術棧存在三個根本性問題。首先是上下文錯誤：強行將視頻轉換為文字序列時，會丟失空間時間關係，而這些關係對於正確理解事件至關重要。其次是記憶錯誤：文本系統的記憶通常依靠向量搜索或擴大上下文窗口，但視頻記憶有完全不同的需求。它必須將今天的場景與另一個文件、另一集、不同攝影機角度、不同季度甚至不同年份的事件聯繫起來，這需要持久的連續性而非點狀檢索。最後是推理不足：文本系統無法自動推理運動、因果關係，無法自動建立持久結構記錄誰出現、發生了什麼、什麼改變了。

Troll Lab 提出「上下文圖」作為解決方案。這是一種持久的可查詢表示，採用分層結構連接視頻時刻、實體外觀、關係、時間戳、元數據和合成層級的脈絡。圖的底層是時間限制的瞬間（如拍攝現場），上層連接實體出現的位置和時間，再上層是實體本身（人物、品牌、地點、概念），然後是關係核心事件（不同地點時間線上出現的同一實體或品牌序列），最頂層是語料庫級的脈絡（整個視頻集合涵蓋的主要主題、模式、差距和內容）。關鍵創新在於不同類型的查詢會在圖表的不同部分移動：簡單搜尋直接進入瞬間，實體工作流程從一個人開始向外擴展到其出現的所有位置，而故事情節查詢則沿著時間推移追蹤關係和因果鏈。

基於這一架構，講者提出了構建視頻記憶層的五個核心原則。「一次攝取，多次推理」意味著不想每次查詢都從頭開始處理，而是預先支付成本對視頻內容進行一次完整解釋，然後將耗時的理解轉移到後續的所有調用中，這與資料庫思維模型相同。「儲存原始數據而非僅答案」保留瞬間、實體、外觀等基本元素，使下游工作流如搜尋、編輯、分析都能夠複用。「每個論點都要有事實依據」要求證據應與視頻中的特定時間戳對應。「讓意圖塑造記憶」認識到同樣的素材在不同工作流中意味著不同的東西——品牌安全、內容創作、分析等各場景需要提取不同的基本元素，因此內存層應該可配置。「保持層的可組合性」意味著採用 API 優先方式，提供各個層級使上層應用能夠注入結構化分級元數據。

在實際演示中，講者展示了 Jockey 在三個截然不同的領域的應用。在體育領域，系統從 2022 年卡達世界杯的 67 個視頻中識別出了近進球但最終未進球的射門、解釋失球原因、追蹤特定球員梅西在整個比賽中的移動軌跡（包括屏幕外出現的情況）、識別進球的具體發動和終結過程以及傳球者。在安全領域，系統能分類十字路口的車輛和行人數量、檢測安全事件如險些相撞、在不同天氣條件（例如下雨）下正確運作、識別公共交通工具。在廣告領域，系統能識別品牌露出的具體時刻、高衝擊動作的場景、硬切場景，這些對廣告商營造視覺衝擊和宣傳品牌內容至關重要。

最後，講者強調 Troll Lab 的目標不是開發應用層或編輯平台，而是構建「視頻認知基礎設施」。系統包含知識存儲庫（成為視頻記憶層）、可配置的注入功能讓開發者塑造系統識別什麼、語料庫摘要讓用戶了解庫中內容、搜尋回應 API 提供查詢能力。這個基礎設施面向所有涉及視頻內容工作流的企業，包括媒體存檔機構、內容創作者平台、廣告分析部門、媒體製作工作流等。