Why AI Agents Need a Data Harness, Not Just a Lakehouse

AI原生應用對傳統數據架構提出了致命挑戰。過去的分析工作採用「email節奏」——提交查詢後等待數分鐘甚至數小時，這對靜態報告和特別分析而言是可接受的。用戶可以離開座位喝茶，傍晚時回到結果。但AI智能體不同。當代理需要在對話工作流中實時做決策、連鎖執行多步操作時，每次等待10分鐘就意味著管道崩潰——要麼超時失敗，要麼浪費計算tokens用於重試，要麼丟失上下文。這不是優化目標，而是系統能否運作的必要條件。因此，次秒級響應時間已經從奢侈品變成了AI應用的前置條件。

傳統數據堆棧的困境在於天平兩端。數據湖（通常基於S3等對象存儲）成本低廉且可無限擴展，但查詢能力有限、缺乏事務保障，一個誤操作可能破壞整個數據集。數據倉則提供了ACID事務與可靠的分析性能，但因為集中存儲數據，成本隨規模指數攀升。數據湖倉試圖結合兩者優勢：保持數據在S3等便宜存儲中（降低成本），同時引入元數據目錄與表格式來施加結構。元數據目錄（如Apache Polaris）充當用戶與底層存儲的中介，根據查詢需求只暴露相關數據子集；表格式（如Apache Iceberg）定義了模式、版本歷史、事務邊界。Dremio選擇Parquet作為列式文件格式（天生適合分析工作負載）、Iceberg作為表格式標準、Apache Polaris作為元數據目錄、Apache Arrow作為查詢引擎。這個架構的核心創新在於對開源標準的堅持：Iceberg的REST規範定義了引擎與目錄之間的通話協議，使得任何遵循規範的引擎（Spark、Trino、Snowflake、Athena等）都能與任何目錄無縫互操作。這打破了廠商鎖定，組織無需被某一家平台綁架，可根據成本、性能或現有投資自由選擇堆棧組件。

支持AI工作流的數據平台必須滿足三個基本需求：可訪問性、可理解性、高性能。可訪問性不只是「能看到數據」，而是「只看到應該看到的數據」——通過角色型訪問控制（RBAC）在表層控制，也可在行列層進行細粒度過濾和掩碼（特別重要的是，AI代理通過用戶憑證執行查詢，因此訪問控制自動應用，無需額外機制）。可理解性源自語義層——一個統一定義業務術語的地方。AI模型訓練在通用網路數據上，對特定公司的業務邏輯完全陌生。當「客戶」在銷售團隊和客服團隊有不同定義，或公司剛被SAP收購導致Q2計算方式改變時，AI在沒有統一定義的情況下會隨意選擇其中一個，導致查詢結果錯誤且不可信。通過在平台內將所有定義集中——無論是簡單的標籤、詳細的wiki還是複雜的知識圖——AI可以正確地將自然語言請求映射到正確的表與度量，大幅降低tokens浪費與錯誤風險。高性能通過兩個機制實現：其一，聯邦查詢引擎在原地訪問異質數據源（數據湖、Hadoop、其他倉），無需物理複製所有數據到中央系統（這是數據倉的致命陷阱）；其二，Dremio的反射功能自動檢測哪些查詢執行緩慢，自動創建物化表，在查詢執行時無縫替換——用戶的SQL保持不變，但性能大幅提升，無需手動優化或代理干預。