State of Data — Sean Cai, Independent / State of Data

資料市場正經歷從2023年垂直整合向專業化分工的根本轉變。曾經，Scale和CoreWeave這樣的巨頭壟斷了從人工採集到資料驗證的全鏈條，因為那是唯一讓經濟學成立的模式。但如今專業化廠商在採集、環境設計、獎勵機制、評估等各環節分別壓倒大廠，這種碎片化是永久的，而非過渡。

這個變化的根本原因是一個反直覺的發現：資料質量不隨數量線性增長。實驗室開始強制要求20-30家供應商多元化採購，本質上是對"規模化質量"這一承諾的集體不信任。這催生出"資料工業革命"的第二層結構——Type 1 vs Type 2資料的質量分層。Type 1是GitHub commits或會話回放這樣的真實工作流，最小化外部干預；Type 2是僱傭領域專家在人工設定中生成任務和解答。諷刺的是，大多數資料廠商都銷售Type 2並假裝是Type 1。

將模型效能從20%拉到80%的正是Type 1，因為現實性內嵌於工作本身，而非外部的獎勵標籤。這也解釋了為什麼可驗證性成為預測應用層成熟順序的關鍵指標。講者提出了驗證的三個軸線：(1)能否將任務分解為可檢查的步驟、(2)正確性定義的共識程度、(3)現實世界驗證例子的頻率。程式碼之所以成為第一個成熟的AI應用層市場，絕非偶然——GitHub同時在三個軸線上得分最高。單元測試提供了客觀的可分解正確性，社群對"程式碼可用"有明確共識，開源的無限commit提供了理由鏈。反觀金融、醫療、法律、安全，這些領域的驗證例子被鎖在企業工作流中，驗證共識模糊，任務分解困難。Anthropic的資料採購路線圖（2024年1月網路安全→3月生物）恰恰預示了後續產品釋出（Cyber、Bio），證明資料採購是應用層成熟的前置訊號。

現行基準測試體系本質上是虛假的。主流做法是：招聘專家→用聊天生成任務→讓模型解答→挑出模型失敗的案例→包裝成"硬核基準"→轉賣資料給實驗室最佳化這同一個基準。Goodhart定律在這裡呈現最壞形態：測量一旦成為目標，就停止衡量真實。單個基準數字只是從未被真正測量的分佈中抽取的一個樣本，而且充滿噪聲。講者用真實財務任務驗證發現，Opus 4.8在某些rubric上反而不如4.7，GPT-4.5與Opus 4.8在同一任務中精算vs方法論各自最佳化，說明跨框架差異掩蓋了模型設計方向。這種虛假基準的流行導致"基準精神分裂症"：實驗室用同一個指標卻做出相反最佳化決策。

未來的資料業務不再是賣資料集本身。講者指出，成功的資料公司都在轉向企業級應用，成為"neo-labs"而非"資料工廠"。價值最終積累在服務層和應用層的真實工作。這要求建立一個新的抽象層：當企業停止租賃實驗室智慧、改為擁有自己的模型時，需要小模型路由、RL資料集管理、跨開源基座的自動再訓練等基礎設施。基礎設施技術歷史表明，沒有先驅能長期佔有超過10%市場份額——鐵路被汽車取代，AWS/Google壟斷了基礎層但未拿下應用層。Anthropic正在構建"fiefdoms"，但這些壓力（蒸餾、出口限制、企業獨佔）本質上是"鐵路租賃"，而開源模型（GLM-5.2）已證明應用層可以解耦模型層。資料公司的護城河不是資料本身，而是進入真實工作流的管道加保持再訓練的基礎設施。