What Frontier Labs Buy: A Data Deep Dive with Handshake AI — Garrett Lord & Team
三句話摘要
AI訓練數據從大規模標籤工作演變為專家主導的複雜環境設計與評估的現狀。 AI的下一個瓶頸不在模型架構,而在以專業領域專家主導的高品質訓練資料的規模化生產和評估——這已從邊緣工作升級為核心的資本密集型業務。 數據撰寫已成為專家工作:過去是高中生或大學生執行簡單的影像標記,現在要求投資銀行家、律師、科學家等深度領域專家來設計複雜的任務環境。這不是因為任務本身難到無法理解,而是因為現代AI模型已被訓練到需要以專業級工作流程進行評估。
重點整理
數據撰寫已成為專家工作:過去是高中生或大學生執行簡單的影像標記,現在要求投資銀行家、律師、科學家等深度領域專家來設計複雜的任務環境。這不是因為任務本身難到無法理解,而是因為現代AI模型已被訓練到需要以專業級工作流程進行評估。
環境構建是最複雜的環節:建立一個有用的評估環境需要:複製真實軟體工具(Excel、Outlook、Google Drive)、準備現實數據、確保資料一致性、防止獎勵駭客、定義「優質」的定義。單個環境可能需要數週到數月才能完成。
評估框架本身就是瓶頸:真實工作很難被完全驗證(如醫學診斷、金融建模),無法靠簡單的對錯判定。評估表需要數百行的細節標準,還要考量權重、邊界條件、防止模型遊戲系統。評估表本身需要反複迭代才能準確反映「優質」的標準。
當前模型遠未達實務應用水準:生命科學基準表現20%以下、金融模型表現20%以下。專業人士普遍認為,低於90%的準確率基本無法使用,因為修正有缺陷的輸出比從零開始還費時。
實用技巧與重點
- 市場規模演變:3年前10億美元市場 → 現在100億美元 → 預估3年內1000億美元
- 數據標籤成本變化:
- 過去:大學生 $10/小時
- 現在:投資銀行家、律師、醫生、研究科學家
- Handshake AI團隊規模:內部800人左右,快速成長
- 標準任務特性:
- 生命科學 Vials 基準:視覺-生物任務,模型表現20%以下
- 金融 Atlas 基準:100個任務,13個不同環境,模型表現20%以下
- 單個金融建模任務:可含2600+個公式、4000+個儲存格
- 數據品質指標:
- 模型表現需達90%以上才可考慮實務應用
- 企業通常只使用採購數據的10%(其他不夠高品質)
- 金融金律:「95%正確=100%錯誤」(修正成本>從零開始)
- 評估環境包含要素:
- 模擬工具(Excel、Outlook、Google Drive等)
- 環境數據(郵件、日曆、文件、資料室)
- 複雜提示詞設計
- 詳細評分表(數百行標準)
- 防獎勵駭客檢驗
- 訓練數據量需求:
- 視任務難度而定,從100個優質資料點到數千甚至數萬個
- 生命科學需求高量高品質(模型基準表現僅20%)
- 後訓練評估方式:
- 在開源模型上實驗
- 進行ablation測試
- 數據多樣性檢驗(透過嵌入和聚類)
- 長期任務學習曲線觀察
- 專業應用案例:
- 生命科學:蛋白質結構分析、分子模型、凝膠電泳(Western blot)、組織病理學影像判讀
- 金融:投資銀行建模、併購分析、稅務規劃、估值模型
結論
AI的下一個瓶頸不在模型架構,而在以專業領域專家主導的高品質訓練資料的規模化生產和評估——這已從邊緣工作升級為核心的資本密集型業務。
完整解析
在AI大模型快速演進的過程中,數據品質已成為最關鍵的瓶頸。這場播客深入探討了AI訓練數據工作的劇烈轉變——從簡單的眾包標籤工作演變為需要專業級領域知識的複雜系統設計。
三年前,數據標籤的標準做法是雇用大學生以每小時10美元的時薪來執行簡單任務,例如畫方框標記汽車或分類社群媒體情感。當RLHF和語言模型在2022年末至2023年初問世時,模型輸出仍是胡言亂語,因此高中甚至大學生仍能有效地訓練它們。然而,過去三年模型已變得相當複雜,能夠進行複雜推理、呼叫工具、執行多步驟任務。這意味著現在需要投資銀行家、律師、醫生等具有真實專業背景的人員來設計和評估訓練資料。
Handshake AI展示了這個新領域的前沿實踐。數據撰寫不再是簡單的標籤,而是構建完整的模擬環境——需要複製真實職場中使用的每一個工具(Excel、Outlook、Google Drive等),填入現實樣態的資料,並確保所有檔案之間的內部一致性。例如,建立一個投資銀行環境需要:建立模擬的Excel模型、郵件系統、日曆、文件庫,全部填入真實銀行交易的細節;編寫包含複雜假設的提示詞;最後撰寫數百行的詳細評分表來定義「優質」交付物的標準。這整個過程需要深度的領域專業知識,不是一般的AI訓練工程師能做的。
評估品質面臨的第二大挑戰是,大多數有價值的工作無法被完全驗證。金融建模不像數學考試有單一正確答案,醫學診斷也不是二元判定。因此評估表必須捕捉微妙的判斷標準——哪些方法論選擇是合理的、邊界條件如何處理、如何防止模型通過遊戲系統的漏洞來獲得高分。訓練和評估本身變成了一個迭代過程,需要專家不斷精進評分標準。
當前的現實情況令人沮喪:在生命科學基準上,即使是最先進的模型(Opus、Claude、Gemini等)表現也在20%以下,遠遠不足以用於實際研究。在金融領域,模型同樣表現不佳。一位資深銀行家指出,在金融中有一條黃金法則:「95%正確等於100%錯誤」,因為花時間檢查和修正有缺陷的輸出往往比從頭開始或使用現成模板還耗時。這意味著AI工具必須達到遠高於95%的精度才有實務價值。
Handshake AI目前有約800位全職員工,主要任務是招募並管理各領域的頂尖人才——曾在頂級金融公司工作的人、藥物發現專家、資深科學家——來持續構建和優化訓練環境。這反映了未來工作的一個有趣轉變:AI品質將直接取決於數據品質,而數據品質取決於有多少專業級的人才投入到數據撰寫工作中。

