KeyFrame內部研究專用

Lab-in-the-Loop at Compute Speed — Ian Quigley, Leash Bio

Latent Space109 min英文
觀看原始影片

三句話摘要

Leash Bio 如何運用 DNA 編碼庫和機器學習預測小分子與蛋白質結合,並克服公開數據集中的隱藏偏差問題。 機器學習在小分子藥物發現中的成功取決於建立值得信賴的數據集並通過實驗物理來驗證模型理解,而不是依賴公開數據中充滿隱藏社會學偏差的信號。 --- 這份逐字稿探討的核心是一個在高維生物數據中普遍存在但常被忽視的問題:模型學習社會學信號而非物理原理。Leash Bio 的方法——建立內部數據、設計多層評估體系、使用蛋白質工程驗證——提供了一個範例,說明如何在充滿陷阱的領域中謹慎推進。 DNA 編碼庫的威力與陷阱

重點整理

  1. DNA 編碼庫的威力與陷阱

  2. DEL 技術透過在每個小分子上附加 DNA 條碼,然後在單一混合物中篩選數百萬個分子,大幅降低成本與時間。但條碼會影響分子行為,某些蛋白質會非特異性結合 DNA,導致假陽性。Leash 使用多重條碼編碼相同分子來解決這個問題,進而識別真正的蛋白質-小分子交互作用。

  3. 公開數據集的隱藏社會學偏差

  4. 模型可以透過分子結構本身就以 60% 的精準度預測出是哪位化學家製造的。這不是因為分子本身包含化學家的簽名,而是因為化學家有獨特的風格(選擇偏好的建塊、出於迷信或過往成功而重複使用某些片段)。當模型用這些代理特徵訓練時,學到的是社會學而非物理化學原理,這對所有依賴公開數據集的研究造成系統性污染。

  5. Kaggle 競賽的關鍵發現

  6. Leash 釋出 40 億個分子交互作用的數據集(公開最大資料集的 1000 倍),設計了三層難度遞增的評估集。結果顯示:當化合物庫完全不同時,所有參賽者都無法超越隨機猜測。這證明機器學習模型實際上高度依賴記憶訓練集中的建塊,而非學習可轉移的化學原理。

  7. 以蛋白質突變來驗證真實物理理解

  8. Leash 不只是構建更大的數據集,而是透過蛋白質工程驗證模型是否真的理解結合口袋。他們使用突變蛋白質進行重複篩選,觀察哪些分子被驅趕出結合位點。通過比較野生型與突變型的行為差異,能夠追蹤特定的小分子片段與特定蛋白質殘基之間的交互作用。多個獨立的分子系列顯示一致的行為模式,可作為證據該模型理解了物理而非單純記憶。

實用技巧與重點

  • 技術與工具:
  • DNA 編碼庫規模:最大可達 40 兆分子(相比傳統逐管法的單位數百萬)
  • Kaggle 競賽數據集:40 億個分子-蛋白質交互作用(BindingDB 當時僅 300 萬)
  • 數據來源:ChEMBL 資料庫(1,815 位發表 30+ 篇論文的化學家,共 600+ 分子)
  • 分子所有權預測精度:Top-5 準確率 60%
  • Hermes 模型架構:
  • 蛋白質嵌入:ESM(Evolutionary Scale Modeling,來自 Meta/OmegaFold,現由 Chan Zuckerberg Initiative 支持)
  • 分子嵌入:ChemBERTa(SMILES token 預測器)
  • 連接層:跨域注意力機制(Cross-attention)
  • 輸出:二元分類(結合/不結合)
  • Hermes 與結構預測模型對比:
  • 在公開數據集上表現相當於 Bolts 團隊的結構模型
  • 在 BRD4 與已知晶體結構分子上,Hermes 表現差但 Bolts 完美(因其訓練集包含該晶體),證實 Bolts 的優勢源自數據而非物理理解
  • 測試集規模:13 百萬個分子交互,跨 500+ 蛋白質目標
  • 數據分割策略:
  • 建塊相似性聚類分割(避免訓練/測試集中相似建塊重疊)
  • 對比測試:XGBoost 隨著分佈外遠離而性能急劇下降,但 Hermes 表現穩定
  • 外部化合物庫測試:未在訓練時見過的獨立分子集
  • 蛋白質突變實驗:
  • 每週篩選規模:大規模時達 100+ 蛋白質構體
  • 突變方法:使用 AlphaFold/Bolts 設計、保育性分析輔助
  • 競爭性測試:使用已知晶體結構中的分子阻斷結合口袋,觀察其他分子是否同樣被排斥
  • 檢驗標準:只有特定結合口袋中的分子被驅出,其他非特異性結合位點的分子保持不變
  • 化學家偏好的來源:
  • 「魔法甲基」效應:化學家在優化後傾向累積分子,導致分子量與結合性的虛假相關
  • 訂製偏好:昂貴或難以取得的建塊避免使用,反映了實驗室的約束而非化學原理
  • 迷信傾向:某些化學家因為過往成功而重複使用建塊
  • 數據質量量化:
  • 傳統逐管/平版庫的標籤誤差率:20-30%
  • DEL 中多重條碼策略:同一分子用 32-48 個不同條碼編碼
  • 三級評估難度設計:1) 共享兩建塊 2) 共享一建塊 3) 完全不同化合物庫

結論

機器學習在小分子藥物發現中的成功取決於建立值得信賴的數據集並通過實驗物理來驗證模型理解,而不是依賴公開數據中充滿隱藏社會學偏差的信號。 --- 這份逐字稿探討的核心是一個在高維生物數據中普遍存在但常被忽視的問題:模型學習社會學信號而非物理原理。Leash Bio 的方法——建立內部數據、設計多層評估體系、使用蛋白質工程驗證——提供了一個範例,說明如何在充滿陷阱的領域中謹慎推進。

完整解析

Leash Bio 的故事始於一個令人不安的觀察。在 Recursion 工作時,共同創辦人 Andrew Blevins 和 Ian Quigley 看著一個小分子在螢幕上,一位藥物化學家走過來說「看起來像 Stuart Shriver 做的分子」。這引發了一個可怕的想法:如果模型能從分子結構本身推斷出是誰製造的,那麼模型是否真的在學習化學,還是只是學會了識別化學家的風格?

他們下載了 ChEMBL 中所有 1,815 位活躍化學家的全部分子與活性數據,訓練了一個分類器預測分子的創建者。結果是,模型以 60% 的 Top-5 準確率輕鬆識別出化學家。這不是因為分子本身包含某種神秘的署名,而是因為化學家在做出設計選擇時留下了可識別的指紋。一位化學家可能偏好某些建塊,因為他們對其特性有直覺或迷信;另一位可能因為實驗室的設備限制而避免使用昂貴的試劑。更關鍵的是,化學家進行的「負面選擇」(決定不製造什麼)也會產生特徵——昂貴、難以合成或預期不會奏效的分子從未被製造,因此從不會出現在公開數據集中。當模型學習這些數據時,它學到的是社會學而非物理化學,這對所有依賴這些數據集的機器學習項目都構成了系統性威脅。

為了驗證這個問題的嚴重程度,Leash 使用分子所有權預測器作為表示,將每個分子編碼為 1,800 維的向量(代表其由每位化學家製造的概率),然後用這個純社會學表示訓練了一個新模型來預測 ChEMBL 中的活性。令人震驚的是,這個模型的表現與使用真實化學結構的模型一樣好。當兩者合併時,性能沒有有意義的改善。這表明主流機器學習方法學到的大部分內容是社會學而非化學。

Leash 決定從根本上改變策略。他們不依賴公開數據集,而是建立自己的。他們設計了 DNA 編碼庫(DEL)技術來大規模收集數據。DEL 透過在每個小分子上附加唯一的 DNA 條碼,然後將數百萬個分子放在單一試管中。當目標蛋白質被加入時,只有能結合的分子會被磁珠捕獲。通過提取並測序 DNA,他們可以識別哪些分子結合了。這個過程可以同時處理數百萬個分子,遠超傳統逐管法的能力。最大的 DEL 已經達到 40 兆分子。

但 DEL 並非沒有陷阱。由於條碼是 DNA,而許多蛋白質天生與 DNA 結合(例如轉錄因子),非特異性結合會產生假陽性。Leash 透過一個巧妙的方法解決了這個問題:用 32 到 48 個不同的 DNA 條碼編碼每個相同的小分子。如果一個條碼的結合信號遠好於其他條碼,那就知道問題出在 DNA 結合,而不是真實的小分子-蛋白質相互作用。他們甚至可以從這些假陽性中恢復已知的 DNA 結合序列。

Leash 在 Kaggle 上發起了一場競賽,名義上是測試機器學習在這個問題上的當前能力。他們釋放了 40 億個分子-蛋白質交互作用的數據集,是之前最大的公開數據集(BindingDB,當時約 300 萬)的 1,000 倍。這些數據來自一個人在地下室裡的實驗。但關鍵是評估方式——他們設計了三個難度遞增的測試集。第一個共享兩個建塊,第二個只共享中心樞紐(三嗪環),第三個是完全不同的化合物庫,沒有共享的構造特徵。

結果是戲劇性的。在前兩個測試集上,參賽者表現還可以,但在第三個上,所有人都無法超越隨機猜測。甚至教程筆記本排在前五。這證實了他們最大的恐懼:機器學習模型高度依賴於記憶訓練集中的建塊,而非學習可轉移的化學原理。這並不意味著模型無用,但它表明了當前方法的根本局限。

Leash 的回應是雙重的。首先,他們開發了 Hermes 模型——一個故意簡單的架構,由蛋白質嵌入(使用 Meta 的 ESM)和分子嵌入(使用 ChemBERTa)通過跨域注意力連接而成。跨域注意力很關鍵,因為他們觀察到,缺乏注意力機制的模型會陷入位置不變性的陷阱(類似於 Clever Hans 效應——它只學到局部特徵而非整體結構)。

第二,他們設計了複雜的評估體系。他們使用建塊相似性聚類來分割訓練和測試集,確保沒有相似的建塊在兩邊重疊。結果顯示,XGBoost 隨著分佈外距離增加而性能下降,但 Hermes 保持穩定。更重要的是,他們在 13 百萬個分子交互上測試了 Hermes,跨越 500+ 蛋白質,並將其與結構預測模型(Bolts)進行了比較。他們表現相當——直到遇到一個 BRD4 蛋白質,其中一個測試分子同時出現在 PDB 晶體結構中。Bolts 完美預測了它,但 Hermes 表現不佳,因為 Bolts 幾乎肯定在訓練中見過這個晶體。

最後,Leash 實施了最嚴格的驗證:蛋白質突變實驗。他們使用 AlphaFold 和保育性分析設計蛋白質突變,破壞結合口袋。然後他們重新用 DEL 篩選,觀察原本結合的分子是否被驅出。通過多次獨立的突變實驗,他們能夠追蹤特定的分子片段與特定的蛋白質殘基之間的相互作用。在許多情況下,他們看到相同的分子系列(具有略微不同的建塊)在相同的條件下以相同的方式行為,這提供了強有力的證據,表明模型正在學習真實的物理化學,而不是虛假的相關性。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資