From Tokens to Cells: Foundation Models for Single-Cell Biology - Akram Baharlouei, Altos Labs
三句話摘要
從代幣到細胞：基礎模型在單細胞生物學中的工程挑戰與發展方向。 單細胞分布匹配模型的表現優於壓縮編碼方法，但要實現醫學應用突破，需要同時投入在數據規模、測量質量與技術創新三個維度。 山中因子與細胞重編程的醫學突破：2006 年山中伸弥發現四種轉錄因子能將老化皮膚細胞逆轉為胚胎幹細胞狀態，開啟了再生醫學新時代。部分重編程技術甚至只改變細胞年齡而非類型，有望通過 mRNA 藥物恢復衰老過程中喪失的細胞功能，2026 年首款人類測試的 OSK 重編程藥物應運而生。
重點整理
重點- 1
山中因子與細胞重編程的醫學突破：2006 年山中伸弥發現四種轉錄因子能將老化皮膚細胞逆轉為胚胎幹細胞狀態，開啟了再生醫學新時代。部分重編程技術甚至只改變細胞年齡而非類型，有望通過 mRNA 藥物恢復衰老過程中喪失的細胞功能，2026 年首款人類測試的 OSK 重編程藥物應運而生。
- 2
單細胞數據的本質困境：單細胞測序捕捉的是整個細胞週期變化的快照而非完整動態，加上細胞固有的異質性、技術噪音與跨實驗室的測量差異，即使累積 10 億細胞樣本也難保質量一致，這使得數據規模擴張的收益遞減。
- 3
Transformer 模型的局限性：雖然 SCGPT、GenFormer 等模型將細胞視為句子、基因視為代幣，但透過壓縮成潛在向量會喪失大量資訊，導致效能反而不如簡單線性模型，且訓練成本極高，新華普斯會議的綜合基準測試已證實此問題。
- 4
分布匹配優於壓縮編碼：PrimeFlow 等流匹配模型不是壓縮數據，而是學習預測數據分布，更真實地捕捉單細胞的異質性特徵，在多模態與擾動響應建模上表現更優。
實用技巧與重點
乾貨- 關鍵人物與發現
- 山中伸弥（Shinya Yamanaka）：2006 年發現四種轉錄因子（Yamanaka factors）
- 諾貝爾獎：2012 年因此獲獎
- 數據規模與模態
- RNA-seq 數據規模：數千萬至 5 億細胞，最大專案達 10 億細胞
- 基因表達量級：每細胞 ～20,000 個基因
- 其他模態：蛋白質體學（proteomics）、形態學（morphology）、基因組序列（genome）
- 相關模型與論文
- Transformer 類：SCGPT、GenFormer、CPATR（自編碼機）
- 分布匹配類：PrimeFlow（arXiv）
- 基準測試論文：Estigenoscope、Perterbench（NeurIPS 去年）
- 應用場景
- 細胞類型預測（cell type prediction）
- 擾動響應建模（perturbation response modeling）
- 虛擬細胞、虛擬組織、虛擬人類建模
- 藥物開發現狀
- 藥物開發週期：臨床前至上市可達 10 年
- 成本：數十億美元
- 成功率：～5% 或更低
- 現象：儘管 AI 進展迅速，每年獲批新藥數反而下降
結論
結論“單細胞分布匹配模型的表現優於壓縮編碼方法，但要實現醫學應用突破，需要同時投入在數據規模、測量質量與技術創新三個維度。”
完整解析
詳細生物學領域面臨一個獨特的困境：儘管計算能力按摩爾定律指數成長，新藥開發的成功率反而在下降。這個悖論的背後，是對人體細胞層級理解的不足。2006 年，山中伸弥發現只需四種蛋白質就能將老化細胞逆轉成胚胎幹細胞狀態，這個突破在 2012 年為他贏得諾貝爾獎，並開啟了再生醫學的新篇章。十年後的今天，首款基於這一原理的人類臨床試驗藥物 OSK 終於問世，這 20 年的歷程反映了從發現到應用的巨大鴻溝。
講者所在的 AutoSlab 公司正致力於透過單細胞生物學的基礎研究來加速這個過程。單細胞不是簡單的生物單位，而是一個複雜的動態系統。科學家透過多種模態來測量它：從 DNA 序列（基因組）、基因表達水平（轉錄組，即 RNA-seq）到蛋白質含量與細胞形態。其中 RNA-seq 之所以成為基礎模型訓練的主要數據源，是因為測量技術成熟且易於規模化，目前已累積從數千萬到 5 億個細胞的龐大數據集。然而，數據規模的增加未必帶來品質的提升。單細胞測序捕捉的只是某一時刻的快照，而細胞在生長、複製、分裂等週期中不斷變化，這些變化往往呈突發性而非連續。加上不同實驗室的技術差異與細胞固有的異質性，同樣的細胞測序兩次也不會得到完全相同的結果。
當前的深度學習方法試圖將這種高維、雜訊的數據壓縮成潛在向量空間來進行預測。SCGPT 和 GenFormer 等 Transformer 模型將每個細胞視為「句子」，基因視為「詞」，使用掩蔽預測的方式學習基因間的關係。但這種壓縮方法有個致命弱點：當資訊被壓縮時，大量細微的生物學特徵會被丟棄。實驗表明，這些訓練成本高昂的複雜模型，效能反而不如簡單的線性回歸。NeurIPS 的綜合基準測試論文（Estigenoscope、Perterbench）已確認了這一現象在多模態與擾動響應建模上的普遍性。
相比之下，PrimeFlow 等分布匹配模型採取了不同的策略：不是試圖理解並壓縮數據，而是直接學習預測數據的分布。這種方法更符合單細胞生物學的本質，因為細胞的異質性本身就是一種分布現象。PrimeFlow 能更準確地匹配真實數據分布，而傳統 Transformer 和自編碼機往往只預測平均值。若要讓這類模型具有真正的泛化能力，關鍵在於大規模高質量數據的積累，以及改進測量技術本身，使數據更真實地反映生物現象，而非單純追求數據量。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
