KeyFrame內部研究專用

🔬Bio-security is an AI Arms Race - Eric Nguyen (CEO, Radical Numerics)

Latent Space91 min英文
觀看原始影片

三句話摘要

DNA語言模型如何實現序列設計與防禦:從Evo到Omni的生物AI進展與雙重使命 DNA語言模型的對齐訓練與防禦能力投資,既加速了生物科學發現,也承諾在不斷升級的生物安全軍備競賽中維持防禦進度。 對齐訓練的轉折:Evo模型雖然能生成序列卻未針對實際應用優化,Omni透過中期訓練引入結構化問答格式與特殊Token,讓基礎預訓練能力指向具體科學任務。模型無需為每個應用單獨微調下游頭部層,開箱即用即可處理多個任務。

重點整理

  1. 對齐訓練的轉折:Evo模型雖然能生成序列卻未針對實際應用優化,Omni透過中期訓練引入結構化問答格式與特殊Token,讓基礎預訓練能力指向具體科學任務。模型無需為每個應用單獨微調下游頭部層,開箱即用即可處理多個任務。

  2. 非編碼區變異預測的突破:人類基因組99%的變異集中在調控非編碼區,但傳統工具只檢視編碼區(佔比1-2%)。Omni透過無監督預訓練學習進化約束,知道什麼序列常見(健康)什麼罕見(可能病原性),用似然比評分超越CADD等前代SOTA模型,尤其在長程調控效應上改進顯著。

  3. 防禦與設計的雙重使命:好的生成模型也能判別病原體,團隊同步開發檢測、溯源、對策工具。這不是一次解決所有問題,而是承認攻防軍備竞賽的持續動態——設計能力會升級,防禦必須追趕,目標是縮小防禦侧的長期落差。

  4. 鏈式思維在生物設計中的應用:透過展示漸進更優的RNA序列及其適應度分數,模型學會自我最佳化的軌跡,能生成未見過的高分序列。這個範式擴展到任何含有「序列+適應度指標」的生物設計任務——CRISPR、抗菌噬菌體、礦物結合蛋白等。

實用技巧與重點

  • 模型演進
  • Hyena DNA:100萬bp上下文,卷積算子替代自注意力
  • Evo:第一代生成基因組學模型,多模態設計(DNA→RNA→蛋白質)
  • Evo2:更大規模,但在人類基因組應用上次於專家模型
  • Omni:200萬bp上下文,對齐訓練實現多任務SOTA
  • 應用成果
  • CRISPR-Cas系統:Evo生成新型系統(Science封面)
  • 噬菌體基因組:Evo從零生成功能性病原體基因組
  • RNA適配子:模型在實驗驗證中能預測高適應度序列
  • 稀土礦物結合蛋白:與國家實驗室合作設計選擇性結合蛋白
  • 變異預測基準
  • 基準資料庫:ClinVar、TraitGym、RNA Gym
  • 對標方法:CADD(前代SOTA,集成多個模型),Bordsoli(監督多模態模型)
  • 優勢區間:非編碼區長程調控(傳統工具弱點)vs編碼區
  • 對齐技術
  • 特殊Token標記任務類型
  • 問答問式化(Chain-of-Thought格式)
  • 中期訓練注入結構化任務與示例
  • 無需微調回歸頭,出廠設定多任務
  • 生物防禦三支柱
  • 檢測:DNA和功能層級偵測病原體(環境監控、機場篩檢)
  • 溯源:判斷序列來源(天然/工程/特定國家實驗室)
  • 對策:開發抗病毒藥或抗菌藥物
  • 防禦挑戰
  • DNA合酶公司:按訂單製造序列,需內建檢測工具
  • 序列對抗(Paraphrasing):改變字母保持功能,繞過序列匹配
  • 功能感知檢測:在模型學到的流形上檢測相似功能
  • 技術創新
  • 狀態空間模型與GPU核心優化用於長上下文
  • 多頭vs單頭:傾向單頭以實現跨模態涌現能力
  • 機制解釋方向:分析激活與嵌入,提取GC含量、轉錄因子基序等特徵
  • 長上下文歷史
  • 2022-2023年前長上下文被視為「瘋狂」想法
  • PhD階段研究長上下文核心,發現DNA處理需求被低估
  • Hyena論文突破,後續工作聚焦GPU核心設計而非堆砌參數

結論

DNA語言模型的對齐訓練與防禦能力投資,既加速了生物科學發現,也承諾在不斷升級的生物安全軍備競賽中維持防禦進度。

完整解析

Eric Gwynn在Stanford博士期間研究長上下文語言模型,與實驗室同儕Michael Pauley開發了Hyena卷積架構。他們提出了一個關鍵洞察:如果模型能高效處理超長序列,那麼DNA會是最自然也最有價值的應用領域。當時生物學社區慣用的模型只能處理1,000-2,000個鹼基對,遠不足以理解人類基因轉錄本(約3,000 bp)或人類基因組(30億 bp)。

Hyena DNA突破這個限制,達到100萬鹼基對的上下文。這讓模型首次能夠捕捉長程調控交互作用——即基因組中距離遠的區域如何協作影響功能。隨後開發的Evo模型進一步添加了生成能力。Evo不僅能讀取和理解DNA,還能設計新序列。實驗結果超乎預期:Evo設計的CRISPR-Cas系統在實驗室得到驗證,甚至從零生成的噬菌體基因組具有完整功能。這些成就登上Science雜誌封面,但也引發了學術界對生物風險的警惕。

然而Evo和Evo2面臨一個實用性問題:在預測人類基因變異致病性等現實應用中,它們不如專業模型表現好。Eric團隊的洞察是:基礎模型經過預訓練後需要對齐(alignment)——即指導模型針對特定科學任務輸出有用結果。這啟發了Omni的設計。Omni引入中期訓練和後期訓練階段,不再依賴簡單的下一個Token預測,而是採用結構化的問答格式。模型學會根據特殊Token理解任務類型,根據示例理解期望輸出風格。例如,變異效應預測任務會用特定Token標記,並展示多個問答對;設計任務則用另一套Token和示例。這種方法讓單一模型在多個任務上都能達到最優性能。

在變異效應預測上,Omni的突破特別顯著。人類基因組中絕大多數變異無害,但某些位置的單個鹼基改變會導致疾病。科學家只知道一小部分致病變異。傳統工具使用簡單啟發式(罕見變異可能有害)或只關注編碼區,但臨床證據顯示大多數疾病相關變異實際上在調控非編碼區。Omni的優勢來自其預訓練——模型見過海量人類DNA,理解什麼序列常見(通常更健康),什麼序列罕見(可能病原性)。透過計算野生型vs變異型的模型似然比,判斷該變異與正常差異有多大。特別重要的是,Omni在長程調控區域(傳統工具的弱點)表現遠超前代方法。

除診斷外,團隊也展示了生成能力。在RNA適配子優化實驗中,他們用包含數萬RNA序列及適應度分數的資料集訓練模型。訓練方式是展示漸進更優的序列——低適應度RNA序列開始,逐步升級到高適應度序列,最後請模型繼續此軌跡。模型學會了進化邏輯,能生成未見過的高分序列。這個「鏈式思維」思想借鑒自自然語言,但在DNA設計中仍屬前沿。只要有序列和適應度指標,這個方法就能擴展——無論是設計CRISPR系統、抗菌噬菌體,或與國家實驗室合作的稀土礦物結合蛋白。

同時,Eric團隊沒有迴避生物安全議題。他們倡議「雙重使命」——同一團隊既開發設計能力,也開發防禦能力。原因很務實:好的生成模型本質上也擅長判別病原體特徵。DNA合酶公司可以按訂單製造任何序列(如網路購物),但檢測手段主要還是序列資料庫匹配,無法應對設計意圖的變異。更危險的是功能對抗——設計者能刻意改變序列拼寫但保持功能(如Microsoft的研究所示),傳統檢測工具會完全失效。Omni的防禦應用分三層:環境監控(機場、污水取樣)檢測病原體,溯源判斷其來源,開發對策(新藥物)。Eric坦誠這不是完美防線,而是承認攻防軍備競賽的持續動態——設計能力必然升級,防禦也必須追趕,目標是縮小防禦侧長期落後的差距。

最後,機制解釋(mechanistic interpretability)正成為新研究方向。團隊試圖分析模型激活與嵌入,理解模型內部的表示。初步發現包括GC含量識別、轉錄因子基序、調控模式等,但終極目標是「映射疾病流形」——理解疾病在模型內部空間中如何結構化。由於DNA只是生物訊息的一個傳感器,團隊計畫融合蛋白質、RNA、表觀基因組、代謝物等多模態,從DNA這個「生命的藍圖」出發理解整個生物系統。

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資