KeyFrame內部研究專用

🔬The BioAI Phase Shift - Matthew McPartlon & Neil Patil, Chai Discovery

Latent Space·8月11日週二·95 min英文

三句話摘要

AI蛋白質設計公司Chai如何透過精準工程將藥物發現從實驗轉化為可規模化的工程問題。 Chai從幸運猜測進化為精準工程的故事,關鍵不是模型一夜成功,而是工程紀律、跨領域協作與耐心驗證讓AI設計的蛋白質真的能在現實中工作。 傳統vs精準設計的經濟學改變

重點整理

重點
  • 1

    傳統vs精準設計的經濟學改變

  • 2

    傳統抗體發現依賴免疫化、酵母展示等方法,需篩選數十億分子才能得到命中,但對命中的特性一無所知。Chai的設計模型不只加快速度,更重要的是解鎖過去無法做的功能——如GPCR精准激動、多特異性抗體、抗體藥物結合體等——這些才是真正改變遊戲規則的新療法模式。

  • 3

    從瀑布流到敏捷迭代的工程轉變

  • 4

    藥物發現傳統上是靠時間與成本極高的序列門檻(目標發現→命中發現→優化各要數月到數年),Chai的高品質設計模型正在改變成類似軟體開發的快速反饋迴圈——實驗室驗證從月級變周級,能容許更多假設測試與迭代。

  • 5

    精密工程學科化的基礎是跨領域深度合作

  • 6

    Chai內部網羅了ML科學家、AI生物學家、實驗室科學家(包括Baker Lab出身的頂級結構生物學家)與工程師,用科學嚴謹性測試模型邊界、選擇驗證指標、同時向合作藥廠學習真實需求。單純堆模型不夠,產品UI設計(Photoshop式設計套件、epitope繪製工具)與基礎設施成熟度才是限制因素。

實用技巧與重點

乾貨
  • 模型與性能數據
  • Chai1:結構預測模型,採用tokenizer + transformer + diffusion架構
  • Chai2:所有原子擴散設計模型,50目標測試命中率50%(平均~20%結合率)
  • Chai3:改進後代,主攻未解決的25個目標與治療級別親和力
  • Chai2與独立AlphaFold驗證的結合:實驗結構與預測結構偏差0.33埃(一個原子寬度的1/3)
  • 合作夥伴
  • Eli Lilly、Pfizer、Novartis、Amgen
  • 平台設計類比
  • Autodesk/Solidworks/Figma級別的UI,具備:
  • Paint工具(epitope靶點繪製)
  • Content-aware fill(綁定者AI生成)
  • 科學分析模組
  • 核心技術與概念
  • MSA(多序列比對):演化保守性編碼3D鄰近性資訊
  • 反向摺疊(Inverse folding):給定3D結構預測序列
  • 交叉反應性設計:同時結合人類與非人類(如猴)目標蛋白變體
  • 選擇性設計:設計僅結合目標、避免結合相似蛋白
  • 基礎設施與工程挑戰
  • 計算瓶頸:Chai1型注意力機制在成對表示上運行(L²序列長度),實際運算為L³複雜度
  • 使用Temporal框架做耐久執行(durable execution),管理分佈式計算的重試與隊列邏輯,避免「重試地獄」
  • 計算市場LLM偏差:H100/B300系統針對LLM優化,對結構模型的稀疏通信與高計算密度支持不足
  • 資料解析問題:生物學領域檔案格式缺乏標準化,NMR、Cryo-EM等實驗方法產生多個結構副本,需要工程化處理
  • 驗證與質量指標
  • 自洽性檢驗:序列與結構經獨立模型(AlphaFold)再預測,若一致性高則信心增加
  • 置信度校準:使用模型輸出的预測不确定性作為篩選依據
  • 多樣性檢查:防止模型退化為生成單一重複序列
  • 溼實驗驗證:與CRO(合同研究機構)合作從周級反饋迴圈驗證

結論

結論

Chai從幸運猜測進化為精準工程的故事,關鍵不是模型一夜成功,而是工程紀律、跨領域協作與耐心驗證讓AI設計的蛋白質真的能在現實中工作。

完整解析

詳細

Chai Discovery的故事始於2023年Alpha Fold 3發布後一個關鍵決策。當時公司僅五人規模,聯合創始人意識到若要建立企業級藥物發現平台,必須先掌握支撐模型的工程基礎設施。他們決定開源實現Chai1(結構預測模型),目的不只是貢獻社區,更是通過這個「有具體目標的強制函數」快速累積生產級基礎設施經驗。這段時間團隊就坐在OpenAI辦公室裡,OpenAI甚至共同領導了他們的種子輪融資。

此時的背景是蛋白質設計領域正處於轉折點。AlphaFold 2多聚體版本剛問世一年,逆向摺疊技術開始在實驗中驗證有效,Baker Lab等研究機構做了充分的濕實驗驗證。Chai的創始人Josh當年在Meta參與ESM論文工作,看到了可擴展性規律的早期信號——他們賭上了「模型會變好到足以設計新蛋白質」這個假設,這在當時相當大膽。

真正的突破是Chai2模型的推出。與Chai1只能預測給定序列的結構不同,Chai2採用全原子擴散架構,能同時協同設計序列與結構。這看似簡單,實際上是個雙向耦合問題:模型必須考慮「如果我改變這個結構位置,對應的序列應該如何變?」這需要模型有足夠的思考時間去迭代調和結構-序列的自洽性。為驗證可行性,公司設置了大膽的「五十個目標抗體設計挑戰」,結果在約50%的目標上成功獲得命中。這沒有僅做一兩個案例的小把戲,而是真實統計驗證,直接打動了大藥廠。

為什麼這個成果如此關鍵?傳統方法中,一個藥廠團隊用免疫化或酵母展示篩選抗體,可能要搜索數十億候選才能找到一個有用的結合者,而且得不到對結合位置的精確控制。Chai改變了這個遊戲:科學家可以說「我要結合這個特定上表位區域」,模型給出答案後還能視覺化驗證結合姿態是否如預期。更進一步,這種精準性開啟了過去無法做的設計——不只是阻斷,還能做GPCR激動、多特異性抗體、抗體藥物結合體等高級模式。這不是加快舊工作的速度,而是解鎖了整個新藥物模式的可能性。

產品層面同樣重要。一開始團隊考慮在模型周圍套個聊天機器人,但意識到結構生物學的核心需求是視覺化。最終產品看起來更像Figma或Solidworks——科學家能載入分子、用paint工具框出靶位點、模型用類似content-aware fill的方式填充候選、然後分析結果。這聽起來簡單,實際上涉及文件格式標準化、NMR與Cryo-EM多結構副本處理、信心度校準、選擇性約束等複雜工程問題。

大藥廠的採用要素不是熱情而是實證。Chai與Eli Lilly、Pfizer、Novartis、Amgen的合作模式也很獨特:Chai定位為「中立軟體工廠」而非自己開發藥物。這需要極度認真的安全與IP隔離設計——每個客戶幾乎是一個獨立部署的產品實例,確保一家藥廠的機密不會洩漏到另一家。

但真正的瓶頸不在模型,而在工程基礎設施。Chai1的注意力機制在成對表示上運作,序列長度L被當作L²處理,實際運算複雜度是L³。這意味著即使Layer Norm這樣簡單的操作也成為顯著計算開銷。Neil團隊花大量時間優化GPU級別的操作、跨GPU集群的計算編排、以及最關鍵的「耐久執行」框架。他們採用Temporal這類工具來管理分佈式計算中的隊列、重試與監控,避免陷入傳統的「重試地獄」——在沒有成熟框架下,95%的工程時間會被耗在處理flaky基礎設施上。

還有一個常被忽視但深刻的挑戰:計算市場本身已被LLM「meme pilled」。H100、B300等最新晶片系統針對LLM的大KV快取與密集通信優化,但結構模型有不同的計算-記憶頻寬比與稀疏通信模式。Chai自己花時間做基礎優化,同時指出整個AI硬體產業可能正在忽視一個同樣龐大的領域。

最後是驗證與迭代文化。Chai雇用了來自Baker Lab的頂級結構生物學家,他們最初對AI生成的蛋白質持懷疑態度。但一旦Chai2結果出爐,他們轉向「bulletproofing」模式——確保所有結果都經得起嚴格檢驗。內部會跑獨立的AlphaFold預測來校驗設計、測量結構一致性、評估多樣性以防模型退化。實驗反饋從月級縮短到周級,形成真正的快速研發迴圈。一次,團隊用Cryo-EM驗證預測結構,發現誤差只有0.33埃——小到他們懷疑自己收到的是原始設計的反射影像。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。