KeyFrame內部研究專用

⚡ An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio

Latent Space16 min英文
觀看原始影片

三句話摘要

Leash Bio利用預測的高通量篩選數據建立虛擬沙箱環境,讓AI代理執行結構活性關係研究以發現更好的分子結合劑。 通過虛擬化預測的高通量篩選數據,Leash Bio為AI代理創造了一個支援數萬次規模實驗的科學決策訓練場,同時揭露了先進模型如何透過更優的預算分配與化學空間識別能力超越較弱模型。 Leash Bio將高通量篩選數據轉化為虛擬實驗室環境,讓AI代理在預測的分子空間中以100個分子預算執行任務。這種方式打破了傳統物理實驗室的延遲瓶頸,支持數萬次規模的對比分析與行為研究,相當於實驗室在迴圈的攤銷延遲版本。

重點整理

  1. Leash Bio將高通量篩選數據轉化為虛擬實驗室環境,讓AI代理在預測的分子空間中以100個分子預算執行任務。這種方式打破了傳統物理實驗室的延遲瓶頸,支持數萬次規模的對比分析與行為研究,相當於實驗室在迴圈的攤銷延遲版本。

  2. 結構活性關係是藥物化學的核心——改進現有分子以更好地結合目標蛋白。AI代理以自然語言生成化學假設,在有限預算內測試,展現出不同的搜索策略。關鍵發現是高級模型能更快識別並放棄無效化學空間,這不只是隨機跳躍,而是真正的決策理解。

  3. 前沿大語言模型自2024年初開始習得了SMILES(分子字串表示法)的深度理解能力,展現出對分子物理特性的內化學習。去除分子信息會顯著影響模型決策,證明模型確實在使用化學知識而非表面統計。

  4. 計畫擴展至生物系統——已篩選1,000種蛋白質,目標達到每日20個新環境。重點探索虛擬環境中的強化學習成果是否能轉移到全新生物問題,以及AI如何在有限實驗預算下做出更優的決策。

實用技巧與重點

  • 試驗規模:90,000次
  • SAR任務預算:100分子
  • 模型排名(從優到劣):Claude 3.6 > Sonnet 5.5 > o1 6.1 > DeepSeek (Flash前版本) > GLM、Qwen、Kidney等開源模型 > Sonnet 5(昂貴且性能差)
  • 已篩選蛋白質:1,000個
  • 環境生成目標:從每日2個擴展至20個(預計2027年初達成)
  • 發布物品:預印本論文、數據集、博文、環境硬體包、數千份代理試驗逐字稿
  • 分子表示標準:SMILES(簡化分子行輸入線註記)
  • 開源工具:RDKit(SMILES轉換工具)
  • 歷史背景:Leash曾於2023年對開源模型進行監督微調以支援SMILES處理

結論

通過虛擬化預測的高通量篩選數據,Leash Bio為AI代理創造了一個支援數萬次規模實驗的科學決策訓練場,同時揭露了先進模型如何透過更優的預算分配與化學空間識別能力超越較弱模型。

完整解析

Leash Bio的DNA編碼庫技術能在高通量方式下測量數百萬分子對蛋白質的結合情況。Ian Quigley團隊意識到,這些完全已測量的分子空間可轉化為AI代理的虛擬實驗室。他們將藥物化學中的「結構活性關係」研究(SAR)設計為一個可擴展的代理任務:給定一個具有初步活性的分子和目標蛋白,代理在100個分子的預算限制下尋找更佳結合劑。

代理的工作流程如下:它以自然語言生成關於分子為何有效或無效的假設(例如「這個甲基取代有效」或「這個氮原子有問題」),然後在有限預算內測試這些假設。由於底層數據已完全預測,研究團隊能執行90,000次獨立試驗,對比不同模型的搜索策略與預算分配行為。

核心發現是不同能力層級的模型展現出截然不同的探索模式。較弱模型傾向於在無效的化學領域進行細微迴圈改動,即使預算有限也不願放棄;相比之下,Claude 3.6和Sonnet 5.5等高級模型能更快地認識到某個領域無效並主動轉向其他區域。這不僅是隨機跳躍的增加,而是真正的決策理解——模型識別出「這條路走不通」並果斷改變方向。

另一個關鍵進展是前沿模型近期習得了對分子SMILES標記法(將分子結構編碼為字串)的深度理解。直到2024年初,主要商業模型都無法有效處理SMILES轉換;Leash曾需要對開源模型進行監督微調才能達成此目標。但最新模型版本開始內化分子的物理特性,這表明它們進行了真正的化學學習。測試也證實,去除分子信息會顯著影響模型決策品質,說明模型確實在使用化學知識而非表面統計。

展望未來,Leash計畫將此方法擴展至更廣泛的生物學問題。他們已篩選1,000種蛋白質,目標在2027年初前達到每日20個新環境的生成速度。這個方向的核心優勢在於「攤銷延遲」——在實體實驗室執行一次高通量測量後,可虛擬地進行數萬次規模的對比分析,遠快於傳統的反覆實驗迴圈。雖然虛擬環境受限於初始測量的範圍,但仍提供足夠廣大的化學空間供探索。最深遠的問題是:在這些虛擬環境中通過強化學習習得的決策技能,是否能轉移到全新的生物系統與實驗條件中?

83 min
企業管理英文PODCAST11月19日

Scaling Linear’s GTM to $100M ARR — Cristina Cordova, COO

Latent Space看原片 ↗
  • 議題追蹤已死的真正含義:不是issue單位消失,而是人類應停止手動追蹤工作。Linear著重構建AI友善的系統,讓代理自動執行原本由人工完成的繁瑣步驟(標籤、指派、狀態更新),讓工程師和PM把時間花在產品開發上。
  • 務實的市場階梯策略:Linear沒有直接攻擊企業市場,而是先聚焦成長期公司—那些已有既有工具但可被說服轉換的組織。唯有成功說服這個客群,才有信心向上攻擊企業。這個策略花了兩年時間,直到2025年才正式啟動企業銷售部門。
98 min
AI 技術英文PODCAST11月16日

Building Visual Intelligence — Andreas Blattmann & Dustin Podell, Black Forest Labs

Latent Space看原片 ↗
  • 從研究到商業的轉折點:穩定擴散2022年開源不僅改變了講者個人的職涯軌跡,也啟發整個社群。Dustin因此辭職投身AI,Andy看到了基礎模型產業化的可能性,這股動能直接催生Black Forest Labs的創辦。
  • 資料品質優於複雜算法:整個採訪反覆強調資料的重要性。從SDXL的多寬度訓練、SD3的文字渲染,到Flux Context的編輯能力,關鍵都不在算法創新而在精心設計的資料集。Dustin在法國小屋用6小時訓練測試集就看到編輯能力湧現,說明好資