Autonomous Agents for Scientific Tasks - Sina Shahandeh, Radicait
三句話摘要
介紹如何通過問題分解與層級結構，提升 AI 編碼智能體在開放式科學任務中的假設生成能力。 透過層級結構化分解問題，融入多模態與協作智能體，能突破 AI 編碼智能體的假設生成瓶頸，大幅提升開放式科學任務的迭代質量。 AI 編碼智能體的飽和瓶頸：標準編碼智能體在開放式科學問題上容易陷入極值，耗盡想法後無法自主提出新假設。相比人類研究者能持續迭代改進，AI 代理主要受限於「研究品味」——即生成有創意假設的能力。
重點整理
重點- 1
AI 編碼智能體的飽和瓶頸：標準編碼智能體在開放式科學問題上容易陷入極值，耗盡想法後無法自主提出新假設。相比人類研究者能持續迭代改進，AI 代理主要受限於「研究品味」——即生成有創意假設的能力。
- 2
層級結構化分解的作用：將複雜科學問題明確分解為多層子組件（數據、架構、損失、指標、腳本），使智能體逐層思考而非盲目搜索。這種方法類似於鏈式思維，但應用於問題空間的整體架構，讓代理在每個組件層級上生成多個改進方案。
- 3
多模態與協作智能體的強化作用：引入多模態模型（Gemini）進行影像審視品質控制，採用更強推理能力模型（o1 pro）進行假設生成與批判性審視，形成協作式與對抗式的檢驗機制，顯著提升迴圈品質。
- 4
當前與未來的瓶頸：眼下最大的限制是多模態模型對科學影像的理解能力不足，無法識別微細的科學特徵；其次是假設強度的改進空間。隨著基礎模型進化與後訓練改進，這類顯式分解技巧的必要性會逐漸降低。
實用技巧與重點
乾貨- 案例 1：CT-PET 掃描翻譯
- 初始模型訓練耗時：2.5 天
- 架構類型：Encoder-Decoder（GAN 型）
- 輸入方式：CT 掃描切片作為通道堆疊的 2D 卷積
- 改進方向：轉換為 3D 卷積
- 應用：肺部腫瘤檢測（CT 掃描推導 PET 代謝活動）
- 案例 2：影像配準
- 問題：不同時間掃描的 CT 和 PET 影像對齐
- 挑戰：呼吸運動、器官位置變化、掃描儀差異
- 涉及指標：定量與定性並存，失敗原因多樣
- 層級結構組件
- 數據準備
- 核心架構
- 訓練損失函數
- 操作與部署流程
- 評估指標與證據
- 執行腳本
- 使用的 AI 模型與工具
- 多模態審視：Gemini
- 假設生成與批判：o1 pro（提供更大的測試時間計算）
- 工具：Claude Opus CLI、OpenAI API、Peter Steinberger 的 Oracle CLI
結論
結論“透過層級結構化分解問題，融入多模態與協作智能體，能突破 AI 編碼智能體的假設生成瓶頸，大幅提升開放式科學任務的迭代質量。”
完整解析
詳細演講者 Sina Shahandei 從自動研究（Auto Research）的成功與局限開始。編碼智能體在有明確目標的最佳化任務中表現良好，例如 Andrej Karpathy 的經典示例透過智能體定義矩陣並最小化誤差，實現爬山式優化。但當問題變得開放式、時間跨度長（如真實科學研究）時，AI 代理通常會在某階段飽和——它們不再能提出新想法或「有品味的」假設。而優秀的人類研究者卻能持續提出創新方向。
在 Rad-iKate 的實際案例中，科學目標是透過機器學習將 CT 掃描翻譯成 PET 掃描，用於肺癌檢測。初始設計採用 Encoder-Decoder 架構，將 CT 切片視作通道堆疊的 2D 卷積輸入，訓練耗時 2.5 天。標準的編碼智能體無法自主提出激進改變（如 3D 卷積），只會在已知的超參數空間內調整。
演講者的核心解決方案是「層級結構化分解」。他首先要求 AI 明確將整個問題分解為子組件：數據準備、模型架構、訓練損失、評估指標、操作腳本等，並為每個層級生成文檔。然後，在改進迴圈中，系統不再提出單一目標「優化這個過程」，而是說「基於你理解的這個層級結構，為每個組件生成改進想法」。這使得智能體從盲目搜索擴展到有根據的、結構化的改進——從而產生 100 多個不同的解決方案，包括原本不會想到的激進改變。
在影像配準案例中，演講者進一步展示如何在迴圈中融入多個 AI 角色：用 Gemini 進行多模態影像審視（判斷掩膜是否正確應用、掃描是否正確裁剪），用 o1 pro 進行假設生成與批判性評估（「這個改進真的有效嗎？接下來該做什麼？」）。這種協作式和對抗式的設計顯著改進了迴圈品質。
演講者總結了實現完全自主科學研究的關鍵瓶頸：(1) 多模態模型對科學影像的理解遠不足夠，缺乏對細微特徵的識別能力；(2) 假設強度需要改進。隨著更好的基礎模型和後訓練方法發展，顯式的問題分解可能變得不必要，但在當下，層級化分解是有效擴展測試時間計算、推動科學發現迴圈的務實方法。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
