KeyFrame內部研究專用

Turn 10,994 Notes Into Memory - Paul Iusztin, Decoding AI & Louis-François Bouchard, Towards AI

AI Engineer·6月26日週五·39 min英文

三句話摘要

如何建立個人化AI研究作業系統,用活態Wiki和檔案系統連接第二大腦與智能代理 用檔案驅動的活態Wiki讓AI代理持久復用你的研究積累,是破解大規模知識管理和深度多輪研究的關鍵。 現有AI工具的根本限制在於無法持久化個人研究。ChatGPT、Claude等每次對話都丟失上下文,即便同樣的PDF和筆記下次還要重新提供。這阻斷了跨項目的知識復用和多輪深度研究的延續性。

重點整理

重點
  • 1

    現有AI工具的根本限制在於無法持久化個人研究。ChatGPT、Claude等每次對話都丟失上下文,即便同樣的PDF和筆記下次還要重新提供。這阻斷了跨項目的知識復用和多輪深度研究的延續性。

  • 2

    系統經歷三代演進。第一版輸入主題+手選黃金連結,通過多agent並行搜索產出靜態MD檔。第二版轉向個人第二大腦(Obsidian、Readwise等),無需手選就能自動蒐集相關資源。第三版加入Wiki層——不再是靜態快照,而是活態知識圖,每次查詢都會自動衍生新的概念、比較、實體筆記。

  • 3

    檔案優先設計大幅降低複雜度。採用Index.yml作統一入口(包含所有來源摘要和元資料),代理通過三層梯級查詢:先檢視摘要→再查Wiki概念/實體/比較→最後才讀完整原始文件。這個設計極大節省Token消耗,同時所有內容人可檢查、可編輯。

  • 4

    多源整合能力強。系統可自動爬取Obsidian個人筆記、Readwise高亮筆記、Notebook LM、GitHub程式碼倉庫、YouTube影片逐字稿、自訂URL等,深度研究演算法會多輪並行從你的第二大腦和公網同時蒐集資料。

實用技巧與重點

乾貨
  • 規模參考:Paul的Obsidian 5000筆記+Readwise 5000筆記,每月增長250檔案
  • 專案名稱:AI Research OS Workshop Repository(開源)
  • 深度研究參數配置:
  • Light級:1輪,每輪3查詢
  • Fast級:2輪,每輪3查詢
  • Deep級:更多輪次(具體數字未明確指出)
  • 執行時長:10–20分鐘
  • 結果規模:6輪查詢約產出40–50個連結
  • 三層檔案結構:
  • /raw:原始不可變資料
  • /wiki:LLM衍生內容(comparisons、concepts、entities、source summaries、open questions)
  • Index.yml:索引入口點
  • 支援資料來源:Obsidian、Readwise、Notebook LM、GitHub repo、YouTube、Google Drive、Notion、自訂URL、Slack(計畫中)
  • 筆記組織方法:PARA法(Projects、Areas、Resources、Archive)
  • 排名演算法:將每個來源與初始主題比對,提取高訊號資訊
  • 擴展學習:Agent Engineering課程,60小時完成,含類似多代理深度研究系統的實作
  • 核心選擇:不用向量數據庫、知識圖譜、語義搜尋,改用純檔案系統和引用機制

結論

結論

用檔案驅動的活態Wiki讓AI代理持久復用你的研究積累,是破解大規模知識管理和深度多輪研究的關鍵。

完整解析

詳細

Paul和Luis共同面臨一個知識焦慮:龐大的第二大腦(Paul跨Obsidian和Readwise共10000筆筆記,Luis則分散在Obsidian、會議軟體、手機備忘錄等)在實際工作中卻形同虛設。每當啟動新文章、新影片或新課程時,他們必須手動搜尋相關筆記,或在ChatGPT、Claude等工具中反覆貼上相同PDF和連結。換個對話,這些精心蒐集的資料就全部遺失。最要命的是,系統無法反映他們的個人價值觀和思維脈絡——它只是通用的、無感的。

他們著手設計了一套進化式系統。第一代方案是深度研究流程:給定主題和手工挑選的「黃金連結」,系統啟動一個主編排agent生成多個相關問題,再由多個worker agent分別搜索Google(用Gemini驅動),每個agent收集多個資源並生成摘要,最後編排agent聚合所有資訊做排名篩選。這一版用於課程教材開發時效率驚人——35堂課快速生成。但每份產出都是孤立的MD快照,無法交叉復用。

第二版的洞察是:何不把搜索範圍擴大到個人第二大腦?黃金連結不用手選,它們應該是個人資料庫的有機累積。系統改為輸入主題,自動檢索Obsidian(個人筆記)、Readwise(保存的高亮)、Notebook LM、GitHub等。深度研究演算法保持不變,只是數據源從單純的公網擴展到第二大腦+公網。這解決了個性化問題,但仍然產出靜態文件。

第三版引入Wiki層是關鍵突破。系統不再產出單一MD檔案。相反,它首先將所有抓取的原始內容保存到/raw資料夾(immutable),為每個來源自動生成executive summary存入/wiki/sources。然後——這是神奇之處——LLM會自動從這堆資料中提煉高階衍生物:comparisons(如「agentic RAG vs 檔案系統」),concepts(agent loop、context compaction、memory systems等),entities(OpenCode、MCP等)。所有這些都被串聯起來形成一個活態知識圖。

查詢設計極其精妙。當提出問題時,代理首先讀Index.yml,查看摘要和元資料——許多淺層問題就此解決,零成本。如果找不著答案,就進階讀source wiki pages(每個來源的擴展摘要)。還是不夠就查相關的concepts、comparisons、entities衍生頁面。只有必要時才讀完整的原始文件。這個三層梯級設計使得99%的查詢都不需要碰到原始內容,Token消耗驚人地低。

最美妙的是Wiki活態特性。每一次提問都留下蹤跡。系統可能自動創建新的概念筆記、比較、實體筆記。這反映了使用者思維的演進、遺漏的問題、未理解的地帶。整個系統因使用而變得更加個性化和豐富。同時,因為完全基於檔案和引用,沒有向量數據庫、沒有黑盒,所有內容透明可檢查。

實戰演示涵蓋三個場景。場景一:針對agentic engineering文章,提供已有筆記和參考連結,執行light級深度研究(1輪3查詢),10–20分鐘內遍歷個人庫和公網,自動抽出agent loop、context compaction等核心概念和比較。場景二:直接輸入三個GitHub倉庫(OpenCode、Pydantic Agent Framework、Hermes),系統克隆並分析代碼架構,生成各倉庫層次的理解筆記和跨倉庫架構對比。場景三最簡單——只需三個URL連結,無需預先設置任何工具。完成後都能在Obsidian中視覺化為知識圖。

目前系統仍在完善中。待辦項包括更多連接器(Google Drive、Slack等)、更好的來源信任度判斷、進階記憶壓縮。但核心已經成熟——它示範了如何用簡單的檔案系統架構解決複雜的長期記憶和知識復用問題。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。