KeyFrame內部研究專用

Why Agentic Systems Need Ontologies — Frank Coyle, UC Berkeley

AI Engineer·7月23日週四·21 min英文

三句話摘要

利用本體論(Ontology)為 AI 智能體(Agent)設置約束與護欄,實現安全的神經符號人工智慧系統。 本體論與 Agent 結合是實現可信 AI 的核心,透過形式化約束與推理將 LLM 的創造力與符號 AI 的嚴謹性統一。 Agent 循環是現代 AI 實現的基礎,透過 while true 迴圈不斷調用 LLM、檢查停止原因、執行工具、驗證結果,但迴圈會增加代幣成本與失控風險。

重點整理

重點
  • 1

    Agent 循環是現代 AI 實現的基礎,透過 while true 迴圈不斷調用 LLM、檢查停止原因、執行工具、驗證結果,但迴圈會增加代幣成本與失控風險。

  • 2

    本體論不是新概念,而是將實體、屬性和關係形式化表示的知識結構,圖資料庫相比關係資料庫的優勢在於能靈活新增屬性與關係,無需重構整體架構。

  • 3

    神經符號 AI 是主要趨勢,結合 LLM 的創造力與本體論的嚴謹性,用 RDFS 的域/值域推理與 OWL 的功能特性來約束 LLM 的輸出,防止幻覺。

  • 4

    建構本體有兩條路徑:自上而下由領域專家設計,或自下而上從實際應用提取,應利用既有標準(schema.org、FOAF、Dublin Core)避免重複工作。

實用技巧與重點

乾貨
  • 歷史與人物
  • AI 術語誕生:1956 年
  • 本體論關鍵人物:亞里士多德、馮·奎因(Von Quine)、格魯伯(1993 年正式化)
  • 專家系統時期:80 年代日本未來世界計劃大投資,後因無法擴展而進入 AI 寒冬
  • 技術與標準
  • 本體論相關技術:RDFS(RDF Schema)、OWL(Web Ontology Language)
  • 現有本體標準:
  • schema.org(完整術語與關係集合)
  • FOAF(朋友的朋友,用於社交網路模型)
  • Dublin Core(描述研究論文、書籍等)
  • DBpedia(維基百科基礎)
  • 驗證工具:Pydantic(輸入參數型別驗證)
  • OWL 推理能力
  • 傳遞性屬性(Transitive Property):祖先關係可向下推導
  • 功能屬性(Functional Property):單一性限制(如只有一個父親)
  • 互不相交屬性(Disjoint Property):實體類別分離
  • 本體論可偵測的錯誤
  • 同一訂單第二次退款
  • 款項發送到客服部門而非買家
  • 虛構數值(如已出貨但無記錄)
  • 狀態值超出預期範圍(只允許:已付款、已發貨、已退款)
  • 聯絡資訊
  • Email:coil@berkly.edu
  • 網站:codesupreme.ai

結論

結論

本體論與 Agent 結合是實現可信 AI 的核心,透過形式化約束與推理將 LLM 的創造力與符號 AI 的嚴謹性統一。

完整解析

詳細

弗蘭克·科伊爾是柏克萊大學教授,從事電腦科學教育超過 30 年。他首先強調教育理念的核心:動手實踐勝於被動學習,手寫筆記比鍵盤輸入更能激活整個大腦與感官系統,因而加快學習速度。

講座核心探討 Agent 與 Ontology 的結合。Agent 的概念源於 1956 年 AI 誕生之初,由約翰·麥卡錫等先驅提出,能夠感知環境、做出決策並採取行動。本體論則源自亞里士多德的存在哲學,現代形式為圖資料庫與知識表示。傳統關係型資料庫面臨結構固定的瓶頸——新增屬性需要重構整個表格;圖資料庫只需附加屬性或關係,這正是本體論的實務優勢。

當代 AI 領域出現「神經符號 AI」的融合趨勢。LLM 本質上是概率性的,容易產生幻覺,但這恰好是神經網路的特性——能想像不存在的事物,然後創造它們。科伊爾主張本體論可作為 LLM 的防護措施,透過形式化約束與推理能力來指導 Agent 行為。在實現上,Agent 循環採用 while true 迴圈,不斷重複:呼叫 LLM、檢查停止原因、執行工具、驗證結果。輸入端用 Pydantic 驗證參數型別,輸出端用本體論驗證結果合理性。

建構本體有兩條路徑:自上而下由領域專家集中設計實體與關係(類似 80 年代專家系統),或自下而上從客戶互動等實務提取。無需重新發明輪子,可直接利用 schema.org、FOAF、Dublin Core 等既有標準。RDFS 與 OWL 提供強大推理能力:傳遞性屬性能推導隱含關係(如「蘇是瑪麗的祖先,瑪麗是安的祖先,則蘇是安的祖先」),功能屬性限制單一性(如「只有一個父親」),互不相交屬性區分實體類別(如客戶與支援代表不能混淆)。這些推理能捕捉純文字邏輯無法發現的錯誤——例如同一訂單被重複退款、款項發送到錯誤部門、或狀態值超出預期範圍。

科伊爾強調關鍵在於用多層檢查機制約束 Agent,建立基於本體的推理器保持 LLM 的誠實性。這種方法既解決了 LLM 的概率性缺陷,又重新引入符號 AI 的嚴謹性,代表 AI 發展的一次重要回歸與融合。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。