KeyFrame內部研究專用

Beyond the Harness: A Journey Towards Adaptative Engineering - Rajiv Chandegra, Annicha Labs

AI Engineer·7月7日週二·37 min英文

三句話摘要

從固定工程框架走向適應性工程:一個為 AI 在真實世界中自我組織的新設計哲學。 當 AI 從沙盒進入真實世界時,固定工程框架將不再是瓶頸,決定成功的將是系統的適應性——通過智能體之間的去中心化協調而產生的涌現智能。 固定工程框架的局限

重點整理

重點
  • 1

    固定工程框架的局限

  • 2

    當前 AI 工程採用工廠模式(如 Claude Code、Cursor 等工具)──工程師在運行前就預先定義所有角色、工具、流程和順序。這種方式在複雜度固定、問題明確的場景中表現優異,但當 AI 系統進入真實世界時(多個行動者、多機構、與物理環境互動),固定框架因無法應對動態變化而變得越來越脆弱。

  • 3

    複雜問題需要複雜系統思維

  • 4

    講者區分了「複雜問題」和「複雜系統問題」。複雜系統(如鳥群、市場、組織)的特性是部分之間不斷互動和適應,整體無法通過分析個別部分推導出來。現代工程最常見的錯誤是把複雜問題當成複雜系統問題來處理,導致設計失敗。應對複雜系統需要「探針-感應-回應」,而非「分析-計畫-預測」。

  • 5

    涌現和自組織的力量

  • 6

    在系統關係和本地互動中,新的秩序會自然涌現。沒有單一部分包含這個整體特性(如水的濕潤特性不存在於氧或氫分子中,卻出現在它們的結合中)。適應性工程利用這一原理,讓智能體通過簡單的本地規則互動,產生複雜的協調行為,而工程師無需提前設計。

  • 7

    工程師角色的轉變

  • 8

    在適應性工程中,工程師不是廢除角色,而是重新定位它。工程師設計約束條件和遊戲規則(如耦合速率、獎勵機制、護欄限制),而不是預先決定結果。系統在運行中自我組織,工程師則通過「感應和回應」來引導這個過程,而非完全控制它。

實用技巧與重點

乾貨
  • 現有工程框架類型
  • CLI 工具:Claude Code、Codex、Pi
  • IDE:Cursor
  • 多智能體編排:Langchain、Hermes、Klein、Goose
  • 固定工程的特性
  • 優點:可靠性、可審計性、線性因果追溯
  • 組成:系統提示詞、代理角色、工具調用、工程迴圈
  • 適用於:問題明確、複雜但非複雜系統的場景
  • 複雜系統的三要素
  • 多樣化智能體(非克隆,相互不同)
  • 本地互動(每個行動者只與相鄰的互動,無全局視野)
  • 遞迴學習和適應(智能體適應彼此和環境的結果)
  • 適應性工程可調整的參數
  • 耦合速率:智能體互動頻率
  • 獎勵與成本:向特定目標驅動或施加護欄
  • 控制層級:開放智能體能力 vs. 施加治理
  • 系統感應:監測和回應涌現秩序
  • 涌現過程的演化階段
  • 初期:零星交互
  • 連接增加:耦合逐漸建立,平均每個智能體連接一次
  • 系統出現:整體秩序開始浮現
  • 專門化:智能體根據環境反饋分化出差異化角色
  • 聚類:形成工作良好的子群體
  • 規範結晶:涌現出共享協議和治理機制(無中央權威)
  • 動態重構:環境變化時系統自我調整結構
  • 失敗風險
  • 穩定陷阱:系統陷入局部最優而非全局最優
  • 單一文化:訓練數據相同導致多樣性不足
  • 可解釋性喪失:適應性越高,越難精確解釋
  • 無法預測:運行時系統不斷變化

結論

結論

當 AI 從沙盒進入真實世界時,固定工程框架將不再是瓶頸,決定成功的將是系統的適應性——通過智能體之間的去中心化協調而產生的涌現智能。

完整解析

詳細

Rajiv 醫生首先梳理了當前 AI 工程的主流範式——使用固定工程框架(工廠模式)來指導智能體。所有工具(Claude Code、Cursor 等)都在運行前預先定義系統提示詞、代理角色、工具能力和工作流序列。這種方法極為有效且可靠,因為每個輸入都會產生可預測的輸出,且整個過程完全可審計——如果出現問題,可以追溯到具體的配置改變。

然而,講者指出了這種方法的根本局限:它基於一個錯誤假設,即世界是由穩定零件組成的。這適用於傳統軟件工程,但當 AI 系統進入真實世界時——與多個行動者、不同機構互動,並觸及物理環境——這個假設就會崩潰。真實世界是動態的、複雜的、充滿不斷變化的關係網絡。

講者從系統論的角度重新定義了這個問題。與還原主義不同,系統思維強調關係和流程優於孤立的部分。一個看似穩定的物體(如火焰)實際上是被持續的過程維持的模式。一旦停止過程,「物體」就不存在了。這個視角帶來了涌現的洞見:簡單的本地規則通過相互作用,產生無法通過分析個別部分預測的新層級秩序。例如,鳥群不是預先設計的,而是每隻鳥遵循三個簡單規則(與鄰近者對齊、避免碰撞、保持接近)產生的涌現結果。

基於這些理論,講者提出了「適應性工程」這一新設計哲學。它的核心思想是:不預先設計完整的工程框架,而是設計一組約束條件和遊戲規則,讓智能體在其中自由互動。隨著智能體之間的耦合增加,系統會自動產生專門化(不同的智能體發展出不同的角色)、聚類(形成協作好的子群)和規範結晶(涌現出共享協議和去中心化治理)。這個過程中,工程師的角色從「設計者」轉變為「感應和回應者」——觀察系統的涌現行為,並通過調整約束條件來引導它朝向期望的目標,但不強制特定的結果。

講者強調了一個關鍵區別:這不是「完全自由的智能體群」與「完全固定的框架」之間的非此即彼選擇,而是一個連續體。固定工程適用於問題明確、複雜但可預測的場景;適應性工程則適用於動態、複雜、多變的真實世界場景。他還指出了適應性工程的風險,包括系統可能陷入局部最優、多樣性喪失、可解釋性降低等。但他認為,當 AI 模型能力指數級增長並進入真實世界時,適應性工程將成為必然和高槓桿的選擇。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。