KeyFrame內部研究專用

Beyond the Harness: A Journey Towards Adaptative Engineering - Rajiv Chandegra, Annicha Labs

AI Engineer37 min英文
觀看原始影片

三句話摘要

從固定工程框架走向適應性工程:一個為 AI 在真實世界中自我組織的新設計哲學。 當 AI 從沙盒進入真實世界時,固定工程框架將不再是瓶頸,決定成功的將是系統的適應性——通過智能體之間的去中心化協調而產生的涌現智能。 固定工程框架的局限

重點整理

  1. 固定工程框架的局限

  2. 當前 AI 工程採用工廠模式(如 Claude Code、Cursor 等工具)──工程師在運行前就預先定義所有角色、工具、流程和順序。這種方式在複雜度固定、問題明確的場景中表現優異,但當 AI 系統進入真實世界時(多個行動者、多機構、與物理環境互動),固定框架因無法應對動態變化而變得越來越脆弱。

  3. 複雜問題需要複雜系統思維

  4. 講者區分了「複雜問題」和「複雜系統問題」。複雜系統(如鳥群、市場、組織)的特性是部分之間不斷互動和適應,整體無法通過分析個別部分推導出來。現代工程最常見的錯誤是把複雜問題當成複雜系統問題來處理,導致設計失敗。應對複雜系統需要「探針-感應-回應」,而非「分析-計畫-預測」。

  5. 涌現和自組織的力量

  6. 在系統關係和本地互動中,新的秩序會自然涌現。沒有單一部分包含這個整體特性(如水的濕潤特性不存在於氧或氫分子中,卻出現在它們的結合中)。適應性工程利用這一原理,讓智能體通過簡單的本地規則互動,產生複雜的協調行為,而工程師無需提前設計。

  7. 工程師角色的轉變

  8. 在適應性工程中,工程師不是廢除角色,而是重新定位它。工程師設計約束條件和遊戲規則(如耦合速率、獎勵機制、護欄限制),而不是預先決定結果。系統在運行中自我組織,工程師則通過「感應和回應」來引導這個過程,而非完全控制它。

實用技巧與重點

  • 現有工程框架類型
  • CLI 工具:Claude Code、Codex、Pi
  • IDE:Cursor
  • 多智能體編排:Langchain、Hermes、Klein、Goose
  • 固定工程的特性
  • 優點:可靠性、可審計性、線性因果追溯
  • 組成:系統提示詞、代理角色、工具調用、工程迴圈
  • 適用於:問題明確、複雜但非複雜系統的場景
  • 複雜系統的三要素
  • 多樣化智能體(非克隆,相互不同)
  • 本地互動(每個行動者只與相鄰的互動,無全局視野)
  • 遞迴學習和適應(智能體適應彼此和環境的結果)
  • 適應性工程可調整的參數
  • 耦合速率:智能體互動頻率
  • 獎勵與成本:向特定目標驅動或施加護欄
  • 控制層級:開放智能體能力 vs. 施加治理
  • 系統感應:監測和回應涌現秩序
  • 涌現過程的演化階段
  • 初期:零星交互
  • 連接增加:耦合逐漸建立,平均每個智能體連接一次
  • 系統出現:整體秩序開始浮現
  • 專門化:智能體根據環境反饋分化出差異化角色
  • 聚類:形成工作良好的子群體
  • 規範結晶:涌現出共享協議和治理機制(無中央權威)
  • 動態重構:環境變化時系統自我調整結構
  • 失敗風險
  • 穩定陷阱:系統陷入局部最優而非全局最優
  • 單一文化:訓練數據相同導致多樣性不足
  • 可解釋性喪失:適應性越高,越難精確解釋
  • 無法預測:運行時系統不斷變化

結論

當 AI 從沙盒進入真實世界時,固定工程框架將不再是瓶頸,決定成功的將是系統的適應性——通過智能體之間的去中心化協調而產生的涌現智能。

完整解析

Rajiv 醫生首先梳理了當前 AI 工程的主流範式——使用固定工程框架(工廠模式)來指導智能體。所有工具(Claude Code、Cursor 等)都在運行前預先定義系統提示詞、代理角色、工具能力和工作流序列。這種方法極為有效且可靠,因為每個輸入都會產生可預測的輸出,且整個過程完全可審計——如果出現問題,可以追溯到具體的配置改變。

然而,講者指出了這種方法的根本局限:它基於一個錯誤假設,即世界是由穩定零件組成的。這適用於傳統軟件工程,但當 AI 系統進入真實世界時——與多個行動者、不同機構互動,並觸及物理環境——這個假設就會崩潰。真實世界是動態的、複雜的、充滿不斷變化的關係網絡。

講者從系統論的角度重新定義了這個問題。與還原主義不同,系統思維強調關係和流程優於孤立的部分。一個看似穩定的物體(如火焰)實際上是被持續的過程維持的模式。一旦停止過程,「物體」就不存在了。這個視角帶來了涌現的洞見:簡單的本地規則通過相互作用,產生無法通過分析個別部分預測的新層級秩序。例如,鳥群不是預先設計的,而是每隻鳥遵循三個簡單規則(與鄰近者對齊、避免碰撞、保持接近)產生的涌現結果。

基於這些理論,講者提出了「適應性工程」這一新設計哲學。它的核心思想是:不預先設計完整的工程框架,而是設計一組約束條件和遊戲規則,讓智能體在其中自由互動。隨著智能體之間的耦合增加,系統會自動產生專門化(不同的智能體發展出不同的角色)、聚類(形成協作好的子群)和規範結晶(涌現出共享協議和去中心化治理)。這個過程中,工程師的角色從「設計者」轉變為「感應和回應者」——觀察系統的涌現行為,並通過調整約束條件來引導它朝向期望的目標,但不強制特定的結果。

講者強調了一個關鍵區別:這不是「完全自由的智能體群」與「完全固定的框架」之間的非此即彼選擇,而是一個連續體。固定工程適用於問題明確、複雜但可預測的場景;適應性工程則適用於動態、複雜、多變的真實世界場景。他還指出了適應性工程的風險,包括系統可能陷入局部最優、多樣性喪失、可解釋性降低等。但他認為,當 AI 模型能力指數級增長並進入真實世界時,適應性工程將成為必然和高槓桿的選擇。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI