KeyFrame內部研究專用

Models, Harnesses, and Multi-Agent Systems

Practical AI49 min英文
觀看原始影片

三句話摘要

解釋AI模型、代理程式、多代理系統的基礎概念,以及企業建立數位工作隊伍時的技術選擇策略。 企業應小規模試驗代理系統,保持架構靈活,準備廠商備選方案,因為代理技術快速演進且業務需求不斷變化。 模型作為函數的本質:AI模型將輸入轉換為輸出,包括語言模型(文本→文本)、視覺語言模型(圖像+文本→文本)、圖像生成模型(文本→圖像)等。執行模型需要軟體與參數權重兩個組件,這兩種方案對應開源與閉源模型的差異。

重點整理

  1. 模型作為函數的本質:AI模型將輸入轉換為輸出,包括語言模型(文本→文本)、視覺語言模型(圖像+文本→文本)、圖像生成模型(文本→圖像)等。執行模型需要軟體與參數權重兩個組件,這兩種方案對應開源與閉源模型的差異。

  2. 開源vs閉源的經濟與技術權衡:開源模型(如Gemma)可本地運行,成本低但需自行維護基礎設施;閉源模型透過API訪問,成本高但性能強。企業根據實際需求與預算在兩者間選擇,中國模型已成開源領導者。

  3. 代理的自主性差異:代理不是簡單的聊天介面,而是可訪問郵件、行事曆、CRM、資料庫等企業系統的任務導向軟體,能夠自主執行目標而不需逐步人工干預,這是它與傳統AI應用的根本區別。

  4. 多代理協作的現實價值:單個代理面對複雜或即時問題時能力有限,多代理系統讓各代理各司其職(如網路安全防禦、供應鏈自動化、機器人隊伍協作),並相互協調以高效解決無法由單人或單代理完成的任務。

實用技巧與重點

  • 模型類型:LLM、Vision Language Models、Image Generation、Video Generation、Forecasting、Anomaly Detection、Autoregressive models
  • 開源模型:Gemma(Google)、歐洲與中國開源模型
  • 閉源模型:Claude、GPT(OpenAI)、Gemini(Google)
  • Agent框架:LangGraph、Pydantic agents、Hermes agent、Open Claude
  • 垂直整合堆棧:Anthropic、OpenAI、IBM、AWS Agent Core、Google Workspace Gemini、Microsoft 365 Copilot
  • 應用場景:
  • 網路安全:多代理防禦DDoS與系統入侵
  • 機器人配送:Walmart與Amazon無人機配送
  • 供應鏈:供應商通知→代理1處理→代理2搜尋替代商→自動生成NetSuite訂單
  • 評估建議:小規模開始、快速迭代、準備多個備選方案、注意廠商鎖定風險

結論

企業應小規模試驗代理系統,保持架構靈活,準備廠商備選方案,因為代理技術快速演進且業務需求不斷變化。

完整解析

AI應用的演進從簡單聊天機器人進入代理時代。傳統的聊天介面是單純的輸入-輸出對話,但代理不同——它是連結企業整體系統的自主軟體,可訪問郵件、行事曆、CRM、財務系統等多個資源。一個具體例子是製造企業設定代理監控供應商狀態,當發現供應商無法供應時,代理自動觸發另一個尋找替代商的代理,搜尋完成後自動在NetSuite中生成採購單,整個過程無需人工干預。

模型選擇涉及開源與閉源的權衡。開源模型如Gemma可在本地運行,成本低且不受廠商限制,但需自行管理基礎設施。閉源模型通過API訪問,成本高但性能強,特別是大型前沿模型。有趣的是,在開源領域,中國模型已成領導者,而在閉源API領域美國企業仍領先。實踐中,企業應根據具體任務混合使用兩種模型,而非全押一種。

多代理架構的價值在於處理單代理無法應對的複雜性。網路安全防禦是最佳例子:攻擊發生時速度極快,跨越多個系統。人工防禦者無法跟上,但多個專業化代理可同時監控不同系統、偵測威脅、實施防禦並相互協調。機器人領域也類似——無人機配送時需要多個代理協作,有些負責路線規劃,有些負責安全判斷,有些負責與其他系統的協調。

技術棧的選擇影響深遠。垂直整合堆棧(如Gemini for Google Workspace或Copilot for Microsoft 365)提供無縫體驗但造成廠商鎖定。開放框架允許在模型間切換,提供靈活性。大多數企業最終需混合方案:利用現成集成的便利,同時在核心業務系統上保持獨立性與控制權。

從組織層面,代理改變了工作結構。不再是員工執行單一任務,而是被提升到戰略層次,領導由多個代理組成的團隊,類似F1賽車隊的車隊主管而非單一技師。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
11 min
AI 技術中文11月21日

20261120 Craft 4K Review Version V3

灵姐说AI | Ling Talk AI看原片 ↗
  • Craft Anything 透過將觀察、構建、檢查和修改環節無縫銜接,將傳統費力的開發流程簡化為提供參考對象並說明目標,讓通用編碼Agent執行具體實現,大幅降低製作難度。
  • 複製範圍廣泛但難度差異大:網站和簡單工具相對容易,複雜遊戲因涉及場景、資源、物理引擎、存檔等要素難度大幅提升,需要提供的信息和輸入量成倍增加。
4 min
AI 技術中文11月21日

Make.com Automation for Beginners: Your First Automation in 10 Minutes

AI Workflow Lab看原片 ↗
  • Make 的核心是「情景」(Scenario) 概念,由多個模組組成,每個模組執行一個應用程式的單一工作。當第一個應用程式中發生事件時,Make 自動將資料傳遞到下一個應用程式,就像一個從不睡眠也不遺忘的數位助手。
  • 映射 (Mapping) 是自動化的核心。使用者需要明確告訴 Make 每筆資料應該放在哪裡,確保表單欄位正確對應到試算表的列,以及郵件內容能夠動態插入客戶資訊。