KeyFrame內部研究專用

How AI Agents Work: Prompt, Context, Harness & Loop Explained

JetBrains12 min英文
觀看原始影片

三句話摘要

AI工程的四層金字塔:從提示工程、上下文工程、管道工程到迴圈工程,如何把單次對話升級為全自動代理系統。 AI的真正能力不在模型本身,而在如何層層疊加提示→上下文→工具→自動化,把被動的對話升級為全自主的代理系統。 提示工程的三要素:加上角色定義、明確問題、指定輸出格式就能戲劇性提升模型品質。同一個模型、同樣的空白起點,改變措辭方式就得到完全不同的結構化回答。

重點整理

  1. 提示工程的三要素:加上角色定義、明確問題、指定輸出格式就能戲劇性提升模型品質。同一個模型、同樣的空白起點,改變措辭方式就得到完全不同的結構化回答。

  2. 上下文工程的陷阱:不是餵進去更多資訊就更好,Chroma Research測試18個前沿模型發現全部都隨輸入長度增加而性能下降,200k token窗口的模型在50k就開始失效,這叫「上下文腐爛」。正確的上下文比數量多的上下文更重要。

  3. 管道工程的轉變:把AI從被動的「問答機」變成主動的「工作代理人」,給它工具(讀檔案、執行程式)、護欄、反饋迴圈,讓它觀察結果、自我反應、驗證修正,不用等待用戶每步輸入。

  4. 迴圈工程的三大風險:時間觸發(/loop)或條件觸發(/goal)都強大但危險,必須設硬token預算、避免模糊目標(須能二元驗證)、只用於真正重複且完成條件清晰的任務,否則是無限迴圈。

實用技巧與重點

  • 所有18個frontier模型性能衰減:200k token窗口在50k時開始失效
  • Prompt Engineering三要素:角色、具體問題、輸出格式
  • 兩類agent架構對比
  • Cloud Agent/Claude:自動上下文管理、速度便利
  • Pi:4個內建工具、<1000 token系統提示、完全透明
  • Harness三大功能:Tools(工具調用)、Guardrails(護欄)、Feedback Loops(反饋迴圈)
  • 迴圈工程語法
  • 時間觸發:`/loop every 50 minutes if [condition] then [action]`
  • 條件觸發:`/goal [goal statement]`
  • 獨立Evaluator驗證機制:Worker和Checker分離,避免自欺欺人
  • 迴圈設計的三個必須
  • 設硬token預算和最大迭代數
  • 目標可二元驗證(檔案存在、欄數匹配),不能是「改進代碼」
  • 適用情景:重複任務+清晰完成條件

結論

AI的真正能力不在模型本身,而在如何層層疊加提示→上下文→工具→自動化,把被動的對話升級為全自主的代理系統。

完整解析

講者從Netflix影片分析案例出發,展示AI工程如何層層遞進提升系統能力。

第一層:提示工程 —— 改進「怎麼問」。當籠統地問「Netflix上什麼讓節目成功」時,模型只吐出通用廢話:流行類型、收視趨勢。加上三個要素就逆轉局面——定義角色(「你是數據分析師」)、明確問題(「為什麼電視劇比電影更容易續約」)、指定格式(「給三個假設和驗證指標」)。模型瞬間產出結構化、可測試的回答。提示工程就是改變措辭,戲劇性改善結果。

第二層:上下文工程 —— 「讓模型知道什麼」而非「怎麼問」。講者打開代碼庫模式、餵入筆記本和CSV檔案後,模型用真實欄位名稱、處理實際邊界情況、遵循項目編碼風格。但這裡有個反直覺的陷阱叫「上下文腐爛」:Chroma Research測試了18個最先進模型,全部都隨著輸入長度增加而性能下降。一個200k token窗口的模型在50k時已經開始失效。因此關鍵不是「更多上下文」而是「正確的上下文」——Andre Carpathy定義為「用恰好足夠的信息填滿上下文窗口來完成下一步」。

第三層:管道工程 —— 真正的飛躍。前兩層都還是「用戶→模型→等待輸出」的被動互動。管道工程給模型工具(tool calls)、護欄(guardrails)、反饋迴圈,把它從「回答機器」變成「工作代理人」。講者丟一句話給Cloud Agent:「執行Netflix分析筆記本,修復任何失敗的儲存格」。模型自動讀筆記本→執行→看到錯誤→編輯儲存格→重新執行驗證——全程無需用戶碰滑鼠,這才是管道工程。不同的harness有不同的策略:Cloud Agent自動處理上下文壓縮、記憶體管理、工具編排,方便快速;Pi則提供四個核心工具、完全透明,讓你掌控每一步。

第四層:迴圈工程 —— 設計自動觸發系統。用`/loop every 50 minutes if dataset changed then rerun notebook`讓Netflix分析每小時自動檢查新資料、更新報告,不用手動按開始鍵。更強大的是`/goal`:指定「直到筆記本無錯誤且日誌有今日紀錄」,模型持續迭代直到達成。系統巧妙地用獨立Evaluator驗證目標(避免worker自欺欺人),形成observe→decide→act→verify→repeat的閉迴圈。但迴圈有三個風險:token成本複合增長(必須設硬預算和迭代上限)、模糊目標會無限迴圈(「改進代碼」太模糊,必須能二元驗證)、不是所有任務都適合(只用於真正重複且完成條件清晰的工作)。

這四層層層堆疊,不是替代關係。迴圈裡仍有管道、管道裡仍有上下文、上下文裡仍有精心措辭的提示。但槓桿點逐步升級,從「我如何措辭」進化到「系統自動運作」。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。