KeyFrame內部研究專用

You Can Learn Loop Engineering, Graph Engineering in 18min: Production AI Agent, Harness Engineering

Dr. Maryam Miradi18 min英文
觀看原始影片

三句話摘要

AI agents的六層工程架構:從提示詞到生產系統,每一層如何解決不同的可靠性與規模問題。 --- 生產級 AI agents 不是單個 LLM 呼叫,而是從提示詞到執行、再到反饋與系統整合的六層工程棧,其中「反饋循環」是跨越所有層級的核心模式,將自動化與人工判斷結合起來。 第一層至第三層是基礎 — 提示詞工程給 AI 角色與約束,但只能一次性回應;上下文工程把所有可用資訊(保單、客戶、事故、損害)投入模型,但面臨「上下文衰減」(超過 10% 的長文本會出現大量錯誤);執行工程透過流程化步驟(正規化 → 驗證 → 構建證據 → 評估)確保單個 agent 可靠完成任務。

重點整理

  1. 第一層至第三層是基礎 — 提示詞工程給 AI 角色與約束,但只能一次性回應;上下文工程把所有可用資訊(保單、客戶、事故、損害)投入模型,但面臨「上下文衰減」(超過 10% 的長文本會出現大量錯誤);執行工程透過流程化步驟(正規化 → 驗證 → 構建證據 → 評估)確保單個 agent 可靠完成任務。

  2. 反饋循環是跨越所有層級的模式 — Loop Engineering 定義當執行不足時的應對:驗證、重試、人工審核。三層反饋循環在保險系統中表現為(1)即時任務驗證 → 重試,(2)人工審核決定,(3)事件驅動的系統自我更新。產品層面則從編碼迴圈(分鐘級)到開發反饋(小時級)到用戶數據優化(周級),每層反饋速度與信號品質都不同。

  3. 圖結構和知識圖非通用解 — Graph Engineering 用於多步推理、時間敏感性、綜合分析場景(如詐欺檢測),但簡單查詢反而應保持輕量級。關鍵是正確的實體解析,否則多步推理會失效;應採用惰性索引,只構建必需的圖片段。

  4. 系統工程與評估驅動可靠性 — Harness Engineering 將所有層級整合成可控、可觀察、安全的執行框架:前置驗證 → agent 編排 → 後置驗證,加上日誌、指標、警報、審計、人工介入、密鑰管理。生產級 agent 系統的核心不再是代碼複雜度(AI 編碼工具已快速迭代),而是是否交付業務要求。

  5. --

實用技巧與重點

  • 保險理賠 agent 系統的執行步驟:索賠正規化 → 驗證 → 依賴檢查 → 建立損害證據 → 損害評估 → 客戶狀況檢查 → 先前理賠查詢 → 遲報檢查 → 信心度 → 進件完成 → 審計事件
  • 保險系統評估(72項測試):測試影像不匹配、低信心觸發、風險評分、升級非升級、無效保單觸發升級、除外責任、理賠超限/未達限額、影像匹配、政策與理賠測試
  • 反饋循環的時間尺度:
  • 編碼迴圈:幾分鐘(代碼 → 測試 → 瀏覽器檢查)
  • 開發反饋迴圈:10 分鐘至數小時(審查產品 → 給反饋 → 更新優先級)
  • 外部反饋迴圈:數小時至數週(用戶數據 → 產品願景優化)
  • 圖結構工具與方法:GraphRAG(Microsoft,使用分塊、實體提取、社區檢測、摘要);GraphMemory(時間序列連接與事實變化追蹤);LazyGraphRAG、Hippo、2026 趨勢包括惰性索引、agent 遍歷、小型知識圖
  • 醫療 agent 案例:13 項生產評估標準,5 個不同插件,LLM 作為評判者
  • --

結論

生產級 AI agents 不是單個 LLM 呼叫,而是從提示詞到執行、再到反饋與系統整合的六層工程棧,其中「反饋循環」是跨越所有層級的核心模式,將自動化與人工判斷結合起來。

完整解析

AI agents 的工程複雜性往往被誤認為是神秘的「黑盒」,但講者透過完整的保險理賠系統案例揭示其本質:這是一系列直觀的分層構建塊,每層逐步解決前一層的限制。

基礎三層 — 提示詞工程是起點,賦予 AI 角色與任務約束,但頂多完成單次推理。上下文工程擴展這個基礎,將保單、客戶歷史、事故詳情、損害證據等完整信息投入模型。然而,研究顯示當文本長度超過上下文窗口的 10% 後,模型的性能會大幅衰減(稱為「上下文衰減」),這驅動了執行工程的需要。執行工程透過 ReAct 模式(思考 → 行動 → 觀察 → 重新規劃)將單個 agent 的行為結構化,確保它能穩定完成一系列驗證、正規化、證據構建等子任務。

反饋循環的關鍵洞察 — Loop Engineering 通常被誤認為是新概念,但其核心是定義「當執行不足時做什麼」。它分為三層循環:第一層在任務內部(驗證 → 重試);第二層跨越 graph 節點(人工審核決定路由);第三層是事件驅動的系統自我更新(新工作到達時重新執行)。更有趣的是,產品開發本身也遵循相同的循環結構:編碼迴圈(分鐘級,從代碼到瀏覽器測試)驅動細節,開發反饋迴圈(小時級,產品審查與優先級更新)調整方向,用戶反饋迴圈(周級,實際使用數據與願景優化)決定願景。Loop Engineering 跨越從微觀到宏觀的所有層級。

圖結構的選擇性應用 — Graph Engineering 與 GraphRAG 不是萬能的。它在多步推理(如:A 是 B 的經理,B 知道 C,因此...)、時間敏感性(事實隨時間變化)與綜合分析場景中勝出,但在簡單查詢或成本至上的場景中反而增加開銷。關鍵陷阱是「壞的實體解析」:如果同一概念因名稱不一致而被當作不同節點,多步推理就會斷裂。因此最佳實踐是採用惰性構建,只建構必需的圖片段,而非預先構建完整圖。

系統工程集成所有層級 — Harness Engineering 是將前述所有層級包裝成安全、可觀察、可控的生產系統。它包含前置驗證(輸入檢查)、agent 編排、後置驗證,加上日誌、指標、警報、審計追蹤、人工介入機制與密鑰管理。講者的保險系統包含 72 項評估,涵蓋邊界條件(無效保單、理賠金額超限等)與系統健康指標。現代 AI 工程的核心不再是代碼複雜度——編碼工具已讓代碼生成飛速進展——而是「業務是否如願望執行」,即從系統設計到最終交付的完整可追蹤性。

---

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。