You Can Learn Loop Engineering, Graph Engineering in 18min: Production AI Agent, Harness Engineering
三句話摘要
AI agents的六層工程架構：從提示詞到生產系統，每一層如何解決不同的可靠性與規模問題。 --- 生產級 AI agents 不是單個 LLM 呼叫，而是從提示詞到執行、再到反饋與系統整合的六層工程棧，其中「反饋循環」是跨越所有層級的核心模式，將自動化與人工判斷結合起來。 第一層至第三層是基礎 — 提示詞工程給 AI 角色與約束，但只能一次性回應；上下文工程把所有可用資訊（保單、客戶、事故、損害）投入模型，但面臨「上下文衰減」（超過 10% 的長文本會出現大量錯誤）；執行工程透過流程化步驟（正規化 → 驗證 → 構建證據 → 評估）確保單個 agent 可靠完成任務。
重點整理
重點- 1
第一層至第三層是基礎 — 提示詞工程給 AI 角色與約束，但只能一次性回應；上下文工程把所有可用資訊（保單、客戶、事故、損害）投入模型，但面臨「上下文衰減」（超過 10% 的長文本會出現大量錯誤）；執行工程透過流程化步驟（正規化 → 驗證 → 構建證據 → 評估）確保單個 agent 可靠完成任務。
- 2
反饋循環是跨越所有層級的模式 — Loop Engineering 定義當執行不足時的應對：驗證、重試、人工審核。三層反饋循環在保險系統中表現為（1）即時任務驗證 → 重試，（2）人工審核決定，（3）事件驅動的系統自我更新。產品層面則從編碼迴圈（分鐘級）到開發反饋（小時級）到用戶數據優化（周級），每層反饋速度與信號品質都不同。
- 3
圖結構和知識圖非通用解 — Graph Engineering 用於多步推理、時間敏感性、綜合分析場景（如詐欺檢測），但簡單查詢反而應保持輕量級。關鍵是正確的實體解析，否則多步推理會失效；應採用惰性索引，只構建必需的圖片段。
- 4
系統工程與評估驅動可靠性 — Harness Engineering 將所有層級整合成可控、可觀察、安全的執行框架：前置驗證 → agent 編排 → 後置驗證，加上日誌、指標、警報、審計、人工介入、密鑰管理。生產級 agent 系統的核心不再是代碼複雜度（AI 編碼工具已快速迭代），而是是否交付業務要求。
- 5
--
實用技巧與重點
乾貨- 保險理賠 agent 系統的執行步驟：索賠正規化 → 驗證 → 依賴檢查 → 建立損害證據 → 損害評估 → 客戶狀況檢查 → 先前理賠查詢 → 遲報檢查 → 信心度 → 進件完成 → 審計事件
- 保險系統評估（72項測試）：測試影像不匹配、低信心觸發、風險評分、升級非升級、無效保單觸發升級、除外責任、理賠超限/未達限額、影像匹配、政策與理賠測試
- 反饋循環的時間尺度：
- 編碼迴圈：幾分鐘（代碼 → 測試 → 瀏覽器檢查）
- 開發反饋迴圈：10 分鐘至數小時（審查產品 → 給反饋 → 更新優先級）
- 外部反饋迴圈：數小時至數週（用戶數據 → 產品願景優化）
- 圖結構工具與方法：GraphRAG（Microsoft，使用分塊、實體提取、社區檢測、摘要）；GraphMemory（時間序列連接與事實變化追蹤）；LazyGraphRAG、Hippo、2026 趨勢包括惰性索引、agent 遍歷、小型知識圖
- 醫療 agent 案例：13 項生產評估標準，5 個不同插件，LLM 作為評判者
- --
結論
結論“生產級 AI agents 不是單個 LLM 呼叫，而是從提示詞到執行、再到反饋與系統整合的六層工程棧，其中「反饋循環」是跨越所有層級的核心模式，將自動化與人工判斷結合起來。”
完整解析
詳細AI agents 的工程複雜性往往被誤認為是神秘的「黑盒」，但講者透過完整的保險理賠系統案例揭示其本質：這是一系列直觀的分層構建塊，每層逐步解決前一層的限制。
基礎三層 — 提示詞工程是起點，賦予 AI 角色與任務約束，但頂多完成單次推理。上下文工程擴展這個基礎，將保單、客戶歷史、事故詳情、損害證據等完整信息投入模型。然而，研究顯示當文本長度超過上下文窗口的 10% 後，模型的性能會大幅衰減（稱為「上下文衰減」），這驅動了執行工程的需要。執行工程透過 ReAct 模式（思考 → 行動 → 觀察 → 重新規劃）將單個 agent 的行為結構化，確保它能穩定完成一系列驗證、正規化、證據構建等子任務。
反饋循環的關鍵洞察 — Loop Engineering 通常被誤認為是新概念，但其核心是定義「當執行不足時做什麼」。它分為三層循環：第一層在任務內部（驗證 → 重試）；第二層跨越 graph 節點（人工審核決定路由）；第三層是事件驅動的系統自我更新（新工作到達時重新執行）。更有趣的是，產品開發本身也遵循相同的循環結構：編碼迴圈（分鐘級，從代碼到瀏覽器測試）驅動細節，開發反饋迴圈（小時級，產品審查與優先級更新）調整方向，用戶反饋迴圈（周級，實際使用數據與願景優化）決定願景。Loop Engineering 跨越從微觀到宏觀的所有層級。
圖結構的選擇性應用 — Graph Engineering 與 GraphRAG 不是萬能的。它在多步推理（如：A 是 B 的經理，B 知道 C，因此...）、時間敏感性（事實隨時間變化）與綜合分析場景中勝出，但在簡單查詢或成本至上的場景中反而增加開銷。關鍵陷阱是「壞的實體解析」：如果同一概念因名稱不一致而被當作不同節點，多步推理就會斷裂。因此最佳實踐是採用惰性構建，只建構必需的圖片段，而非預先構建完整圖。
系統工程集成所有層級 — Harness Engineering 是將前述所有層級包裝成安全、可觀察、可控的生產系統。它包含前置驗證（輸入檢查）、agent 編排、後置驗證，加上日誌、指標、警報、審計追蹤、人工介入機制與密鑰管理。講者的保險系統包含 72 項評估，涵蓋邊界條件（無效保單、理賠金額超限等）與系統健康指標。現代 AI 工程的核心不再是代碼複雜度——編碼工具已讓代碼生成飛速進展——而是「業務是否如願望執行」，即從系統設計到最終交付的完整可追蹤性。
---
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
