KeyFrame內部研究專用

Loop Engineering 没那么复杂,简单易懂保姆级讲解

AI随风·7月6日週一·17 min中文

三句話摘要

循環工程(Loop Engineer)的定義、五大要素、實現步驟與安全邊界。 ## 循環工程的核心是用第三方驗證加持的記憶機制讓 AI 自動化流程能夠自我迭代,關鍵成敗在於驗證方案的完善程度和充分的手動測試。 五要素組成的閉環循環:觸發定義啟動時機(定時或事件),執行是標準化流程,驗證通過第三方 Agent 評分判定,記憶存儲日誌供下次迭代學習,停止條件決定何時終止。其中驗證最關鍵——寧可讓執行失敗也不能讓 AI 自己判定成功,否則結果完全不可信。

重點整理

重點
  • 1

    五要素組成的閉環循環:觸發定義啟動時機(定時或事件),執行是標準化流程,驗證通過第三方 Agent 評分判定,記憶存儲日誌供下次迭代學習,停止條件決定何時終止。其中驗證最關鍵——寧可讓執行失敗也不能讓 AI 自己判定成功,否則結果完全不可信。

  • 2

    四階段演變路徑:第一階段人工處理每筆工單;第二階段將流程技能化;第三階段交由 AI Agent 驗證且引入評分機制(6 分以上通過);第四階段設定定時觸發實現完全自動化。這條路線讓循環從勞力密集變成機器自驅。

  • 3

    驗證是質量守門人:驗證不是判斷「有沒有完成」,而是評估「完成得好不好」,需記錄不通過原因供下次改進。若驗證寫不好,整個循環會虛假成功,看似運轉實則充滿漏洞。

  • 4

    五項前置條件缺一不可:需有充足 Token 預算支持多次上下文往返、明確的重複性執行任務、準確詳細的驗證方案、通暢的項目基建(文檔規範、測試工具、系統介接),任何一項缺失都會讓循環卡頓低效。

  • 5

    ##

實用技巧與重點

乾貨
  • 五個核心要素
  • 觸發:定時(每天 10 點)或事件驅動
  • 執行:標準化技能流程
  • 驗證:第三方 Agent 評分(如 6 分以上通過)
  • 記憶:日誌記錄與改進建議
  • 停止:明確的完成條件
  • 四階段演變(以工單處理為例)
  • 第一階段:人工分類(Bug/投訴/建議)→ 各自處理 → 手動驗證 → 標記修復
  • 第二階段:呼叫「工單處理技能」 → 讀取反饋 → 手動驗證 → 標記修復
  • 第三階段:執行技能 → 驗證 Agent 接管評分 → 日誌記錄 → 條件達成才標記修復
  • 第四階段:每天 10:00 自動觸發 → 驗證 Agent 檢查 → 自動標記修復 → 日誌沉澱
  • 推薦實施步驟
  • 手動跑通一次完整流程
  • 將流程技能化
  • 引入外部 Agent 驗證
  • 加入日誌記錄機制
  • 多輪手動測試確認效果
  • 部署定時自動化
  • 開源資源
  • Loop Library 提供現成循環範本:產品評估循環、退款跟進循環、倉庫維護循環、文檔清理循環、錯誤訊息重啟循環等
  • 提供專門技能協助設計循環
  • 安全與倫理邊界
  • 最小權限原則:不授予完全權限
  • 面向客戶需明確標註 AI 身份
  • 防御攻擊循環:避免兩個循環互相回應導致無限迴圈
  • ##

結論

結論

循環工程的核心是用第三方驗證加持的記憶機制讓 AI 自動化流程能夠自我迭代,關鍵成敗在於驗證方案的完善程度和充分的手動測試。

完整解析

詳細

循環工程的本質是將重複性工作流程自動化,並通過 AI Agent 的迭代學習不斷優化。講者以每日工單處理為例,清晰地展示了從純人工到完全自動化的四個演變階段。

最初,員工每天 10 點需手動從系統拉取工單,判斷其屬於 Bug、投訴還是建議,再針對不同類型採取相應處理流程,最後手動驗證並標記為修復。這是典型的勞力密集型重複工作。隨著意識到流程高度標準化,講者將整個執行邏輯封裝成一個「工單處理技能」,員工只需一鍵觸發而非逐步手動操作,大幅簡化了流程。

但人工驗證仍是瓶頸。第三階段是關鍵轉折——引入獨立的驗證 Agent,採用評分制(6 分以上視為通過),並強調驗證的重要性。講者特別指出,執行 Agent 不能自我評判成功與否,就像「自己寫的代碼自己判斷有沒有問題,肯定說沒問題」一樣不可信。驗證必須交由第三方 Agent 客觀評估,同時將驗證意見和日誌記錄下來,供下一個循環的 AI 讀取學習,形成自我迭代的能力。

第四階段實現完全自動化。系統在每天 10 點自動觸發工單處理流程,執行完成後驗證 Agent 自動評分,若達標則自動標記修復,整個過程的日誌和改進建議被寫入記憶庫。這樣,每一次循環都成為下一次循環的學習材料,系統能逐漸優化處理品質。

循環工程的五個核心要素環環相扣:觸發決定何時啟動(可定時或事件驅動),執行必須是標準化的可重複流程,驗證是質量守門人且不能由執行者自評,記憶是自我改進的基礎,停止條件確保循環有明確的終點。其中驗證最為關鍵——若驗證寫得不周密,循環會虛假成功,結果是系統自認為問題解決實則一團糟。

實施循環工程有五項前置條件。首先需要充足的 Token 預算,因為每個循環都涉及多個 Agent 的多次上下文往返;其次任務必須明確且重複出現,若任務定義模糊則無法標準化;第三是驗證方案要詳盡準確,寧可嚴格也不要含糊;第四是任務確實具有重複性;最後項目基建要完善,包括清晰的文檔規範、完整的測試用例、必要的 MCP 插件、以及上下游系統的通暢介接。任何一項缺失都會讓循環效率大幅下降。

講者建議的實施路線是:先手動完整跑通流程確保邏輯無誤,再做技能化提高標準化程度,接著引入驗證 Agent 並添加日誌記錄,之後進行多輪手動測試確認效果可接受,最後才部署定時自動化。這個審慎的過程確保循環上線時已經過充分驗證。

開源的 Loop Library 提供了多個現成的循環範本和設計工具,用戶可參考範本快速構建自己的循環。同時需留意安全與倫理邊界:遵循最小權限原則避免系統權限過大,面向客戶的自動化需明確標註 AI 身份,還要防範「攻擊循環」問題,即兩個自動化循環互相回應導致無限迴圈。

##

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。