KeyFrame內部研究專用

What I learnt after running loops for 1 month???

AI Jason·7月13日週一·14 min中文

三句話摘要

構建自主代理循環系統的完整工程方法論——從循環契約、觸發器選擇、執行架構到演化優化的五層框架。 --- 構建高效自主代理系統的關鍵不是擁有最強大的模型,而是通過清晰的循環契約、精選的觸發器、可驗證的執行流程與內置演化機制,讓系統隨時間持續自我優化和學習。 循環契約是制度基礎

重點整理

重點
  • 1

    循環契約是制度基礎

  • 2

    循環契約是一份 Markdown 活態文檔,必須明確三項要素:目標和成功指標(如「降低 React 代碼品質評分」)、邊界定義(哪些任務代理可自行完成、哪些需人工審核)、標準操作程序(代理每次都應遵循的具體流程)。此外配備狀態層(代理當前理解、待辦積壓、已發貨待跟進項目)和日誌層(每輪運行記錄),防止代理每天重新發現相同錯誤。

  • 3

    觸發器選擇直接決定成本效益

  • 4

    從簡單的持續迴圈(while loop until goal)到定時任務(cron/schedule),再到基於事件的 Webhook 觸發。但最經濟高效的是工作流程組合方式:先用輕量級腳本檢查是否真有新工作,只在確有工作時才喚醒代理,可顯著降低令牌消耗。

  • 5

    驗證器是高風險任務的必備前置條件

  • 6

    對生產代碼變更或客戶沟通等關鍵任務,代理必須測試並記錄證據(截圖、日誌、視頻),便於人類審核。複雜任務採用三層架構:Planner 規劃→多個 Executor 並行執行→Verifier 測試驗證,確保質量可靠。

  • 7

    演化循環實現系統自我優化

  • 8

    每運行 5-10 次後觸發一次演化會話,提供代理完整的歷史配置、日誌、對話記錄,讓它識別優先級最高的改進機會(觸發器效率、SOP 優化、狀態清理),這些改進自動應用到循環契約和配置中。

  • 9

    --

實用技巧與重點

乾貨
  • 循環結構的五層架構
  • 循環契約(Markdown):目標、邊界、SOP
  • 狀態和日誌層:持久狀態快照 + 逐次運行記錄
  • 觸發層:持續循環、定時任務、事件驅動、工作流程組合
  • 代理執行層:Planner → 多 Executor(並行)→ Verifier
  • 演化層:每 5-10 次自動觸發演化檢查點
  • 觸發器類型
  • 持續循環(while loop until goal):適合 bug 修復、複雜軟體實現,需立即回饋
  • 定時任務(schedule/cron):在特定時間間隔喚醒代理
  • 事件驅動(Webhook):需本地守護程式支持,適合緊急修復(伺服器故障、新郵件)
  • 工作流程組合:先檢查是否有工作,批量處理後才喚醒代理(最經濟高效)
  • 實戰案例數據
  • React Doctor 循環:每日自動掃描前端代碼庫、自動修復關鍵問題、自動合併低風險 PR
  • CRM 生命週期循環:監控日活躍用戶,分類為小型影響者、不滿意用戶、高參與未升級用戶,支援自動或待批准發送訊息
  • 文檔維護循環:每天檢查過去 24 小時程式碼變更,與 README、config 指南、examples 對比,自動修復不一致
  • 工具名稱
  • CloudCode、CodeEx:提供原生持續循環、定時任務支持
  • Playwright CRI:讓代理進行測試並記錄證據
  • Raybox:設置遠程沙箱環境,突破本機開發伺服器數量限制
  • 自研開源工具:支持程序化觸發器、狀態日誌存儲、自動演化機制
  • --

結論

結論

構建高效自主代理系統的關鍵不是擁有最強大的模型,而是通過清晰的循環契約、精選的觸發器、可驗證的執行流程與內置演化機制,讓系統隨時間持續自我優化和學習。

完整解析

詳細

講者所在公司已運行了數月的自主代理循環系統。其中一個例子是每 30 分鐘自動喚醒代理掃描程式碼庫、檢查伺服器日誌、發現改進機會並提交 PR,每個 PR 由驗證代理進行全面測試後可自動合併。同時還運行 CRM 生命週期循環監控用戶群體並進行個性化溝通。這代表了循環工程師角色的核心轉變:從手工提示代理執行單一任務,升級到設計一個能自主決策、執行、驗證、並持續改進的完整系統。

最大的挑戰不在於編寫循環本身——任何人都能用 CloudCode 快速搭建基礎循環——而是如何設計護欄讓系統持續安全地運作。講者介紹的標準循環架構包含五大要素。

首先是循環契約文檔。這份 Markdown 文件明確定義循環的目標和成功指標(例如「降低 React 代碼品質評分中的 C 級問題」),界定邊界(哪些任務代理可自行完成如合併低風險修復、哪些需要人工審核如架構變更),以及標準操作程序(代理每次都應遵循的具體工作流程)。配備狀態層記錄代理當前理解、待辦積壓、已發貨但需跟進的項目,以及日誌層逐次記錄每輪運行。如果沒有這層持久化狀態,代理每天早上會重新發現相同的錯誤,浪費大量令牌在已嘗試過的場景上。

第二層是觸發器選擇。最常見的是持續循環(定義目標、條件、執行操作,直到達成或達到令牌預算),適合 bug 修復等需立即反饋的場景。其次是定時任務(類似 cron 或 schedule 命令),在特定時間間隔喚醒代理。但講者發現最經濟高效的方式是工作流程組合觸發——先運行輕量級腳本從數據源檢查是否有新工作(例如過去 30 分鐘有無重要郵件更新),只在確實有工作時才喚醒代理進行批量處理。基於事件的觸發雖然目前 CloudCode 和 CodeEx 不原生支持,但可通過本地守護程式暴露 Webhook URL 接收通知。

第三層是代理執行架構。簡單任務只需一個代理完成三個階段(收集信號→執行任務→驗證質量);複雜任務則分解為:Planner 代理接收提示進行研究規劃,然後多個 Executor 代理各自獨立處理工作樹(可並行運行),最後 Verifier 代理測試結果並附加證據(截圖、日誌、視頻)供人類審核。

對高風險任務(生產代碼變更、客戶溝通),驗證器是強制前置條件。講者開發了完整工具棧:使用 Playwright CRI 讓代理測試並記錄視頻或圖像證據;用 Raybox 設置遠程沙箱環境並行運行多個開發伺服器,突破本機限制。這些打包成開源 skew 供免費使用。

最後是演化層。講者發現初期循環總有改進空間:觸發器可更高效、重複 SOP 可轉為腳本、配置可優化。解決方案是每運行 5-10 次後觸發一次專門的演化會話,提供代理所有歷史配置、過去運行日誌、對話記錄,讓它識別優先級最高的改進機會並生成優化提案。講者自研的開源工具提供集中化管理平台,支持程序化觸發器定義、狀態日誌存儲、自動演化機制,每隔幾次運行會出現演化檢查點。

講者舉了三個實戰例子。文檔維護循環每天檢查過去 24 小時的程式碼變更,與 README、config 指南、examples 對比,自動修復不一致並提 PR——一個看似簡單卻實用性極強的循環。React Doctor 循環每日掃描前端代碼庫、標出關鍵問題、自動修復、自動合併(僅低風險修復),並通過內部儀表板追蹤 PR 開合狀況和代碼品質評分隨時間的改進。CRM 生命週期循環監控所有日活躍用戶,自動分類為潛在合作夥伴、不滿意用戶、高參與未升級用戶,客服可按優先級和風險等級選擇自動發送訊息或待批准。這些循環都遵循相同架構模式,體現了可複製、可擴展的系統設計。

---

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。