KeyFrame內部研究專用

ChatGPT’s Insane "Record and Replay" Feature! No Prompts Needed: Show AI Once and It Masters Your...

欸那個AJ·7月31日週五·13 min中文

三句話摘要

ChatGPT 錄制與重播功能讓 AI 透過觀察使用者操作來學習和執行重複性工作流程,而非傳統宏錄制的機械重複。 Record and Replay 功能透過讓 AI 觀察學習使用者的實際操作,將繁瑣的重複工作轉變為自動化技能包,實現了 AI 與個人工作流程的深度融合。 AI 理解能力超越機械宏 — Record and Replay 不只錄制按鍵位置,而是讓 AI 理解操作背後的邏輯、原因和工作流程,使 AI 能在新情境中推敲和調整行為,而非盲目重複。

重點整理

重點
  • 1

    AI 理解能力超越機械宏 — Record and Replay 不只錄制按鍵位置,而是讓 AI 理解操作背後的邏輯、原因和工作流程,使 AI 能在新情境中推敲和調整行為,而非盲目重複。

  • 2

    三層次應用場景實證 — 台鐵訂票示範 AI 處理網頁表單和支付流程;Google 試算表整理展示多步驟資料擷取與格式驗證;LINE 群組團購管理則展現即時訊息解析與試算表更新的複雜自動化。

  • 3

    設置正確的邊界條件至關重要 — 必須明確告訴 AI 在登入驗證、缺失資料、結果無法確認時停止並確認,避免 AI 自行送出表單、執行付款或刪除操作,這是官方建議的安全做法。

  • 4

    技能概念保證長期穩定性 — 透過建構重複使用的技能包而非一次性指令,能使 AI 長期維持穩定工作流程,避免模型在執行過程中偏離原定目標。

實用技巧與重點

乾貨
  • 操作步驟
  • ChatGPT Desktop 桌面版 → 切換到 Work 模式 → Chat 加號 → Record a Skill → 安裝官方技能包
  • 錄制時長上限:30 分鐘
  • 需預先登入相關網站,操作過程直線式前進,避免中途切換或處理無關工作
  • 技術支援需求
  • 支援瀏覽器:Google Chrome
  • 需安裝插件:ChatGPT for Chrome、ChatGPT for Excel
  • Excel 操作需在「增益集」中安裝 ChatGPT 應用程式進行連接
  • 應用案例具體數據
  • 案例 1(台鐵訂票):查詢日期 29 號、出發地桃園、目的地台北、時間早上 8 點至下午 4 點 → 找到 9:21 班次 → 完成訂票
  • 案例 2(發票整理):拍攝發票照片 → AI 自動提取票號、金額、備註 → 填入 Google 試算表對應欄位
  • 案例 3(LINE 團購):群組內訊息(時間 9:27、訂購人 Kelvin Chang、商品數量、金額 62953)→ AI 自動更新記帳檔並寫入 Excel 公式
  • AI 能力展現
  • 自動寫入 Excel 函式進行計算和加總
  • 處理 ReCAPTCHA 驗證提示
  • 跨應用操作(Chrome 瀏覽器與 Excel 的切換)
  • 二維碼掃描和多張文件的去重處理

結論

結論

Record and Replay 功能透過讓 AI 觀察學習使用者的實際操作,將繁瑣的重複工作轉變為自動化技能包,實現了 AI 與個人工作流程的深度融合。

完整解析

詳細

ChatGPT 在 2026 年中推出的 Record and Replay 功能代表了 AI 自動化的重大突破。與傳統巨集錄制只能機械式重複按鍵和滑鼠位置不同,這個功能讓 AI 能夠真正觀察和理解使用者的操作邏輯、工作目的和完整流程,從而構建出可重複使用的「技能包」。

使用方法非常簡單直觀。開啟 ChatGPT 桌面版應用,切換到 Work 模式,點擊加號尋找 Record a Skill 功能並安裝官方提供的技能包,然後授予錄制權限即可開始。根據官方規範,單次錄制時長不超過 30 分鐘,AI 就能完整學習整個工作流程。但成功錄制有幾個關鍵原則:首先應預先登入目標網站,避免 AI 看到無關資訊;其次,操作過程要直線式前進,不要中途處理其他事務(如回覆訊息),否則 AI 會將這些也學進去;最後,也是最重要的,必須明確告訴 AI 在遇到登入驗證、信用卡、缺失資料或無法確認結果時必須停止並向使用者確認,而不能自行送出、付款或刪除,這是 OpenAI 官方強調的安全邊界。

講者展示了三個層次遞進的實際應用場景。第一個是台鐵訂票:用戶完整錄制一次查詢班次、選擇車次、訂票的流程,AI 學會後能根據自然語言指令自動完成整個過程,甚至能處理 ReCAPTCHA 驗證提示。第二個場景是 Google 試算表整理:用戶用手機拍攝發票照片,上傳給 AI 後,它能自動提取票號、金額、備註等關鍵資訊,並正確填入試算表的對應欄位進行分類,完全不需要手動複製貼上。第三個場景則展示了 LINE 群組的團購管理自動化:AI 持續監聽群組消息,從中提取訂購人名字、時間、商品和金額,自動更新 Excel 記帳檔案,甚至能自動編寫試算表函式進行計算和加總。

這個功能之所以強大,是因為它解決了 AI 自動化的一個長期痛點:許多實務業務流程看似簡單,但用純文字指令很難清楚交代 AI 該如何執行。透過「看著做」的方式,AI 能夠學到工作的完整邏輯和隱含的決策規則。隨著 AI 繼續與使用者互動,它會逐步理解使用者的個人偏好,持續優化執行方式。這就是為什麼講者強調使用「技能概念」構建穩定工作流程——一旦 AI 養成了正確的工作習慣,長期來看能更準確地執行任務,避免模型在反覆執行中偏離原定目標。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。