KeyFrame內部研究專用

Chat and citations won't save your vertical AI - Atul Ramachandran, Filed Inc

AI Engineer·7月11日週六·15 min英文

三句話摘要

垂直行業AI代理產品不能只靠聊天和引文,需要重新設計為「委託架構」,讓用戶監督代理在後台執行長期工作。 垂直AI產品的成功不在於建造最智能的聊天機器人,而在於設計讓用戶能安心委託工作、監督進度、掌握控制的傳送帶系統。 聊天介面是同步的瓶頸:聊天天生是實時對話,用戶必須等待代理回應,無法離開平台去做其他工作。引文又把驗證責任推回用戶身上,增加負擔。在稅務、法律、醫療等垂直行業裡,這違反了「讓代理為你工作」的核心承諾。

重點整理

重點
  • 1

    聊天介面是同步的瓶頸:聊天天生是實時對話,用戶必須等待代理回應,無法離開平台去做其他工作。引文又把驗證責任推回用戶身上,增加負擔。在稅務、法律、醫療等垂直行業裡,這違反了「讓代理為你工作」的核心承諾。

  • 2

    產品演進的三層抽象:銀行從員工窗口(第一層)進化到手機銀行(第二層),現在進入代理委託層(第三層)。每層改變的是價值瓶頸:從員工數量→用戶數量→單位時間內完成的會話數。

  • 3

    傳送帶模型的四大要素:找到可委託的多小時工作任務;教導代理學習用戶的工作方式和偏好(最後的20%工作);追蹤每個任務進度和代理推理過程;在代理需要判斷或出錯時讓用戶能快速介入控制。

  • 4

    保持控制感與信任:無論建設多强大的代理,用戶必須相信自己能隨時拿回方向盤。這意味著既要建設代理功能,也要保留第二層的手動功能,並在危險操作前展示計畫供用戶批准。

實用技巧與重點

乾貨
  • 公司:FILED(美國稅務專業人士產品)
  • 融資:超1,700萬美元
  • 成長:過去一個月收入超過前一年全年
  • 代理工作時間:稅務產品識別出3項工作各需超過1小時
  • 品質基線:後台代理通常能完成工作的80-90%,剩餘20%需要用戶偏好的技能調整
  • 對標產品:Whisperflow(具有自動技能學習功能)
  • 監控方式:任務列表追蹤進度;追蹤每個代理產出的數值和推理步驟
  • 介入方式:暫停傳送帶→用戶標記代理回應→重新啟動
  • 危險操作:修改稅務軟體前需生成並批准計畫,防止覆蓋現有數據
  • 核心度量轉變:從週活用戶(Weekly Active Users)→週活會話數(Weekly Active Sessions)

結論

結論

垂直AI產品的成功不在於建造最智能的聊天機器人,而在於設計讓用戶能安心委託工作、監督進度、掌握控制的傳送帶系統。

完整解析

詳細

許多人正在建設垂直行業的AI產品,如稅務、法律、醫療,都在承諾一個核心價值主張:為客戶節省時間或金錢,讓代理在用戶睡眠時為其工作。但現行的聊天和引文介面存在根本缺陷。聊天本質上是同步的——用戶必須等待代理回應,無法離開平台去做其他工作。引文雖然能減少代理幻覺,但卻將驗證責任轉嫁給用戶,要求用戶逐一檢查代理的工作成果。這在垂直行業尤其成問題,因為錯誤的成本很高。結果是,代理為你工作的承諾根本無法兌現。

產品演進經歷了三層抽象。以銀行為例,第一層是物理分行,用戶找員工委託工作,瓶頸是員工數量。第二層是數位轉型,用戶自己在手機或網頁上做交易,瓶頸變成用戶數量。現在進入第三層:代理委託層。用戶不再進來自己做工作,而是委託代理去做。這打破了用戶訪問次數的瓶頸——代理可以在用戶睡眠時執行任務,所以你能為每個用戶創造更多價值。

要實現這個願景,應把產品想像成一條傳送帶,用戶是監督者,AI代理是工人。這要求四大核心要素。首先是找到可委託的任務——那些用戶花超過一小時做、且重複但各有差異的工作。其次是教導能力,因為每個用戶、每家公司都有自己的工作方式和偏好,代理最多能完成80-90%的工作,剩下20%需要學習用戶的獨特做法。第三是監控,用戶需要追蹤任務進度和代理的推理步驟,這建立了信任和可見性。第四是控制,當代理需要判斷或出錯時,用戶能立即介入,這最為關鍵——用戶要感覺像拿著方向盤,不是棄車另買一輛。

不過有兩個重點。第一,第二層的功能(手動操作)不會消失,反而要整合進去,讓用戶能隨時降級到自己做。第二,危險動作要預先展示計畫——像銀行交易前顯示金額,在修改稅務軟體前需生成計畫供批准,防止不可逆的錯誤。

最後,既然產品的目標改變了,度量方式也要改變。過去產品用「週活用戶」衡量成功,那時用戶進來自己做工作。但在代理委託模型裡,這個指標沒意義。正確的度量是「週活會話數」——由人類或代理完成的任務,無論用戶是否在線。成功的狀態應是:週活用戶數下降(用戶不必經常進平台),週活會話數上升(代理在後台為用戶做更多工作)。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。