KeyFrame內部研究專用

AI 企業知識庫結合代理人的管理轉型應用 | 勤業眾信協理蘇盈誠 | TO Talk EP131

TechOrange·6月30日週二·23 min中文

三句話摘要

企業如何透過企業知識庫與系統配套,將AI Agent的應用從60-70分準確率提升至90分以上,實現生產級應用。 AI不是買來就用的工具,真正的價值在於透過企業知識庫與系統配套,把組織的隱性知識結構化賦予AI,才能從60-70分的不可靠提升到90分以上的生產級應用,實現真正的「人機協作倍增」。 Agent AI採用率低的根本原因:企業對AI的容錯率要求遠高於個人使用。個人使用60-70分滿足度尚可,但企業營運無法接受30-40%的失誤率,因此需要達到90分以上才能真正部署到關鍵流程。

重點整理

重點
  • 1

    Agent AI採用率低的根本原因:企業對AI的容錯率要求遠高於個人使用。個人使用60-70分滿足度尚可,但企業營運無法接受30-40%的失誤率,因此需要達到90分以上才能真正部署到關鍵流程。

  • 2

    AI理解不足的核心問題:AI模型本身無法理解企業特定的術語、業務邏輯、隱性規則與歷史經驗。直接購買通用AI模型而不做任何企業知識的輸入,結果必然是張冠李戴、判斷錯誤。

  • 3

    「Harness Engineering」的必要性:如同一台車有好引擎與傳動系統仍需配套設計才能贏得比賽,AI需要透過知識工程、制度設計、資料治理等多面向配套,才能落地到真實業務流程。

  • 4

    知識工程的三層配套:包括建構知識庫(收集過去案例、公司慣例、外部資訊)、制度面安排(如何讓AI習得師傅的經驗與判斷原則)、以及系統架構選擇(雲端或本地部署的成本考量)。

實用技巧與重點

乾貨
  • 德勤全球調查數據
  • 2026年1月調查全球3000多個機構
  • 僅25%把Agentic AI放入生產環境
  • AI準確率數據
  • OpenAI模型初期複雜任務達成率:10%
  • 通用AI直接應用錯誤率:高達30-40%
  • 經過知識工程優化後準確率:95%以上
  • 財務凭證自動審核案例
  • 企業規模:四萬人左右
  • 人力成本:每月逾千萬(4萬人×月薪5萬+審核時間)
  • 系統配置:混合部署(本地處理+雲端LLM)
  • 月度成本:雲端流量費不到200萬
  • 費用分類:自動識別一般費用、教育訓練費、報關費等
  • 準確率:95%以上
  • 審計異常發現案例
  • 公司:內湖科技業,與NVIDIA合作
  • 發現異常:住宿費一萬多元,超過公司規定3000元上限
  • 風險評估:中風險(已過簽合程序但仍需監控)
  • 知識庫構成元素
  • 過去查核發現與結果
  • 公司常用的涵化與規則
  • 過去查核文件與記錄
  • 外部輿情與法規重點
  • 系統架構模式
  • 混合部署:大多數本地化処理,僅LLM模型在雲端
  • 好處:降低流量費、保護隱私、減少延遲

結論

結論

AI不是買來就用的工具,真正的價值在於透過企業知識庫與系統配套,把組織的隱性知識結構化賦予AI,才能從60-70分的不可靠提升到90分以上的生產級應用,實現真正的「人機協作倍增」。

完整解析

詳細

德勤高管在這場演講中揭示了企業AI應用的關鍵矛盾:雖然硬體平台與軟體工具已日趨成熟,但真正把AI Agent放入生產環境的企業只有25%。根本原因是什麼?企業無法容忍AI的出錯。當OpenAI模型面對複雜任務時,初期達成率只有10%,即便改進後也難以達到企業所需的90分以上標準——試想一個審計程序只有60-70%的準確率,對企業營運會帶來多大風險。

問題並非AI本身不夠強大,而是AI完全不理解企業內部的語言。某家內湖科技公司已建立完整的數位帳冊系統,憑證掃描、自動傳票配對都已自動化,卻仍一天到晚出錯。為什麼?因為當員工報帳時說的「教育訓練費」或「報關費用」,通用的AI模型根本無法理解這些詞彙在該公司對應的會計科目和審核規則。

德勤引入了「Harness Engineering」的概念來解決這個鴻溝。這不只是調整Prompt那麼簡單,而是需要系統性的知識工程。他們為客戶建立企業知識庫,將過去所有查核發現、公司的審核原則、財務人員的判斷經驗,以及法規重點等元素整合進去。更重要的是,他們還把審計師審查費用時的隱性知識——例如「這張住宿費沒有寫清楚用途,而且超過了每日3000元的上限」——打包成AI能理解的規則集。

結果令人印象深刻。在財務案例中,經過知識工程配套後,自動分類與審核的準確率達到95%以上。該公司四萬人,每人每月只需一小時的報帳和審核時間,這筆人力成本高達千萬元以上。導入AI系統後,員工只需拍照上傳,後續完全自動化。即便考慮雲端的LLM調用費用(月費不到200萬),年度節省規模也高達億元。

在審計應用中,同樣的知識庫架構讓AI能夠自動發現異常。當審計師丟入一份出差申請單時,AI不僅找出了超額的住宿費,還基於公司簽合流程的認識,給出了「中風險」評估,並建議後續應查檢簽合流程是否有漏洞、是否需要監控。這些判斷完全源自知識庫中的企業規則與歷史案例。

講者強調,這整套配套不只涉及IT層面,更涉及制度層面。許多企業發現,老師傅掌握的技能和經驗從未被系統化記錄,都藏在腦子裡——如果想把這些知識遷移給AI,必須先通過訪談、錄影、文件蒐集等方式把隱性知識外顯化。這正是知識工程的核心工作。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。