KeyFrame內部研究專用

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk·8月24日週一英文

三句話摘要

高盛金融公司的五大AI使用原則(VAULT框架),教你如何負責任地構建可信AI系統。 Goldman Sachs的最大啟示是:不必將所有問題都變成AI代理,而應理解問題本質、保護數據安全、選用最簡單可行的方案,並對真正重要的行動保留控制權。 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。

重點整理

重點
  • 1

    驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。

  • 2

    區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。

  • 3

    以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。

  • 4

    人類監督必須在迴圈中:AI行動的後果越大,需要的人工批准越多;設置草稿模式讓人先審核再執行,避免誤解被放大為大規模錯誤。

實用技巧與重點

乾貨
  • VAULT框架:Verify(驗證)、Augment(增強)、Understand Why(理解目的)、Loop Humans In(人類參與)、Transparency(透明度)
  • 真實案例:自動AI代理因誤解任務,向約19萬電郵清單發送折扣碼
  • 高盛培訓:新進分析師必須通過「數據學校」(data school),學習數據如何拉取、清理、更新
  • 驗證提示範例:「在給最終答案前,重新檢查每個數字和事實聲明,引用每一項的來源,標記任何不夠百分百確定的內容」
  • 報告組合方案:自動化提取與計算 → 驗證數字正確性 → AI用白話解釋變化
  • 草稿模式:AI生成草稿信件或文件供人審核,而非直接發送

結論

結論

Goldman Sachs的最大啟示是:不必將所有問題都變成AI代理,而應理解問題本質、保護數據安全、選用最簡單可行的方案,並對真正重要的行動保留控制權。

完整解析

詳細

高盛作為全球金融業的巨頭,對AI的應用有著特殊的要求——一次錯誤的數據輸入或AI幻覺可能導致數百萬美元損失甚至信譽崩壞。講者基於在高盛商業智能部門的工作經驗,提煉出五項核心原則,稱為VAULT框架。

第一個原則是驗證(Verify)。許多人因AI輸出格式完美、生成迅速而過度信任,卻忽視看起來完成的東西不等於實際正確。高盛CIO Marco Argenti強調了模型推理過程與最終輸出的區別——即使答案錯誤,推導過程仍可提供價值。驗證應從數據源頭開始。作為BI分析師,每位同事都必須完成「數據學校」培訓,理解數據如何流動、清理、更新。因為企業內部的數據——客戶資訊、銷售歷史、內部流程——是獨特資產,但若數據過時或重複或混亂,AI只會更快地給出錯誤答案。解決方案是在提示中直接要求模型重檢數字並引用來源,或針對高風險項目構建AI審查小組。

第二個原則是增強而非取代(Augment)。高盛在AI浪潮前數十年就在構建自動化系統,講者在此期間看到許多工作未必需要AI。人工手動報告、跨系統數據移動、團隊間的等待與溝通失誤都是真實問題,但若任務遵循明確規則,傳統確定性自動化(deterministic automation)會更便宜、更快、更可信。自動化重複執行相同步驟,出錯時易於測試和修復;而AI適合需要判斷力、靈活性、處理混雜資訊的場景。最佳系統往往是混合型:自動化提取並驗證數據,AI負責解釋含義和講述故事。

第三個原則是理解目的(Understand the Why)。許多人開啟AI工具時心想「我要建個代理」或「我要用新工具」,卻忘了問「我實際在解決什麼問題」。高盛的工程原則強調「帶著目的構建」——工程師不能只關注怎麼做,更要優先考慮為什麼做。講者在社群中見過人們一開始就選技術,最後即使建了複雜工作流也無人使用;反觀有人專注解決一個切實的痛點,短短數月內就用AI項目取代了全職收入。

第四個原則是讓人類參與迴圈(Loop Humans In)。AI像是擴音器,任何輸入(包括錯誤)都被放大。在自動代理層級,一句歧義指令可能導致錯誤的郵件、錯誤的數據更新、向19萬用戶發出誤導折扣。Argenti警告小的誤解可被AI系統放大為危險行動。因此人類必須留在迴圈中,其監督程度應與行動後果相稱——整理個人筆記可全自動,但客戶相關、財務決策或大規模溝通則需批准步驟。最簡單的方法是設置草稿模式,讓AI將郵件寫入Gmail草稿、將建議放入文件再決定執行。

第五個原則是透明度(Transparency)。高盛要求任何涉及重要數據的系統都需要解釋其信息來源、處理過程與結果生成方式。透明度不是要求模型暴露內部思維,而是提供可審查的證據:數據源、輸入、行動、假設、驗證檢查。每次系統執行都需記錄。這使系統更易信任、改進和交接他人。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。
S2E68 AI 巨頭的秘密:偷買二手書,掃描完就銷毀 Why?
18 min
AI 技術中文PODCAST8月23日

S2E68 AI 巨頭的秘密:偷買二手書,掃描完就銷毀 Why?

矽谷輕鬆談

  • Anthropic 2024年啟動「巴拿馬計畫」大規模掃描實體書籍,源於版權訴訟後需要合法資料。電子版有使用限制、與出版商談判太慢太貴,最終採用購買二手書→掃描→銷毀的流程,成為取得有授權訓練資料的最快方式。
  • Amazon在拉斯維加斯倉庫VGT3進行相同操作,透過多家書商購買不重複ISBN的書籍後掃描銷毀。銷毀原因三層:成本最低(逐頁翻掃損傷書籍耗時),規避法律風險(同時持有實體和數位版違反購買協議),阻止競爭對手取得稀有絕版書籍資料。
  • 2024年後Scaling法則失效,單純增加資料和參數不再顯著提升模型能力。模型商轉向強化學習(利用數學、程式等可驗證任務大規模訓練)和推論時計算(動態調整思考深度、多路由、層級思考)。副作用是Opus 5在程式編寫能力增強,但人文寫作能力下降,可讀性差。