KeyFrame內部研究專用

[un]prompted.au 2026 - AI with Receipts:Evidence-Backed AI for High-Stakes Pro Work - Pete Werner

Unprompted au15 min英文
觀看原始影片

三句話摘要

如何通過任務分解、評估管道與迭代改進,建立可靠的生產級AI系統。 在生產級AI系統中,可靠性的關鍵不是盲目追求更強模型,而是通過任務分解、系統化評估與迭代改進資料表示方式,逐步建立可信的管道基礎設施。 分解與評估是解決AI黑盒問題的關鍵。 AI系統無論何時都會給出答案,但我們往往不知道答案是否正確。解決方案是將龐大的單一提示詞分解成許多小任務,為每個任務建立評估器(evaluator/judge),自動檢查輸出是否合理。這樣可以精確定位失敗位置、追蹤所有中間步驟,進而診斷問題原因。

重點整理

  1. 分解與評估是解決AI黑盒問題的關鍵。 AI系統無論何時都會給出答案,但我們往往不知道答案是否正確。解決方案是將龐大的單一提示詞分解成許多小任務,為每個任務建立評估器(evaluator/judge),自動檢查輸出是否合理。這樣可以精確定位失敗位置、追蹤所有中間步驟,進而診斷問題原因。

  2. 表示法與呈現方式往往是改進的主要槓桿,勿盲目追求更強模型。 在改變資料結構表示(representation)和任務呈現方式(presentation)後,一個系統的幻覺率從95%降至3%,遠優於直接換更強模型(0%幻覺但耗時5倍)。大多數人假設瓶頸是模型能力不足,但實際上最可控的是資料如何編碼和呈現給模型。

  3. 建立評估管道創造實際商業價值。 除了確保品質,這些管道有助於優先分配工作、累積訓練資料以構建自有模型、支援多代理工作流擴展,以及在新模型發佈時快速測試影響。評估系統和管道形成競爭優勢和價值壕溝。

實用技巧與重點

  • 工具與框架:
  • Python(主要開發語言)
  • Task file(YAML版的Makefile,簡化工作流編排)
  • MLflow(觀測性平台,捕捉輸入輸出、執行評估、提供儀表板)
  • Judge agent(AI輔助調校評估指標的工具)
  • 改進範例數據:
  • 幻覺率改進:95% → 3%(僅通過改變表示法與呈現方式)
  • 幻覺率改進:3% → 0%(使用更強模型,但耗時增加5倍)
  • 可處理規模:100,000 至 100萬個任務
  • 評估工作流的三個維度:
  • 表示法(Representation):資料結構格式(純文本、YAML、源代碼等)
  • 呈現方式(Presentation):如何向模型展示資料與任務描述
  • 模型能力(Model Capability):必要時分解任務或使用更強模型

結論

在生產級AI系統中,可靠性的關鍵不是盲目追求更強模型,而是通過任務分解、系統化評估與迭代改進資料表示方式,逐步建立可信的管道基礎設施。

完整解析

Pete是Penumbra的創辦人,曾任Leonardo(擴散模型與AI影像生成公司)的AI負責人,帶領該公司從零成長至2000萬用戶。在本次演講中,他聚焦一個核心問題:當我們要求AI系統完成複雜任務(例如在Chrome中尋找漏洞)時,系統總會給出某種答案,但我們無法判斷答案的正確性。系統可能誤報、漏報,甚至在回應中混入幻覺內容,而這些問題往往不會立即顯現,可能數月後才在生產環境中爆發。

面對這個根本挑戰,Pete提出的方案是將大型複雜任務分解成眾多小任務,為每個小任務建立評估系統(評估器或評判代理),自動判定輸出的合理性。透過捕捉所有任務的輸入與輸出,系統能精確回答三個關鍵問題:失敗發生在哪裡、為何失敗、應如何補救。評估資料提供了完整的除錯線索:可快速找出故障點、比對類似的失敗案例、識別成功案例的特徵差異。

在改進質量的三個維度中,許多團隊直觀地假設答案是「換一個更強的模型」。但Pete指出,最可控且最有效的槓桿是改變資料的表示法與呈現方式。他分享了一個實際案例:某系統幻覺率高達95%,團隊保持輸入資料和模型不變,僅改變了資料的編碼方式和向模型呈現任務的方式,幻覺率立即下降到3%。之後他們確實嘗試了更強模型,最終幻覺率達到零,但代價是推理耗時增加5倍、成本大幅上升。這說明在實務中,探索表示法與呈現方式的改進往往性價比更優。更進階的例子包括學習表示(learned representation),譬如用特定編譯器編譯特定類型代碼並轉換成模型可用的特徵空間,使模型在某個特定問題上達到極高精度。

建立這種評估與管道系統帶來的價值遠超質量保證本身。它幫助團隊優先分配工作,清楚看到哪些環節運行良好、哪些需要關注。評估系統累積的資料可用於訓練自有模型,在成本與推理速度上獲得顯著優勢。結構化的任務設計與資料表示亦使系統高度適配多代理工作流,團隊可在初期運行高耗能的管道產生大量候選結果,再用多個代理平行分類與驗證結果。當新模型或新方法發佈時,有健全的評估基礎設施意味著團隊能快速定量評估其影響,避免盲目遷移。Pete建議開發者從簡單開始,使用Python、Task file與MLflow等現成工具逐步構建,等管道穩定且可信後,再引入複雜特性。這樣的做法既建立了競爭優勢與價值壕溝,也為長期的系統迭代提供了堅實的數據基礎。

32 min
AI 安全英文10月20日

[un]prompted.au 2026 - Human in the Loop, Ghost in the Shell... - Ash Fox

Unprompted au看原片 ↗
  • 攻擊者採用 AI 的三個維度:精密度增加(複雜技能從昂貴資源變為按需模型)、規模擴張(不再受人力限制)、速度加快(代理快速導航與決策)。但不同攻擊者類型有差異——需要隱蔽性的特務活動不太可能部署代理,而大規模無差別的勒索軟體運營者更可能採用
  • 紅隊代理需兼顧有效性與可信性:不僅要能找到漏洞和執行攻擊,更要表現得像真實攻擊者(適當隱蔽性、專業作業規範),避免洩露憑證、破壞系統、超出測試範圍等不當行為。
31 min
AI 技術英文10月20日

[un]prompted.au 2026 - To the Frontier and Back Again - John McIntosh

Unprompted au看原片 ↗
  • 超高速的漏洞發現能力:從第一個請求到發現第一個確認的漏洞只需 1 小時 16 分鐘,其中近 1 小時用於環境設置,實際代碼分析僅 13 分鐘。第二個漏洞(寫入型)則在 25 分鐘內發現,展示了 AI 在複雜技術工作上的顯著速度優勢。
  • 系統性的狩獵模式:透過設定目標、收集相關 CVE 作為上下文、建構研究環境,再進入「偵查→線索開發→驗證」的循環,AI 能自動迭代並從失敗中學習。該過程展示了模型如何識別模式(如併發問題),然後針對性地搜尋相應漏洞。
18 min
Web2 安全英文10月20日

[un]prompted.au 2026 - How Agentic SAST Decodes Business Context to Hunt Privilege Esc. - Sylvia Xu

Unprompted au看原片 ↗
  • 傳統黑箱測試需要測試多個用戶角色帳號並檢查數百個端點組合,工作量巨大且容易遺漏。新方法透過同時掃描前後端代碼,直接比對業務意圖與實現之間的差異。
  • LLM能語義化理解代碼含義,區分身份驗證邏輯與其他檢查;但存在不確定性、上下文溢出與幻覺問題。解決方案是用決定性Python代碼來驗證LLM輸出、控制上下文流、蒐集人工反饋。