[un]prompted.au 2026 - AI with Receipts:Evidence-Backed AI for High-Stakes Pro Work - Pete Werner
三句話摘要
如何通過任務分解、評估管道與迭代改進,建立可靠的生產級AI系統。 在生產級AI系統中,可靠性的關鍵不是盲目追求更強模型,而是通過任務分解、系統化評估與迭代改進資料表示方式,逐步建立可信的管道基礎設施。 分解與評估是解決AI黑盒問題的關鍵。 AI系統無論何時都會給出答案,但我們往往不知道答案是否正確。解決方案是將龐大的單一提示詞分解成許多小任務,為每個任務建立評估器(evaluator/judge),自動檢查輸出是否合理。這樣可以精確定位失敗位置、追蹤所有中間步驟,進而診斷問題原因。
重點整理
分解與評估是解決AI黑盒問題的關鍵。 AI系統無論何時都會給出答案,但我們往往不知道答案是否正確。解決方案是將龐大的單一提示詞分解成許多小任務,為每個任務建立評估器(evaluator/judge),自動檢查輸出是否合理。這樣可以精確定位失敗位置、追蹤所有中間步驟,進而診斷問題原因。
表示法與呈現方式往往是改進的主要槓桿,勿盲目追求更強模型。 在改變資料結構表示(representation)和任務呈現方式(presentation)後,一個系統的幻覺率從95%降至3%,遠優於直接換更強模型(0%幻覺但耗時5倍)。大多數人假設瓶頸是模型能力不足,但實際上最可控的是資料如何編碼和呈現給模型。
建立評估管道創造實際商業價值。 除了確保品質,這些管道有助於優先分配工作、累積訓練資料以構建自有模型、支援多代理工作流擴展,以及在新模型發佈時快速測試影響。評估系統和管道形成競爭優勢和價值壕溝。
實用技巧與重點
- 工具與框架:
- Python(主要開發語言)
- Task file(YAML版的Makefile,簡化工作流編排)
- MLflow(觀測性平台,捕捉輸入輸出、執行評估、提供儀表板)
- Judge agent(AI輔助調校評估指標的工具)
- 改進範例數據:
- 幻覺率改進:95% → 3%(僅通過改變表示法與呈現方式)
- 幻覺率改進:3% → 0%(使用更強模型,但耗時增加5倍)
- 可處理規模:100,000 至 100萬個任務
- 評估工作流的三個維度:
- 表示法(Representation):資料結構格式(純文本、YAML、源代碼等)
- 呈現方式(Presentation):如何向模型展示資料與任務描述
- 模型能力(Model Capability):必要時分解任務或使用更強模型
結論
在生產級AI系統中,可靠性的關鍵不是盲目追求更強模型,而是通過任務分解、系統化評估與迭代改進資料表示方式,逐步建立可信的管道基礎設施。
完整解析
Pete是Penumbra的創辦人,曾任Leonardo(擴散模型與AI影像生成公司)的AI負責人,帶領該公司從零成長至2000萬用戶。在本次演講中,他聚焦一個核心問題:當我們要求AI系統完成複雜任務(例如在Chrome中尋找漏洞)時,系統總會給出某種答案,但我們無法判斷答案的正確性。系統可能誤報、漏報,甚至在回應中混入幻覺內容,而這些問題往往不會立即顯現,可能數月後才在生產環境中爆發。
面對這個根本挑戰,Pete提出的方案是將大型複雜任務分解成眾多小任務,為每個小任務建立評估系統(評估器或評判代理),自動判定輸出的合理性。透過捕捉所有任務的輸入與輸出,系統能精確回答三個關鍵問題:失敗發生在哪裡、為何失敗、應如何補救。評估資料提供了完整的除錯線索:可快速找出故障點、比對類似的失敗案例、識別成功案例的特徵差異。
在改進質量的三個維度中,許多團隊直觀地假設答案是「換一個更強的模型」。但Pete指出,最可控且最有效的槓桿是改變資料的表示法與呈現方式。他分享了一個實際案例:某系統幻覺率高達95%,團隊保持輸入資料和模型不變,僅改變了資料的編碼方式和向模型呈現任務的方式,幻覺率立即下降到3%。之後他們確實嘗試了更強模型,最終幻覺率達到零,但代價是推理耗時增加5倍、成本大幅上升。這說明在實務中,探索表示法與呈現方式的改進往往性價比更優。更進階的例子包括學習表示(learned representation),譬如用特定編譯器編譯特定類型代碼並轉換成模型可用的特徵空間,使模型在某個特定問題上達到極高精度。
建立這種評估與管道系統帶來的價值遠超質量保證本身。它幫助團隊優先分配工作,清楚看到哪些環節運行良好、哪些需要關注。評估系統累積的資料可用於訓練自有模型,在成本與推理速度上獲得顯著優勢。結構化的任務設計與資料表示亦使系統高度適配多代理工作流,團隊可在初期運行高耗能的管道產生大量候選結果,再用多個代理平行分類與驗證結果。當新模型或新方法發佈時,有健全的評估基礎設施意味著團隊能快速定量評估其影響,避免盲目遷移。Pete建議開發者從簡單開始,使用Python、Task file與MLflow等現成工具逐步構建,等管道穩定且可信後,再引入複雜特性。這樣的做法既建立了競爭優勢與價值壕溝,也為長期的系統迭代提供了堅實的數據基礎。


