Abundant Intelligence at the Midwest AI Summit
三句話摘要
Midwest AI Summit 2024 特別集合:三位業界領導者分享AI工作流程的架構、設計與團隊管理經驗。 AI 的成功取決於精準判斷組織約束並選擇匹配的協作模式,配合完善的評估與 guardrails 建立可信任的人機系統,而非盲目追求完全自動化。 完整的工作流程架構包含四層:選擇每項任務的適當執行機制(規則、傳統ML、決策模型或LLM),搭配三道防線——guardrails(運行時控制與回滾)、evals(評估框架)、observability(監控與重放)。橡膠軟管、農業、醫療等生產環境的成功案例都遵循此原則,將AI侷限在清晰定義的角色。
重點整理
完整的工作流程架構包含四層:選擇每項任務的適當執行機制(規則、傳統ML、決策模型或LLM),搭配三道防線——guardrails(運行時控制與回滾)、evals(評估框架)、observability(監控與重放)。橡膠軟管、農業、醫療等生產環境的成功案例都遵循此原則,將AI侷限在清晰定義的角色。
與使用者共同設計勝於代替設計:藍領工人拒用新工具的根本原因是工具難用、無助於日常工作或被視為他人強加。透過共同目標、合成資料集、數據飛輪與頻繁反饋的協作方式,可將抗拒轉化為擁護,使使用者成為系統共創者。
AI自動化無一刀切方案,需根據組織約束調整:Token預算、組織支持、領域知識、輸出可驗證性、代碼監督等六項約束決定團隊應運作的模式——從「個人協助」到「完全自動化」有四個等級,不必強制達到最高級。
五項通用原則適應所有模式的團隊:共享基礎設施(領域知識編碼化)、刻意迭代(定期同步討論)、驗證優先於速度、消除系統瓶頸、減少重複勞動——這些原則具體實踐方式因約束而異。
實用技巧與重點
- Heidi Porter 案例與方法:
- 橡膠軟管生產線:YOLO視覺模型→知識圖譜擷取→規則檢查→人工審查
- Syngenta CropWise AI:LLM做介面與解釋,農業專業模型做預測,多知識庫+API架構
- Stanford 手術共管工具:LLM 輸出 Yes/Maybe/No,應用機構rubric,醫師最終決策,O3 Mini 模型
- 評估指標:可驗證性、機制選擇、guardrail架構、觀測期間
- Kevin Solorio 方法與工具:
- 採用失敗原因:速度慢、無助日常工作、操作繁瑣、過度監督
- 評估系統:Evals是必需(非可選),無evals=概念證明階段
- 數據飛輪:離線資料集→開發→線上評估器→標註隊列→新資料回饋
- 合成資料集初期測試,邀請代表性使用者參與標註
- Chris Schenkel & Andrew Dunlap 框架:
- 六個約束條件:Token預算上限、組織就緒度、目標清晰性、領域知識分佈、輸出可驗證性、代碼監督要求
- 四種運作模式:Individual(人在迴圈)→ Shared(共享知識)→ Coordinated(代理團隊)→ Autonomous(完全自動)
- 客戶案例數據:傳輸系統(預算限制停留個人模式)、建築構件(成本敏感留在共享模式)、銀行應用(充足預算達6倍效率提升)
- 五項原則:共享基礎設施、deliberate iteration、驗證優先、系統瓶頸消除、移除重複勞動
結論
AI 的成功取決於精準判斷組織約束並選擇匹配的協作模式,配合完善的評估與 guardrails 建立可信任的人機系統,而非盲目追求完全自動化。
完整解析
Midwest AI Summit 2024 匯聚三位實戰專家,分享如何從試點階段推進至生產環境的AI工作流程。
Heidi Porter 首先揭示一個普遍現象:許多AI試點死在示範階段或生產初期,根源不在於模型選擇,而是系統架構錯誤。她強調,成功的工作流程需要四層設計。第一層是為每項任務選擇最適當的執行機制——可能是硬編碼規則、傳統機器學習、決策模型,或LLM,關鍵在於不要過度依賴LLM。第二至四層則是圍繞執行機制的三道防線:guardrails(運行時控制、人工審查、回滾機制)防止輸出逸出安全邊界、evals(重複測試框架)判定結果正確性、observability(監控與重放能力)早期發現漂移。她透過三個深度案例說明這套架構:橡膠軟管生產的視覺缺陷檢測系統,讓LLM只負責從知識圖譜擷取相關證據並草擬解釋,再由規則檢查確保LLM沒有超出證據範圍;農業科技Syngenta的種子選擇工具,LLM擔任自然語言介面與結果解釋者,但農業預測完全交由專業農業模型;Stanford醫療系統的手術共管篩選工具,LLM 只輸出三元判斷(是/可能/否),醫師保留最終決策權且可覆蓋系統判斷。所有案例共同點:清晰定義AI的角色,不要期待它全能。
Kevin Solorio 從使用者採用角度反思。他發現藍領工人拒絕新工具的表面原因包括速度慢、不符實際需求、操作繁瑣,但深層根源是被動接收他人設計的工具而非參與其構建。他主張改變設計流程——從「為使用者構建」轉為「與使用者共同構建」。具體做法包括:與代表性使用者坐在一起,先構建一個刻意錯誤的合成資料集或原型讓他們指正(人們更容易指出錯誤而非直接生成需求);建立評估框架,注意evals 並非可選項,無評估的代理充其量是概念證明;建立數據飛輪機制,離線資料集用於開發與測試,線上評估器(規則檢查或LLM判官)持續評估生產中的案例,有問題的案例進入標註隊列經人工審視後回饋至離線資料集,形成不斷進化的資料庫;頻繁與使用者溝通,展示改進進展,讓他們感受到自己的意見被聽見並轉化為系統行為。當使用者參與創造過程,他們會轉化為產品的積極推廣者。
Chris Schenkel 與 Andrew Dunlap 則提供了一套決策框架,核心洞見是「AI 不會修復一支已經有問題的團隊,它只會放大團隊既有的特性」。他們列出六個關鍵約束條件——Token 成本預算、組織對該項目的支持度、目標定義清晰性、領域知識的文件化程度、系統輸出的可驗證性、代碼監督的強制性。這六項約束不是固定值,而是可調整的「撥盤」,決定了團隊應運作的模式。他們定義四個漸進的運作模式:Individual 模式(人在迴圈,每步需人工決定)、Shared 模式(團隊共享領域知識與工作流,代理輔助但人類主導)、Coordinated 模式(多個代理協調運作,人類監督重點步驟)、Autonomous 模式(代理自主決策與執行,人類事後檢查)。三個客戶案例分別演示不同模式:傳輸系統因 Token 預算有限與大規模驗證困難而停留在 Individual 模式;建築構件設計因高失敗成本而選擇 Shared 模式,確保每步質量;銀行應用因充足預算與低驗證成本而升至 Coordinated 模式,達成 6 倍工作效率提升。最後,他們歸納出五項通用原則適用於所有模式:建立共享的基礎設施(將領域知識、流程、規則編碼化進程式碼讓團隊共享)、進行 deliberate iteration(固定時間區塊定期同步討論效果與困難)、驗證優先於速度(當約束變化時放慢步調確保品質)、持續消除系統瓶頸(例如代碼審查成為瓶頸就要改進流程)、移除重複勞動交給 AI(保留分析與創意給人類)。這些原則在任何模式中都適用,只是具體實踐方式因約束而異。


