Your agent is blindfolded — Johan Lajili, Poolside AI
三句話摘要
AI編碼工具在不同應用場景下的表現差異，以及建立信任與驗證機制的必要性。 AI 工程師的核心職責是構建驗證工具和改善 AI 的工作環境，確保 AI 能自主測試後再投入生產。 Brownfield vs Greenfield 的根本差異：新項目中AI的預期通常準確，但遺留系統中存在死代碼、隱藏依賴和預期外的複雜性，這決定了AI能否有效工作。
重點整理
重點- 1
Brownfield vs Greenfield 的根本差異：新項目中AI的預期通常準確，但遺留系統中存在死代碼、隱藏依賴和預期外的複雜性，這決定了AI能否有效工作。
- 2
信任需要驗證：用戶對AI的態度分化源於反饋循環的有無。懷疑者看到一次錯誤就放棄；信任者要求AI先重現問題再修復，建立完整的驗證流程。
- 3
工程師角色轉變：不再專注產品功能實現，而是構建基礎設施讓AI能自主工作——包括驗證工具、改進代碼可讀性、建立知識庫、設計AI友好的系統架構。
- 4
驗證工具的設計原則：模擬人類測試方式（如截圖、查看日誌、互動測試）比硬性自動化測試更適合AI；要根據自己的產品特性（權限、登入、3D渲染等）量身訂做。
實用技巧與重點
乾貨- Spoolside 工具功能：
- 應用截圖與快照
- 提取後端和前端日誌
- 重啟不同服務
- 訪問菜單、跳轉頁面、發送消息、上傳圖像等高級操作
- 與AI互動並等待回覆
- 實現方式：可作為 CLI、skill 或 MCP 實現
- Joanne 的具體建議：
- 要求 AI 修復前先重現 bug
- 檢查日誌找出重複模式（如重複呼叫 sleep）
- 查看 AI 是否多次執行相同操作
- 根據產品類型設計驗證流程
結論
結論“AI 工程師的核心職責是構建驗證工具和改善 AI 的工作環境，確保 AI 能自主測試後再投入生產。”
完整解析
詳細演講源於一個觀察：社群媒體上關於 AI 編碼的評價兩極分化——有人說 AI 徹底改變工作方式，也有人說生成的代碼完全無用。Joanne 認為這不能簡單歸因於某人撒謊或只做簡單項目，真正的差異在於反饋循環的有無。
當 AI 在 Greenfield 項目中工作時，它建立在乾淨的基礎之上，直覺往往正確。但 Brownfield 環境（維護遺留系統）充滿變數——存在著早已廢棄的代碼、隱藏的相互依賴，以及 AI 甚至沒看過的隱藏規則。同樣的 AI 在兩種場景下的表現天差地別。
Joanne 開發的 Spoolside 工具是她解決方案的具體體現。它不只能對應用進行截圖和快照，還能與 VS Code 擴充功能互動、提取多個服務的日誌、執行重啟、菜單訪問等複雜操作。最關鍵的是，它讓 AI 能像人類一樣測試自己的工作。當 AI 說修復了某個 bug，Joanne 堅持要求它先重現這個 bug——只有當 AI 實際看到問題發生時，你才能相信它真正理解了問題所在。
這反映了工程師職責的根本轉變。過去是實現產品功能；現在是為 AI 構建工作環境。這包括設計驗證工具、改進代碼可讀性、建立知識庫、考慮系統架構對 AI 的影響。這就像飛行安全演示——先照顧好自己，再照顧他人。你需要先讓 AI「戴好口罩」，確保它能自主驗證，然後才能放心讓它獨立工作。
雖然 Spoolside 是具體例子，但每個團隊都需要根據自己的需求建立驗證機制。可實現為 CLI、skill 或 MCP，關鍵是認識到驗證機制不是奢侈品，而是必需的基礎設施。短期內可能會減速，但長期投資能大幅提升利用 AI 的效率和質量。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
