KeyFrame內部研究專用

Your agent is blindfolded — Johan Lajili, Poolside AI

AI Engineer9 min英文
觀看原始影片

三句話摘要

AI編碼工具在不同應用場景下的表現差異,以及建立信任與驗證機制的必要性。 AI 工程師的核心職責是構建驗證工具和改善 AI 的工作環境,確保 AI 能自主測試後再投入生產。 Brownfield vs Greenfield 的根本差異:新項目中AI的預期通常準確,但遺留系統中存在死代碼、隱藏依賴和預期外的複雜性,這決定了AI能否有效工作。

重點整理

  1. Brownfield vs Greenfield 的根本差異:新項目中AI的預期通常準確,但遺留系統中存在死代碼、隱藏依賴和預期外的複雜性,這決定了AI能否有效工作。

  2. 信任需要驗證:用戶對AI的態度分化源於反饋循環的有無。懷疑者看到一次錯誤就放棄;信任者要求AI先重現問題再修復,建立完整的驗證流程。

  3. 工程師角色轉變:不再專注產品功能實現,而是構建基礎設施讓AI能自主工作——包括驗證工具、改進代碼可讀性、建立知識庫、設計AI友好的系統架構。

  4. 驗證工具的設計原則:模擬人類測試方式(如截圖、查看日誌、互動測試)比硬性自動化測試更適合AI;要根據自己的產品特性(權限、登入、3D渲染等)量身訂做。

實用技巧與重點

  • Spoolside 工具功能:
  • 應用截圖與快照
  • 提取後端和前端日誌
  • 重啟不同服務
  • 訪問菜單、跳轉頁面、發送消息、上傳圖像等高級操作
  • 與AI互動並等待回覆
  • 實現方式:可作為 CLI、skill 或 MCP 實現
  • Joanne 的具體建議:
  • 要求 AI 修復前先重現 bug
  • 檢查日誌找出重複模式(如重複呼叫 sleep)
  • 查看 AI 是否多次執行相同操作
  • 根據產品類型設計驗證流程

結論

AI 工程師的核心職責是構建驗證工具和改善 AI 的工作環境,確保 AI 能自主測試後再投入生產。

完整解析

演講源於一個觀察:社群媒體上關於 AI 編碼的評價兩極分化——有人說 AI 徹底改變工作方式,也有人說生成的代碼完全無用。Joanne 認為這不能簡單歸因於某人撒謊或只做簡單項目,真正的差異在於反饋循環的有無。

當 AI 在 Greenfield 項目中工作時,它建立在乾淨的基礎之上,直覺往往正確。但 Brownfield 環境(維護遺留系統)充滿變數——存在著早已廢棄的代碼、隱藏的相互依賴,以及 AI 甚至沒看過的隱藏規則。同樣的 AI 在兩種場景下的表現天差地別。

Joanne 開發的 Spoolside 工具是她解決方案的具體體現。它不只能對應用進行截圖和快照,還能與 VS Code 擴充功能互動、提取多個服務的日誌、執行重啟、菜單訪問等複雜操作。最關鍵的是,它讓 AI 能像人類一樣測試自己的工作。當 AI 說修復了某個 bug,Joanne 堅持要求它先重現這個 bug——只有當 AI 實際看到問題發生時,你才能相信它真正理解了問題所在。

這反映了工程師職責的根本轉變。過去是實現產品功能;現在是為 AI 構建工作環境。這包括設計驗證工具、改進代碼可讀性、建立知識庫、考慮系統架構對 AI 的影響。這就像飛行安全演示——先照顧好自己,再照顧他人。你需要先讓 AI「戴好口罩」,確保它能自主驗證,然後才能放心讓它獨立工作。

雖然 Spoolside 是具體例子,但每個團隊都需要根據自己的需求建立驗證機制。可實現為 CLI、skill 或 MCP,關鍵是認識到驗證機制不是奢侈品,而是必需的基礎設施。短期內可能會減速,但長期投資能大幅提升利用 AI 的效率和質量。

11 min
AI 安全中文11月21日

防蒸餾的三道防線:OpenAI 怎麼保護 AI 的思考過程

一隻羊聊AI看原片 ↗
  • 思考過程是最值得保護的資產:完整的思維鏈(Chain-of-Thought)包含最終答案中沒有的中間步驟,蒸餾來的模型若學到完整思考過程,會多掌握超出預期的能力,包括原本應被防護的攻擊技巧。實驗顯示,學完整思考的學生在資安測驗中表現顯著優於
  • 三層防護結構應對單次請求與持續威脅:模型透過對抗訓練自我拒絕套話,分類器檢查請求意圖與回應內容(包括工具參數),API 層將思考過程與對話綁定,防止跨對話搬運。九月報告曾揭示的加密思考搬運攻擊已被修補。
10 min
AI 安全中文11月13日

The New AI Security Nightmare: Undetectable LLM Backdoors

Internet of Bugs看原片 ↗
  • LLM 可被訓練成在表面上表現正常,卻在特定條件(如在程式碼註釋中看到某個特定字串)觸發時執行訓練者指定的惡意行為,例如上傳環境變數檔案到遠端伺服器。這種後門是不可偵測的,研究者找不到檢測方法,且即使進行後續重新訓練也無法消除。
  • 任何參與模型創建或分發的人員都可能植入這類後門,不論模型是由知名 AI 廠商託管在雲端、還是自行部署。只要組織內有不可信任的人員,就無法完全排除這個風險。
22 min
AI 技術中文10月27日

Switch 2 宣告失守! AI 黑客 14 日暴力破解,唔使拆機、唔使焊晶片!任天堂今次真係驚咗?

大世界看原片 ↗
  • 漏洞來源出人意料:攻擊源於 iTunes 上售價約 25 美元的編程教學軟體 Small Basic。黑客利用其解釋器中的 32 位整數溢位漏洞穿過沙盒限制,再透過 ROP 鏈和緩衝區溢位層層深入,最終取得檔案系統完整權限。這套設計精妙的攻
  • AI 徹底改變破解生態:研究員 Pepsi Poo 坦承,破解工作大部分由 OpenAI 的 Codex AI 編碼代理執行。他搭建自動化測試裝置讓 AI 24 小時不間斷地觸發漏洞並自動重啟,兩週內完成原本需耗時數年的工程。這不是 AI