KeyFrame內部研究專用

The Weird Future Of User Interfaces

Enrico Tartarotti·6月23日週二·15 min英文

三句話摘要

AI代理為何無法取代傳統UI介面,生成式UI如何整合三種互動範式成為未來的技術交互方式。 未來不是單一模式的勝利,而是根據任務複雜度選擇傳統UI、生成式UI或代理系統的智慧混合—這是接下來十年所有產品都必須經歷的根本轉變。 直接操纵的超級力量在於所有可操作的元素都清晰可見,用戶可直觀地拖拽、點擊、縮放,無需記憶複雜指令。這使圖形界面在簡單、習慣性任務(如預訂咖啡、發訊息)上表現完美,而AI代理和聊天機器人試圖推翻這些已經運作良好的系統,最終都失敗了。

重點整理

重點
  • 1

    直接操纵的超級力量在於所有可操作的元素都清晰可見,用戶可直觀地拖拽、點擊、縮放,無需記憶複雜指令。這使圖形界面在簡單、習慣性任務(如預訂咖啡、發訊息)上表現完美,而AI代理和聊天機器人試圖推翻這些已經運作良好的系統,最終都失敗了。

  • 2

    複雜度曲線呈常態分佈,絕大多數日常操作(瀏覽網頁、寫簡報、預訂機票)介於簡單和複雜之間,這正是傳統UI力不從心之處。生成式UI通過讓機器判斷最佳介面並即時生成,解決了這個中間地帶的問題。

  • 3

    未來的技術設計範式從「設計每一個螢幕」轉變為「設計UI組件和生成規則」,設計師定義視覺語言和邏輯規則,讓AI組合出最適合的介面,這是產品開發的根本轉變。

實用技巧與重點

乾貨
  • Microsoft Humane AI Pin:融資2.3億美元,最大科技失敗案例之一
  • Lovable 平台:4,000萬個項目已建立,每天新增200,000個
  • 生成式UI三個層次:
  • 直接操纵層-AI生成單個UI元件
  • 適應層-部分UI保持固定,部分動態生成
  • 完全生成層-整個產品界面皆為生成式
  • Google 搜尋、Claude、Airbnb、Salesforce、Notion、Google 已開始實驗生成式UI
  • Airbnb CEO Brian Chesky 宣布廢止聊天介面方案,改為開發生成式UI專用AI模型

結論

結論

未來不是單一模式的勝利,而是根據任務複雜度選擇傳統UI、生成式UI或代理系統的智慧混合—這是接下來十年所有產品都必須經歷的根本轉變。

完整解析

詳細

講者從對比Starbucks應用與ChatGPT外掛開始,揭露AI代理看似強大卻在簡單任務上敗給傳統按鈕的怪現象。一個月深入調查後,他發現問題不在AI本身,而在於產業誤解了人機互動的本質。

許多科技巨頭試圖殺死圖形界面,包括微軟的Humane AI Pin、兔子裝置、Siri、Alexa等,這些產品融資數十億美元卻都失敗了。關鍵原因是他們試圖用聊天機器人取代那些圖形界面已經完美解決的簡單任務。預訂Uber、點餐、傳訊息—這些任務在應用上執行得如此流暢自然,用戶已養成肌肉記憶,甚至閉上眼都能精準操作。

另一方面,編碼工具如GitHub Copilot和Claude卻在普通人中有機地爆炸式成長,用戶用來製作影片、創建自動化、整理檔案、報稅—所有這些都沒有任何人在介面上放置AI按鈕。這種現象顯示真正的邊界不在UI對AI,而在任務複雜度。

講者揭開了這個謎團的關鍵:直接操纵(direct manipulation)。當你在手機上縮放照片或拖動檔案到垃圾桶時,你直接操控物體本身,而非描述操作。這種模式的超級力量在於所有選項都清晰可見,無需記憶命令。但當複雜度增加,層層菜單和子菜單必然出現—這就是專業工具如Adobe After Effects令人生畏的原因。

然而,日常任務的複雜度遵循常態分佈,大多數操作(瀏覽、寫作、預訂)介於簡單和複雜之間。傳統UI在此失效,完全的代理也過度設計。答案就是生成式UI—機器判斷最佳介面並動態生成它。Claude能生成互動式視覺化而非文本、Google正推出搜尋應用、Airbnb CEO剛宣布廢止聊天介面改用生成式UI專用模型。

這三個層次中,第二層最具變革性:保留熟悉的基礎UI框架,但讓部分元件根據需求適應生成,如講者製作的Google航班模型,基於時間範圍動態顯示價格滑塊。這改變了設計本質—從設計具體螢幕轉向設計UI元件和生成規則,讓AI用這些「樂高積木」組合出符合品牌風格的介面。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。