KeyFrame內部研究專用

The Prompt Is Still a Punch Card - Ted Johnson, JoinIn AI

AI Engineer·7月2日週四·20 min英文

三句話摘要

當前AI提示本質上仍是穿孔卡片時代的批次協議,真正的進步應將介面從異步批次轉變為即時對話。 機器已聰明到可以理解我們的全部,我們應停止為了被理解而改造自己,改由AI來學會人類真實的溝通方式。 三層介面框架:任何計算機介面由通道(鍵盤、語音、文字)、表達範圍(介面容納多少意思)和協議(互動規則)組成。LLM改變了表達範圍——人類首次能用自然語言直接表達意圖、脈絡、意思,而機器真正理解。但通道與協議仍停留在舊時代。

重點整理

重點
  • 1

    三層介面框架:任何計算機介面由通道(鍵盤、語音、文字)、表達範圍(介面容納多少意思)和協議(互動規則)組成。LLM改變了表達範圍——人類首次能用自然語言直接表達意圖、脈絡、意思,而機器真正理解。但通道與協議仍停留在舊時代。

  • 2

    批次協議的代價:當前提示系統本質上沿用穿孔卡片時代的協議——人類必須先完整組裝請求、提交、等待、再修改。人類承擔了所有環境感知、上下文管理、時機判斷的工作,而模型只在人類打完整包裝後才參與。

  • 3

    提示工程是錯誤的讚美:「讓AI逐步思考」「給它例子」「扮演專家」等技巧不是掌握AI的訣竅,而是學會如何打包批次任務。我們自以為精通,實際上學的是1960年代穿孔卡片操作員的技能。使用者難以駕馭不是因為無能,而是介面本身未配合AI能力。

  • 4

    即時對話是正確方向:OpenAI GPT real-time加入「嗯」「是啊」等回應信號、NVIDIA PersonaPlex展示真正的輪流制(被打斷時停止、拾起線索)。Join in AI的群體會議系統示範了終極形態——AI在對話流中追蹤議程、理解發言人、判斷何時介入,全程無需人類寫任何提示。

實用技巧與重點

乾貨
  • 歷史與比較
  • 鍵盤專利年份:1860年代
  • 穿孔卡片協議:等待時間從數小時到數秒,但協議本質未變
  • 批次模式流程:組裝→提交→等待→讀結果→修改→重新提交
  • 技術示範
  • OpenAI GPT real-time(2024年5月發布):支援voice mode、加入即時回應信號
  • NVIDIA PersonaPlex:研究模型、展示real-time turn-taking與打斷恢復能力
  • Join in AI群體對話系統:4人會議記錄案例
  • 具體案例數據(費用核批系統):
  • 需求ID:REQ 442
  • 初始閾值:5,000美元需二人核批
  • 最終修改:改為10,000美元
  • AI角色:標記發言類型(問題/提案/答案)、追蹤議程、判斷發言人身份、自主決定參與時機
  • 交互內容:會議記錄、需求確認、房間預訂查詢

結論

結論

機器已聰明到可以理解我們的全部,我們應停止為了被理解而改造自己,改由AI來學會人類真實的溝通方式。

完整解析

詳細

這場演講質疑了我們習以為常的AI使用方式。講者Ted Johnson從計算機歷史切入指出,鍵盤介面看似自然,其實沿用了1860年代在機械約束下的任意設計。幾代人傳承下來,我們停止了質疑。

他提出通道、表達、協議三層框架分析介面。過去百年,通道基本未變(穿孔卡片→鍵盤→文字框),表達範圍卻被局限於機器能理解的固定詞彙。直到LLM出現——第一次,人類可以用自然語言、用自己的方式表達意思,機器能真正理解含義、脈絡、意圖。這應該是革命性的進步。

問題在於,我們把這無限的表達能力倒入了一個古老的容器:批次協議。穿孔卡片時代的流程是——人類先完整組裝請求、交給操作員、提交、等待(有時數小時)、拿結果、發現問題、重新提交。今天我們加快了速度(從小時到秒),但協議本質未變。「提示工程」不是掌握AI的訣竅,而是學會如何打包批次任務。那些「讓AI逐步思考」「給它例子」「扮演專家」的技巧,本質上就是穿孔卡片操作技能。

講者指出,我們對此沾沾自喜是錯誤的——這應該讓我們感到不安。模型已足夠聰明,能問追蹤問題、察覺缺失、主動澄清,為什麼還要人類完整打包一切?為什麼不讓機器參與思考過程本身?

他展示了替代方案。OpenAI GPT real-time開始加入「嗯」「是啊」這類回應信號。NVIDIA PersonaPlex示範真正的輪流制——被打斷時停止、讓對方發言、拾起線索。最令人矚目的是Join in AI自己的系統:四人群體會議討論費用核批規範。AI不等待提示,而是在對話流中追蹤議程、理解發言人身份、判斷何時應提建議、標記發言類型。整場過程無人寫提示,也無人按submit。系統活在對話裡。這才是關鍵——不是讓AI更聰明,而是讓介面終於跟上智能本身。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Everything Goldman Sachs Taught Me About AI (In 10 minutes)
AI 技術英文8月24日

Everything Goldman Sachs Taught Me About AI (In 10 minutes)

Nate Herk

  • 驗證優於相信:看起來完整的AI輸出不等於正確答案,需在提示中要求模型重新檢查數字、引用來源,並對無把握的部分標記。
  • 區分AI與自動化:確定步驟且答案已知的任務用傳統自動化更便宜快速;只在需要判斷力、靈活性或處理複雜資訊時才用AI,兩者結合效果最佳。
  • 以問題驅動選型:先寫清楚「要解決的問題是什麼、成功的樣子是什麼」,再決定用什麼工具,許多失敗項目是從技術而非問題出發。
Mu: a self-hosted personal agent where the interface is an email address you can write to
AI 技術英文8月23日

Mu: a self-hosted personal agent where the interface is an email address you can write to

GitHub Awesome

  • Mu 是自主代理人系統,具有實際網址與獨立伺服器,用戶可透過多種方式與其互動——網頁應用、電子郵件或程式化介面。
  • 架構完整覆蓋日常工作流程的多個層面,整合郵件收發(SMTP/IMAP)、檔案管理、行事曆、新聞聚合、市場數據與搜尋功能於一個 Go 伺服器內。
  • 支援自帶模型與多種通訊協定,用戶可選擇不同的 AI 模型,並透過 MCP、HTTP API 或命令列工具整合到其他系統。