KeyFrame內部研究專用

Patrick Debois Maps the Patterns of AI-Native Dev

AI Native Dev·7月14日週二·47 min英文

三句話摘要

Patrick de Bois 談 AI 編碼時代的組織演進——從個人工作流到企業規模化採用的架構、角色與成本最佳化策略。 在 AI 時代,組織贏的不是單次程式碼生成的速度,而是「學習速度與適應速度」——誰能最快學到新想法、最快調整工作流、最快複用他人的最佳化,誰就能始終領先。 技術已定,組織未備——技術棧在穩定(prompt engineering、specification、harnesses、contexts、loops),但大多數企業還沒組織好應對這種工作方式轉變。類比 DevOps 時代,「持續交付不適合我們」其實說的是「我們還沒準備好」,不是技術行不通。

重點整理

重點
  • 1

    技術已定,組織未備——技術棧在穩定(prompt engineering、specification、harnesses、contexts、loops),但大多數企業還沒組織好應對這種工作方式轉變。類比 DevOps 時代,「持續交付不適合我們」其實說的是「我們還沒準備好」,不是技術行不通。

  • 2

    平臺層被嚴重忽視——企業通常關注個人開發者能力,卻忽略共享元件、集中化 evals、元件註冊等平臺能力。這層最不成熟,卻是大企業突破的關鍵——一個平臺改進會讓全組織受益。

  • 3

    學習速度成為競爭力——不再是「程式碼生成快不快」,而是「組織能多快學到新想法、多快調整工作流、多快做出來」。即使要重寫整個程式碼庫也無所謂,只要速度夠快。

  • 4

    角色從個體手藝轉向系統貢獻——過去好工程師是「程式碼優雅」;現在需要系統思維者、跨領域適應者、持續學習者。Spec writer 不夠,還需要 harness engineer 和 review engineer,個人 craft 讓位給共享最佳化。

  • 5

    衡量標準從消耗轉向效能——從「誰用了最多 token」轉向「人工還需干預多少次才能讓智慧體把活兒做對」。這個指標共享到全組織時會自動複合最佳化。

實用技巧與重點

乾貨
  • 五層次模式架構
  • Agentic Development:vibe coding → spec coding → dive factory(進階梯度)
  • Platform Enablement:centralized evals、component registry、MCP proxy、shared harnesses
  • Quality & Security:verification loops、custom eval tools、IDE as review interface(從寫程式碼工具→驗證工具轉變)
  • Changing Roles:skeptic → context builder → harness engineer → review engineer;team lead 從促進個人提升轉向推動共享元件建設
  • Scaling Org:成本管理、ROI 衡量、採用曲線
  • 成熟度現狀
  • 平均企業:像「蹣跚學步」階段(toddlers)
  • 大企業普遍滯後(friction of scaling),但通常有 1-2 個領先團隊在試驗
  • 採用策略
  • 找到 quick win(成功案例),不要花力氣說服抗拒者
  • 讓快速團隊跑得最快、示範成果、吸引其他團隊自發學習
  • 將最好的團隊配置到最重要的業務專案上,確保看到 ROI
  • 採用節奏設定為強制函式(forcing function):「好,現在所有人都搞懂 prompting 了,咱們一起跳到下一步」
  • 成本管理
  • 不是預算緊張就關閉,而是建立 observability 和 feedback loops
  • 對標 cloud 時代的教訓:初期每個系統都是 VM 很貴,後來學會最佳化分配才成本可控
  • 需要清楚看到:盲目燒 token、用最大模型、重複做同樣事情有多普遍
  • 預算約束本應驅動最佳化(context 調整、harness 改進能省大量 token),而非簡單限制使用

結論

結論

在 AI 時代,組織贏的不是單次程式碼生成的速度,而是「學習速度與適應速度」——誰能最快學到新想法、最快調整工作流、最快複用他人的最佳化,誰就能始終領先。

完整解析

詳細

Patrick De Bois 從網際網路、cloud、敏捷、DevOps 時代就觀察新技術如何改造企業。AI 編碼浪潮來臨時,他觀察到兩個現象:一是行業資訊碎片化、火爆資訊淹沒深思熟慮,二是企業普遍困惑「現在該學什麼」。

為此他建立了 Tessla.io/patterns 網站,透過持續監聽社交訊號、會議演講、新想法,再用自己的品味和curation 篩選,整理出一份「AI 編碼模式地圖」。這比問卷調查更快——因為組織級別的問卷調查滯後,等你問出結果時,行業思想已經往前走了。

他把 AI 編碼的演進分成五個層次。最底層是個人開發者,從最簡單的 prompt 最佳化,到寫更好的 specification,再到深入理解 harness(工具層最佳化),最終到 dive factory(程式碼工廠模式)——這是漸進式的學習曲線,也是行業自然演進的路徑。但大多數企業只關注這一層,導致每個團隊各自為政、重複造輪子。

第二層是平臺能力,這塊最被忽視。好的平臺應該提供集中化的 eval 系統(所有代理都用同套標準驗證),共享元件登錄檔,MCP 代理池等。如果一個團隊最佳化了某個 prompt,平臺應該讓全組織複用。如果一個 harness 被證明有效,應該成為平臺提供的標準工具。大企業恰恰在這塊最落後,反而成了突破口。

第三層是質量與安全。過去的問題是「程式碼對不對」,現在升級了:「代理能證明它做對了嗎」。要從單純讓 LLM 判斷,升級到有驗證流程、自定義工具、人類能清晰看到證據的階段。有意思的是,IDE 的角色在轉變——從「寫程式碼的地方」逐漸演變成「驗證程式碼的地方」,因為驗證需要看程式碼、看截圖、看操作錄影等多維資訊,CLI 裡顯示一個 checklist 不夠。

人的問題最硬。好工程師過去是「程式碼優雅」的個體手藝人,現在需要系統思維者:不只懂程式碼,還要理解架構、可靠性、跨越不同技術棧的能力。他們需要持續學習、不怕切換語言、願意協作改進共享元件。這意味著招聘標準改了、職業發展路徑改了。Skeptic 不是要消滅,而是讓 TA 自己去寫 context 和 build harness,會發現「原來這樣我可以讓 AI 更好地工作」。有人喜歡寫 spec,有人喜歡調 harness,有人喜歡做 review——角色自然分化,但都是技術貢獻。

組織擴充套件是最後一層,也是最難的。採用策略的秘訣很簡單:別浪費力氣勸抗拒者,先讓最快的團隊跑得飛快。這些團隊會示範成果,吸引其他團隊自發學習。就像 DevOps 時代一樣,快速團隊掌握持續交付,做出漂亮成績,其他團隊看到 ROI 就會跟進。同時,不要讓快速團隊被平均拖累——反而應該給 TA 們最重要的業務專案,確保能看到 ROI。

成本管理方面,很多 VP 的困境是「預算吃緊,要不要關閉 AI 預算」。答案是不要簡單關閉,因為這樣組織就學不到東西。正確做法是建立 observability:清楚看到每個團隊在哪裡盲目燒 token、用最大模型、重複做同樣的事情。然後驅動最佳化——有時候改個 context、改個 harness 能省 80% 的 token 成本。這是學習雲時代的教訓:初期每個系統都是 VM 很貴,後來學會最佳化分配(多個服務共享一個例項等)才降低成本。AI 也一樣,約束應該驅動效率,不是簡單限制。

最後,衡量指標要改。從「誰用了最多 token」轉向「人工還需干預多少次才能讓代理把活兒做對」。這個指標很聰明——如果平臺最佳化了一個共享 context,所有用這個 context 的團隊的指標都會改善。這激勵團隊投資平臺、共享最佳化,而不是各自為政。這樣的話,對組織真正有幫助的人,就不是「token 金牌得主」,而是那些持續改進共享系統的人。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。