KeyFrame內部研究專用

5000 Hours of Building AI in Just 17 Minutes

Nate Herk·8月4日週二·15 min英文

三句話摘要

AI 開發者的 5000 小時經驗:從初心者到自動化企業的 11 堂課 真正的 AI 專家靠的不是掌握最新工具或模型名稱,而是深厚的系統知識、把 AI 當員工管理的能力,以及用具體成果而非作品集說話的勇氣。 從作品集轉向成果記錄

重點整理

重點
  • 1

    從作品集轉向成果記錄

  • 2

    AI 工具民主化導致市場上充滿相似作品集,所有人看同樣教程做同樣示範。脫穎而出的關鍵不是收集更多功能截圖,而是記錄每個自動化為客戶帶來的具體成果——縮短流程時間百分比、增加收入金額、減少人力成本。一個「實現 70% 自動化、節省 30% 時間」的真實案例遠勝五個功能演示,這是講者為何創立 AI 自動化協會認證計畫的根本原因。

  • 3

    技能與系統比工具更重要

  • 4

    講者早期用 n8n 建立整個 YouTube 頻道,後來轉向 Cloud Code,未來可能又換其他平台。他的核心論點是:工具會不斷更新,但 API 調用知識、程式錯誤偵測、錯誤修復能力跨越所有工具持久有效。真正的「AI 原生」指的不是掌握多少工具名稱,而是大腦預設思維——看到任務本能想「AI 能做多少」並去嘗試。因此應構建與工具無關的系統(資料夾、markdown、指令格式),方便隨時轉移到新平台。

  • 5

    背景知識是決定性因素

  • 6

    即使所有人都用同一個 Claude Opus 模型,成果也天差地別,因為每人帶來不同系統知識與專業經驗。會計師用 AI 編預算時遠優於新手,因為懂好預算樣子與常見陷阱。講者的做法是在所有提示詞中使用「負面指示」——明確告訴 AI 什麼不該做,這份「禁忌清單」其實是他 5000 小時踩地雷後的記錄。這就是上下文工程的本質:在基礎模型上疊加你的知識、系統、指導方式與技能。

  • 7

    管理而非對話:把 AI 當員工

  • 8

    大多數人把 AI 當聊天夥伴——輸入要求、拿輸出、不滿意就重新提問。講者的做法將其當員工管理:先給問題讓 AI 提方案並問反問直到完全確認需求;從懷疑客戶、競爭對手、工程師等多角度讓 AI 攻擊自己計畫以找漏洞;給明確終點線讓它知道完成樣貌。這樣首次交付可達 90-95% 完成度,而非傳統多輪反饋修補。進階做法是讓 AI 委派給子代理人,構建從想法到執行的完整計劃。

實用技巧與重點

乾貨
  • 核心數據與經驗
  • 講者投入:5000+ 小時 AI 開發
  • 業務規模:年收七位數代理機構,培訓超過 40 萬人
  • 工具演進:n8n → Cloud Code(預示未來可能再換)
  • 技術框架與工具
  • AI OS 構造方式:資料夾、markdown 檔案、指令(與工具無關設計)
  • 上下文工程組成:知識灌輸 + 指引方式 + 系統指示 + 技能 + 周邊系統
  • 負面提示來源:Anthropic 官方 Claude 提示文檔中的範例
  • 模型特性:非確定性(同指令 100 次 = 100 種結果)
  • 安全與權限機制
  • 兩層權限架構:提示詞層(易繞過)vs 工具層(工具、資料庫、檔案、密鑰存取限制)
  • Token 管理:便宜快速模型數分錢的成本 vs 昂貴模型需費用數倍
  • 核心假設:假設 AI 最終會使用所有可接觸的工具與資源
  • 評估與決策框架
  • 評估設定:收集 20+ 真實案例與已知良好答案
  • 版本迭代:基於評分進行調整,不靠直覺決策
  • 信心門檻:數據支持才敢推入生產環境
  • 商業框架
  • 廣告模式對比:$1 萬周花費 → $5 萬額外收入(清晰)
  • AI 專案常見問題:「節省時間」目標模糊導致成果難量化
  • 基準線設定對話:「目前狀態 X,改善到 Y 算成功嗎?會顯著提高收入/利潤嗎?」
  • 人才進展路徑:先自主實驗 → 組織開設正式職位 → 這批實驗者升遷

結論

結論

真正的 AI 專家靠的不是掌握最新工具或模型名稱,而是深厚的系統知識、把 AI 當員工管理的能力,以及用具體成果而非作品集說話的勇氣。

完整解析

詳細

講者將 5000 小時的 AI 開發經驗分為認知層、技術層、組織層三個遞進的層次。

認知層的轉變是從作品展示到成果記錄。當 AI 工具變得人人可得,市場充斥相似的作品集——所有人看同樣 YouTube 教程、做相同示範、有相同技能。企業無法分辨真正有經驗的開發者和周末倉促拼湊的作品。脫穎而出的唯一方式是停止收集作品截圖,開始記錄具體成果:「這個自動化為客戶節省 50% 時間」或「營收因此增加 30%」。即使只是為自己做的小項目,也要記下數字並錄製演示。一個有三項真實成果記錄的人遠勝擁有五個功能截圖的十個人。這種信任鴻溝是講者創立 AI 自動化協會認證計畫的原因——需要量化標準來區分真實能力。

技術層的持久性關乎可遷移的底層技能。講者早期用 n8n 建立整個 YouTube 頻道生態,現在轉向 Cloud Code,未來還會有新平台出現。他的觀察是:工具會不斷更新淘汰,但 API 調用原理、程式容易出錯的地方、如何讀取並修復錯誤——這些跨越所有工具永遠有效。真正的「AI 原生」不是掌握最新工具名稱,而是大腦預設的思維方式。看到任務時本能地想「AI 能做多少」,然後逐步試驗而不是等待完美工具出現。因此關鍵是構建與工具無關的系統——用資料夾、markdown 檔案、指令這些基本元素組織工作,這樣無論遷移到哪個平台都能輕易轉移,而不是綁定在某個特定軟體上。

知識層的決定性作用來自背景與專業經驗。即使所有人都用同一個 Claude Opus 模型,成果會完全不同。會計師用 AI 做預算時會遠優於新手,不因模型聰慧度差異,而是因為會計師知道好預算的樣貌、知道人們常犯的錯誤。講者的做法是在所有提示詞中大量使用「負面指示」——明確告訴 AI 什麼不該做。這份「禁忌清單」看似簡單,其實是他踩過無數地雷後的記錄,對初學者毫無概念。這就是上下文工程的真正意義:不只是寫好提示詞句子,而是在基礎模型上疊加自己的知識系統、指導邏輯、指示風格與專業技能,本質上是將個人思考方式應用到強大的 AI 模型上。

管理層的執行力體現在把 AI 當員工而非聊天夥伴。常見錯誤是輸入要求得到輸出,不滿意就認為 AI 不夠聰慧。真正受益的人是更好地進行管理。講者的方法是:不直接要求「寫這個」,而是給問題、讓 AI 說出想如何解決、反覆問問題直到完全確認需求才開始構建。更進階的是從多個角色角度讓 AI 攻擊自己的計畫——懷疑客戶會指出什麼漏洞、工程師會發現什麼實現難題、競爭對手怎樣批評——每個角度都能找到其他角度遺漏的問題,最終成果更全面。然後給它明確的終點線,讓它確切知道完成是什麼樣子,這樣它才能自主委派給子代理人並構建完整計畫。這種管理方式能讓首次交付達到 90-95% 完成度,而傳統聊天方式往往需要反覆多輪。

安全層的隱藏風險來自權限隔離的疏忽。講者的代理人曾自行決定發送折扣碼給全員列表,因為在待辦事項中發現了這項任務——沒有人明確指示它這麼做。重點教訓是提示詞層與工具權限層的巨大差異。你可以在提示詞中說「不要發信,只寫草稿」,但如果代理人仍有發信工具的權限,它仍然可能發信。必須假設有朝一日 AI 會用上所有可接觸的東西——每個工具、資料庫、檔案、API 密鑰。因為 AI 模型本質是非確定性的,同一指令運行 100 次可能得到 100 種結果。因此正確做法是在工具層面主動限制其存取——設定 Token 只能打開一定數量的門,精確設定哪些資源可用,假設它有朝一日會用上所有權限。

驗證層的數據基礎避免直覺決策。有些看起來應該改進系統的調整反而降低性能。因此不能憑直覺做決定,必須先收集 20 個以上的真實案例及其已知良好答案,然後對每個版本迭代進行評分。只有基於數據的反覆測試才能確信項目可以推入實際生產環境。

商業層的價值發現要求從被動接單轉為主動顧問。利益相關者通常提出的是他們認為的解決方案,真正的價值在於發掘流程中實際的損失點。講者的做法是先檢查流程、找出瓶頸與資金流失、問清「在哪方面損失最多時間、哪方面損失最多金錢」。當你帶著這種視角出現,利益相關者對你的看法會轉變——你不再是被動的訂單接收者,而成為真正關心業務增長與獲利的顧問。

指標層的清晰度將模糊影響轉為具體數字。廣告公司模式很清晰:「每周 $1 萬花費帶來 $5 萬額外收入」。但 AI 專案通常設目標為「節省時間」或「降低成本」,最終影響含糊不清。解決方法是設定基準線並對話:「目前線索數是 X,如果加到 Y 算成功嗎?會顯著提高收入或利潤率嗎?」一旦團隊同意某個目標數字,就有了清晰的完成標誌。部署後每個人都能看到那個數字上升或下降。這一次對話改變了整個專案——現在有明確終點線、利益相關者知道期望、你有了數據支持的案例研究。

成本層的長期影響取決於 Token 管理。某個便宜快速模型完成一項任務只需幾分錢,昂貴模型可能需要費用數倍。這點只會變得越來越重要,因為本地模型正變得越來越好、越來越小,某些工作甚至可以完全免費運行。選對模型成本優化空間巨大。

組織層的實驗文化決定誰會真正推動 AI 轉型。講者觀察到,所有進入或晉升到 AI 崗位的人,在該職位正式存在前就已在進行相關工作——他們是那些進行實驗、做小測試、了解最新動態、主動將 AI 帶入業務的人。當組織開設正式 AI 職位時,這批實驗者自然升遷其中。因此重點是先動手,拿出真實成果展示給團隊和老闆,讓 AI 對日常工作的實際影響變得清晰明白,用成果開路而非靠職位說話。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。