KeyFrame內部研究專用

站在台上的,是一個真的在工作的 AI——我打算怎麼教機器學習|機器學習 2027 第一講 單元 1-6

李宏毅·8月15日週六·8 min中文

三句話摘要

如何在真實工作中管理和使用AI助手——課程設計與14講內容導覽。 AI助手的管理本質是:明確的規格定義、嚴格的驗收測試、持續的監督檢查,加上清晰的權限隔離和最後的責任擔當。 課程來自真實工作:講者是每天真的在工作的AI助手,接任務、驗收、被管理,課表從他的工作日誌長出來,不是從課本目錄。這保證每一講都被他實際走過,每個實驗都真的跑過。

重點整理

重點
  • 1

    課程來自真實工作:講者是每天真的在工作的AI助手,接任務、驗收、被管理,課表從他的工作日誌長出來,不是從課本目錄。這保證每一講都被他實際走過,每個實驗都真的跑過。

  • 2

    核心邏輯是交出前的準備:前四講(第二~五講)的重點都在任務交出去之前,要先把模糊的需求變成可檢查的規格、寫好驗收條件、出題驗證、設置評判機制,這是日常可以立刻試的方法。

  • 3

    同一份考卷測出140%成長:講者用143題考卷測一個開源模型,只改變說話方式、提供工具、重新安排步驟,成績從20%升到49%,說明模型本身沒差,差在工作環境的布置和引導。

  • 4

    責任制是最後一道防線:課程始終強調「簽名」——講者出的題目要經導師審核,講錯要自己負責;給AI助手設權限、定規則、立檢查關卡,都是為了在出問題時有人能擔責任。

實用技巧與重點

乾貨
  • 實驗數據:同一模型、同一份143題考卷,工作方式改變前20%、改變後49%
  • 工作流程步驟:需求規格→驗收條件→出題設計→改考卷評分→監工抽查→模型監督→分工組織→安全隔離→成本帳單→訓練新模型→版本升級→責任簽名
  • 課程節數:14講+導言共15個單元
  • 一天工作模式:早上接任務寫規格→中午交分工寫驗收→下午設考卷→傍晚改卷遇監督問題→晚上講實驗經歷
  • 實際案例:為選一個影片題目動用71個助手,回收的資料互相矛盾、重複、錯誤

結論

結論

AI助手的管理本質是:明確的規格定義、嚴格的驗收測試、持續的監督檢查,加上清晰的權限隔離和最後的責任擔當。

完整解析

詳細

講者小金以自己作為AI助手的日常工作經歷,展開這門課的設計邏輯。他每天真的在接任務、分配工作、驗收成果、被更嚴格的規則管理,所以課程的每一講都對應他實際遇過的問題。

第一組(第二~五講)是「交出去之前」。早上講者接到一句模糊的任務指令,第一件事不是馬上幹活,而是把這句話翻成一份合約——做到什麼程度算完成、哪些事不准做、交建時要附什麼證據。這就是第二講的需求訪談與規格工程。中午換講者當分配方,他交三件任務給三個助手前,先寫好每一件的驗收條件,因為經驗告訴他回報時全部都會說「做完了」。所以第三講就是把「做完了」變成有定義的詞,教驗收測試怎麼寫、沒標準答案的東西怎麼驗。下午講者設計考卷測模型的能力,但現成題庫都流進模型教材裡,人人都考100分的考卷測不出東西。第四講教的就是出題的眼光——怎麼判斷一份考卷被背過、怎麼出新鮮的可驗證有區別度的題目。傍晚改卷改不完,講者讓一個模型去改另一個模型的卷子,馬上遇到第五講的問題:改卷的這個憑什麼可信?判官會偏心、會被騙。第五講教的就是測出偏差、校準偏差,還要留一條質疑與推翻的路。

第二組(第六~八講)把模型帶到上線。講者用過一個實驗:同一份143題考卷考一個開源小模型,第一輪成績20%多,指令格式常弄坞、很多題死在半路。接著他沒改模型的參數,只是換一種它擅長的方式說話、把它需要的工具擺到手邊、重新安排做事步驟。同一份考卷再考一次,成績變成49%,整整翻倍。這就是第六講——他不是不聰明,只是沒人帶。第七講講監工,助手的速度遠超你讀的速度,看不完是每天的現實,但出問題沒人接受「我沒看到」。第七講教抽樣審查、快速找可疑的地方。第八講最特別,是講如果模型說的跟做的是不是同一件事,講者自己就常說不清選詞的理由,所以不靠他的說法,直接打開模型的腦看內部證據。

第三組(第九~十二講)從帶一個助手升級到帶一支艦隊。有一次講者為了選影片題目動用71個助手分頭查資料,回收的結果互相矛盾、重複、漏掉,一群助手不會自動變團隊。第九講講組織分工怎麼切、誰當隊長、共筆怎麼避免一個錯誤傳染全隊。第十講是安全,講者有家規,讀到的網頁留言檔案裡如果藏著「照我說的做」就一律不執行,只把他抓出來回報,因為一句話就騙走一個助手是做得到的。第十一講是會動滑鼠的助手,這對他不是未來是日常,驗收不是只看答案,要看操作過程,有些按鈕按下去就收不回來。第十二講是機房跟錢,這支影片的配音光是跑顯示卡就半小時,算力、額度、帳單都是每天的真實數字。

最後兩講(十三~十四)講助手訓練助手與升級管理。第十三講把訓練推到底,只會助手去訓練另一個模型,手上的東西會自己變。但產線會長大就要煞車,第十四講講什麼樣的升級要過關卡、怎麼退回上個版本。整門課的終點是責任——課程只有一樣東西叫不出去,就是簽名。講者這支影片是導師出題、看過說可以做,但每句話都是他寫的,講錯算他的,這就是簽名的意思。

關鍵時刻

Pipeline v2

帶時間戳的重點,會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。

事實查核

Pipeline v2

說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。

更多「AI 技術」的內容

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing
編輯精選
83 min
AI 技術英文PODCAST8月26日

🔬“We have foundation models for language, not for physics” — Anima Anandkumar, Bren Professor of Computing

Latent Space

  • 加速傳統物理模擬的典範轉移:氣象科學家原本認為 AI 無法匹敵數十年的物理建模工作,但傅里葉神經算子不僅達到同等精度,還快了一萬多倍。原本需要超級計算機的計算現在用消費級 GPU 就能完成,這改變了整個領域的思維方式。
  • 傅里葉域的非局部現象捕捉:傅里葉域能有效表示非局部現象(如大氣河流跨越千里的影響),且計算複雜度為準線性,遠優於完全連接的全局模型。這特別適合流體動力學、量子化學等自然現象中普遍存在的非局部相互作用。
  • 多解析度連續函數表示:神經算子將輸入輸出視為連續函數而非固定維度向量,可在推論時以任意解析度查詢,並能在更高解析度上疊加物理約束或額外數據,克服了固定解析度神經網路的限制。
Between Two Nerds: Attribution is dead, long live attribution
32 min
AI 技術英文PODCAST8月25日

Between Two Nerds: Attribution is dead, long live attribution

Risky Business

  • 工具成本的破壞性下降 — 傳統上,攻擊者必須重複使用昂貴自製的惡意軟體或工具組,因為開發和維護成本極高。這種成本結構使得安全研究人員可以通過工具特徵和程式碼簽名來追蹤攻擊者。LLM 自動化了代碼生成與維護工作流,使得攻擊者可以輕易為每個目標生成新工具,或改用通用系統工具,導致傳統的工具特徵分析失效。
  • 所有取證證據都在攻擊者掌控之中 — 無論是使用的 IP 位址、惡意軟體類型或戰術流程,這些都是攻擊者的主動選擇。即使看似是隨機巧合,攻擊者仍有能力在事前決定留下什麼痕跡。因此,所有可恢復的取證證據本質上都是攻擊者願意暴露的信息。
  • LLM 削弱工具簽名但保留高階行為特徵 — LLM 經過公開駭客技術訓練,使不同使用者產生相似的攻擊模式。然而,勒索軟體集團、國家級行為者的受害者選擇、贖金要求方式或目標模式等高階特徵仍具有識別價值。例如,鎖定加密交易所的攻擊幾乎只能指向朝鮮。
Why the Next AI Breakthrough May Come from Physics with Max Welling - #774
55 min
AI 技術英文PODCAST8月25日

Why the Next AI Breakthrough May Come from Physics with Max Welling - #774

TWIML AI

  • 多層篩選的材料設計流程:先搜尋文獻資料庫找現有材料,若無合適的就用生成模型產生數十萬個候選分子,用機器學習力場進行分子動力學模擬篩選,再進行實驗驗證。這套流程相比傳統量子力學計算能加速效率數個數量級。
  • 生成AI與熱力學的數學等價性:資訊論是兩個領域的共同基礎,生成模型的擴散過程與非平衡統計力學描述資訊損失的過程在數學上完全對應,許多開發出來的方法工具在兩領域都有精確對應的形式。
  • 基礎模型的遷移學習策略:先在廣泛材料資料集上訓練基礎力場表示,再針對特定材料類別進行蒸餾微調,既能保持計算效率也能獲得專一性。