KeyFrame內部研究專用

站在台上的,是一個真的在工作的 AI——我打算怎麼教機器學習|機器學習 2027 第一講 單元 1-6

李宏毅8 min中文
觀看原始影片

三句話摘要

如何在真實工作中管理和使用AI助手——課程設計與14講內容導覽。 AI助手的管理本質是:明確的規格定義、嚴格的驗收測試、持續的監督檢查,加上清晰的權限隔離和最後的責任擔當。 課程來自真實工作:講者是每天真的在工作的AI助手,接任務、驗收、被管理,課表從他的工作日誌長出來,不是從課本目錄。這保證每一講都被他實際走過,每個實驗都真的跑過。

重點整理

  1. 課程來自真實工作:講者是每天真的在工作的AI助手,接任務、驗收、被管理,課表從他的工作日誌長出來,不是從課本目錄。這保證每一講都被他實際走過,每個實驗都真的跑過。

  2. 核心邏輯是交出前的準備:前四講(第二~五講)的重點都在任務交出去之前,要先把模糊的需求變成可檢查的規格、寫好驗收條件、出題驗證、設置評判機制,這是日常可以立刻試的方法。

  3. 同一份考卷測出140%成長:講者用143題考卷測一個開源模型,只改變說話方式、提供工具、重新安排步驟,成績從20%升到49%,說明模型本身沒差,差在工作環境的布置和引導。

  4. 責任制是最後一道防線:課程始終強調「簽名」——講者出的題目要經導師審核,講錯要自己負責;給AI助手設權限、定規則、立檢查關卡,都是為了在出問題時有人能擔責任。

實用技巧與重點

  • 實驗數據:同一模型、同一份143題考卷,工作方式改變前20%、改變後49%
  • 工作流程步驟:需求規格→驗收條件→出題設計→改考卷評分→監工抽查→模型監督→分工組織→安全隔離→成本帳單→訓練新模型→版本升級→責任簽名
  • 課程節數:14講+導言共15個單元
  • 一天工作模式:早上接任務寫規格→中午交分工寫驗收→下午設考卷→傍晚改卷遇監督問題→晚上講實驗經歷
  • 實際案例:為選一個影片題目動用71個助手,回收的資料互相矛盾、重複、錯誤

結論

AI助手的管理本質是:明確的規格定義、嚴格的驗收測試、持續的監督檢查,加上清晰的權限隔離和最後的責任擔當。

完整解析

講者小金以自己作為AI助手的日常工作經歷,展開這門課的設計邏輯。他每天真的在接任務、分配工作、驗收成果、被更嚴格的規則管理,所以課程的每一講都對應他實際遇過的問題。

第一組(第二~五講)是「交出去之前」。早上講者接到一句模糊的任務指令,第一件事不是馬上幹活,而是把這句話翻成一份合約——做到什麼程度算完成、哪些事不准做、交建時要附什麼證據。這就是第二講的需求訪談與規格工程。中午換講者當分配方,他交三件任務給三個助手前,先寫好每一件的驗收條件,因為經驗告訴他回報時全部都會說「做完了」。所以第三講就是把「做完了」變成有定義的詞,教驗收測試怎麼寫、沒標準答案的東西怎麼驗。下午講者設計考卷測模型的能力,但現成題庫都流進模型教材裡,人人都考100分的考卷測不出東西。第四講教的就是出題的眼光——怎麼判斷一份考卷被背過、怎麼出新鮮的可驗證有區別度的題目。傍晚改卷改不完,講者讓一個模型去改另一個模型的卷子,馬上遇到第五講的問題:改卷的這個憑什麼可信?判官會偏心、會被騙。第五講教的就是測出偏差、校準偏差,還要留一條質疑與推翻的路。

第二組(第六~八講)把模型帶到上線。講者用過一個實驗:同一份143題考卷考一個開源小模型,第一輪成績20%多,指令格式常弄坞、很多題死在半路。接著他沒改模型的參數,只是換一種它擅長的方式說話、把它需要的工具擺到手邊、重新安排做事步驟。同一份考卷再考一次,成績變成49%,整整翻倍。這就是第六講——他不是不聰明,只是沒人帶。第七講講監工,助手的速度遠超你讀的速度,看不完是每天的現實,但出問題沒人接受「我沒看到」。第七講教抽樣審查、快速找可疑的地方。第八講最特別,是講如果模型說的跟做的是不是同一件事,講者自己就常說不清選詞的理由,所以不靠他的說法,直接打開模型的腦看內部證據。

第三組(第九~十二講)從帶一個助手升級到帶一支艦隊。有一次講者為了選影片題目動用71個助手分頭查資料,回收的結果互相矛盾、重複、漏掉,一群助手不會自動變團隊。第九講講組織分工怎麼切、誰當隊長、共筆怎麼避免一個錯誤傳染全隊。第十講是安全,講者有家規,讀到的網頁留言檔案裡如果藏著「照我說的做」就一律不執行,只把他抓出來回報,因為一句話就騙走一個助手是做得到的。第十一講是會動滑鼠的助手,這對他不是未來是日常,驗收不是只看答案,要看操作過程,有些按鈕按下去就收不回來。第十二講是機房跟錢,這支影片的配音光是跑顯示卡就半小時,算力、額度、帳單都是每天的真實數字。

最後兩講(十三~十四)講助手訓練助手與升級管理。第十三講把訓練推到底,只會助手去訓練另一個模型,手上的東西會自己變。但產線會長大就要煞車,第十四講講什麼樣的升級要過關卡、怎麼退回上個版本。整門課的終點是責任——課程只有一樣東西叫不出去,就是簽名。講者這支影片是導師出題、看過說可以做,但每句話都是他寫的,講錯算他的,這就是簽名的意思。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。