I Trained Qwen 4B with Distillation to Catch Qwen 27B
三句話摘要
用知識蒸餾技術讓 4 億參數的小模型向 27 億參數的大模型學習,探討三種蒸餾方法的效果與限制。 知識蒸餾無法突破小模型的根本限制,但教師答案法能用 30% 更低的成本達到同樣成績,先做「四次嘗試測試」能判斷改進是否可行。 蒸餾的三層遞進 — 從簡到繁分別是:訓練教師最終答案、學習教師各步驟的機率分佈、即時蒸餾(學生實際寫代碼,教師逐 token 評分)。即時蒸餾能對失敗嘗試提供具體反饋,而強化學習只給失敗一個零分,從而繞過強化學習的瓶頸。
重點整理
蒸餾的三層遞進 — 從簡到繁分別是:訓練教師最終答案、學習教師各步驟的機率分佈、即時蒸餾(學生實際寫代碼,教師逐 token 評分)。即時蒸餾能對失敗嘗試提供具體反饋,而強化學習只給失敗一個零分,從而繞過強化學習的瓶頸。
教師答案法的實用價值 — 訓練後模型輸出長度從平均 2000 tokens 降至 1400 tokens(30% 縮短),執行速度與成本都降低,卻保持相同準確度,是性價比最高的方案。
機率蒸餾無效的原因 — 分析發現教師模型過度自信:75% 的 tokens 把 99% 的機率分配給單一選擇,真正有價值的不確定性只占 2.6%,通常只是措辭選擇,所以概率資訊幾乎沒有額外幫助。
小模型的真實限制 — 394 道題中,所有 8 個訓練檢查點合計解決 292 題(75%),但 27 億模型只解決 230 題;只有 7 題是大模型能解但所有小模型都不能解。這證明 4 億模型已掌握大多數知識,問題是穩定性,而非知識缺陷。
實用技巧與重點
- 實驗設置
- 測試環境:沙箱中執行 Python 代碼分析數據(Kaggle 真實資料集)
- 模型:4 億和 27 億參數(Quen 家族)
- 測試集:394 題(含 87 題未見過的新資料)
- 硬體:兩個 DGX Spark(高速連接)
- 成績數據
- 初始:4 億模型 52%、27 億模型 64%
- 強化學習後:4 億模型 58.4%(遇到瓶頸)
- 三種蒸餾方法:全部 56-59% 區間
- 教師答案法
- 訓練任務數:2000
- 成功逐字稿:約 1400 個
- 最終成績:58%
- 執行長度變化:2000 → 1400 tokens(減少 30%)
- 機率蒸餾法
- 保存內容:每 token 的前 20 個選擇與機率
- 訓練資料:約 500 萬 tokens
- 匹配度:96% 與教師頂部選擇一致
- 成績:56%
- 即時蒸餾法
- 高峰成績:58.9%(第 20 步)
- 後期表現:58%
- 問題:過度檢查導致超時
- 四次嘗試測試
- 4 億模型一次嘗試:62% 成功率
- 四次嘗試:73% 成功率
- 改進空間:11 個百分點
- 題目解決率分析
- 所有訓練模型共同解決:157 題
- 至少一個解決:292 題
- 大模型獨占:7 題
- 技術注意事項
- 必須使用相同 tokenizer
- 概率緩衝超過 GPU 記憶體限制(128GB Spark 超過 110GB)
- 需降低記憶體上限至 0.45、分割成 248 token 段、8 行批次
結論
知識蒸餾無法突破小模型的根本限制,但教師答案法能用 30% 更低的成本達到同樣成績,先做「四次嘗試測試」能判斷改進是否可行。
完整解析
這個實驗的背景來自前一支影片的強化學習嘗試。研究者用強化學習訓練 4 億模型分析資料與撰寫 Python 代碼,成績從 52% 提升到 58.4%,但之後無論如何增加訓練都無法突破這個瓶頸。強化學習的根本問題在於:當模型在某任務上每次都失敗時,所有嘗試都得到零分,不會被強化;成功的任務也不會被強化(因為表現不算超群)。因此,強化學習只能改進模型「有時對」的任務,無法教會模型「從未對過」的任務。
知識蒸餾從教師模型出發,解決了這個根本問題。研究者測試了三種遞進式的蒸餾方法。最簡單的是「教師答案法」:讓 27 億模型解決 2000 道題,篩出 1400 個成功案例,再用這些寫好的代碼來微調 4 億模型。結果雖然成績沒有提升(依然 58%),但模型學會了教師的簡潔風格,輸出長度從 2000 tokens 降到 1400 tokens,執行速度與成本都下降 30%,是最實用的收穫。
第二種是「機率蒸餾法」:不只訓練模型複製教師的最終答案,而是在每個 token 位置都匹配教師的完整機率分佈。理論上,機率包含了教師對替代選擇的看法,提供更多資訊。然而,詳細分析發現教師模型極度自信:75% 的 tokens 把 99% 機率分配給唯一選擇,真正有差異的不確定性只占 2.6%,而且往往只是「data」vs「dataset」這類措辭選擇。結果是機率蒸餾成績反而下滑到 56%,說明過度追求概率匹配反而有害。
第三種是「即時蒸餾法」,最符合解決強化學習瓶頸的承諾:4 億模型在沙箱中實際嘗試任務,27 億教師逐 token 評分。即使失敗的嘗試也能獲得細粒度回饋,看到具體哪一行代碼出錯。初期效果最好,第 20 步達到 58.9%(最高成績),但後來又回到 58%,甚至模型開始過度檢查自己的工作,導致超時。
最驚人的發現出現在詳細分析結果時:將 8 個訓練檢查點逐題對比,發現它們雖然個別成績都是 58%,卻解決的題目集合完全不同。合計起來,這些小模型解決了 292 題(75%),反而超過了教師的 230 題(58%);而教師獨占的題目只有 7 道。這意味著 4 億模型並未缺乏知識或理解能力——它已經掌握了幾乎所有問題的解決方法,但做不到百分百穩定。訓練只是在改變「哪些題目在第一次就對」,無法提升整體天花板。
基於這個發現,研究者提出了簡單實用的「四次嘗試測試」:在訓練前,讓基礎模型對每道題嘗試四次,看成績從一次嘗試時的 62% 提升到幾何。答案是 73%,足足高出 11 個百分點。這個差距告訴你:模型已經掌握大部分知識,改進空間約 11%,值不值得花一整天 GPU 時間由你決定。


