Xenia Mountrouidou - Traditional ML vs LLMs: who can classify better? | [un]prompted 2026
三句話摘要
語言模型 vs 傳統機器學習在安全分類中的性能對比研究。 傳統機器學習模型在精準分類上仍勝過單獨使用 LLM，但混合 XGBoost 與 LLM 的路由方案可能成為最優解。 傳統機器學習模型（尤其 XGBoost）在精準度和召回率上表現最優，對發現惡意行為最敏感且最準確。語言模型作為零樣本分類器雖無須訓練只需提示，但在當前研究中表現不如傳統 ML。混合方案（先用 XGBoost 分類再交由 LLM）能比單獨使用 LLM 取得更好結果，說明兩種方法各有優勢。LLM 在處理非文本資料（如網路數據包）時面臨困難，需要大量特徵工程才能引導模型做出零樣本分類。
重點整理
重點- 1
傳統機器學習模型（尤其 XGBoost）在精準度和召回率上表現最優，對發現惡意行為最敏感且最準確。語言模型作為零樣本分類器雖無須訓練只需提示，但在當前研究中表現不如傳統 ML。混合方案（先用 XGBoost 分類再交由 LLM）能比單獨使用 LLM 取得更好結果，說明兩種方法各有優勢。LLM 在處理非文本資料（如網路數據包）時面臨困難，需要大量特徵工程才能引導模型做出零樣本分類。
實用技巧與重點
乾貨- 測試模型：傳統 ML、零樣本 LLM、微調 LLM、Claude Opus 4.6
- 測試資料類型：數據包捕獲、電子郵件
- 已知攻擊案例：Mirai 僵尸網路
- 資料來源：Hugging Face 釣魚數據集、已標註網路數據
- 傳統 ML 特徵工程要素：協議、有效載荷、時間線
- 測試規模：100 個樣本（小規模）至更大數據量
- 關鍵發現：LLM 在小樣本表現較好；傳統 ML 對大數據量表現穩定
- 混合策略：路由器架構（XGBoost → LLM）
結論
結論“傳統機器學習模型在精準分類上仍勝過單獨使用 LLM，但混合 XGBoost 與 LLM 的路由方案可能成為最優解。”
完整解析
詳細克塞尼亞·蒙特鲁伊尔博士是 Expel 公司（託管偵測與回應企業）的數據科學家，從事安全數據科學 15 年。她一直思考一個核心問題：生成式模型是否能像傳統預測模型一樣確定分類邊界，特別是在安全應用上。
在安全領域，分類工作至關重要——不僅要區分惡意與良性行為，還要區分細微差別，例如「看起來良性但有點不對勁」的情況。因此她設計了一項研究，將語言模型作為分類器與傳統機器學習模型進行比較。
研究結果顯示傳統 ML 模型（如 XGBoost）在精準度和召回率上表現最優，對發現惡意行為最敏感也最準確。相比之下，LLM 作為零樣本分類器雖然有潛力，因為無須訓練只需提示就能分類，但在當前測試中並未超過傳統 ML。然而經過微調後情況可能改善。
特別值得探討的是輸入資料的問題。她使用的是網路數據包捕獲資料，對 LLM 而言這是一大挑戰，因為這不是自然文本。她進行了大量特徵工程，提取協議、有效載荷、時間線等資訊，才引導模型做出零樣本分類。相反，在電子郵件文本資料上 LLM 表現更佳。
在後續實驗中，她測試了混合方案：路由器先將資料交給 XGBoost 分類，再交給 LLM 處理。結果顯示這種組合方式效果優於單獨使用 LLM。她也試驗了 Claude Opus 4.6，發現在小樣本（如 100 個樣本）上表現較好，但隨著資料量增加，人類編寫的分類器表現反而不如人意。最終結論是傳統模型能準確找到分類邊界，而 LLM 並非為此設計，兩者應根據應用場景選擇或結合使用。
關鍵時刻
Pipeline v2帶時間戳的重點，會在逐字稿層級分析上線後產生。目前請先透過原始影片觀看。
事實查核
Pipeline v2說法查證是下一次管線升級的一部分。KeyFrame 只會顯示它真正能驗證的內容。
