KeyFrame內部研究專用

The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral

AI Engineer英文
觀看原始影片

三句話摘要

透過實際案例演示如何在多個頂級語言模型間進行比較測試、評估與優化,幫助 AI 工程師選擇和改進模型部署策略。 選擇和優化語言模型的關鍵不在於依賴基準分數,而在於針對實際應用場景進行系統化測試、評估和迭代改進,透過現代評估框架和提示詞優化技術可以大幅降低模型選擇的成本並提升應用穩定性。 模型差異需實測驗證:不同模型在基礎任務(如數字計數)、RAG 任務(知識接地)、多模態理解、工具調用效率上表現不一致,無法單靠基準分數判斷實際效能,必須針對具體應用場景測試。

重點整理

  1. 模型差異需實測驗證:不同模型在基礎任務(如數字計數)、RAG 任務(知識接地)、多模態理解、工具調用效率上表現不一致,無法單靠基準分數判斷實際效能,必須針對具體應用場景測試。

  2. 評估框架從簡到繁:從簡單的字符串比對→LLM評審判官(需校準和人工驗證)→Assert 框架(自動生成測試用例和評估維度)→DSPy(自動優化提示詞),複雜度遞增但效果更精確。

  3. 並行工具調用是性能關鍵:GPT-5.5 支援並行工具調用,在需要多步驟解決的任務(如旅行規劃)中明顯更高效,而其他模型則串行執行,導致更多網路請求和耗時。

  4. 提示詞工程與模型無關性:使用 DSPy 和遺傳演算法自動生成最優提示詞,可讓成本較低的小模型達到大模型效果,增強應用的模型獨立性和靈活度。

實用技巧與重點

  • 部署的四個模型
  • GPT-5.5(Microsoft Foundry)
  • Claude/Kimmy K2.6
  • DeepSeek V4 Flash
  • Mistral Large 3
  • 設置方式
  • 環境變數:存取 Foundry 部署的模型,使用 .env 設定
  • GitHub Codespace 或本地 Python + UV 環境
  • 支援 Llama 本地模型(更改 API 端點和模型名稱)
  • 測試場景與結果
  • 計數任務:GPT-5.5 和 Claude 正確(13 個 E),DeepSeek 6 個,Mistral 8 個
  • RAG 任務:GPT-5.5 和 DeepSeek 正確表示「無來源」,Mistral 會產生幻覺
  • 多模態理解:GPT-5.5 最準確;Claude 良好;Mistral 識別困難(誤認鱷魚為短吻鱷,找錯最便宜植物)
  • 工具調用效率:GPT-5.5 一次呼叫完成複雜計算,DeepSeek 需四次
  • 評估框架
  • 字符串比對:檢查特定欄位(如日期、參與者清單)
  • LLM 評審:給定 pass/fail 決策和理由,需與人工標籤校準
  • Assert(Microsoft Research,新):基於 YAML 規範自動生成測試用例和評估維度,內建策層化支援
  • DSPy:宣告程式約束,使用遺傳演算法自動生成最優系統提示詞(耗時約 6 分鐘)
  • 評估規模考量
  • RAG 評估通常需 200–800 個測試案例
  • 每個 LLM 評審案例需兩次 LLM 呼叫(應用 + 評審),多評審者倍增成本
  • 評估不應納入 CI/CD 每次提交,而應定期運行
  • Anthropic 特色
  • 使用 Messages API(不同於 OpenAI SDK)
  • 原生支援引文:在結構化格式中提供來源,模型返回帶引文的文本塊

結論

選擇和優化語言模型的關鍵不在於依賴基準分數,而在於針對實際應用場景進行系統化測試、評估和迭代改進,透過現代評估框架和提示詞優化技術可以大幅降低模型選擇的成本並提升應用穩定性。

完整解析

這場工作坊的核心目標是讓 AI 工程師體驗不同模型間的實質差異,並掌握系統化評估和優化的方法。講者指出,儘管基準測試提供參考,但真實應用效能只有透過針對特定場景的測試才能驗證,因為不同任務對模型的要求差異極大。

工作坊展示了四個模型在漸進複雜的任務中的表現。首先從基礎的 LLM 呼叫開始——計數字母數量的簡單任務就揭示了差異:GPT-5.5 和 Claude 準確計出 13 個 E,而 DeepSeek 只計出 6 個,Mistral 計出 8 個。透過加入思路鏈提示(「逐字分解、逐字計數、求和」),Mistral 的表現改善,說明提示詞工程可以彌補模型能力差異。

接著進入 RAG(檢索增強生成)場景,評估模型是否能準確依靠給定的上下文回答問題,而不是編造資訊。GPT-5.5 和 DeepSeek 正確地表示所提問題(蜂蜜蜂築巢方式)不在知識庫中,但 Mistral 卻自信地從訓練權重中產生虛構內容。即使加入「無來源提供」的明確指令,Mistral 仍會混合事實與幻覺。這項發現對 RAG 應用至關重要。

多模態測試則顯示性能差距最明顯。GPT-5.5 能正確辨識圖像(不是獨角獸而是原牛、識別鱷魚的吻部特徵、從模糊表格中找出最便宜植物),Claude 表現也不錯,但 Mistral 無法理解這些細節,甚至在西班牙語提示下表現更差。這說明多語言場景下的複雜理解存在較大風險。

工具調用測試展示了效率差異。在需要多步驟規劃的旅行代理場景中,GPT-5.5 支援並行工具調用(同時搜尋航班和飯店),最少需要三次網路請求;Claude 稍少效率(需更多輪次),DeepSeek 和 Mistral 則需四次或更多呼叫,且 Mistral 甚至忘記完成最後一步。

評估方法的演進從簡單的字符串比對(檢查日期格式、參與者名單是否符合預期)開始,進階到 LLM 評審模式(由另一個 LLM 判斷輸出是否合格),再到 Assert 框架(微軟研究新工具,自動根據規範生成測試用例和多維度評估標準),最後到 DSPy(自動生成最優提示詞的框架)。這些工具解決了 AI 工程師的核心痛點:自動化評估、降低評估設計成本、讓小模型達到大模型效果。

8 min
AI 技術中文11月17日

Muse AI 国内注册方法来了!无需排队、无需信用卡,全程免费!

一路向前看原片 ↗
  • IP環境是核心要素:乾淨的住宅IP搭配日本節點能大幅提升註冊成功率,講者稱日本節點「幾乎秒過」,可選美國但成功率較低。
  • 全新郵箱是必要條件:系統會記錄每個郵箱的註冊歷程,曾排隊或卡在信用卡驗證的信箱會直接失敗,必須使用全新未註冊過的郵箱才能完全規避之前的失敗記錄。
AI 技術中文11月17日

Meta 改写 K-Means,训练轮次降到十分之一​ | K-Means | e-means | Meta FAIR | 聚类算法 | 向量检索 | Faiss | DINO10B | 向量数据库

Best Partners TV看原片 ↗
  • 從累加到衰減的中心維護:傳統小批量更新會累積歷史統計量造成早期分配記錄長期影響,而 e-Means 用指數移動平均使新分配能即時調整中心,早先統計逐漸失效,避免陷入次優解。
  • 死簇復活機制是關鍵改進:消融實驗顯示這項改動影響最大,透過每 5 批次檢查樣本不足的中心,從較大簇拆分一半重新安排,將樣本不足 10 個的中心比例從 26.3% 降到 0.3%。
AI 技術英文11月17日

Goal Engineering - The New Buzzword

Prompt Engineering看原片 ↗
  • 長期開放式目標中最難提供的上下文不是文件或 API,而是人類的判斷力與品味。傳統的檔案查詢或技術規格是相對容易部分,真正瓶頸在於定義「什麼是好的結果」。
  • Actively AI 初期採用單一代理處理多種任務類型失敗,因為人類審查者必須在十種不同的任務格式間切換心智模式,造成效率低落。重新架構為多個專一代理後,人類可在相同心智模式下快速連續審查。