🐺🐦‍⬛ LLM 比較/測試：Phi-4、Qwen2 VL 72B Instruct、Aya Expanse 32B 在我更新的 MMLU-Pro CS 基準測試中

引言

我已更新我的 MMLU-Pro 計算機科學 LLM 基準測試結果，其中包含了來自最新測試模型的新資料：三個 Phi-4 變體（微軟官方權重，以及 Unsloth 的修復版 HF 和 GGUF 版本）、Qwen2 VL 72B Instruct 和 Aya Expanse 32B。

在新增這些新模型的同時，我透過刪除除主模型外所有表現始終優異的 QwQ-32B-Preview 變體，簡化了圖表。我還納入了 Claude、gemini-1.5-pro-002 和 Athene-V2-Chat 的第三次評估執行結果，由於 Athene 分數的波動，其排名有所下降。

以下是一個額外的視覺化，它將每個模型表示為 3D 條形圖，其中高度顯示 MMLU 分數（%），深度表示模型引數的十億數量，對於量化模型，條形圖分為一個全綵色前段（與量化大小成比例）和一個淺色後段（顯示與全精度（16 位）模型相比的記憶體節省）。

新測試模型

1. Phi-4

   • Unsloth 修復的 Transformers 實現版在基準測試中效能差異很小，其中 GGUF 版本的準確率略高。需要進一步測試才能確定這種改進是統計學上顯著的趨勢還是隨機變化。
   • 溫度設定對效能有顯著影響：設定為 0 時，響應一致但重複；設定為 1 時，輸出變得不穩定且不可預測。
   • 與以前的版本相比，德語效能大幅提高。雖然它是一個小型模型，偶爾會導致過於字面的翻譯，但德語輸出的整體質量足以滿足大多數用途。
   • 透過基本的提示工程技術可以完全規避審查。
   • 仍然不確定 Phi-4 在實際使用中對通用任務的表現如何——但通常建議您如果可以的話，執行一個更大、更好的模型。

2. Qwen2 VL 72B Instruct

   • 鑑於其分數相對較低，並且依賴於較舊的 Qwen2 系列而非更優秀的 2.5 架構，我期待 Qwen2.5 VL 72B 模型的釋出。

3. Aya Expanse 32B

   • 雖然這個模型在圖表上顯示的分數最低，但請記住，我只包含了分數高於 50% 的模型。還有其他更差的模型低於此閾值，根本沒有出現在視覺化中。
   • 它的主要優勢是支援 23 種語言，這使其成為當您需要多語言能力且沒有更好替代方案時的可靠選擇。當然，如果您的目標語言有更好的模型支援，請改用該模型。

關於基準測試

MMLU-Pro 基準測試是對大型語言模型在各個類別（包括計算機科學、數學、物理、化學等）進行的綜合評估。它旨在評估模型在廣泛學科中理解和應用知識的能力，提供衡量通用智慧的可靠標準。雖然它是一個多項選擇題測試，但與其前身 MMLU 中的 4 個選項不同，現在每個問題有 10 個選項，這大大降低了偶然答對的機率。此外，其重點越來越傾向於複雜的推理任務，而非純粹的事實知識。

對於我的基準測試，我目前僅限於計算機科學類別，其中包含 410 個問題。這一務實決定基於幾個因素：首先，我特別重視我的日常工作環境中模型的響應，因為我經常在這一背景下使用這些模型。其次，在消費級硬體上執行本地模型存在計算時間上的實際限制——單個執行對於大型模型而言已經需要數小時，而我通常會進行至少兩次執行以確保一致性。

與僅報告單一分數的典型基準測試不同，我對每個模型進行多次測試執行以捕捉效能的可變性。這種全面的方法提供了對每個模型真實能力的更準確和細緻的理解。透過對每個模型執行至少兩次基準測試執行，我建立了對效能水平和一致性的可靠評估。結果顯示了標準差的誤差條，說明了效能在不同測試執行中的變化情況。

僅本研究的基準測試就耗時超過 103 小時。如果增加更多類別或執行次數，可用資源下的測試時間會變得非常長，以至於在研究完成時，測試的模型可能已經過時。因此，建立實際的框架條件和邊界對於在合理的時間範圍內獲得有意義的結果至關重要。

詳細結果

以下是完整的表格，包括先前報告的結果：

• 模型：模型名稱（含相關引數和設定詳情）
• HF 主模型名稱：Hugging Face 上列出的被測模型的完整名稱
• HF 草稿模型名稱（推測解碼）：用於推測解碼的草稿模型（如果適用）
• 大小：引數數量
• 格式：模型格式型別（HF、EXL2 等）
• API：服務提供商（TabbyAPI 表示本地部署）
• GPU：用於本次基準測試執行的顯示卡
• GPU 記憶體：分配給模型和配置的視訊記憶體
• 執行：基準測試執行序列號
• 持續時間：基準測試總執行時間
• 總計：正確答案數量（決定排名！）
• %：正確答案百分比
• 正確隨機猜測：當 MMLU-Pro 無法明確識別模型的答案選項時，它會預設為隨機猜測，並報告這些隨機猜測的數量及其準確性（高比例的隨機猜測表明在遵循響應格式方面存在問題）
• 提示令牌數：輸入文字的令牌計數
• 每秒令牌數：每秒處理的令牌數
• 完成令牌數：生成響應的令牌計數
• 每秒令牌數：每秒生成的令牌數

Wolfram Ravenwolf 是一位德國人工智慧工程師，也是一位國際活躍的顧問和著名研究員，他對本地語言模型尤其充滿熱情。您可以在 X 和 Bluesky 上關注他，在 HF 和 Reddit 上閱讀他之前的 LLM 測試和比較，在 Hugging Face 上檢視他的模型，在 Ko-fi 上給他小費，或者預訂他的諮詢服務。