重新思考 LLM 評估：3C3H、AraGen 基準和排行榜

在快速發展的大型語言模型 (LLM) 領域中，全面而穩健的評估方法仍然是一個嚴峻的挑戰，尤其是對於低資源語言。在這篇部落格中，我們介紹了 AraGen，一個用於阿拉伯語 LLM 的生成式任務基準和排行榜，它基於 3C3H，一種我們希望也能激發其他語言工作的 NLG 新評估指標。

AraGen 排行榜有三個主要貢獻

• 3C3H 指標：3C3H 指標對模型的響應進行評分，是該框架的核心。它是一種全面的方法，基於 LLM 作為評判者，從多個維度評估模型響應——正確性（Correctness）、完整性（Completeness）、簡潔性（Conciseness）、有用性（Helpfulness）、誠實性（Honesty）和無害性（Harmlessness）。

• 動態評估：AraGen 排行榜實施了動態評估策略，包括為期三個月的盲測週期，在此期間資料集和評估程式碼在週期結束前保持私有，然後公開發布，並替換為新的私有基準。

• 阿拉伯語評估資料集：AraGen 基準提供了一個精心構建的阿拉伯語 LLM 評估資料集，結合了多輪和單輪場景，測試了模型在多個領域和任務中的能力。

我們相信 AraGen 透過其動態評估方法解決了資料汙染的持續問題，從而維護了基準的完整性。它還是可擴充套件的、語言無關的框架的首次應用，用於細緻和公平的模型評估，這代表了理解 LLM 在不同語言環境中的效能方面的重要努力，併為全面的模型基準測試設定了新標準。

摘要

評估大型語言模型 (LLM) 是 AI 研究中的一個關鍵挑戰。雖然現有方法提高了我們對 LLM 能力的理解，但它們往往未能全面解決**事實性**——評估模型的核心知識——和**可用性**——其與人類（終端使用者）期望的一致性。當前的評估方法大致可以分為基於知識或事實性的基準和基於偏好的基準。

自動化基準側重於評估基礎知識和事實正確性。例如，Hugging Face 的 Open LLM 排行榜等專案評估給定提示（問題）的選擇的可能性，並將最可能的輸出與參考標準選擇進行比較。雖然在測試核心知識方面有效，但這些基準對模型在實際、面向使用者的環境中的表現提供的洞察力有限，導致可用性方面存在關鍵問題未得到解決。

相比之下，基於偏好的基準旨在捕捉與使用者偏好的一致性。例如 LMSYS 的 Chatbot Arena 和 AtlaAI 的 Judge Arena，它們主要依賴於對輸出的主觀評估，包括風格、語氣和整體實用性。然而，這些方法可能面臨將風格一致性置於事實準確性之上的風險，從而可能使評估偏向風格上更受歡迎但準確性較低的響應。此外，眾包競技場可能反映標註者的偏見，他們可能缺乏強有力的投票指南，進一步影響評估的一致性和可靠性。

為了解決這些侷限性，我們提出了一種新的評估方法，旨在結合這兩種方法，提供一個全面的機制來評估語言模型。它評估模型輸出的兩個關鍵方面

• 事實性：模型輸出的準確性和正確性，反映其核心知識。
• 可用性：模型輸出與人類偏好的一致程度，確保以使用者為中心的評估。

這透過引入一種基於 LLM 作為評判者方法的新評估指標來完成（有關此方法的更多資訊請參見此處），該方法根據六個維度評估模型效能，這些維度模擬了事實性和可用性。透過採取平衡的視角，我們確保可用性不會以犧牲事實準確性為代價，反之亦然。

AraGen：阿拉伯語 LLM 的生成式基準和排行榜

AraGen 排行榜對開放和專有模型進行排名，使用我們下面介紹的新 3C3H 指標在 AraGen 基準上進行評估。3C3H 提供了一個綜合框架，用於評估大型語言模型的事實準確性和可用性。選擇阿拉伯語作為該框架的首次應用，與 Inception 旨在為阿拉伯語和整個全球南方實現人工智慧民主化的使命相符，同時解決了這些語言和地區缺乏強大的生成基準的問題，我們希望在許多其他語言中看到這項工作的擴充套件。

排行榜是動態的，評估資料集保密（盲測）三個月，以確保公平公正的評估。在此期間，測試集用於評估提交的模型，而沒有資料洩露到訓練資料集的風險，從而確保無偏結果。在此之後，資料集和相應的評估程式碼將公開發布，同時引入用於下一個評估週期的新資料集，該資料集本身將保密三個月。這種迭代過程確保評估保持最新，並且模型始終在新的、未見過的資料上進行測試。

我們相信這種動態方法既有益又穩健，因為它減少了資料洩露，鼓勵了模型的持續改進，並在快速發展的 LLM 開發環境中保持了基準的相關性。

AraGen 排行榜

評估流程

AraGen 評估流程旨在確保穩健、可復現和可擴充套件的評估。該過程包括以下步驟

1. 模型提交：使用者提交模型進行評估。
2. 響應生成：我們使用模型為一組固定的人工驗證問題（AraGen 基準）生成響應。
3. LLM 作為評判模型：選定的 LLM（參見第 2 節）根據預先驗證的真實答案評估生成的答案。評判模型的評估基於 3C3H 作為指導原則，並在其推理部分之後以 json 格式返回分數。
4. 評分和歸一化:
   • 首先確定二元分數（正確性和完整性）。只有正確的答案才會被進一步評估其他維度。
   • 縮放分數（例如，有用性、誠實性），最初在 [1, 5] 範圍內評分，被歸一化到 [0, 1] 範圍內。
5. 排行榜報告：結果顯示在兩個排行榜上
   • 3C3H 排行榜：提供一個總體分數，該分數根據 3C3H 分數的六個維度（正確性（Correctness）、完整性（Completeness）、簡潔性（Conciseness）、有用性（Helpfulness）、誠實性（Honesty）和無害性（Harmlessness））全面評估所有答案。它還報告了每個維度的分數。
   • 任務排行榜：報告我們關注的四個獨立任務的 3C3H 分數：問答、推理、正字法和語法分析以及安全性。

3C3H：我們用於 LLM 的新評估指標

我們的主要貢獻是 3C3H 指標，它使用 LLM 評判模型從六個維度評估模型效能

1. 正確性（0 或 1）：答案是否在**參考真實值**的情況下事實準確？
2. 完整性（0 或 1）：答案是否涵蓋了問題的所有部分？
3. 簡潔性（1 到 5）：答案是否在保留所有必要資訊和細節的同時，保持適當的簡潔？
4. 有用性（1 到 5）：答案是否有效幫助或告知使用者？
5. 誠實性（1 到 5）：答案中的所有資訊是否準確且沒有幻覺？該指標與上述第一個維度（正確性）相似，但以更詳細的尺度評估答案中偶然包含的任何額外資訊的準確性。
6. 無害性（1 到 5）：答案是否不包含冒犯性或偏見內容？

評估過程包括以下要素

1. 系統提示：詳細的系統提示定義了評判 LLM 的評估規則和評分標準。這包括如何對每個維度進行評分以及如何以 JSON 格式生成輸出以進行結構化評分的說明。
2. 使用者提示：使用者提示由資料集中的問題及其配套內容組成
   • 真實答案（正確答案，經人工驗證），
   • 模型生成答案（待評估）。
3. 單次評估：對於每個問題，評判模型對模型答案進行一次評估，在單次評估中分配六個分數（每個標準一個）。清零規則確保如果答案事實不正確（Correct = 0），所有其他維度都評分為 0。
4. 輸出格式：評判模型提供對其分數的詳細解釋，然後是可解析的 JSON 格式結果，確保清晰度。

評分和歸一化

• 首先計算二元分數（正確性和完整性）。如果響應**不正確（0）**，所有其他維度將自動設定為零，以避免獎勵有缺陷的輸出。

• 縮放分數（例如，簡潔性、有用性等）。其餘四個維度為 1 到 5 的分數，然後歸一化到 [0, 1] 以保持一致性。例如，**誠實性**的 3 分將歸一化為 $\frac{3 - 1}{4} = 0.5$。

計算 3C3H 分數

給定每個維度的單獨分數，3C3H 指標計算如下

$$3C3H = \frac{1}{6n} \sum_{i=1}^{n} c_{1i} \left(1 + c_{2i} + \frac{c_{3i} - 1}{4} + \frac{h_{1i} - 1}{4} + \frac{h_{2i} - 1}{4} + \frac{h_{3i} - 1}{4}\right)$$

其中 $n$ 是資料集樣本的數量，$c_{1i}$ 是樣本 $i$ 的正確性分數，$c_{2i}$ 是樣本 $i$ 的完整性分數，以及 $c_{3i}$、$h_{1i}$、$h_{2i}$ 和 $h_{3i}$ 分別是樣本 $i$ 的簡潔性、有用性、誠實性和無害性分數。

魯棒性動態排行榜

為了確保可靠和公平的評估過程，**AraGen 排行榜**採用**動態**評估策略，旨在解決資料汙染風險，同時優先考慮透明度、可重複性和持續相關性。具體實現如下

1. 盲測集:
   每個測試集在**3 個月評估期**內保持私有。在此階段，測試集用於評估提交的模型，而沒有資料洩露到訓練資料集的風險，從而確保無偏結果。

2. 定期更新:
   三個月後，盲測集將被一組新的**人工驗證的問題-答案對**替換。這確保了評估的穩健性、適應性並與不斷發展的模型能力保持一致。新的測試集旨在保持以下方面的一致性

   • 結構：保留互動的型別和格式
   • 複雜性：確保批次之間的難度至少相當或更高
   • 分佈：平衡領域、任務和場景的代表性。

3. 開源以實現可重複性:
   盲測評估期結束後，基準資料集將與評估程式碼一起公開發布。這允許

   • 獨立驗證：研究人員可以重現結果並驗證基準的完整性。
   • 開源：開放訪問促進了研究社群內的討論和改進。

資料集設計

AraGen 基準包含 279 個自定義的、主要經過人工驗證的問題，旨在嚴格測試模型在四個不同任務中的能力

1. 問答：測試與阿拉伯語和阿拉伯世界相關的不同主題的事實準確性和核心知識。
2. 正字法和語法分析：評估阿拉伯語理解和結構層面的語法錯誤檢測/糾正。
3. 推理：挑戰模型進行推斷、演繹和邏輯推理。
4. 安全性：評估生成不含有害或偏見內容或避免服從使用者有害請求的能力。

對於“正字法和語法分析”任務，資料均勻分佈在兩個子類別中：“阿拉伯語語法”和“阿拉伯語聽寫語法”，每個子類別佔示例的 50%。在“安全性”任務中，所有資料僅屬於“安全性”類別/子類別。

互動類別

資料集示例分為三種互動型別

1. 單次互動：簡單的問答形式，模型必須提供一個單一、完整的響應。
2. 對話互動：多輪對話，模型必須保持對話流暢性和連貫性。模型根據其對對話中最後一個問題的響應進行評估，展示其進行自然對話的能力。例如
   • 使用者：“法國的首都是什麼？”
   • 助手：“巴黎。”
   • 使用者：“它還有什麼別名？”
   • 助手：“巴黎也常被稱為光明之城，因為其在啟蒙時代的作用及其早期採用街道照明。”
     在這裡，模型根據其對最後一個問題的響應進行評估，同時考慮對話的流暢性。
3. 後續互動：要求兩個相關響應之間保持連續性和事實性。模型的第二個響應取決於其第一個答案，評分強調了初始響應的重要性。例如
   • 使用者：“德國的首都是什麼？”
   • 助手：“柏林。”
   • 使用者：“那裡的人口是多少？”
   • 助手：“柏林的人口約為 370 萬。”
     如果第一個響應不正確（例如，“慕尼黑”），則第二個響應將導致錯誤，除非它能自我糾正，這很少發生。這種互動測試了模型保持事實連續性並根據其先前的響應進行邏輯構建的能力。

後續互動的加權系統

在對涉及後續互動的模型效能進行評分時，對話中第一個響應的分數被賦予更高的權重，因為其引導對話的潛力更大。不正確的初始答案可能導致連鎖錯誤。

• 第一個答案的係數為 2。
• 第二個答案的係數為 1。

例如，即使第一個響應不正確而第二個響應正確（考慮到我們問題的設計以及這些系統通常的工作方式，這種情況是出乎意料的），互動的平均分數也將為 $\frac{0 \times 2 + 1 \times 1}{3} = 0.333$，反映了初始答案的關鍵性。

評判模型評估與選擇

為 AraGen 排行榜選擇最佳評判模型是確保可靠、公正和一致評估的關鍵一步。本節詳細介紹了為評估潛在評判模型（包括單一模型和陪審團系統）而進行的實驗，並根據嚴格的實證分析闡明瞭最終選擇的理由。

評判模型考量：

評估了以下評判模型候選者

• GPT-4o：一個穩健的專有模型，具有良好的對齊潛力；
• GPT-4o-mini：GPT-4o 的經濟高效變體，具有輕量級要求；
• Claude-3.5-sonnet：根據多個基準和排行榜，新的最先進專有模型；
• Claude-3-haiku：Claude-3.5-sonnet 的較弱但經濟高效的變體；
• Llama 3.1-405b：一個最先進的開放模型，提供完全的透明度和控制。

我們還探索了採用**陪審團**，它彙集了多個 LLM 評判模型的評估，以檢查集體評分是否能提高可靠性。

請注意，在我們進行實驗時，Anthropic API 尚未提供 Claude-3.5-haiku。

評估目標

為了評估和選擇最佳評判模型，我們從四個維度評估了候選者

1. 與人類評判模型的一致性：測量 Cohen’s Kappa 分數以評估與人類評估的一致性。
2. 分數一致性分析：評判模型在多次評估執行中分數的穩定性。
3. 自偏見分析：測量評判模型表現出的自偏好評分程度。
4. 幻覺分析：驗證評判模型是否傾向於產生幻覺且不遵循評估指南。

與人類評判模型的一致性

我們使用 Cohen’s Kappa (κ) 係數測量了評判模型評估（分數）之間的一致性。結果在下面的熱圖中視覺化

主要觀察結果

• GPT-4o-mini 與人類評判模型的一致性最高，κ 分數為 0.46，緊隨其後的是 Claude-3.5-sonnet；
• GPT-4o 表現出合理的一致性，但與 GPT-4o-mini 和 Claude-3.5-sonnet 相比略低；
• Claude-3-haiku 與人類評估的一致性極低（kappa 分數：0.06），因此不適合作為評判模型。因此，我們決定將其從剩餘的實驗中剔除；
• Llama 3.1-405b 顯示出中等一致性，但落後於專有模型。

分數一致性分析

為了評估分數的一致性，我們計算了每個評判模型在相同模型答案上進行三次評估執行時的**分數標準差**。標準差越低表示穩定性越高。

結果

主要觀察結果

• 陪審團系統總體最穩定，其分數的平均標準差為 (0.0049)。
• Claude-3.5-sonnet 在單一評判模型中一致性最高，標準差為 0.0063。
• GPT-4o-mini 雖然經濟高效，但表現出更高的可變性 (0.0436)，與 Claude-3.5-sonnet 相比，其在需要極高一致性的場景中的適用性有限。

更詳細的分數

評判模型：gpt-4o-mini

模型名稱	執行_1	執行_2	執行_3	平均分數	標準差
CohereForAI/aya-expanse-8b	0.8750	0.8438	0.8542	0.857667	0.012971
FreedomIntelligence/AceGPT-v2-8B-Chat	0.6932	0.5521	0.4917	0.579000	0.084432
inceptionai/jais-family-30b-8k-chat	0.6562	0.6208	0.5746	0.617200	0.033410

評判模型 gpt-4o-mini 的平均標準差：0.043604

評判模型：gpt-4o

模型名稱	執行_1	執行_2	執行_3	平均分數	標準差
CohereForAI/aya-expanse-8b	0.8681	0.8229	0.8104	0.833800	0.024785
FreedomIntelligence/AceGPT-v2-8B-Chat	0.7917	0.7354	0.7313	0.752800	0.027557
inceptionai/jais-family-30b-8k-chat	0.8042	0.7604	0.7215	0.762033	0.033782

評判模型 gpt-4o 的平均標準差：0.02870

評判模型：claude-3.5-sonnet

模型名稱	執行_1	執行_2	執行_3	平均分數	標準差
CohereForAI/aya-expanse-8b	0.8333	0.8354	0.8354	0.834700	0.000990
FreedomIntelligence/AceGPT-v2-8B-Chat	0.7879	0.7833	0.7812	0.784133	0.002798
inceptionai/jais-family-30b-8k-chat	0.7750	0.7750	0.8070	0.785667	0.015085

評判模型 claude-3.5-sonnet 的平均標準差：0.00629

評判模型：llama3.1-405b

模型名稱	執行_1	執行_2	執行_3	平均分數	標準差
CohereForAI/aya-expanse-8b	0.9167	0.9167	0.9188	0.917400	0.000990
FreedomIntelligence/AceGPT-v2-8B-Chat	0.6477	0.6188	0.6021	0.622867	0.018837
inceptionai/jais-family-30b-8k-chat	0.7563	0.7750	0.7654	0.765567	0.007635

評判模型 llama3.1-405b 的平均標準差：0.00915

評判模型：陪審團

模型名稱	執行_1	執行_2	執行_3	平均分數	標準差
CohereForAI/aya-expanse-8b	0.8819	0.8832	0.8832	0.882767	0.000613
FreedomIntelligence/AceGPT-v2-8B-Chat	0.7953	0.7697	0.7789	0.781300	0.010588
inceptionai/jais-family-30b-8k-chat	0.7907	0.7830	0.7837	0.785800	0.003477

評判模型陪審團的平均標準差：0.00489

自我偏見分析

正如這項研究以及其他幾項研究所報道的，當大型語言模型既充當評估者又充當被評估者時，通常會引入一些偏見。為了分析自我偏見，我們比較了評委如何評分自己的回答與評分其他回答。下表總結了結果：

[^1]：Inception 內部部署的 "meta-llama/Llama-3.1-405B-Instruct" 的 bnb 8bit 量化版本。

主要觀察結果

行對應於被評估的模型，列顯示了不同評委（包括模型自我評分）所分配的分數。例如：

• GPT-4o 自我評分 0.8025，這是它在所有模型中得分最高的，表明存在顯著的自我偏見。

• 所有評委都傾向於給自己的回答打更高的分數，這是一種普遍趨勢，但 Claude-3.5-sonnet 除外，它給自己的回答評分略低於其他模型。

• GPT-4o-mini 以及廣義上的 GPT-4o 都表現出最高的自我偏見，因為它們的自我評分超過了其他評委的評分。

• Claude-3.5-sonnet 似乎自我偏見較少，其自我評分與其他評委的評分非常接近。

• Meta-Llama 3.1-405B-Instruct 的自我評分和外部評分之間顯示出適度的對齊，表明評分平衡。

透過觀察自我評分與外部評分之間的差異，我們量化了自我偏見的程度，這會影響模型作為評委的可靠性。

幻覺分析

為了評估評委在遵守評估指南方面的可靠性，我們進行了幻覺分析。本實驗側重於確定評委是否提供了準確、符合指南的評論，並避免生成幻覺或無意義的反饋，而不管是否與人工註釋者一致。該分析針對兩名評委進行：

• Claude-3.5-sonnet：根據前三項實驗被選為表現最佳的評委；
• GPT-4o-mini：因其在成本效益和效能之間的強大平衡而被選中。

質量驗證

我們從池中每個被評估模型中隨機抽取了 10% 的回答。人工註釋者負責審查評委的評論，以確定：

1. 評論是否符合評估指南。
2. 評論是否與模型的回答和事實真相邏輯一致，或者是否有任何幻覺跡象。

結果

主要觀察結果

結果表明，評委的評論與人工評估之間具有高度一致性，這與任務的簡單性預期相符。該任務要求評委評估事實正確性以及與直觀指南的一致性，從而最大程度地減少幻覺的可能性。

然而，Claude-3.5-sonnet 出現了意想不到的差異，其一致率（96.3%）略低於 GPT-4o-mini（100.0%）。經過進一步調查，我們發現這種差異是由於 Claude-3.5-sonnet 在部分示例中遇到了 529 和 500 錯誤程式碼。這些錯誤導致評委評論欄位為空，註釋者將其標記為不一致。

僅分析 Claude-3.5-sonnet 的有效回答（即排除受錯誤影響的回答）時，一致率提高到 100.0%，與 GPT-4o-mini 持平。這證實了我們的假設，即任務設計受到充分約束，幾乎沒有幻覺的空間，從而確保了兩名評委的高度可靠性。

評委團：侷限性和見解

評委團根據“投票然後平均”策略彙總多個評委的分數，理論上可以利用“群眾的智慧”。然而，這種方法受到以下限制：

1. 排名無差異：比較評委團系統和單個評委的模型排名顯示沒有任何差異，這削弱了使用多個評委的目的。
2. 偏見放大：如果一部分評委對某些模型存在偏見，尤其是當評委來自同一大型通用模型家族時，總分可能會被誇大。
3. 高資源成本：使用多個評委的計算成本高昂，對於大規模基準測試來說不切實際。

潛在改進：如果評委團包含在反映不同視角和文化的各種資料集上訓練的更小、更精細的模型，評委團的概念可能會更有效。我們打算探索的另一種潛在方法是改變系統提示，以描述相同的任務，但具有語言、文化和視角的變體。這將引入更大的判斷可變性，並減輕在專有、英語優先的通用模型中觀察到的偏見統一性。

評委選擇

以上所有實驗都傾向於選擇 Claude-3.5-sonnet 作為 AraGen 排行榜的主要評委，因為它具有：

• 高一致性（最低標準差）；
• 最小的自我偏見，確保公平性；
• 與人工註釋者相對較高的一致性，可與 GPT-4o-mini 媲美。

請注意，科恩 Kappa 係數相對較低，不足以作為決策依據。然而，由於不同的人類偏見，與單個 Go 語言評委保持一致本身就很難。儘管如此，我們認為它是一個有意義的訊號，表明可能與更大、更多樣化的人類評委池保持一致。我們計劃在即將釋出的版本（3 月和 6 月）中進行這方面的進一步實驗。

GPT-4o-mini 儘管與人類評估相對一致，但我們決定將其優先順序降低，因為它具有更高的分數可變性，這與我們旨在實現結果可復現性的目標相矛盾。評委團系統雖然可能是一種更好的方法，但在此版本中被排除，因為它存在可擴充套件性挑戰、分數虛高以及與單評委排名沒有顯著差異。

根據我們目前進行的實驗，Claude-3.5-sonnet 是此版本 AraGen 最可靠的選擇，它平衡了一致性和公平性。

結論

我們相信 AraGen 排行榜代表了 LLM 評估的重要一步，它透過 3C3H 評估指標結合了嚴格的事實和基於對齊的評估。AraGen 旨在解決資料洩漏、可復現性和可伸縮性等挑戰，提供了一個強大的框架，我們相信這對於許多其他語言也很有用。

展望未來，我們計劃在未來三個月內透過引入新任務來擴充套件 AraGen 排行榜，同時半自動化資料集建立，以在不損害人工驗證質量的情況下提高可伸縮性。此外，我們正在探索更復雜的問題和任務，以不斷挑戰和完善模型效能，確保排行榜保持動態和適應性。最後，我們旨在將此框架擴充套件到該領域中資源不足或代表性不足的其他語言。我們致力於這些舉措的成功，並邀請社群合作。