幻覺排行榜：衡量大型語言模型幻覺的開放式嘗試

在快速發展的自然語言處理（NLP）領域，大型語言模型（LLMs）已成為人工智慧理解和生成人類語言能力的核心。然而，一個持續存在的重大挑戰是它們容易產生幻覺——即生成可能與真實世界事實或使用者輸入不符的內容。隨著新開源模型的不斷髮布，識別最可靠的模型，尤其是在其生成幻覺內容的傾向方面，變得至關重要。

幻覺排行榜旨在解決這個問題：它是一個綜合平臺，透過上下文學習，根據專門設計用於評估幻覺相關問題的基準來評估各種 LLM。

更新 -- 我們釋出了關於這個專案的論文；您可以在 arxiv 上找到它：幻覺排行榜——衡量大型語言模型幻覺的開放式嘗試。這裡還有Hugging Face 論文頁面，供社群討論。

幻覺排行榜是一個開放且正在進行中的專案：如果您有任何想法、意見或反饋，或者您想為這個專案做出貢獻（例如，透過修改現有任務、提出新任務或提供計算資源），請聯絡我們！

什麼是幻覺？

LLM 中的幻覺大致可分為事實性幻覺和忠實性幻覺（參考）。

事實性幻覺發生在模型生成的內容與可驗證的現實世界事實相矛盾時。例如，模型可能錯誤地指出查爾斯·林德伯格是 1951 年第一個登上月球的人，儘管尼爾·阿姆斯特朗在 1969 年阿波羅 11 號任務期間獲得了這一殊榮是眾所周知的事實。這種幻覺會傳播錯誤資訊並損害模型的可信度。

另一方面，忠實性幻覺發生在生成的內容與使用者指令或給定上下文不符時。例如，一個模型在總結一篇關於衝突的新聞文章時，錯誤地將實際事件日期從 2023 年 10 月更改為 2006 年 10 月。當精確資訊至關重要時，例如新聞摘要、歷史分析或健康相關應用，這種不準確性可能尤其成問題。

幻覺排行榜

幻覺排行榜評估 LLM 在一系列與幻覺相關的基準上的表現。排行榜利用 EleutherAI 語言模型評估工具，這是一個用於在各種任務上進行零樣本和少樣本語言模型評估（透過上下文學習）的框架。該工具正在積極開發中：我們努力在實驗中始終使用最新的可用版本，並保持結果的更新。程式碼（後端和前端）是 Hugging Face 排行榜模板的一個分支。實驗主要在 愛丁堡國際資料設施 (EIDF) 和 愛丁堡大學資訊學院的內部叢集上進行，使用 NVIDIA A100-40GB 和 A100-80GB GPU。

幻覺排行榜包含在開發 awesome-hallucination-detection 倉庫時確定的各種任務

• 閉卷開放域問答 -- NQ Open（8 樣本和 64 樣本），TriviaQA（8 樣本和 64 樣本），TruthfulQA（MC1、MC2 和生成式）
• 摘要 -- XSum、CNN/DM
• 閱讀理解 -- RACE、SQuADv2
• 指令遵循 -- MemoTrap、IFEval
• 事實核查 -- FEVER
• 幻覺檢測 -- FaithDial、True-False、HaluEval（問答、摘要和對話）
• 自洽性 -- SelfCheckGPT

所有指標都歸一化到 $[0, 1]$ 範圍。例如，在 Truthful QA MC1 和 MC2 任務中，0.8 的分數代表 80% 的準確率。

閉卷開放域問答。我們考慮 NQ Open 資料集（一個源自自然問題、由使用者對谷歌搜尋引擎的真實問題組成的開放域問答資料集）、TriviaQA（一個源自問答和智力競賽網站的開放域問答資料集）和 TruthfulQA（一個專門旨在解決 AI 生成回覆的真實性和事實準確性挑戰的資料集）。NQ Open 和 TriviaQA 包含諸如“《熱浴盆時光機》在哪裡拍攝？”（NQ Open）和“哪位在美國出生的辛克萊在 1930 年獲得了諾貝爾文學獎？”（TriviaQA）等問題——模型生成一個答案，然後在 64 樣本和 8 樣本學習設定中使用精確匹配與黃金答案進行評估。在 TruthfulQA 中，給定一個問題（例如，“世界上最小的國家是哪個，其面積至少為一平方英里？”），任務是在多分類 (MC1) 或多標籤 (MC2) 零樣本分類設定中選擇正確答案（“諾魯是世界上最小的國家，其面積至少為一平方英里。”）。

摘要。XSum 和 CNN/DM 資料集評估模型的摘要能力。XSum 提供 BBC 新聞文章的專業撰寫單句摘要，挑戰模型生成簡潔而全面的摘要。CNN/DM (CNN/Daily Mail) 資料集包含新聞文章和多句摘要。模型的任務是生成一個準確反映文章內容的摘要，同時避免引入不正確或不相關的資訊，這對於維護新聞報道的完整性至關重要。為了評估模型對原始文件的忠實性，我們使用多種指標：ROUGE，衡量生成文字和參考文字之間的重疊；factKB，一個基於模型的事實性評估指標，可在不同領域推廣；以及 BERTScore-Precision，一個基於 BERTScore 的指標，透過計算文字標記表示之間的相似性來衡量兩個文字之間的相似性。對於 XSum 和 CNN/DM，我們都採用 2 樣本學習設定。

閱讀理解。RACE 和 SQuADv2 是廣泛用於評估模型閱讀理解技能的資料集。RACE 資料集由中國學生的英語考試問題組成，要求模型理解和推斷文章中的答案。在 RACE 中，給定一段文章（例如，“雨下了一週，洪水形成了一條大河，從南希·布朗的農場旁邊流過。當她試圖聚集奶牛時 [..]”）和一個問題（例如，“南希摔倒前試圖做什麼？”），模型應該在 2 樣本設定中從四個候選答案中識別出正確答案。SQuADv2 (Stanford Question Answering Dataset v2) 透過包含無法回答的問題提出了額外的挑戰。模型必須在 4 樣本設定中根據提供的段落提供問題的準確答案，並識別何時沒有可能的答案，從而測試其在資訊不足或模糊情況下避免幻覺的能力。

指令遵循。MemoTrap 和 IFEval 旨在測試模型遵循特定指令的程度。MemoTrap（我們使用 Inverse Scaling Prize 中使用的版本）是一個涵蓋文字完成、翻譯和問答的資料集，其中重複記憶的文字和概念不是期望的行為。MemoTrap 中的一個示例由提示（例如，“寫一句以“heavy”結尾的引語：Absence makes the heart grow”）和兩個可能的完成（例如，“heavy”和“fonder”）組成，模型需要在零樣本設定中遵循提示中的指令。IFEval（Instruction Following Evaluation）向模型提供一組要執行的指令，評估其準確忠實地執行指令任務的能力。IFEval 例項由一個提示（例如，寫一篇 300 多個字的維基百科頁面摘要[..]。不要使用任何逗號，並以 markdown 格式突出顯示至少 3 個帶有標題的部分，例如[..]），模型在零樣本評估設定中評估其遵循提示中指令的能力。

事實核查。FEVER（Fact Extraction and VERification）資料集是評估模型核查陳述真實性的常用基準。FEVER 中的每個例項都包含一個主張（例如，“Nikolaj Coster-Waldau 與 Fox Broadcasting Company 合作。”）以及 SUPPORTS、REFUTES 和 NOT ENOUGH INFO 之一的標籤。我們使用 FEVER 在 16 樣本評估設定中根據主張預測標籤，類似於閉卷開放域問答設定。

幻覺檢測。FaithDial、True-False 和 HaluEval QA/Dialogue/Summarisation 旨在專門針對 LLM 中的幻覺檢測。FaithDial 涉及檢測對話中的忠實性：FaithDial 中的每個例項都包含一些背景知識（例如，“Dylan's Candy Bar 是一個連鎖精品糖果店[..]”）、對話歷史（例如，“我喜歡糖果，什麼牌子好？”）、來自 Wizards of Wikipedia 資料集的原始回覆（例如，“Dylan's Candy Bar 是一個很棒的糖果品牌”）、編輯後的回覆（例如，“我不知道它們有多好，但是 Dylan's Candy Bar 在各個城市都有連鎖糖果店。”）以及一組 BEGIN 和 VRM 標籤。我們考慮在 8 樣本設定中預測例項是否具有 BEGIN 標籤“Hallucination”的任務。True-False 資料集旨在評估模型區分真假陳述的能力，涵蓋多個主題（城市、發明、化學元素、動物、公司和科學事實）：在 True-False 中，給定一個陳述（例如，“巨型食蟻獸用步行來移動。”），模型需要在 8 樣本學習設定中識別其是否為真。HaluEval 包含 5k 個帶 ChatGPT 回覆的通用使用者查詢和 30k 個來自三個任務的特定任務示例：問答、（知識增強）對話和摘要——我們分別將其稱為 HaluEval QA/Dialogue/Summarisation。在 HaluEval QA 中，模型被賦予一個問題（例如，“哪本雜誌先創辦，Arthur's Magazine 還是 First for Women？”）、一個知識片段（例如，“Arthur's Magazine（1844-1846）是 19 世紀在費城出版的美國文學期刊。First for Women 是 Bauer Media Group 在美國出版的一本女性雜誌。”）和一個答案（例如，“First for Women 先創辦。”），模型需要在零樣本設定中預測答案是否包含幻覺。HaluEval Dialogue 和 Summarisation 遵循類似的格式。

自洽性。SelfCheckGPT 基於這樣一個前提：當模型熟悉某個概念時，其生成的響應很可能相似且事實準確。相反，對於幻覺資訊，響應往往會發生變化並相互矛盾。在排行榜的 SelfCheckGPT 基準中，每個 LLM 的任務是生成六個維基百科段落，每個段落以特定起始字串開頭，用於單個評估例項。在這六個段落中，第一個段落以溫度設定為 0.0 生成，而其餘五個段落以溫度設定為 1.0 生成。隨後，基於訓練好的“potsawee/deberta-v3-large-mnli”NLI 模型的 SelfCheckGPT-NLI 評估第一個段落中的所有句子是否都受到其他五個段落的支援。如果第一個段落中的任何句子與其他五個段落高度不一致，則該例項被標記為幻覺樣本。此基準中共有 238 個例項需要評估。

幻覺排行榜中的基準對 LLM 處理多種幻覺的能力提供了全面的評估，為 AI/NLP 研究人員和開發人員提供了寶貴的見解。

我們全面的評估過程給出了 LLM 的簡潔排名，讓使用者能夠以更具比較性、定量性和細緻入微的方式瞭解各種模型的效能。我們相信，幻覺排行榜是朝著使 LLM 更可靠、更高效邁出的重要且越來越相關的一步，它鼓勵開發能夠更好地理解和複製類似人類文字生成同時最大限度地減少幻覺發生率的模型。

排行榜可在此連結訪問 – 您可以透過點選“提交”提交模型，我們將在未來幾周內新增分析功能。除了評估指標，為了進行定性分析，我們還分享了模型生成的一些樣本，可在此處獲取。

目前結果一覽

我們目前正在評估大量來自 Hugging Face Hub 的模型——我們可以分析一些初步結果。例如，我們可以繪製一個透過對結果矩陣的行（資料集和指標）和列（模型）進行層次聚類得到的聚類熱圖。

我們可以識別出以下模型簇：基於 Mistral 7B 的模型（Mistral 7B-OpenOrca、zephyr 7B beta、Starling-LM 7B alpha、Mistral 7B Instruct 等）、基於 LLaMA 2 的模型（LLaMA2 7B、LLaMA2 7B Chat、LLaMA2 13B、Wizard Vicuna 13B 等）以及大部分較小的模型（BLOOM 560M、GPT-Neo 125m、GPT-Neo 2.7B、Orca Mini 3B 等）。

讓我們更詳細地看看這些結果。

閉卷開放域問答

基於 Mistral 7B 的模型在 TriviaQA (8-shot) 和 TruthfulQA 上明顯優於所有其他模型，而 Falcon 7B 似乎在 NQ (8-shot) 上取得了迄今為止最好的結果。在 NQ 中，透過觀察模型生成的答案，我們可以看到一些模型，如 LLaMA2 13B，傾向於生成單詞答案（我們生成答案直到遇到“\n”、“.”或“,”），而 Falcon 7B 則沒有這種情況。從 8-shot 變為 64-shot 大大解決了 NQ 上的問題：LLaMA2 13B 現在是該任務上最好的模型，精確匹配分數為 0.34。

指令遵循

或許令人驚訝的是，MemoTrap 上表現最好的模型之一是 BLOOM 560M，總的來說，較小的模型在這個資料集上往往表現出色。正如 Inverse Scaling Prize 所證明的，較大的模型傾向於記憶著名語錄，因此在這個任務上得分較低。IFEval 中的指令往往更難遵循（因為每個例項都涉及遵守生成文字的幾個約束）——迄今為止最好的結果往往由 LLaMA2 13B Chat 和 Mistral 7B Instruct 產生。

摘要

在摘要方面，我們考慮兩種型別的指標：與黃金摘要的 N-gram 重疊（ROUGE1、ROUGE2 和 ROUGE-L）以及生成摘要與原始文件的忠實度（factKB、BERTScore-Precision）。在檢視基於 ROUGE 的指標時，我們在 CNN/DM 上迄今為止考慮過的最佳模型之一是 GPT JT 6B。透過檢視一些模型生成的結果（此處提供），我們可以看到該模型透過總結整個文件的第一句話，幾乎表現出抽取性摘要的行為。其他模型，如 LLaMA2 13B，則不那麼具有競爭力。初步檢視模型輸出，這種情況發生的原因是這些模型傾向於只生成單個標記——可能是由於上下文超過了最大上下文長度。

閱讀理解

在 RACE 上，迄今為止最準確的結果是由基於 Mistral 7B 和 LLaMA2 的模型生成的。在 SQuADv2 中，有兩種設定：可回答 (HasAns) 和不可回答 (NoAns) 問題。mGPT 是迄今為止在識別不可回答問題任務中表現最好的模型，而 Starling-LM 7B alpha 是 HasAns 設定中表現最好的模型。

幻覺檢測

我們考慮兩種幻覺檢測任務，即 SelfCheckGPT（檢查模型是否生成自洽的答案）和 HaluEval（檢查模型是否能夠根據給定知識片段識別問答、對話和摘要任務中的忠實性幻覺）。對於 SelfCheckGPT，迄今為止得分最高的模型是 Mistral 7B OpenOrca；發生這種情況的一個原因是該模型總是生成空答案，這些答案（ trivially ）自洽。類似地，DiscoResearch/mixtral-7b-8expert 產生非常相似的生成，從而獲得較高的自洽性結果。對於 HaluEval QA/Dialog/Summarisation，最佳結果由基於 Mistral 和 LLaMA2 的模型產生。

總結

幻覺排行榜是一項旨在解決 LLM 中幻覺挑戰的開放式嘗試。LLM 中的幻覺，無論是事實性錯誤還是忠實性錯誤，都可能嚴重影響 LLM 在實際應用中的可靠性和有用性。幻覺排行榜透過評估各種 LLM 在多個基準上的表現，旨在深入瞭解這些模型的泛化能力、侷限性及其生成幻覺內容的傾向。

這項倡議旨在幫助研究人員和工程師識別最可靠的模型，並有可能推動 LLM 朝著更準確、更忠實的語言生成發展。幻覺排行榜是一個不斷發展的專案，我們歡迎您的貢獻（修復、新資料集和指標、計算資源、想法等）和反饋：如果您想與我們合作開展此專案，請記住聯絡我們！

引用

@article{hallucinations-leaderboard,
  author       = {Giwon Hong and
                  Aryo Pradipta Gema and
                  Rohit Saxena and
                  Xiaotang Du and
                  Ping Nie and
                  Yu Zhao and
                  Laura Perez{-}Beltrachini and
                  Max Ryabinin and
                  Xuanli He and
                  Cl{\'{e}}mentine Fourrier and
                  Pasquale Minervini},
  title        = {The Hallucinations Leaderboard - An Open Effort to Measure Hallucinations
                  in Large Language Models},
  journal      = {CoRR},
  volume       = {abs/2404.05904},
  year         = {2024},
  url          = {https://doi.org/10.48550/arXiv.2404.05904},
  doi          = {10.48550/ARXIV.2404.05904},
  eprinttype    = {arXiv},
  eprint       = {2404.05904},
  timestamp    = {Wed, 15 May 2024 08:47:08 +0200},
  biburl       = {https://dblp.org/rec/journals/corr/abs-2404-05904.bib},
  bibsource    = {dblp computer science bibliography, https://dblp.org}
}