arXiv 2407.174682024-07-24cs.CLcs.AI

WildHallucinations：用真实世界实体查询评估LLM的长文本事实性

WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries

Cornell University（康奈尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of Waterloo（滑铁卢大学）

Wenting Zhao, Tanya Goyal, Yu Ying Chiu, Liwei Jiang, Benjamin Newman, Abhilasha Ravichander, Khyathi Chandu, Ronan Le Bras, Claire Cardie, Yuntian Deng, Yejin Choi

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

该研究提出WildHallucinations基准，通过真实世界实体查询评估LLM长文本事实性，发现LLM在无维基百科页面实体上幻觉更多，且检索组件仅能略微减少幻觉。

摘要：

尽管大语言模型（LLM）的幻觉仍然是一个主要挑战，但现有的事实性评估基准并未涵盖LLM真实世界用户所寻求信息的多样化知识领域。为了弥补这一差距，我们引入了WildHallucinations，一个评估事实性的基准。它通过提示LLM生成关于从野外用户-聊天机器人对话中挖掘的实体的信息来实现这一点。然后，这些生成内容会自动与从网络搜索收集的系统化整理的知识源进行事实核查。值得注意的是，这些真实世界实体中有一半没有相关的维基百科页面。我们评估了15个LLM在7,919个实体上的118,785条生成内容。我们发现，LLM在没有维基百科页面的实体上始终产生更多幻觉，并在不同领域表现出不同的幻觉率。最后，在相同基础模型下，添加检索组件仅略微减少幻觉，但并不能消除幻觉。

英文摘要：

While hallucinations of large language models (LLMs) prevail as a major challenge, existing evaluation benchmarks on factuality do not cover the diverse domains of knowledge that the real-world users of LLMs seek information about. To bridge this gap, we introduce WildHallucinations, a benchmark that evaluates factuality. It does so by prompting LLMs to generate information about entities mined from user-chatbot conversations in the wild. These generations are then automatically fact-checked against a systematically curated knowledge source collected from web search. Notably, half of these real-world entities do not have associated Wikipedia pages. We evaluate 118,785 generations from 15 LLMs on 7,919 entities. We find that LLMs consistently hallucinate more on entities without Wikipedia pages and exhibit varying hallucination rates across different domains. Finally, given the same base models, adding a retrieval component only slightly reduces hallucinations but does not eliminate hallucinations.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。