arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2602.01031cs.AIcs.CL
收藏

HalluHard: 一种具有挑战性的多轮 hallucination 评估基准

HalluHard: A Hard Multi-Turn Hallucination Benchmark

EPFL（苏黎世联邦理工学院）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（图宾根人工智能中心）

Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

HalluHard是一种具有挑战性的多轮hallucination评估基准，通过内联引用和网络搜索评估模型的事实性输出，发现即使使用网络搜索，幻觉仍然普遍存在。

摘要：

大型语言模型（LLMs）仍然会产生看似合理但缺乏事实依据的陈述，这一问题在多轮对话中会加剧，因为随着上下文的增加，早期的错误会累积。我们引入了HalluHard，一种具有挑战性的多轮hallucination评估基准，包含950个种子问题，涵盖四个高风险领域：法律案例、研究问题、医疗指南和编程。我们通过要求对事实性声明进行内联引用来定义事实性。为了支持开放性场景中的可靠评估，我们提出了一种判断流程，通过网络搜索迭代检索证据。它可以获取、过滤和解析全文来源（包括PDF文件）以评估引用材料是否确实支持生成的内容。在多样化的前沿专有和开源模型集合中，即使使用网络搜索（约30%对于最强配置Opus-4.5），幻觉仍然显著，内容事实性错误率仍然很高。最后，我们展示了幻觉行为受模型容量、轮次位置、有效推理和所需知识类型的影响。

英文摘要：

Large language models (LLMs) still produce plausible-sounding but ungrounded factual claims, a problem that worsens in multi-turn dialogue as context grows and early errors cascade. We introduce $\textbf{HalluHard}$, a challenging multi-turn hallucination benchmark with 950 seed questions spanning four high-stakes domains: legal cases, research questions, medical guidelines, and coding. We operationalize groundedness by requiring inline citations for factual assertions. To support reliable evaluation in open-ended settings, we propose a judging pipeline that iteratively retrieves evidence via web search. It can fetch, filter, and parse full-text sources (including PDFs) to assess whether cited material actually supports the generated content. Across a diverse set of frontier proprietary and open-weight models, hallucinations remain substantial even with web search ($\approx 30\%$ for the strongest configuration, Opus-4.5 with web search), with content-grounding errors persisting at high rates. Finally, we show that hallucination behavior is shaped by model capacity, turn position, effective reasoning, and the type of knowledge required.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑