arXiv 2510.223952025-10-25cs.CL

ACL出版物中的虚构内容（CAP）：一个用于科学幻觉检测的数据集

Confabulations from ACL Publications (CAP): A Dataset for Scientific Hallucination Detection

Charles University, Prague（查尔斯大学，布拉格）；Independent Researcher（独立研究者）；University of Helsinki, Finland（赫尔辛基大学）；University of British Columbia, Vancouver, Canada（不列颠哥伦比亚大学，温哥华，加拿大）；Chosun University, South Korea（成均馆大学，韩国）

Federica Gamba, Aman Sinha, Timothee Mickus, Raul Vazquez, Patanjali Bhamidipati, Claudio Savelli, Ahana Chattopadhyay, Laura A. Zanella, Yash Kankanampati, Bin… 展开作者

Federica Gamba, Aman Sinha, Timothee Mickus, Raul Vazquez, Patanjali Bhamidipati, Claudio Savelli, Ahana Chattopadhyay, Laura A. Zanella, Yash Kankanampati, Binesh Arakkal Remesh, Aryan Ashok Chandramania, Rohit Agarwal, Chuyuan Li, Ioana Buhnila, Radhika Mamidi

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

该论文提出了CAP数据集，一个多语言科学幻觉检测资源，包含900个科学问题和7000多个来自16个模型的生成答案，用于检测LLM在科学文本生成中的事实性错误。

摘要：

我们引入了CAP（ACL出版物中的虚构内容）数据集，这是一个多语言资源，用于研究大型语言模型（LLMs）在科学文本生成中的幻觉现象。CAP聚焦于科学领域，在该领域中，幻觉现象常常会扭曲事实知识。然而，在这一领域中，专业术语的存在、统计推理以及依赖上下文的解释进一步加剧了这些扭曲，特别是考虑到LLMs缺乏真正的理解能力、上下文理解有限以及倾向于表面层面的泛化。CAP在跨语言环境下运行，涵盖五种高资源语言（英语、法语、印地语、意大利语和西班牙语）和四种低资源语言（孟加拉语、古吉拉特语、马拉雅拉姆语和泰卢固语）。该数据集包含900个经过筛选的科学问题以及来自16个公开可用模型的超过7000个LLM生成的答案，以问答对的形式提供，并附有令牌序列和相应的logits。每个实例都标注有一个二元标签，指示是否存在科学幻觉（表示为事实性错误），以及一个流畅性标签，用于捕捉文本在语言质量或自然度方面的问题。CAP已公开发布，以促进关于幻觉检测、LLMs的多语言评估以及更可靠的科学NLP系统开发的高级研究。

英文摘要：

We introduce the CAP (Confabulations from ACL Publications) dataset, a multilingual resource for studying hallucinations in large language models (LLMs) within scientific text generation. CAP focuses on the scientific domain, where hallucinations can distort factual knowledge, as they frequently do. In this domain, however, the presence of specialized terminology, statistical reasoning, and context-dependent interpretations further exacerbates these distortions, particularly given LLMs' lack of true comprehension, limited contextual understanding, and bias toward surface-level generalization. CAP operates in a cross-lingual setting covering five high-resource languages (English, French, Hindi, Italian, and Spanish) and four low-resource languages (Bengali, Gujarati, Malayalam, and Telugu). The dataset comprises 900 curated scientific questions and over 7000 LLM-generated answers from 16 publicly available models, provided as question-answer pairs along with token sequences and corresponding logits. Each instance is annotated with a binary label indicating the presence of a scientific hallucination, denoted as a factuality error, and a fluency label, capturing issues in the linguistic quality or naturalness of the text. CAP is publicly released to facilitate advanced research on hallucination detection, multilingual evaluation of LLMs, and the development of more reliable scientific NLP systems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。