在大语言模型中建立可重复、开放且以专家为基准的幻觉基准的理由
The Case for Repeatable, Open, and Expert-Grounded Hallucination Benchmarks in Large Language Models
AI总结：
本文主张构建可重复、开放且领域情境化的幻觉基准，并通过分类法和案例研究证明专家早期参与对幻觉度量有效性的关键作用。
摘要：
模型生成文本中看似合理但不准确的 token 被广泛认为普遍存在，并对负责任地采用语言模型构成问题。尽管存在这一担忧，但很少有科学工作试图以全面的方式衡量语言模型幻觉的普遍程度。在本文中，我们主张应使用可重复、开放且领域情境化的幻觉基准来评估语言模型。我们提出了一个幻觉分类法，并通过一项案例研究表明，当专家缺席于数据创建的早期阶段时，所得的幻觉度量缺乏效度和实际效用。
英文摘要：
Plausible, but inaccurate, tokens in model-generated text are widely believed to be pervasive and problematic for the responsible adoption of language models. Despite this concern, there is little scientific work that attempts to measure the prevalence of language model hallucination in a comprehensive way. In this paper, we argue that language models should be evaluated using repeatable, open, and domain-contextualized hallucination benchmarking. We present a taxonomy of hallucinations alongside a case study that demonstrates that when experts are absent from the early stages of data creation, the resulting hallucination metrics lack validity and practical utility.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
