因子化验证：检测并减少学术论文摘要中的幻觉
Factored Verification: Detecting and Reducing Hallucination in Summaries of Academic Papers
AI总结：
本文提出因子化验证方法，在HaluEval摘要任务上达76.2%准确率，检测出ChatGPT、GPT-4和Claude 2摘要中的幻觉，并通过因子化批评自我纠正减少幻觉，提醒谨慎使用模型综合学术论文。
摘要：
幻觉问题困扰着甚至最前沿的大语言模型——但在学术论文摘要任务中，问题究竟有多严重？我们评估了因子化验证（Factored Verification），一种用于检测抽象式摘要中幻觉的简单自动化方法。该方法在HaluEval基准的摘要任务上达到了幻觉检测的最新最优水平，准确率为76.2%。随后，我们利用该方法估算了语言模型在总结多篇学术论文时产生幻觉的频率，发现平均每篇ChatGPT（16k）摘要中有0.62个幻觉，GPT-4为0.84个，Claude 2为1.55个。我们要求模型使用因子化批评（Factored Critiques）进行自我纠正，发现这使ChatGPT的幻觉数量降至0.49个，GPT-4降至0.46个，Claude 2降至0.95个。我们发现的幻觉往往很微妙，因此建议在利用模型综合学术论文时保持谨慎。
英文摘要：
Hallucination plagues even frontier LLMs--but how bad is it really for summarizing academic papers? We evaluate Factored Verification, a simple automated method for detecting hallucinations in abstractive summaries. This method sets a new SotA on hallucination detection in the summarization task of the HaluEval benchmark, achieving 76.2% accuracy. We then use this method to estimate how often language models hallucinate when summarizing across multiple academic papers and find 0.62 hallucinations in the average ChatGPT (16k) summary, 0.84 for GPT-4, and 1.55 for Claude 2. We ask models to self-correct using Factored Critiques and find that this lowers the number of hallucinations to 0.49 for ChatGPT, 0.46 for GPT-4, and 0.95 for Claude 2. The hallucinations we find are often subtle, so we advise caution when using models to synthesize academic papers.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
