通过自洽解码获得更具事实性的开放式回答
Self-Consistent Decoding for More Factual Open Responses
AI总结：
本文提出将自洽投票融入开放式生成的 Sample & Select 解码方法，逐句依据 token 重叠从多样本中选择输出，在 FRANK 的 CNN/DM 与 XSum 子集上显著提升摘要事实性并保持 ROUGE-1 F1。
摘要：
自洽性已成为提升大型语言模型所生成短答案准确性的一种有效方法。按照此前的定义，它只关注从生成文本中解析出的最终答案的准确性。在本研究中，我们通过将投票机制融入解码方法，把这一思想扩展到开放式回答生成。每个输出句子都基于先前的选择作为条件，从多个样本中选出，并依据一个简单的 token 重叠评分进行判断。我们将这种“Sample & Select”方法与贪心解码、束搜索、nucleus sampling，以及近期提出的 DoLa、P-CRR 和 S-CRR 等避免幻觉的解码器进行比较。结果表明，在 FRANK 基准所使用的 CNN/DM 和 XSum 子集上进行的基于 NLI 的评估中，Sample & Select 相比这些解码器将事实性相对提高了 30%，同时在与参考摘要相比时保持了相当的 ROUGE-1 F1 分数。我们还收集了对生成摘要的人工核验，证实了本方法在事实性方面的优越性。
英文摘要：
Self-consistency has emerged as a powerful method for improving the accuracy of short answers generated by large language models. As previously defined, it only concerns the accuracy of a final answer parsed from generated text. In this work, we extend the idea to open response generation, by integrating voting into the decoding method. Each output sentence is selected from among multiple samples, conditioning on the previous selections, based on a simple token overlap score. We compare this "Sample & Select" method to greedy decoding, beam search, nucleus sampling, and the recently introduced hallucination avoiding decoders of DoLA, P-CRR, and S-CRR. We show that Sample & Select improves factuality by a 30% relative margin against these decoders in NLI-based evaluation on the subsets of CNN/DM and XSum used in the FRANK benchmark, while maintaining comparable ROUGE-1 F1 scores against reference summaries. We collect human verifications of the generated summaries, confirming the factual superiority of our method.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
