arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.16658cs.CL
收藏

预训练语言模型对不忠实幻觉文本返回可区分的概率分布

Pre-trained Language Models Return Distinguishable Probability Distributions to Unfaithfully Hallucinated Texts

Korea University(高丽大学)

Taehun Cha, Donghun Lee

AI总结:

本研究发现预训练语言模型对不忠实幻觉文本返回可区分的生成概率和不确定性分布,并基于此提出一种减少幻觉的训练算法,在保持文本质量的同时显著提升了忠实度指标。

摘要:

在这项工作中,我们表明预训练语言模型对不忠实幻觉文本返回可区分的生成概率和不确定性分布,无论其规模和结构如何。通过在6个数据集上检查24个模型,我们发现88-98%的案例在统计上显著返回可区分的生成概率和不确定性分布。利用这一普遍现象,我们展示了一种减少幻觉的训练算法。我们的算法在保持良好通用文本质量指标的同时,通过实现更高的忠实度指标超越了其他基线方法。

英文摘要:

In this work, we show the pre-trained language models return distinguishable generation probability and uncertainty distribution to unfaithfully hallucinated texts, regardless of their size and structure. By examining 24 models on 6 data sets, we find out that 88-98% of cases return statistically significantly distinguishable generation probability and uncertainty distributions. Using this general phenomenon, we showcase a hallucination-reducing training algorithm. Our algorithm outperforms other baselines by achieving higher faithfulness metrics while maintaining sound general text quality measures.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑