arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2302.09664cs.CLcs.AIcs.LG
收藏

语义不确定性:自然语言生成中用于不确定性估计的语言不变性

Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation

University of Oxford(牛津大学)

Lorenz Kuhn, Yarin Gal, Sebastian Farquhar

AI总结:

本文提出语义熵方法,利用语言不变性解决自然语言生成中的语义等价问题,以无监督方式在单一模型上更准确地估计问答任务中的模型不确定性。

摘要:

我们提出了一种测量大型语言模型不确定性的方法。对于问答等任务,了解何时可以信任基础模型的自然语言输出至关重要。我们表明,由于“语义等价”——不同的句子可能表达相同的意思——在自然语言中测量不确定性具有挑战性。为了克服这些挑战,我们引入了语义熵——一种包含由共享含义产生的语言不变性的熵。我们的方法是无监督的,仅使用单一模型,并且不需要对现成的语言模型进行任何修改。在全面的消融研究中,我们表明,在问答数据集上,语义熵比可比的基线方法更能预测模型准确性。

英文摘要:

We introduce a method to measure uncertainty in large language models. For tasks like question answering, it is essential to know when we can trust the natural language outputs of foundation models. We show that measuring uncertainty in natural language is challenging because of "semantic equivalence" -- different sentences can mean the same thing. To overcome these challenges we introduce semantic entropy -- an entropy which incorporates linguistic invariances created by shared meanings. Our method is unsupervised, uses only a single model, and requires no modifications to off-the-shelf language models. In comprehensive ablation studies we show that the semantic entropy is more predictive of model accuracy on question answering data sets than comparable baselines.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑