基于随机权重平均的不确定性感知自然语言推理
Uncertainty-Aware Natural Language Inference with Stochastic Weight Averaging
AI总结:
本文提出在自然语言理解任务中利用SWAG进行贝叶斯不确定性建模,应用于自然语言推理,有效提升预测准确率并与人类标注分歧相关,凸显了不确定性建模的重要性。
摘要:
本文介绍了在自然语言理解(NLU)任务中使用随机权重平均-高斯(SWAG)的贝叶斯不确定性建模。我们将该方法应用于自然语言推理(NLI)的标准任务,并证明了其在预测准确率和与人类标注分歧的相关性方面的有效性。我们认为SWAG中的不确定性表示更好地反映了主观解释和人类语言理解中存在的自然变异。结果揭示了不确定性建模在NLU任务中的重要性,这是神经语言建模中常被忽视的一个方面。
英文摘要:
This paper introduces Bayesian uncertainty modeling using Stochastic Weight Averaging-Gaussian (SWAG) in Natural Language Understanding (NLU) tasks. We apply the approach to standard tasks in natural language inference (NLI) and demonstrate the effectiveness of the method in terms of prediction accuracy and correlation with human annotation disagreements. We argue that the uncertainty representations in SWAG better reflect subjective interpretation and the natural variation that is also present in human language understanding. The results reveal the importance of uncertainty modeling, an often neglected aspect of neural language modeling, in NLU tasks.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。