arXiv 2305.059762023-05-13cs.CL

说你所想！大语言模型对负面常识知识的表述过于积极

Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge

Fudan University（复旦大学）；Brain Technologies, Inc.（脑科技公司）；University of California, Santa Barbara（加州大学圣巴巴拉分校）

Jiangjie Chen, Wei Shi, Ziquan Fu, Sijie Cheng, Lei Li, Yanghua Xiao

备注：: Accepted to ACL 2023

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究通过生成与问答任务揭示大语言模型在负面常识知识上存在信念冲突，即难以生成有效句子但能正确回答是非题，并归因于预训练中的统计捷径与否定报告偏差。

摘要：

大语言模型（LLMs）因其存储和利用正面知识的能力而被广泛研究。然而，负面知识，例如“狮子不生活在海洋中”，在世界中同样普遍存在，但在文本中却很少被明确提及。LLMs对负面知识了解多少？本研究考察了LLMs对负面常识知识的能力。我们设计了一个受限关键词到句子生成任务（CG）和一个布尔问答任务（QA）来探测LLMs。我们的实验揭示，LLMs经常无法生成基于负面常识知识的有效句子，但它们却能正确回答极性是非题。我们将这一现象称为LLMs的信念冲突。我们的进一步分析表明，语言建模预训练中的统计捷径和否定报告偏差导致了这一冲突。

英文摘要：

Large language models (LLMs) have been widely studied for their ability to store and utilize positive knowledge. However, negative knowledge, such as "lions don't live in the ocean", is also ubiquitous in the world but rarely mentioned explicitly in the text. What do LLMs know about negative knowledge? This work examines the ability of LLMs to negative commonsense knowledge. We design a constrained keywords-to-sentence generation task (CG) and a Boolean question-answering task (QA) to probe LLMs. Our experiments reveal that LLMs frequently fail to generate valid sentences grounded in negative commonsense knowledge, yet they can correctly answer polar yes-or-no questions. We term this phenomenon the belief conflict of LLMs. Our further analysis shows that statistical shortcuts and negation reporting bias from language modeling pre-training cause this conflict.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

AI总结：

摘要：

英文摘要：

相关论文