A Hybrid Neural Network Model for Commonsense Reasoning
Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）；Microsoft Research（微软研究院）
提出了一种用于常识推理的混合神经网络模型。HNN由两个组件模型组成，一个屏蔽的语言模型和一个语义相似性模型，它们共享一个基于BERT的上下文编码器，但使用不同的模型特定的输入和输出层。HNN在三个经典的常识推理任务上获得了新的最先进的结果，将WNLI基准推到了89%，Winograd Schema Challenge（WSC）基准推到了75.1%，PDP 60基准推到了90.0%。消融研究表明，语言模型和语义相似度模型是互补的方法，常识推理，和HNN有效地结合了两者的优势。代码和预训练模型将在https://github.com/namisan/mt-dnn上公开。
2019-07-27 cs.CL
Physical Commonsense Reasoning for Lower-Resourced Languages and Dialects: a Study on Basque
本文提出BasPhyCo数据集，评估LLM在巴斯克语中物理常识推理能力，发现低资源语言中LLM在处理方言时物理常识能力有限。
2026-04-13 cs.CL
Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?
Korea Advanced Institute of Science and Technology（韩国科学技术院）
许多上下文化的单词表示现在通过复杂的神经网络模型来学习，例如掩蔽神经语言模型（MNLM），其由巨大的神经网络结构组成并被训练以恢复掩蔽的文本。这种表征在某些阅读理解（RC）任务中表现出超人的表现，这些任务在给定问题的上下文中提取适当的答案。然而，识别详细的知识培训MNLM是具有挑战性的，由于众多和混杂的模型参数。本文提供了新的见解和经验分析的常识知识包括预训练MNLM。首先，我们使用一个诊断测试，评估是否常识知识是正确的MNLM培训。我们观察到，很大一部分的常识性知识没有适当的培训，在MNLM和MNLM不经常准确地理解关系的语义。此外，我们发现基于MNLM的RC模型仍然容易受到需要常识知识的语义变化的影响。最后，我们发现了一些知识没有得到训练的根本原因。我们进一步建议，利用外部常识知识库可以是一个有效的解决方案。我们通过在受控实验中从外部常识知识库中丰富文本所需的知识来克服基于MNLM的RC模型的局限性。
2022-09-01 cs.CL
Improving Question Answering by Commonsense-Based Pre-Training
Microsoft Research Asia（微软亚洲研究院）；Sun Yat-Sen University（中山大学）
虽然神经网络方法在各种NLP任务上取得了显着的成功，但其中许多方法难以回答需要常识知识的问题。我们认为主要原因是概念之间缺乏常识性的\mbox{connections}。为了解决这个问题，我们提供了一个简单而有效的方法，利用外部常识知识库，如概念网。我们预先训练概念之间的直接和间接关系函数，并表明这些预先训练的函数可以很容易地添加到现有的神经网络模型。结果表明，将常识为基础的功能，提高了三个问答任务，需要常识推理的基线。进一步的分析表明，我们的系统\mbox{discovers}，并利用有用的证据，从外部常识知识库，这是在现有的神经网络模型，并帮助得出正确的答案。
2019-03-01 cs.CL
Recognition of Mental Adjectives in An Efficient and Automatic Style
MathAI Lab（数学人工智能实验室）
本研究提出心理与物理分类（MPC）词汇推理任务以处理推理图中的常识推理，通过微调BERT模型并结合主动学习的ENTROPY策略，仅用约300个标注词就取得了不错的效果，还对比了该任务与情感分析主观性分类的差异。
2023-07-16 cs.AI cs.CL
Culturally Grounded Physical Commonsense Reasoning in Italian and English: A Submission to the MRL 2025 Shared Task
University of Udine（乌迪大学）；Imperial College London（伦敦帝国理工学院）
本文提出 FormaMentis，一个基于意大利语言和文化的物理常识推理基准，并参与 MRL 2025 共享任务，数据由母语专家标注并翻译成英语以保留文化元素。
2025-10-26 cs.CL
Leveraging Recursive Processing for Neural-Symbolic Affect-Target Associations
University of Hamburg（汉堡大学）
解释基于情感的深度学习决策的结果是具有挑战性的，但如果我们期望社交伴侣机器人在情感层面上与用户互动，那么这是必要的。在本文中，我们提出了一个常识性的方法，利用一个可解释的混合神经符号系统相关联的提取目标，名词块确定与表达的情感，从自然语言表达的情感标签。我们利用一个预先训练好的神经网络，它非常适合树和子树处理，Dependency Tree-LSTM，以自然语言学习通过符号规则确定的动态目标的影响标签。我们发现，利用递归网络的独特属性提供了更高的准确性和可解释性相比，其他非结构化的和顺序的方法来确定目标的影响协会在基于方面的情感分析任务。
2021-03-05 cs.CL
Symbolic Knowledge Distillation: from General Language Models to Commonsense Models
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
训练常识模型的一般做法是从人到语料库再到机器：人类编写常识知识图谱以训练常识模型。在这项工作中，我们研究了一种替代方案，从机器到语料库到机器：通用语言模型作者这些常识知识图谱训练常识模型。我们的研究导致了一个新的框架，符号知识蒸馏。与知识蒸馏（Hinton等人，2015年），我们的方法使用较大的模型来教授较小的模型。一个关键的区别是，除了神经模型之外，我们还象征性地提取知识-作为文本。我们也只提炼出一个方面--一般语言模型教师的常识，让学生成为一个不同的类型，一个常识模型。总之，我们表明，仔细的提示工程和一个单独训练的批评家模型，使我们能够选择性地从GPT-3，一般的语言模型提取高质量的因果常识。实证结果表明，人类创作的常识知识图谱第一次在所有三个标准（数量、质量和多样性）上都被我们的自动提取变体所超越。此外，它还产生了一个神经常识模型，尽管它的尺寸小了100倍，但它超过了教师模型的常识能力。我们将其应用于原子资源，并分享我们新的符号知识图谱和常识模型。
2022-11-28 cs.CL
Ko-PIQA: A Korean Physical Commonsense Reasoning Dataset with Cultural Context
Yonsei University（延世大学）；AIM Intelligence；NAVER Cloud；OnelineAI；MODULABS
本文构建融入韩国文化语境的物理常识推理数据集 Ko-PIQA，并评估七个语言模型，揭示模型在文化特定场景中的明显不足。
2025-09-29 cs.CL
COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs
Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；Stanford University（斯坦福大学）
近年来，人们对自然语言理解领域中的常识表示和推理产生了新的兴趣。新的常识知识图谱（CSGG）的开发是这些进步的核心，因为它们的各种事实可以被机器学习模型用于解决新的和具有挑战性的任务。与此同时，由于全面涵盖一般常识知识所需的规模巨大，这些资源的质量和覆盖面仍然存在问题。在这项工作中，我们认为手动构建的CSKG将永远无法实现适用于NLP代理遇到的所有情况所需的覆盖范围。因此，我们提出了一个新的评估框架，用于测试的实用性的KG的基础上如何有效地隐式知识表示可以从中学习。有了这个新目标，我们提出了ATOMIC 2020，一个新的通用常识知识CSGG，包含在预训练的语言模型中不容易获得的知识。我们评估其属性与其他领先的CSKG相比，进行第一次大规模的成对研究常识知识资源。接下来，我们展示了ATOMIC 2020更适合于训练知识模型，这些模型可以为新的、看不见的实体和事件生成准确的、有代表性的知识。最后，通过人工评估，我们发现GPT-3的Few-Shot性能（175 B参数）虽然令人印象深刻，但仍然比在ATOMIC 2020上训练的基于BART的知识模型低12个绝对点，尽管使用的参数少了430倍。
2021-12-16 cs.CL
Neural-Symbolic Commonsense Reasoner with Relation Predictors
The University of Queensland（昆士兰大学）；Monash University（莫纳什大学）；The University of New South Wales（新南威尔士大学）
常识推理的目的是将从常识知识图谱（CKG）中检索到的常识事实集合合并，以得出关于普通情况的结论。常识知识的动态本质要求模型能够在新情况下执行多跳推理。该特征还导致具有大规模稀疏知识图谱，其中需要这样的推理过程来预测新事件之间的关系。然而，现有的方法在这方面是有限的，考虑CKG作为一个有限的事实集，从而使他们不适合推理新的看不见的情况和事件。在本文中，我们提出了一个神经符号推理机，这是能够推理的大规模动态CKG。CKG推理的逻辑规则是在模型训练过程中学习的。除了提供可解释的解释外，学习的逻辑规则有助于将预测推广到新引入的事件。在CKG上的链接预测任务的实验结果证明了我们的模型的有效性，优于国家的最先进的模型。
2021-05-14 cs.AI cs.CL
VIPHY: Probing "Visible" Physical Commonsense Knowledge
University of Southern California（南加州大学）
近年来，视觉语言模型（VLM）在视觉推理任务（如属性、位置）上表现出了显著的性能。虽然这样的任务测量所需的知识，地面和原因在一个给定的视觉实例，但是，他们不，测量的能力VLMs保留和概括这些知识。在这项工作中，我们评估他们获得“可见”物理知识的能力-这些信息很容易从静态场景的图像中获得，特别是在物体颜色，大小和空间的维度上。我们建立了一个自动管道，以获得用于校准和探测这些模型的全面知识资源。我们的研究结果表明，在所有三项任务中，模型和人类表现之间存在严重差距。此外，我们的字幕预训练基线（CapBERT）在尺寸和空间任务方面的表现显着优于VLM--这凸显了尽管可以通过视觉方式充分获取地面语言，但它们很难保留这些知识。数据集和代码可在https://github.com/Axe--/ViPhy上获得。
2022-09-15 cs.CL
Entity Commonsense Representation for Neural Abstractive Summarization
Yonsei University（延世大学）
文本摘要的主要部分包括在原始文本中找到的重要实体。这些实体构成了摘要的主题。此外，一旦它们与知识库相关联，它们就拥有常识信息。基于这些观察，本文研究了链接实体的使用，以指导神经文本摘要器的解码器生成简洁和更好的摘要。为此，我们利用一个现成的实体链接系统（ELS）提取链接的实体，并提出一个模块，很容易附加到一个序列到序列的模型，将一个列表的实体转换成一个向量表示的主题的摘要。目前可用的ELS仍然不够有效，可能会引入未解决的模糊性和不相关的实体。我们解决了ELS的缺陷（a）编码实体与选择性消歧，和（b）池实体向量使用公司的注意力。通过将E2T应用于以注意力机制为基础模型的简单序列到序列模型，我们看到Gigaword（句子到标题）和CNN（长文档到多句突出显示）摘要数据集的性能至少有2个ROUGE点的显着改善。
2018-06-14 cs.CL
Learning the Effects of Physical Actions in a Multi-modal Environment
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
大语言模型（LLM）不能充分处理物理常识信息。由于在一个非实体的环境中接受训练，LLM通常无法预测给定环境中的行为结果。然而，在行动执行之前预测行动的效果在计划中至关重要，因为通常需要连贯的行动序列来实现目标。因此，我们引入了多模态任务，仅从现实的感官输入（图像和文本）预测行动的结果。接下来，我们扩展LLM来对对象的潜在表示进行建模，以更好地预测环境中的动作结果。我们表明，多模态模型可以捕捉物理常识时，增强视觉信息。最后，我们评估了我们的模型在新的动作和对象上的性能，发现结合模态有助于模型更好地概括和学习物理常识推理。
2023-02-03 cs.CL
SafeText: A Benchmark for Exploring Physical Safety in Language Models
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
理解什么是安全文本是自然语言处理中的一个重要问题，通常可以防止部署被认为有害和不安全的模型。其中一种很少被研究的安全类型是常识性的人身安全，即文本没有明确的暴力，需要额外的常识知识才能理解它会导致人身伤害。我们创建了第一个基准数据集，SafeText，包括现实生活中的场景与成对的安全和物理上不安全的建议。我们利用安全文本经验研究常识的物理安全设计的文本生成和常识推理任务的各种模型。我们发现，国家的最先进的大语言模型容易产生不安全的文本，并有困难拒绝不安全的建议。因此，我们主张在发布前对模型的安全性和常识性物理安全性进行进一步的研究。
2022-10-18 cs.AI cs.CL
PIQA: Reasoning about Physical Commonsense in Natural Language
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Microsoft Research AI（微软研究院AI）；Carnegie Mellon University（卡内基梅隆大学）；Paul G. Allen School for Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
不用刷子涂眼影，我应该用棉签还是牙签？需要这种物理常识的问题对今天的自然语言理解系统提出了挑战。虽然最近的预训练模型（如BERT）在更抽象的领域（如新闻文章和百科全书条目，其中文本丰富）的问答方面取得了进展，但在更多的物理领域，由于报告偏见，文本本质上是有限的。人工智能系统能否在不经历物理世界的情况下学习可靠地回答物理常识问题？在本文中，我们介绍了物理常识推理的任务和相应的基准数据集物理交互：问答或PIQA。虽然人类发现数据集很容易（95%的准确率），但大型预训练模型很难（77%）。我们提供了现有模型缺乏的知识维度的分析，这为未来的研究提供了重要的机会。
2019-11-26 cs.AI cs.CL cs.LG
PACS: A Dataset for Physical Audiovisual CommonSense Reasoning
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
为了让人工智能安全地部署在医院、学校和工作场所等现实世界的场景中，它必须能够对物理世界进行强有力的推理。这种推理的基础是物理常识：理解可用对象的物理属性和启示，如何操纵它们，以及它们如何与其他对象相互作用。物理常识推理从根本上说是一项多感官任务，因为物理特性是通过多种形式表现出来的--其中两种是视觉和声学。我们的论文通过贡献PACS向现实世界的物理常识推理迈出了一步：第一个为物理常识属性注释的视听基准。PACS包含13,400个问答对，涉及1,377个独特的物理常识问题和1,526个视频。我们的数据集提供了新的机会，通过将音频作为这个多模态问题的核心组成部分来推进物理推理的研究领域。使用PACS，我们评估了多个国家的最先进的模型对我们的新的挑战性任务。虽然一些模型显示出有希望的结果（70%的准确率），但它们都低于人类的表现（95%的准确率）。最后，我们证明了多模态推理的重要性，并为未来的研究提供了可能的途径。
2022-08-01 cs.AI cs.CL cs.CV
Emulating the Human Mind: A Neural-symbolic Link Prediction Model with Fast and Slow Reasoning and Filtered Rules
Iran University of Science and Technology（伊朗科技大学）；Sohar University（苏哈尔大学）
受人类快慢思考与常识推理启发，提出神经符号模型 FaSt-FLiP，结合逻辑与神经模型进行链接预测，利用 NLI 过滤错误规则并统一答案，显著提升了预测性能与解释可靠性。
2023-10-21 cs.CL
Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization
University of California, Los Angeles（加州大学洛杉矶分校）
常识问答（CQA）旨在测试模型是否可以回答关于每个人都知道的常识知识的问题。以前的作品，将外部知识库已显示出可喜的成果，但知识库是昂贵的建设，往往限于一个固定的关系集。在本文中，我们专注于更好地利用存储在预训练的语言模型中的\textit{implicit knowledge}。虽然研究人员已经发现，嵌入在预先训练的语言模型中的知识可以通过让它们填充精心设计的关系抽取和文本分类提示的空白来提取，但目前还不清楚我们是否可以在CQA中采用这种范式，其中输入和输出采用更灵活的形式。为此，我们研究了四种翻译方法，可以将自然问题翻译成完形填空风格的句子，以更好地从语言模型中获取常识知识，包括基于句法的模型，无监督神经模型和两个监督神经模型。此外，为了结合不同的翻译方法，我们建议鼓励模型预测之间的一致性，对不同的翻译问题与未标记的数据。我们证明了我们的方法在三个CQA数据集在zero-shot设置的有效性。我们表明，我们的方法是互补的知识库改进模型，并将它们结合起来，可以导致最先进的zero-shot性能。分析还揭示了不同完形填空翻译方法的不同特点，以及为什么将它们结合起来可以带来很大的改进。
2022-01-01 cs.CL
You Can Do Better! If You Elaborate the Reason When Making Prediction
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
神经预测模型在各种自然语言处理任务中取得了显着的性能改进。然而，大多数神经预测模型的预测缺乏可解释性，限制了它们的实际效用。本文提出了一种神经预测方法，可以同时进行预测并产生相应的解释。它利用解释中包含的知识作为更有效学习的额外蒸馏信号。我们对中医多项选择问答、英语自然语言推理和常识性问答任务进行了初步研究。实验结果表明，该方法可以产生合理的解释，其预测，即使在小规模的训练语料。该方法还提高了三个数据集上的预测精度，这表明在决策过程中生成解释可以使预测受益。
2021-05-29 cs.AI cs.CL
Commonsense Knowledge Transfer for Pre-trained Language Models
ETH Zurich（苏黎世联邦理工学院）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文提出常识知识迁移框架，利用通用文本查询神经常识知识模型，并通过常识掩码填充与关系预测两个自监督目标增强预训练语言模型，在常识推理下游任务尤其少样本场景中取得稳定提升。
2023-06-04 cs.AI cs.CL cs.LG
Event2Mind: Commonsense Inference on Events, Intents, and Reactions
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们研究了一个新的常识推理任务：给定一个在简短的自由文本中描述的事件（“X早上喝咖啡”），系统对事件参与者的可能意图（“X想保持清醒”）和反应（“X感觉警觉”）进行推理。为了支持这项研究，我们构建了一个新的25,000个事件短语的众包语料库，涵盖了各种日常事件和情况。我们报告了这项任务的基线性能，证明神经编码器-解码器模型可以成功地组成以前看不见的事件的嵌入表示，并推断事件参与者的可能意图和反应。此外，我们展示了如何常识推断人们的意图和反应，可以帮助揭示现代电影剧本中普遍存在的隐性性别不平等。
2019-06-14 cs.CL
Implicit Premise Generation with Discourse-aware Commonsense Knowledge Models
Columbia University（哥伦比亚大学）；Georgia Tech（佐治亚理工学院）
推理论证被定义为一个前提或结论是隐含的论点。我们处理的任务，产生隐含的前提推理，这不仅需要一个既定的结论和前提的理解，但也可以依赖于常识知识的额外推理。推理迷因的最大可用数据集（Habernal等人，2018）由1.7k个样本组成，这不足以训练神经文本生成模型。为了解决这个问题，我们利用了一个类似的任务和数据集：叙事文本中的溯因推理（Bhagavatula等人，2020年）。然而，我们表明，简单地使用一个国家的最先进的seq2seq模型微调这些数据可能不会产生有意义的隐式前提与给定的推理。我们证明了在微调过程中对话语感知常识进行编码可以提高生成的隐式前提的质量，并且在三个不同数据集的自动和人工评估中优于所有其他基线。
2021-09-11 cs.CL
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook（脸书）；EPFL（洛桑联邦理工学院）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设，这对于人类来说是一项微不足道的任务，因为他们的常识。在本文中，我们提出了一个用于会话代理的零射击（zero-shot）常识推理系统，试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设，这些用户命令满足一个通用模板，即if-（state），then-（action），because-（goal）。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库（KB）作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制，提取多跳推理链的神经知识库，使用符号逻辑规则，显着减少搜索空间。与迄今为止收集的任何知识库类似，我们的常识知识库容易丢失知识。因此，我们提出了对话式引出人类用户与我们的新的动态问题生成策略，生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型，与SOTA相比，该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG
HFL-RC System at SemEval-2018 Task 11: Hybrid Multi-Aspects Model for Commonsense Reading Comprehension
Joint Laboratory of HIT and iFLYTEK (HFL), iFLYTEK Research（哈尔滨工业大学与科大讯飞联合实验室（HFL）、科大讯飞研究院）；Research Center for Social Computing and Information Retrieval (SCIR),Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心（SCIR））；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）
本文描述了在SemEval-2018任务11：使用常识知识的机器理解中获得最先进结果的系统。在本文中，我们提出了一个神经网络称为混合多方面（HMA）模型，它模仿人类的直觉处理多项选择阅读理解。在这个模型中，我们的目标是通过计算文本，问题和选择之间的注意力来产生多个方面的预测，并将这些结果结合起来进行最终预测。实验结果表明，我们的HMA模型可以给基线系统的大幅改善，并获得了84.13%的准确率在最终的测试集排行榜上的第一名。
2018-03-15 cs.CL
A Simple Method for Commonsense Reasoning
Google Brain（谷歌大脑）
常识推理是深度学习长期面临的挑战。例如，难以使用神经网络来处理Winograd Schema数据集（Levesque等人，2011年）。在本文中，我们提出了一个简单的方法，常识推理与神经网络，使用无监督学习。我们的方法的关键是使用语言模型，在大量未标记的数据上进行训练，以评分常识推理测试提出的多项选择题。在代词消歧和Winograd模式挑战中，我们的模型的性能大大优于以前的最先进的方法，而无需使用昂贵的注释知识库或手工设计的功能。我们训练了一系列大型RNN语言模型，这些模型在LM-1-Billion，CommonCrawl，SQuAD，Gutenberg Books以及用于此任务的定制语料库上在单词或字符级别上操作，并表明训练数据的多样性在测试性能中起着重要作用。进一步的分析还表明，我们的系统成功地发现了决定正确答案的上下文的重要特征，这表明我们对常识知识有很好的掌握。
2019-09-26 cs.AI cs.CL cs.LG
On-the-Fly Attention Modulation for Neural Generation
Mila / McGill University（米拉实验室/麦吉尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of CSE, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Stanford University（斯坦福大学）
尽管深度神经语言模型（LM）取得了相当大的进步，但神经文本生成仍然存在退化问题：生成的文本重复、通用、自相矛盾，而且往往缺乏常识。我们对LMs的注意模式的分析表明，神经退化可能与注意力机制对特定任务特征的学习不足有关。这一发现激发了即时注意力调节-一种简单但有效的方法，可以在推理过程中将先验知识注入注意力计算。三个文本生成基准的自动和人工评估结果表明，注意力调制有助于LM生成具有增强的流畅性，创造力和常识推理的文本，除了显着减少重复水平。
2021-10-13 cs.CL
Automatic Extraction of Commonsense LocatedNear Knowledge
Department of Computer Science and Engineering（计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
LocatedNear关系是一种描述现实生活中两个物理对象通常彼此靠近的常识性知识。在本文中，我们研究如何自动提取这种关系，通过一个层次的关系分类器和聚集的评分实体对从一个大的语料库。此外，我们还发布了两个基准数据集，用于评估和未来的研究。
2018-05-13 cs.AI cs.CL
Autoencoding Language Model Based Ensemble Learning for Commonsense Validation and Explanation
Posts and Telecommunications Institute of Technology（邮电技术学院）
人工智能的一个最终目标是建立能够理解人类语言的计算机系统。理解文本中表达的关于世界的常识知识是创建此类智能系统的基础和挑战性问题之一。作为实现这一目标的一步，我们提出了在本文ALMEn，自动编码语言模型为基础的常识验证和解释的包围学习方法。通过将RoBERTa、DeBERTa和ELECTRA等几种先进的预训练语言模型与Siamese神经网络相结合，我们的方法可以区分违反常识的自然语言语句（验证子任务），并正确识别违反常识的原因（解释选择子任务）。在SemEval-2020任务4的基准数据集上的实验结果表明，我们的方法优于最先进的模型，在验证和解释选择子任务上分别达到97.9%和95.4%的准确率。
2022-04-07 cs.AI cs.CL
From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning
University of Michigan（密歇根大学）；LG AI Research（LG AI研究院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出启发式-分析式推理（HAR）策略，将认知心理学中的双重过程融入预训练语言模型的微调与上下文学习，显著提升了物理常识推理的连贯性，并在TRIP基准上取得最优结果。
2023-10-24 cs.AI cs.CL
Multi-turn Response Selection with Commonsense-enhanced Language Models
Tsinghua University（清华大学）；The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
针对多轮响应选择中外部常识知识被忽略的问题，提出融合预训练语言模型与图神经网络的SinLG框架，通过相似度损失传递常识知识，在提升性能的同时保证在线推理效率。
2024-07-26 cs.CL
Generating Math Word Problems from Equations with Topic Controlling and Commonsense Enforcement
Peking University（北京大学）；Sogou Technology Inc.（搜狗科技有限公司）
近年来，在神经语言模型的帮助下，文本生成任务取得了重大进展。然而，数学问题文本的生成是一个具有挑战性的课题，迄今为止，这方面的研究进展甚微。在本文中，我们提出了一种新的方程到问题的文本生成模型。在该模型中，1）提出了一种灵活的数学方程编码方案，并通过可变自动编码器（VAE）对方程编码器进行了增强; 2）给定一个数学方程，进行主题选择，然后引入动态主题记忆机制来限制生成器的主题分布; 3）避免了传统生成模型中的常识违反，我们用背景知识图（KG）预训练词嵌入，并且我们将解码的词链接到KG中的相关词，旨在将背景知识注入我们的模型中。我们通过自动度量和人工评估来评估我们的模型，实验表明，我们的模型在生成问题文本的准确性和丰富性方面优于基线和以前的模型。
2021-07-25 cs.CL
A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
常识知识图（CKG）是构建机器的重要资源，这些机器可以对文本或环境输入进行“推理”，并做出超越感知的推断。虽然目前的CKG编码大量概念的世界知识，并已被有效地用于将常识纳入神经模型中，但它们主要编码陈述性或单条件推理知识，并假设所有概念信念具有相同的可能性。此外，这些CKG利用跨概念共享的关系的有限集合，并且缺乏连贯的知识组织结构，从而导致跨较大知识图谱的冗余以及稀疏。因此，今天的CKG，而有用的第一级推理，不足以捕捉更深层次的人类水平的常识推理，可以更细致入微，并受多种上下文或情境因素的影响。因此，在这项工作中，我们研究如何常识知识可以更好地表示-（一）利用概率逻辑表示方案来模拟复合推理知识，并表示概念的信念与不同的可能性和（ii）将分层概念本体，以确定显着的概念相关的关系和组织的信念在不同的概念层次。我们由此产生的知识表示框架可以编码更广泛的世界知识，并表示信仰灵活地使用接地的概念，以及自由文本短语。因此，该框架既可以用作传统的自由文本知识图谱，也可以用作更适合于神经符号应用的基于接地逻辑的推理系统。我们描述了我们如何扩展PrimeNet知识库与我们的框架，通过众包和专家注释，并展示了其应用程序更可解释的基于语义解析和问答。
2022-12-15 cs.CL
Generalizable Neuro-symbolic Systems for Commonsense Question Answering
Bosch Research（博世研究院）；Carnegie Mellon University（卡内基梅隆大学）；Information Sciences Institute, Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院信息科学研究所）；Michigan State University（密歇根州立大学）
本章说明了如何合适的语言理解的神经符号模型可以使域的概括性和鲁棒性的下游任务。讨论了集成神经语言模型和知识图谱的不同方法。这种组合是最合适的情况下的特点，包括定量评价和定性错误分析的各种常识问答基准数据集。
2022-01-17 cs.AI cs.CL
Contextualized Scene Imagination for Generative Commonsense Reasoning
University of Southern California（南加州大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
人类使用自然语言将环境中的常见概念组成合理的日常场景描述。然而，这种生成式常识推理（GCSR）技能缺乏国家的最先进的文本生成方法。关于神经文本生成模型生成的任意概念的描述性句子（例如，预训练的文本到文本Transformers）通常在语法上流畅，但可能不符合人类常识，这主要是由于它们缺乏捕获概念关系、识别隐式概念以及对看不见的概念组合执行可概括推理的机制。在本文中，我们提出了一个想象和言语化（I&V）的方法，学习想象一个关系场景知识图谱（SKG）与输入概念之间的关系，并利用SKG作为一个约束时，生成一个合理的场景描述。我们收集和协调一组来自不同领域和模态的知识资源，为I& V提供了丰富的辅助监督信号。实验证明了I&V在改进语言模型的概念到句子和概念到故事生成任务方面的有效性，同时使模型能够从更少的任务示例中学习并生成对人类注释者来说具有常识的SKG。
2022-03-07 cs.CL
CRoW: Benchmarking Commonsense Reasoning in Real-World Tasks
EPFL（洛桑联邦理工学院）；Google DeepMind（谷歌DeepMind）
本文提出手动构建的多任务基准 CRoW，通过常识违背性扰动重写六项真实世界 NLP 任务的样本，评估模型在物理、时间和社会等维度的常识推理能力，发现 NLP 系统与人类表现存在显著差距。
2023-10-23 cs.AI cs.CL
Birds have four legs?! NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models
University of Southern California（南加州大学）
最近的工作表明，预训练语言模型（PTLM），如BERT，拥有一定的常识和事实知识。他们认为，通过预测屏蔽词，将PTLM用作“神经知识库”是有希望的。令人惊讶的是，我们发现这可能不适用于数字常识知识（例如，鸟通常有两条腿。在本文中，我们调查是否以及在何种程度上，我们可以从PTLM以及这个过程的鲁棒性的数值常识知识。为了研究这一点，我们引入了一个新的探测任务，诊断数据集NumerSense包含13.6k个屏蔽词预测探测器（10.5k用于微调，3.1k用于测试）。我们的分析表明：（1）在任何微调之前，BERT及其更强的变体RoBERTa在诊断数据集上表现不佳;（2）远程监督的微调带来了一些改进;（3）与人类表现相比，最好的监督模型仍然表现不佳（准确率为54.06% vs 96.3%）。
2020-09-18 cs.AI cs.CL
Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
用自然语言进行常识推理是人工智能系统所要求的一种能力。为了解决复杂的常识推理任务，一个典型的解决方案是使用知识感知的图神经网络编码器来增强预训练的语言模型，该编码器对常识知识图谱进行建模。尽管这些方法是有效的，但它们都是建立在沉重的体系结构上的，并且不能清楚地解释外部知识资源如何提高PTM的推理能力。考虑到这个问题，我们进行了深入的实证分析，并发现它确实是从CSKG的关系特征（而不是节点特征），主要有助于PTM的性能改善。基于这一发现，我们设计了一个简单的基于MLP的知识编码器，利用统计关系路径的功能。在五个基准测试上进行的大量实验证明了我们方法的有效性，并且大大减少了编码CSKG的参数。我们的代码和数据可在https://github.com/RUCAIBox/SAFE上公开获取。
2022-05-04 cs.AI cs.CL
CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数针对常识推理的基准数据集都关注日常场景：物理知识，比如知道你可以在瀑布下装满一个杯子[Talmor等人，2019]，像撞到某人这样的社会知识是尴尬的[Sap et al.，#20199;及其他特殊情况。然而，有一个丰富的常识推理空间锚定到特定实体的知识：例如，决定一个索赔的真实性“哈利波特可以教如何在扫帚上飞行的课程。“模型可以学习以这种方式将实体知识与常识推理结合起来吗？我们介绍CREAK，一个关于实体知识的常识推理的测试平台，将关于实体的事实检查（哈利·波特是一个巫师，擅长骑扫帚）与常识推理（如果你擅长一项技能，你可以教别人如何做）联系起来。我们的数据集包括13 k人类撰写的关于实体的英语声明，这些实体要么是真的，要么是假的，除了一个小的对比集。众包工作者可以很容易地提出这些陈述，并且人类在数据集上的表现很高（90多岁）;我们认为模型应该能够将实体知识和常识推理融合在一起。在我们的实验中，我们专注于闭卷设置，并观察到一个基线模型微调现有的事实验证基准的斗争CREAK。在CREAK上训练模型可以大幅提高准确性，但仍然低于人类的表现。我们的基准测试提供了对自然语言理解模型的独特探索，测试了它检索事实的能力（例如，他在芝加哥大学教书？）以及未陈述的常识知识（例如，管家不会对客人大喊大叫）。
2021-09-03 cs.AI cs.CL
Can a Gorilla Ride a Camel? Learning Semantic Plausibility from Text
Mila（米拉研究所）；McGill University（麦吉尔大学）；Microsoft Research Montreal（微软蒙特利尔研究院）
建模语义可扩展性需要关于世界的常识知识，并且已经被用作探索各种知识表示的测试平台。以前的工作主要集中在建模的物理可扩展性，并表明分布式方法失败时，在监督设置进行测试。与此同时，分布式模型，即大型预训练语言模型，已经为许多自然语言理解任务带来了改进的结果。在这项工作中，我们表明，这些预训练的语言模型实际上是有效的在监督设置中建模的物理兼容性。因此，我们提出了更困难的问题，学习直接从文本建模的物理兼容性。我们通过从大型语料库中提取已证明的事件来创建训练集，并以自我监督的方式为这些已证明的事件提供训练基线，并在物理可验证性任务上进行测试。我们相信，通过将明确的常识知识注入到分布模型中，可以进一步改善结果。
2019-11-13 cs.CL
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络（GNN）来建模知识图谱（KG）。然而，他们忽略了（i）在问题上下文表示和KG表示上的有效融合和推理，以及（ii）在推理期间从噪声KG中自动选择相关节点。在本文中，我们提出了一种新的模型，JointLK，它解决了上述限制，通过LM和GNN的联合推理和动态KG修剪机制。具体而言，JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理，其中每个问题标记参与KG节点，每个KG节点参与问题标记，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Bosch Research（博世研究中心）
预训练神经语言建模的最新发展已经导致常识问答基准的准确性飞跃。然而，越来越多的人担心模型过度适应特定的任务，而不学习利用外部知识或执行一般的语义推理。相比之下，zero-shot评估已经显示出作为模型的一般推理能力的更鲁棒的度量的希望。在本文中，我们提出了一个新的神经符号框架的zero-shot问答常识任务。在一组假设的指导下，该框架研究如何将各种预先存在的知识资源转化为最有效的预训练模型的形式。我们改变了语言模型、训练机制、知识源和数据生成策略的集合，并测量了它们对任务的影响。扩展以前的工作，我们设计和比较四个约束干扰采样策略。我们提供了五个常识问答任务的实证结果，数据来自五个外部知识资源。我们表明，虽然个人知识图谱更适合于特定的任务，一个全球性的知识图谱带来了一致的收益在不同的任务。此外，保留任务的结构以及生成公平和信息丰富的问题都有助于语言模型更有效地学习。
2020-12-14 cs.AI cs.CL
BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
BrainBench通过100道脑筋急转弯问题，揭示LLM在常识推理上的不足，评估八种前沿模型，发现其推理存在随机性缺陷。
2026-03-16 cs.AI cs.CL
PHALM: Building a Knowledge Graph from Scratch by Prompting Humans and a Language Model
Waseda University（早稻田大学）；LY Corporation（LY公司）
本文提出PHALM方法，通过提示众包工作者和大型语言模型从零构建知识图谱，用于日语事件知识图谱及常识生成模型，实验验证了其可接受性。
2023-10-11 cs.CL
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs
Tsinghua University（清华大学）；University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Research Pittsburgh（博世匹兹堡研究院）
基于从大型知识图中提取的信息的自我监督已被证明可以在对各种下游语言推理任务的zero-shot评估中提高语言模型的泛化。然而，由于这些改进是汇总报告的，因此对以下方面知之甚少：（i）如何选择适当的知识以实现跨任务的可靠性能，（ii）如何将这些知识与神经语言模型相结合，以及（iii）这些配对如何影响粒度任务性能。在本文中，我们研究的知识抽样策略和大小，可用于生成合成数据，以适应语言模型的效果。我们研究了不同的合成数据集对具有不同架构和大小的语言模型的影响。对四个任务属性：域重叠，答案相似性，词汇重叠，和答案长度所产生的模型进行评估。我们的实验表明，编码器-解码器模型受益于更多的数据来学习，而在不同方面进行平衡的采样策略会产生最佳性能。大部分改进发生在具有简短答案和不同答案候选者的问题上，这与用于预训练的数据的特征相对应。
2022-05-21 cs.AI cs.CL
CODAH: An Adversarially Authored Question-Answer Dataset for Common Sense
Northwestern University（西北大学）
常识推理是一种关键的人工智能能力，但很难构建具有挑战性的测试常识的数据集。最近的神经问答系统，基于大型的预先训练的语言模型，已经达到了接近人类水平的表现常识知识的基准。这些系统不具备人类水平的常识，但能够利用数据集的局限性来实现人类水平的分数。我们介绍CODAH数据集，这是一个用于测试常识的逆向构建的评估数据集。CODAH形成了对最近提出的SWAG数据集的一个具有挑战性的扩展，该数据集使用描述视频中观察到的情况的重复完成问题来测试常识知识。为了产生更困难的数据集，我们引入了一种新的问题获取程序，其中工作人员针对最先进的神经问答系统的弱点编写问题。如果模型在微调之前和之后都没有正确回答，工作人员会得到奖励（在交叉验证中）。我们通过这个过程创建了2.8k个问题，并在我们的数据集上评估了多个最先进的问答系统的性能。我们观察到人类表现（95.3%）与BERT-Large模型的最佳基线准确度（67.5%）之间存在显著差距。
2019-07-26 cs.CL cs.LG
Verb Physics: Relative Physical Knowledge of Actions and Objects
University of Washington（华盛顿大学）
从自然语言文本中学习常识知识是不平凡的，因为报告偏见：人们很少陈述显而易见的东西，例如，“我的房子比我大。然而，虽然很少明确指出，但这些琐碎的日常知识确实影响了人们谈论世界的方式，这为人们对世界的理性提供了间接线索。例如，“Tyler entered his house”（泰勒进入了他的房子）这句话暗示着他的房子比泰勒大。在本文中，我们提出了一种方法来推断相对物理知识的行动和对象沿五个维度（例如，大小、重量和强度）。我们将知识获取框架为两个密切相关问题的联合推理：学习（1）对象对的相对物理知识和（2）应用于这些对象对时动作的物理含义。实验结果表明，它是可能的，从语言中提取知识的动作和对象，联合推理不同类型的知识提高性能。
2017-07-13 cs.CL
PhysBrain 1.0 Technical Report
PhysBrain Team（PhysBrain团队）
PhysBrain 1.0 通过将大规模人类自体视频转化为结构化的物理常识监督，提升机器人适应能力，在多模态问答和具身控制基准测试中取得SOTA结果，尤其在SimplerEnv中表现突出。
2026-05-14 cs.AI cs.CL cs.CV
CADGE: Context-Aware Dialogue Generation Enhanced with Graph-Structured Knowledge Aggregation
The University of Manchester（曼彻斯特大学）；The University of Sheffield（谢菲尔德大学）
本文提出了一种新颖的上下文感知图注意力模型（Context-aware GAT），通过上下文增强的知识聚合机制融合图知识与文本，克服了传统顺序流水线的局限，在常识驱动的对话生成任务中显著优于基于GNN的语言模型和概念流基线。
2024-09-22 cs.CL
MERLOT: Multimodal Neural Script Knowledge Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
作为人类，我们根据上下文理解视觉世界中的事件，跨时间执行多模态推理，以推断过去，现在和未来。我们介绍了MERLOT，这是一种通过观看数百万个带有转录语音的YouTube视频来学习多模态脚本知识的模型-以完全无标签，自我监督的方式。通过使用帧级（空间）和视频级（时间）目标的混合进行预训练，我们的模型不仅学会了将图像与时间上对应的单词进行匹配，而且还学会了将随着时间的推移全球发生的事情置于上下文中。因此，MERLOT表现出强大的时间常识的开箱即用表示，并在微调时在12个不同的视频QA数据集上实现了最先进的性能。它还可以很好地转移到静态图像的世界中，允许模型对视觉场景背后的动态上下文进行推理。在视觉常识推理中，MERLOT以80.6%的准确率正确回答问题，比类似大小的最先进模型高出3%以上，即使是那些大量使用辅助监督数据（如对象边界框）的模型。消融分析证明了以下方面的互补重要性：1）视频与静态图像的训练; 2）扩展预训练视频语料库的大小和多样性; 3）使用不同的目标，鼓励从识别到认知水平的全栈多模态推理。
2021-10-21 cs.CL cs.CV cs.LG
ESPRIT: Explaining Solutions to Physical Reasoning Tasks
Yale University（耶鲁大学）；Salesforce Research（赛富时研究院）
神经网络缺乏对定性物理进行推理的能力，因此无法推广到训练过程中看不到的场景和任务。我们提出了ESPRIT，一个常识推理的框架，在自然语言，产生可解释的描述物理事件的定性物理。我们使用一个两步的方法，首先确定关键的物理事件在一个环境中，然后生成自然语言描述这些事件使用数据到文本的方法。我们的框架学习生成物理模拟将如何因果进化的解释，以便代理或人类可以使用这些可解释的描述轻松地推理解决方案。人类的评估表明，ESPRIT产生关键的细粒度的细节，并具有较高的覆盖率的物理概念相比，甚至人类的注释。数据集、代码和文档可在https://github.com/salesforce/esprit上获得。
2020-05-14 cs.CL cs.LG
MERLOT Reserve: Neural Script Knowledge through Vision and Language and Sound
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Edinburgh（爱丁堡大学）
作为人类，我们在一个多模态的世界中航行，从我们所有的感官中建立一个整体的理解。我们引入了MERLOT Reserve，这是一种随着时间的推移联合表示视频的模型-通过一个新的训练目标，从音频，字幕和视频帧中学习。给定一个视频，我们用MASK令牌替换文本和音频片段;模型通过选择正确的屏蔽片段来学习。我们的目标比其他方法学习得更快，并且在规模上表现良好：我们在2000万个YouTube视频上进行预训练。实证结果表明，MERLOT储备学习强大的多模态表示。当微调时，它在视觉常识推理（VCR），TVQA和Kinetics-600上设置了最先进的技术;分别比以前的工作高出5%，7%和1.5%。消融表明，这些任务受益于音频预训练-甚至VCR，一个QA任务围绕图像（没有声音）。此外，我们的目标使开箱即用的预测，揭示了强大的多模态常识的理解。在完全zero-shot设置中，我们的模型在四个视频任务上获得了有竞争力的结果，甚至在最近提出的情境推理（STAR）基准测试中优于监督方法。我们分析了为什么音频能够更好地表达视觉语言，这为未来的研究提供了重要的机会。最后，我们讨论多模式预训练的伦理和社会影响。
2022-05-13 cs.CL cs.CV cs.LG
Learning to Write with Coherence From Negative Examples
NCSOFT（NCSOFT公司）；Seoul National University（首尔国立大学）
连贯是决定写作质量的关键因素之一。我们提出了一种用于神经编码器-解码器自然语言生成（NLG）模型的书写相关性（WR）训练方法，该方法通过利用负例来提高连续性的一致性。WR损失通过将上下文和生成句子的向量表示与否定进行对比，使其向肯定延续回归。我们比较了我们的方法与Unlikelihood（UL）训练中的文本延续任务的常识自然语言推理（NLI）语料库，以显示哪种方法更好地模型的连贯性，避免不太可能的延续。我们的方法在人类评价中的偏好显示了我们的方法在提高一致性方面的有效性。
2022-09-22 cs.CL
Integrating Linguistic Theory and Neural Language Models
University of Toronto（多伦多大学）
基于transformer的语言模型近年来在许多自然语言任务中取得了显著的成果。然而，排行榜上的表现通常是通过利用大量的训练数据来实现的，很少通过将显式语言知识编码到神经模型中来实现。这导致许多人质疑语言学与现代自然语言处理的相关性。在这篇论文中，我提出了几个案例研究来说明理论语言学和神经语言模型是如何仍然相互关联的。首先，语言模型为语言学家提供了一个客观的工具来测量语义距离，这是使用传统方法很难做到的。另一方面，语言学理论通过提供框架和数据源来探索我们的语言模型，以用于语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法-语义接口的不同方面。在论文的第一部分，我将语言模型应用于词类灵活性问题。使用mBERT作为语义距离测量的来源，我提出的证据有利于分析词类的灵活性作为一个方向性的过程。在论文的第二部分，我提出了一种在语言模型的中间层上度量语义的方法。我的实验表明，含有形态句法异常的句子在语言模型中比语义和常识异常更早地触发语义。最后，在我论文的第三部分，我采用了一些心理语言学的研究来表明，语言模型包含的论元结构建设的知识。总之，我的论文在自然语言处理、语言学理论和心理语言学之间建立了新的联系，为语言模型的解释提供了新的视角。
2022-07-20 cs.CL
