Commonsense Reasoning in Computer Vision: Foundations, Recent Advancements, and Future Directions
Lander University（兰德大学）；Western Michigan University（西密歇根大学）
本文综述了将常识知识融入计算机视觉任务的最新进展，介绍了相关方法、当前局限及未来研究方向，旨在开发更智能的视觉系统。
2026-09-07 cs.AI
Bridging Commonsense Reasoning and Probabilistic Planning via a Probabilistic Action Language
Arizona State University（亚利桑那州立大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
为了响应动态变化的现实世界环境，智能代理需要执行复杂的顺序决策任务，这些任务通常由常识知识指导。在这方面的研究导致了称为“交错常识推理和概率规划”（icorpp）的框架，它使用P-log表示常识知识和马尔可夫决策过程（MDP）或部分可观察MDP（POMDP）在不确定性下进行规划。icorpp的一个主要限制是它的实现需要非平凡的工程努力来桥接常识推理和概率规划形式主义。在本文中，我们提出了一个统一的框架，集成icorpp的推理和规划组件。特别是，我们扩展了概率动作语言pBC+来表达效用，信念状态和观察POMDP模型。继承动作语言的优点，新的动作语言提供了一个详细的宽容表示POMDP，反映常识知识。这个想法导致了系统pbcplus 2 pomdp的设计，它将pBC+动作描述编译成POMDP模型，该模型可以直接由现成的POMDP求解器处理，以计算pBC+动作描述的最佳策略。实验结果表明，该方法保留了icorpp的优点，同时避免了在常识推理器和概率规划器之间进行人工连接。
2019-07-31 cs.AI
Teaching Pretrained Models with Commonsense Reasoning: A Preliminary KB-Based Approach
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Tencent AI Lab（腾讯人工智能实验室）
最近，预训练的语言模型（例如，BERT）已经在许多下游自然语言理解任务上取得了巨大的成功，并表现出一定水平的常识推理能力。然而，它们在常识性任务上的表现仍与人类有很大差距。作为初步尝试，我们提出了一种简单而有效的方法，通过利用最大的常识知识库（KB）ConceptNet中的结构化知识来教授具有常识推理的预训练模型。具体来说，知识库中的结构化知识允许我们构建各种逻辑形式，然后生成需要常识逻辑推理的选择题。实验结果表明，当对这些训练样本进行细化时，预训练模型在需要常识推理的任务上始终提高其性能，特别是在少样本学习设置中。此外，我们也进行分析，以了解哪些逻辑关系更相关的常识推理。
2023-02-16 cs.AI cs.LG
Template Filling for Controllable Commonsense Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Accenture Labs（埃森哲实验室）
大规模的序列到序列模型已经被证明是擅长于多项选择和开放领域的常识推理任务。然而，当前的系统不提供控制推理链的各种属性的能力。为了使更好的可控性，我们建议研究的常识推理作为一个模板填充任务（TemplateCSR）-其中的语言模型填充推理模板与给定的约束作为控制因素。作为TemplateCSR的一种方法，我们（i）提出了一个常识推理模板扩展对的数据集，（ii）引入了POTTER，一个预先训练的序列到序列模型，使用提示在概念之间执行常识推理。我们的实验表明，我们的方法优于基线生成度量和真实性度量。我们还提出了一个详细的错误分析，我们的方法的能力，可靠地执行常识推理。
2022-10-14 cs.AI cs.CL
Retrieval Augmentation for Commonsense Reasoning: A Unified Approach
University of Notre Dame（圣母大学）；Microsoft Cognitive Services Research（微软认知服务研究院）；Shanghai Jiaotong University（上海交通大学）
现有文献中的检索增强方法的一个共同点是检索百科知识，如维基百科，这有助于定义良好的实体和关系空间，可以建模。然而，将这样的方法应用于常识推理任务面临两个独特的挑战，即，缺乏通用的大规模检索语料库和相应的有效的常识检索器。在本文中，我们系统地研究如何利用常识知识检索，以改善常识推理任务。我们提出了一个统一的检索增强常识推理（称为RACo）的框架，包括一个新构建的常识语料库超过20万个文件和新的策略，用于训练常识检索。我们在四个不同的常识推理任务上进行了实验。广泛的评估结果表明，我们提出的RACo可以显着优于其他知识增强的方法同行，实现新的SoTA性能的CommonGen和CREAK排行榜。
2022-10-23 cs.AI cs.CL
PCoKG: Personality-aware Commonsense Reasoning with Debate
PCoKG通过引入辩论机制构建个性感知常识知识图谱，提升对话生成的一致性与个性化水平。
2026-01-09 cs.AI
Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning
University of Electronic Science and Technology of China（电子科技大学）
本文在较小语言模型上研究提示工程与校准对零样本常识推理的作用，发现各策略仅对特定模型有利，联合使用效果多为负面。
2023-04-14 cs.AI cs.CL
Applying the Closed World Assumption to SUMO-based FOL Ontologies for Effective Commonsense Reasoning
University of the Basque Country (UPV/EHU)（巴斯克地区大学）
最常见的是，开放世界假设被采用作为设计，构建和使用本体的标准策略。这种策略限制了任何系统的推理能力，因为非断言语句（缺少知识）可以被假设为真或假。正如我们将证明的，这是特别是一阶逻辑（FOL）本体的情况下，非断言语句是当今的主要障碍之一，其实际应用中的自动常识推理任务。在本文中，我们调查的封闭世界假设（CWA）的应用，使更好地利用FOL本体使用国家的最先进的自动定理证明。为此，我们探索了不同的CWA公式的结构知识编码在FOL翻译的相扑本体，发现几乎30%的结构知识是失踪。我们评估这些配方的实际实验中使用一个非常大的常识基准WordNet通过其映射到相扑。实验结果表明，在CWA框架下，本体的推理能力提高了50%以上。因此，将CWA自动应用于FOL本体减少了它们的歧义，并且可以回答更多的常识问题
2020-03-04 cs.AI
TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）；Zhongguancun Academy（中关村学院）；Xiamen University（厦门大学）；Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）；Nanjing University（南京大学）
提出TouchThinker框架，通过构建百万级多源触觉数据集TouchThinker-1M和动作感知建模，将触觉常识推理扩展到开放世界，在多个数据集上取得竞争性表现。
2026-08-28 cs.AI
Situated Structure Learning of a Bayesian Logic Network for Commonsense Reasoning
Georgia Institute of Technology（佐治亚理工学院）
本文详细介绍了自动生成一个高层次的知识网络执行常识推理，特别是与机器人任务修复的应用程序的算法的实现。该网络使用贝叶斯逻辑网络（BLN）（Jain，Waldherr和Beetz 2009）表示，该网络将抽象概念（包括IsA，AtLocation，HasProperty和UsedFor）之间的一组有向关系与相应的概率分布相结合，该概率分布对这些关系中固有的不确定性进行建模。通过这个网络的推理，可以对抽象概念进行推理，以便执行适当的对象替换或在机器人的环境中定位丢失的对象。该网络的结构是通过结合来自两个现有知识来源的信息生成的：概念网（Speer和Havasi 2012）和WordNet（Miller 1995）。这是通过只包括与给定上下文相关的信息以“情境”方式完成的。结果表明，生成的网络能够准确地预测对象类别，位置，属性和启示在三个不同的家庭场景。
2016-07-01 cs.AI
CaseEdit: Enhancing Localized Commonsense Reasoning via Null-Space Constrained Knowledge Editing in Small Parameter Language Models
University of Virginia（弗吉尼亚大学）
CaseEdit通过零空间约束的AlphaEdit方法，在小参数模型中实现局部常识知识编辑，提升可靠性、泛化性等，优于其他方法。
2025-05-26 cs.AI
Contrastive Self-Supervised Learning for Commonsense Reasoning
SAP AI Research（SAP人工智能研究院）
我们提出了一个自我监督的方法来解决代词消歧和Winograd模式挑战问题。我们的方法利用了与所谓的“触发”词相关的训练语料库的特征结构，这些词负责在代词消歧中翻转答案。我们通过构造成对对比辅助预测来实现这种常识推理。为此，我们利用由对比保证金规范化的互斥损失。我们的架构是基于最近推出的Transformer网络，BERT，表现出强大的性能在许多NLP基准。实验结果表明，我们的方法消除了现有的监督方法的局限性常识推理。这项研究开辟了利用廉价的自我监督，以实现性能增益常识推理任务的途径。
2020-05-02 cs.AI cs.CL
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
传统的机器阅读理解（MRC）已经通过模式匹配得到了很好的解决，但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入（KGE）丰富单词表示来解决这个问题。然而，它们对知识图谱（KG）中节点之间的大量连接的利用有限，这些连接可能是构建常识推理链的关键线索。在本文中，我们提出了一个即插即用的模块来存储连接信息的常识推理（PIECER）。除了用知识嵌入丰富单词表示外，PIECER还构建了一个联合查询-通道图，通过单词之间面向知识的连接来明确地指导常识推理。此外，PIECER具有很高的通用性，因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD，一个大规模的公共MRC数据集，需要常识推理，PIECER介绍了稳定的性能改善四个代表性的基础MRC模型，特别是在低资源设置。
2021-03-26 cs.AI cs.CL
A Simple Machine Learning Method for Commonsense Reasoning? A Short Commentary on Trinh & Le (2018)
这是对Trinh & Le（2018）的简短评论（“常识推理的简单方法“），概述了引用论文中的三个严重缺陷，并讨论了为什么数据驱动方法不能被视为自然语言理解所需的常识推理的严肃模型，特别是在参考解析中。
2018-10-01 cs.AI cs.CL cs.LG
Abductive Reasoning with Probabilistic Commonsense
International Laboratory on Learning Systems（学习系统国际实验室）；McGill University（麦吉尔大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；Huawei Noah's Ark Lab（华为诺亚实验室）
本文提出PACS算法，通过LLM和形式求解器结合，建模常识认知的个体差异，提升大语言模型的归纳推理能力。
2026-05-08 cs.AI stat.CO
I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning
Korea University（高丽大学）
常识问答是一项任务，其中正确的答案是预测通过常识推理与预定义的知识。大多数以前的作品的目的是提高分布式表示的性能，而不考虑从问题的语义表示预测答案的过程。为了阐明问题的语义解释，我们提出了一个AMR-概念网-修剪（ACP）图。ACP图是从包含从输入问题生成的抽象意义表示（AMR）图和外部常识知识图谱ConceptNet（CN）的完全集成图中修剪出来的。然后利用ACP图来解释推理路径并预测CommonsenseQA任务的正确答案。本文提出的方式，其中常识推理过程可以解释的关系和概念提供的ACP图。此外，ACP为基础的模型被证明优于基线。
2020-11-06 cs.AI cs.CL
Knowledge Graph-Augmented Korean Generative Commonsense Reasoning
Korea University（高丽大学）
针对语言模型在韩语生成式常识推理中忽略概念关系与深层知识的问题，提出利用韩语知识图谱数据辅助文本生成的方法，实验证明该方法有效提升了推理效率并凸显了辅助数据的重要性。
2023-06-26 cs.AI cs.CL
Attention Is (not) All You Need for Commonsense Reasoning
SAP Machine Learning Research（SAP机器学习研究院）
最近引入的BERT模型在几个语言理解基准测试中表现出很强的性能。在本文中，我们描述了一个简单的重新实现BERT的常识推理。我们表明，由BERT产生的注意力可以直接用于代词消歧问题和Winograd模式挑战等任务。我们提出的注意力引导的常识推理方法在概念上简单，但经验上强大。对多个数据集的实验分析表明，我们提出的系统在所有情况下都表现得非常好，同时比以前报道的最先进的系统表现得更好。虽然结果表明，BERT似乎隐含地学习建立实体之间的复杂关系，解决常识推理任务可能需要更多的从巨大的文本语料库学习的无监督模型。
2019-05-31 cs.AI cs.CL
Beyond Language: Learning Commonsense from Images for Reasoning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对自然语言处理中的常识推理问题，提出了一种从图像中学习常识的新方法，而不是从有限的原始文本或昂贵的构造知识库中学习常识。我们的动机来自这样一个事实，即一幅图像胜过千言万语，可以利用更丰富的场景信息来帮助提取通常隐藏在语言中的常识知识。我们的方法，即卢瓦尔河，包括两个阶段。在第一阶段，一个双模态序列到序列的方法是用来进行场景布局生成任务，基于文本表示模型ViBERT。通过这种方式，所需的视觉场景知识，如空间关系，将被编码在ViBERT的监督学习过程与一些双模态数据，如COCO。然后将ViBERT与预先训练的语言模型连接起来，以执行下游的常识推理任务。对常识问答和代词消解两个常识推理问题的实验结果表明，Loire方法优于传统的基于语言的方法.我们也给出了一些案例研究来展示从图像中学习到的知识，并解释生成的场景布局如何帮助常识推理过程。
2020-10-10 cs.AI cs.CL
Commonsense Reasoning Using WordNet and SUMO: a Detailed Analysis
University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
我们描述了一个详细的分析样本的大型基准的常识推理的问题，已自动获得WordNet，相扑和他们的映射。其目标是对高级常识推理任务的基准和相关知识资源的质量提供更好的评估。通过这种分析，我们能够发现一些知识错位，映射错误和缺乏知识和资源。我们的最终目标是提取一些准则，以更好地利用这个常识性的知识框架，包括资源的改进。
2019-09-06 cs.AI cs.CL
Differentiable Open-Ended Commonsense Reasoning
University of Southern California（南加州大学）；Google Research（谷歌研究院）
当前的常识推理研究集中在开发使用常识知识回答多项选择题的模型。然而，被设计为回答多项选择问题的系统在不提供可供选择的候选答案的小列表的应用中可能没有用。作为一个步骤，使常识推理的研究更加现实，我们建议研究开放式常识推理（OpenCSR）-没有任何预定义的选择，回答一个常识问题的任务-作为一种资源，只有一个语料库的常识事实写在自然语言。OpenCSR是具有挑战性的，因为一个大的决策空间，因为许多问题需要隐式多跳推理。作为OpenCSR的一种方法，我们提出了DrFact，一个有效的微分模型多跳推理知识事实。为了评估OpenCSR方法，我们采用了几种流行的常识推理基准，并通过众包为每个测试问题收集多个新答案。实验表明，DrFact的性能大大优于强基线方法。
2021-06-06 cs.AI cs.CL cs.LG
Diversifying Content Generation for Commonsense Reasoning with Mixture of Knowledge Graph Experts
University of Notre Dame（圣母大学）；University of Washington（华盛顿大学）；Microsoft Cognitive Services Research（微软认知服务研究院）
自然语言中的生成常识推理是在生成连贯文本的同时对常识进行推理。近年来，人们对提高常识推理任务生成质量的兴趣激增。然而，这些方法很少调查GCR任务的多样性，其目的是为现实世界的情况产生替代解释或预测所有可能的结果。多样化的GCR是具有挑战性的，因为它期望产生多种输出，不仅语义不同，而且基于常识知识。在本文中，我们提出了MoKGE，一种新的方法，多样化的混合专家（MoE）策略的常识知识图谱（KG）的生成推理。一组知识专家在KG上寻求不同的推理，以鼓励各种生成输出。实证实验表明，MoKGE可以显着提高多样性，同时实现在两个GCR基准上的准确性，基于自动和人工评估。
2022-03-14 cs.AI cs.CL
Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs
CSE, HKUST（香港科技大学计算机科学与工程系）；NLP Lab, IC, EPFL（洛桑联邦理工学院计算机学院自然语言处理实验室）
针对事件常识推理中复杂事件交互场景下数据稀缺的问题，研究者构建了基于常识知识图谱多跳逻辑查询的COM2数据集，训练后的语言模型复杂推理能力显著提升，零样本性能在多类任务上均有增强且无需昂贵人工标注。
2024-06-22 cs.AI cs.CL
COM2SENSE: A Commonsense Reasoning Benchmark with Complementary Sentences
University of Southern California（南加州大学）；Sharif University of Technology（谢里夫理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）
常识推理对人类来说是直观的，但对人工智能（AI）来说是一个长期的挑战。预训练语言模型的最新进展在几个常识基准数据集上显示出有希望的结果。然而，这些基准评估模型的常识推理能力的可靠性和全面性仍然不清楚。为此，我们引入了一个新的常识推理基准数据集，包括自然语言真/假语句，每个样本与其互补配对，产生4k个句子对。我们提出了一个成对的准确性度量，可靠地衡量代理的能力，执行常识推理在给定的情况下。该数据集是众包的，并通过对抗性模型在环设置进行增强，以激励具有挑战性的样本。为了便于系统地分析常识能力，我们沿着知识领域，推理场景和计算能力的维度设计我们的数据集。实验结果表明，我们最强的基线（UnifiedQA-3B），微调后，达到约71%的标准准确度和约51%的成对准确度，远低于人类的表现（两个指标约95%）。该数据集可在https://github.com/PlusLabNLP/Com2Sense上获得。
2021-06-02 cs.AI cs.CL
CRIC: A VQA Dataset for Compositional Reasoning on Vision and Commonsense
Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
或者，对视觉事实和常识进行推断是高级VQA系统的基础。这种能力要求模型超越对常识的字面理解。系统不应该仅仅将对象作为查询背景知识的入口，而是将常识充分扎根于视觉世界，想象对象之间可能的关系，例如，“叉，可以举起，食物”。为了全面评估这些能力，我们提出了一个VQA基准，CRIC，它引入了新类型的问题，关于组合推理的vIsion和常识，和一个评估指标集成的答案和常识接地的正确性。为了收集这些问题和丰富的附加注释来支持度量，我们还提出了一种自动算法来从与图像和相关知识图谱相关联的场景图中生成问题样本。我们进一步分析了CRIC数据集上几种代表性的VQA模型。实验结果表明，将常识知识与图像区域相结合，以及基于视觉和常识知识的联合推理对于现有方法来说仍然是一个挑战。该数据集可在https://cricvqa.github.io上获得。
2021-10-27 cs.AI cs.CV
KVL-BERT: Knowledge Enhanced Visual-and-Linguistic BERT for Visual Commonsense Reasoning
Beijing Institute of Technology（北京理工大学）
推理是实现完整视觉理解的关键能力。为了开发具有认知级视觉理解和推理能力的机器，引入了视觉常识推理（VCR）任务。在VCR中，给出一个关于图像的挑战性问题，机器必须正确回答，然后提供一个合理的理由来证明它的答案。采用功能强大的BERT模型作为学习图像内容和自然语言联合表示的骨干的方法在VCR上显示出有希望的改进。然而，现有的方法都没有利用常识知识的视觉常识推理，我们相信这将是非常有帮助的这项任务。在常识知识的支持下，即使图像中没有描述所需的信息，复杂的问题也可以通过认知推理来回答。因此，我们将常识知识融入到跨模态BERT中，提出了一种新的知识增强的视觉和语言BERT（Knowledge Enhanced Visual-and-Linguistic，简称KVL-BERT）模型。除了将视觉和语言内容作为输入外，还将从ConceptNet中提取的外部常识知识集成到多层Transformer中。为了保留原句子的结构信息和语义表征，本文提出利用相对位置嵌入和掩蔽自我注意来削弱注入的常识知识与输入序列中其他无关成分之间的影响。与其他特定于任务的模型和一般任务不可知的预训练模型相比，我们的KVL-BERT的性能大大优于它们。
2020-12-13 cs.AI cs.CL
CRoW: Benchmarking Commonsense Reasoning in Real-World Tasks
EPFL（洛桑联邦理工学院）；Google DeepMind（谷歌DeepMind）
本文提出手动构建的多任务基准 CRoW，通过常识违背性扰动重写六项真实世界 NLP 任务的样本，评估模型在物理、时间和社会等维度的常识推理能力，发现 NLP 系统与人类表现存在显著差距。
2023-10-23 cs.AI cs.CL
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）
常识推理旨在赋予机器以人类的能力，对我们日常生活中的普通情况做出假设。在本文中，我们提出了一个文本推理框架回答常识问题，它有效地利用外部的，结构化的常识知识图谱执行可解释的推理。该框架首先从语义空间到基于知识的符号空间将问答对作为模式图，外部知识图谱的相关子图。它用一个新的知识感知图网络模块KagNet来表示模式图，最后用图表示来给答案打分。我们的模型是基于图卷积网络和LSTM，与分层路径为基础的注意力机制。中等注意力分数使其透明和可解释，从而产生可信的推论。使用ConceptNet作为基于Bert的模型的唯一外部资源，我们在CommonsenseQA（一个用于常识推理的大规模数据集）上实现了最先进的性能。
2019-09-04 cs.AI cs.CL
Deriving Commonsense Inference Tasks from Interactive Fictions
IBM Research（IBM研究院）；Queens University（皇后大学）
常识推理模拟了人类对物理世界做出假设的能力，它是构建通用AI系统不可或缺的基石。我们提出了一个新的常识推理数据集的基础上，人类的互动小说游戏玩人类玩家表现出丰富和多样的常识推理。实验表明，我们的任务对于具有足够常识知识的人类专家来说是可以解决的，但对现有的机器阅读模型提出了挑战，性能差距超过30%。
2020-10-19 cs.AI cs.CL
Plausibly Problematic Questions in Multiple-Choice Benchmarks for Commonsense Reasoning
University of Maryland（马里兰大学）；Allen Institute for AI (AI2)（艾伦人工智能研究所）
针对常识推理多项选择基准要求单一答案而忽略其他合理选项的问题，本文通过收集5000个合理性判断，发现超20%题目的最合理选项与黄金答案不符，且LLM在此类题目上表现较差，提出合理性标准以识别更可靠的基准题目。
2024-10-06 cs.AI cs.CL
RiddleSense: Reasoning about Riddle Questions Featuring Linguistic Creativity and Commonsense Knowledge
University of Southern California（南加州大学）
问：我有五个手指，但我不是活人。我算什么？答案：一只手套。解答这样的谜语式问题是一个具有挑战性的认知过程，因为它需要复杂的常识推理能力，对比喻语言的理解和反事实推理技能，这些都是高级自然语言理解（NLU）的重要能力。然而，目前还没有专门的数据集来测试这些能力。在这里，我们提出了RiddleSense，一个新的多项选择问答任务，它带有第一个大数据集（5.7k个例子），用于回答谜语式常识问题。我们系统地评估了各种各样的模型的挑战，并指出，最好的监督模型和人类的表现之间有很大的差距-这表明在高阶常识推理和语言创造力的方向，以建立先进的NLU系统有趣的未来研究。
2021-07-04 cs.AI cs.CL
Zero-shot Commonsense Reasoning over Machine Imagination
Korea University（高丽大学）；Hankuk University of Foreign Studies（韩国外国语大学）
针对预训练语言模型在零样本常识推理中因人类报告偏差导致理解差异的问题，提出框架Imagine，通过引入机器生成图像的视觉信号补充文本输入，并在多种基准上大幅超越现有方法。
2024-10-12 cs.AI cs.CL
Modularized Transfer Learning with Multiple Knowledge Graphs for Zero-shot Commonsense Reasoning
Yonsei University（延世大学）；University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）；Seoul National University（首尔国立大学）
常识推理系统应该能够推广到不同的推理情况。然而，大多数最先进的方法依赖于昂贵的数据注释和过拟合到特定的基准，而不学习如何执行一般的语义推理。为了克服这些缺点，zero-shot QA系统已经通过将常识知识图谱（KG）转换成用于模型训练的合成QA形式样本而显示出作为鲁棒学习方案的前景。考虑到不同常识知识库类型的增加，本文旨在将zero-shot迁移学习场景扩展到多源环境中，使不同知识库能够协同使用。为了实现这一目标，我们建议，以减轻损失的知识，从不同的知识源之间的干扰，通过开发一个模块化的变体的知识聚合作为一个新的zero-shot常识推理框架。五个常识推理基准测试的结果证明了我们的框架的有效性，提高了多个KG的性能。
2022-06-22 cs.AI cs.CL cs.LG
Commonsense Knowledge Graph Reasoning by Selection or Generation? Why?
School of Engineering, Westlake University（西湖大学工学院）；Zhejiang University（浙江大学）；Alibaba Inc（阿里巴巴公司）
常识知识图谱推理（CKGR）是在已知常识知识图谱（CKG）中存在的实体及其关系的情况下，对缺失的实体进行预测的任务。现有的方法可以分为生成方法和选择方法两大类。每种方法都有自己的优势。通过理论分析和实证分析，对两种方法进行了比较，发现选择法比生成法更适用于CKGR。在此基础上，进一步结合神经文本编码器的结构和知识图谱嵌入模型，解决了选择方法的两个问题，取得了较好的效果。通过选择方法为后续CKGR任务提供了基本框架和基线模型。
2020-08-13 cs.AI cs.CL
Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
常识推理的研究迄今仅限于英语。我们的目标是评估和改进流行的多语言语言模型（ML-LM），以帮助推进常识推理（CSR）超越英语。我们收集了米奇语料库，包括11种不同语言的561 k句子，可用于分析和改进ML-LM。我们提出了米奇探测器，一种语言无关的探测任务，用于公平地评估不同语言中流行的ML-LM的常识。此外，我们还创建了两个新的数据集，X-CSQA和X-CODAH，通过将其英文版本翻译为其他15种语言，以便我们可以评估流行的ML-LM跨语言常识推理。为了提高英语以外的性能，我们提出了一种简单而有效的方法--多语言对比预训练（MCP）。它显著增强了句子表示，在两个基准测试中都获得了很大的性能增益。
2021-06-13 cs.AI cs.CL
JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions
WeChat AI（微信人工智能）；LinkedIn（领英）；Queens University（皇后大学）；IBM Research（IBM研究院）；UC San Diego（加州大学圣地亚哥分校）
本文提出基于互动小说通关过程构建的常识推理数据集JECC，侧重评估功能性常识知识规则和多跳推理能力，实验显示现有机器阅读模型和大语言模型与人类专家存在20%的性能差距。
2023-05-26 cs.AI cs.CL
Neural-Symbolic Commonsense Reasoner with Relation Predictors
The University of Queensland（昆士兰大学）；Monash University（莫纳什大学）；The University of New South Wales（新南威尔士大学）
常识推理的目的是将从常识知识图谱（CKG）中检索到的常识事实集合合并，以得出关于普通情况的结论。常识知识的动态本质要求模型能够在新情况下执行多跳推理。该特征还导致具有大规模稀疏知识图谱，其中需要这样的推理过程来预测新事件之间的关系。然而，现有的方法在这方面是有限的，考虑CKG作为一个有限的事实集，从而使他们不适合推理新的看不见的情况和事件。在本文中，我们提出了一个神经符号推理机，这是能够推理的大规模动态CKG。CKG推理的逻辑规则是在模型训练过程中学习的。除了提供可解释的解释外，学习的逻辑规则有助于将预测推广到新引入的事件。在CKG上的链接预测任务的实验结果证明了我们的模型的有效性，优于国家的最先进的模型。
2021-05-14 cs.AI cs.CL
Towards an Atlas of Cultural Commonsense for Machine Reasoning
School of Computing and Information Sciences Florida International University（佛罗里达国际大学计算与信息科学学院）；IBM Research（IBM研究院）
现有的用于人工智能和自然语言处理任务的常识推理数据集未能解决人类生活的一个重要方面：文化差异。我们介绍了一种方法，通过将知识的差异归因于文化或国家群体，扩展了以前的工作众包常识知识。我们通过收集围绕六个相当普遍的仪式-出生，成年，结婚，葬礼，新年和生日-的常识知识来展示这种技术，这些仪式跨越两个国家：美国和印度。我们的研究扩展了现有的工作领域中的常识推理为平凡的事件确定的不同类型的关系，并使用这些新的类型来收集信息，区分身份的群体提供的知识。它也让我们更接近于建造一台机器，它不承担普遍（可能是西方偏见）常识知识的刚性框架，而是有能力以上下文和文化敏感的方式进行推理。我们希望，这种文化知识将导致在问答（QA）和文本理解和生成等NLP任务中更像人类的表现。
2020-12-18 cs.AI cs.CL
COLA: Contextualized Commonsense Causal Reasoning from the Causal Inference Perspective
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Pennsylvania（宾夕法尼亚大学）；NVIDIA（英伟达）
本文提出情境化常识因果推理任务及零样本框架COLA，利用时间性和协变量平衡消除混杂效应，实验证明其优于基线。
2023-05-09 cs.AI cs.CL
Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations
Cornell University（康奈尔大学）
本文提出一种利用互斥解释的溯因常识推理方法，通过后验正则化强制互斥约束，无需人工标注监督即可区分流畅与合理解释，在多数据集上表现优于或可比于零样本预训练模型及知识增强方法。
2023-05-24 cs.AI cs.CL
ExplaGraphs: An Explanation Graph Generation Task for Structured Commonsense Reasoning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
最近的常识推理任务在本质上通常是有区别的，其中模型回答特定上下文的多项选择题。区分性任务是有限的，因为它们无法充分评估模型的推理能力，并用基本常识知识解释预测。它们还允许这样的模型使用推理捷径，而不是“出于正确的原因而正确”。在这项工作中，我们提出了ExplaGraphs，一个新的生成和结构化的常识推理任务（和相关的数据集）的解释图生成的立场预测。具体来说，给定一个信念和一个论点，模型必须预测论点是支持还是反对信念，并生成一个常识增强图，作为预测立场的非平凡，完整和明确的解释。我们通过一个新的验证和细化图形收集框架，提高图形质量（高达90%），通过多轮的验证和细化收集解释图。我们的图中有79%包含具有不同结构和推理深度的外部常识节点。接下来，我们提出了一个多层次的评估框架，包括自动度量和人工评估，检查生成的图的结构和语义的正确性及其与地面实况图的匹配程度。最后，我们提出了几个结构化的，常识增强的，文本生成模型作为强有力的起点，这个解释图生成任务，并观察到，有一个很大的差距与人类的表现，从而鼓励未来的工作，这一新的挑战性任务。ExplaGraphs将在https://explagraphs.github.io上公开提供。
2021-10-18 cs.AI cs.CL
CREAK: A Dataset for Commonsense Reasoning over Entity Knowledge
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数针对常识推理的基准数据集都关注日常场景：物理知识，比如知道你可以在瀑布下装满一个杯子[Talmor等人，2019]，像撞到某人这样的社会知识是尴尬的[Sap et al.，#20199;及其他特殊情况。然而，有一个丰富的常识推理空间锚定到特定实体的知识：例如，决定一个索赔的真实性“哈利波特可以教如何在扫帚上飞行的课程。“模型可以学习以这种方式将实体知识与常识推理结合起来吗？我们介绍CREAK，一个关于实体知识的常识推理的测试平台，将关于实体的事实检查（哈利·波特是一个巫师，擅长骑扫帚）与常识推理（如果你擅长一项技能，你可以教别人如何做）联系起来。我们的数据集包括13 k人类撰写的关于实体的英语声明，这些实体要么是真的，要么是假的，除了一个小的对比集。众包工作者可以很容易地提出这些陈述，并且人类在数据集上的表现很高（90多岁）;我们认为模型应该能够将实体知识和常识推理融合在一起。在我们的实验中，我们专注于闭卷设置，并观察到一个基线模型微调现有的事实验证基准的斗争CREAK。在CREAK上训练模型可以大幅提高准确性，但仍然低于人类的表现。我们的基准测试提供了对自然语言理解模型的独特探索，测试了它检索事实的能力（例如，他在芝加哥大学教书？）以及未陈述的常识知识（例如，管家不会对客人大喊大叫）。
2021-09-03 cs.AI cs.CL
Towards Quantifying Commonsense Reasoning with Mechanistic Insights
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本研究提出基于图形结构的常识推理量化方法，创建了37项日常活动的隐性知识标注资源，通过设计机制揭示LLMs中存在负责决策的推理组件，为其常识推理能力评估提供了严谨手段。
2025-04-14 cs.AI cs.CL cs.LG
Correcting Autonomous Driving Object Detection Misclassifications with Automated Commonsense Reasoning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出利用自动化常识推理技术纠正自动驾驶目标检测的误分类问题，通过模拟实验验证了混合模型在异常道路场景下的有效性。
2026-01-07 cs.AI cs.RO
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
University of Washington（华盛顿大学）；Allen Institute of Artificial Intelligence（艾伦人工智能研究所）；Facebook AI（脸书人工智能）
许多常识推理NLP任务涉及基于通常隐含的知识在问题或提示的一个或多个可能答案之间进行选择。大型预训练语言模型（PLM）可以在这些任务上实现接近人类的性能，同时提供很少的人类可解释的证据来证明它们使用的基本推理。在这项工作中，我们展示了如何使用这些相同的模型来生成这样的证据：受人类解释的对比性质的启发，我们使用PLM来完成解释提示，根据证明正确答案所需的关键属性（例如，花生通常是咸的，而葡萄干是甜的）来对比替代品。与以前的非对比替代方案相比，这些解释的条件模型决策提高了两个常识推理基准的性能。这些解释也被人类判断为与解决任务更相关，并促进了一种新的方法来评估解释的可信度。
2021-06-12 cs.AI cs.CL
Dialectical language model evaluation: An initial appraisal of the commonsense spatial reasoning abilities of LLMs
University of Leeds（利兹大学）；The Alan Turing Institute（艾伦·图灵研究所）；Tongji University（同济大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；ValGRAI；Leverhulme Centre for the Future of Intelligence（利弗休姆未来智能中心）
本文针对大语言模型在静态常识推理基准上表现不断提升的现象，提出通过对话式辩证评估探查其空间推理失败案例与能力边界，并给出改进模型和系统化评估的建议。
2023-04-22 cs.AI cs.CL
Enabling Robots to Understand Incomplete Natural Language Instructions Using Commonsense Reasoning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Utah（犹他大学）
使机器人能够理解通过口头自然语言提供的指令，将促进机器人和人在家庭和工作场所的各种环境中的互动。然而，自然语言指令通常缺少基于环境上下文和常识对人类显而易见的信息，因此不需要明确地陈述。在本文中，我们介绍了基于存储模型的常识推理（LMCR），一种新的方法，使机器人听一个自然语言指令从人类，观察它周围的环境，并自动填补信息丢失的指令使用环境上下文和一个新的常识推理方法。我们的方法首先将作为无约束自然语言提供的指令转换为机器人可以通过将其解析为动词框架来理解的形式。然后，我们的方法通过观察附近的物体并利用常识推理来填补指令中缺失的信息。为了自动学习常识推理，我们的方法通过训练语言模型从大型非结构化文本语料库中提取知识。我们的研究结果表明，机器人学习常识知识自动从基于Web的文本语料库的可行性，和权力的学习常识推理模型，使机器人自主执行任务的基础上不完整的自然语言指令。
2020-07-21 cs.AI cs.CL cs.RO
Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning
Ant Group（蚂蚁集团）
该研究针对多模态大语言模型视觉反常识推理中语言先验干扰问题，提出文本锚定数据构建流程及后训练框架 TACT，实现无需视觉数据的跨模态去偏，提升模型视觉推理性能。
2026-08-10 cs.AI cs.CV
Automated Storytelling via Causal, Commonsense Plot Ordering
自动故事情节生成是生成连贯的情节事件序列的任务。情节事件之间的因果关系被认为可以增加故事和情节连贯性的感知。在这项工作中，我们介绍了软因果关系的概念，从常识推理推断的因果关系。我们展示了C2PO，一种叙事生成的方法，通过因果关系，常识情节排序来实现这一概念。使用人类参与的协议，我们评估我们的系统对基线系统与不同的常识推理推理和归纳偏见，以确定软因果关系感知的故事质量的作用。通过这些研究，我们还探讨了跨故事类型的常识规范的变化如何影响对故事质量的看法的相互作用。
2020-12-30 cs.AI cs.CL
Great Truths are Always Simple: A Rather Simple Knowledge Encoder for Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
用自然语言进行常识推理是人工智能系统所要求的一种能力。为了解决复杂的常识推理任务，一个典型的解决方案是使用知识感知的图神经网络编码器来增强预训练的语言模型，该编码器对常识知识图谱进行建模。尽管这些方法是有效的，但它们都是建立在沉重的体系结构上的，并且不能清楚地解释外部知识资源如何提高PTM的推理能力。考虑到这个问题，我们进行了深入的实证分析，并发现它确实是从CSKG的关系特征（而不是节点特征），主要有助于PTM的性能改善。基于这一发现，我们设计了一个简单的基于MLP的知识编码器，利用统计关系路径的功能。在五个基准测试上进行的大量实验证明了我们方法的有效性，并且大大减少了编码CSKG的参数。我们的代码和数据可在https://github.com/RUCAIBox/SAFE上公开获取。
2022-05-04 cs.AI cs.CL
Advancing Transformer's Capabilities in Commonsense Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）
本研究通过引入知识迁移、模型集成和成对对比目标等现代机器学习方法，显著提升了通用预训练语言模型在常识推理基准（如Com2Sense）上的表现，分别获得约15%和8.7%的绝对准确率提升。
2023-10-10 cs.AI cs.CL cs.LG
Reasoning before Responding: Integrating Commonsense-based Causality Explanation for Empathetic Response Generation
Kyoto University（京都大学）
提出基于常识的因果解释方法，兼顾用户与系统双视角，结合上下文学习增强ChatGPT推理，并整合至T5模型，在自动与人工评估中优于现有方法。
2023-09-05 cs.AI cs.CL
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络（GNN）来建模知识图谱（KG）。然而，他们忽略了（i）在问题上下文表示和KG表示上的有效融合和推理，以及（ii）在推理期间从噪声KG中自动选择相关节点。在本文中，我们提出了一种新的模型，JointLK，它解决了上述限制，通过LM和GNN的联合推理和动态KG修剪机制。具体而言，JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理，其中每个问题标记参与KG节点，每个KG节点参与问题标记，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning
University of Southern California（南加州大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
最近，大规模预训练的语言模型在几个常识推理基准数据集上表现出令人印象深刻的性能。然而，构建具有常识的机器来撰写逼真的句子仍然具有挑战性。在本文中，我们提出了一个受约束的文本生成任务，与基准数据集相关联的CommonGen，明确测试机器的生成常识推理的能力。给出一组共同的概念（例如，{dog、飞盘、接住、扔）;任务是使用这些概念生成描述日常场景的连贯句子（例如，“一个人扔了一个飞盘，他的狗接住了它”）。CommonGen任务具有挑战性，因为它本质上需要1）具有背景常识知识的关系推理，以及2）对看不见的概念组合进行组合概括的能力。我们的数据集是通过众包和现有字幕语料库的组合构建的，由79 k个常识描述和35 k个独特的概念集组成。实验表明，在现有技术的文本生成模型（例如，T5）和人的绩效。此外，我们证明了学习生成常识推理能力可以转移到改善下游任务，如常识QA通过生成额外的上下文。
2020-11-30 cs.AI cs.CL cs.CV
