COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering
The University of Queensland（昆士兰大学）；Monash University（蒙纳士大学）；The University of New South Wales（新南威尔士大学）
常识推理指的是对社会状况进行评估并采取相应行动的能力。识别社会背景的隐含原因和影响是使机器能够执行常识推理的驱动能力。社会互动的动态世界需要上下文相关的按需系统来推断这样的潜在信息。然而，在这个领域中的当前方法缺乏在面对看不见的情况时执行常识推理的能力，主要是由于不能识别各种各样的隐式社会关系。在本文中，我们提出了条件式的基于SEQ2SEQ的混合模型（COSMO），它为我们提供了动态和多样化的内容生成能力。我们使用COSMO来生成上下文相关的子句，这些子句形成动态知识图（KG），用于常识推理。为了显示我们的模型的适应性上下文相关的知识生成，我们解决的任务zero-shot常识问答。实证结果表明，与最先进的模型相比，改进高达+5.2%。
2020-11-02 cs.CL
CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering
HKUST（香港科技大学）；EPFL（洛桑联邦理工学院）
针对零样本常识问答中CSKB不完整及负例采样质量差的问题，提出概念化增强推理框架CAR，通过将知识三元组抽象为更高层次实例来扩大覆盖范围与答案空间，显著提升了零样本泛化能力并超越GPT3.5等大模型。
2023-10-20 cs.CL
elBERto: Self-supervised Commonsense Learning for Question Answering
Sun Yat-sen University（中山大学）；University of California（加利福尼亚大学）；Duke University（杜克大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
常识性的问答需要对日常情况和上下文中隐含的因果关系进行推理。通常，现有的方法首先检索外部证据，然后使用这些证据执行常识推理。在本文中，我们提出了一个自我监督双向编码器表示学习的常识（elBERto）框架，这是兼容的现成的QA模型架构。该框架包括五个自监督任务，以迫使模型充分利用来自包含丰富常识的上下文的额外训练信号。这些任务包括一个新的对比关系学习任务，以鼓励模型区分逻辑对比的上下文，一个新的拼图任务，要求模型推断长上下文中的逻辑链，以及三个经典的SSL任务，以保持预训练模型的语言编码能力。在代表性的WIQA、CosmosQA和ReClor数据集上，elBERto优于所有其他方法，包括那些利用显式图推理和外部知识检索的方法。此外，elBERto在简单的词汇相似性比较没有帮助的段落外和无效果问题上取得了实质性的改进，这表明它成功地学习了常识，并能够在给定动态上下文时利用它。
2022-10-04 cs.CL
Towards Generalizable Neuro-Symbolic Systems for Commonsense Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Bosch Research and Technology Center（博世研究与技术中心）
非提取性常识QA仍然是一项具有挑战性的人工智能任务，因为它需要系统对不同的信息进行推理、合成和收集，以生成对查询的响应。这些任务的最新方法显示出更高的性能，只有当模型使用额外的信息进行预训练时，或者当使用特定领域的知识时，没有任何关于知识资源类型的特殊考虑。在本文中，我们进行了一项调查，最近的常识QA方法，我们提供了一个系统的分析，流行的知识资源和知识集成方法，跨基准从多个常识数据集。我们的研究结果和分析表明，基于注意力的注入似乎是一个更好的选择知识集成和领域的重叠程度，知识库和数据集之间，在确定模型的成功起着至关重要的作用。
2019-10-30 cs.CL
BUCA: A Binary Classification Approach to Unsupervised Commonsense Question Answering
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
本文提出 BUCA 方法，通过将知识图谱三元组转化为合理与不合理文本，把无监督常识问答转化为二分类任务，在多个基准上取得有效结果且数据需求更低。
2025-04-11 cs.CL
Coarse-to-Careful: Seeking Semantic-related Knowledge for Open-domain Commonsense Question Answering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
利用外部知识来帮助机器回答需要背景常识的问题是普遍的，这面临着无限的知识会传递噪声和误导信息的问题。对于引入相关知识的问题，我们提出了一个语义驱动的知识感知QA框架，它控制在一个粗略到仔细的方式知识注入。我们设计了一个裁剪策略，以过滤提取的知识下监测的粗语义问题的知识提取阶段。我们开发了一个语义感知的知识获取模块，该模块利用结构化的知识信息，并根据问句的细致语义，以层次化的方式融合适当的知识。实验结果表明，与强基线相比，该方法提高了在CommonsenseQA数据集上的性能。
2021-07-04 cs.CL
Elaboration-Generating Commonsense Question Answering at Scale
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Utah（犹他大学）
本文提出交替微调阐述生成器与答案预测器的框架，使不足 GPT-3 参数量0.5%的小模型在四个常识问答基准上优于同规模方法并接近 GPT-3。
2023-07-14 cs.CL
CR-LT-KGQA: A Knowledge Graph Question Answering Dataset Requiring Commonsense Reasoning and Long-Tail Knowledge
University of Toronto（多伦多大学）；Vector Institute of Artificial Intelligence（向量人工智能研究院）
本文构建CR-LT-KGQA数据集，基于Wikidata扩展StrategyQA与CREAK，涵盖问答和声明验证，考察LLM在需常识推理的长尾实体问题上的幻觉与KG利用挑战。
2024-03-03 cs.CL
Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?
Korea Advanced Institute of Science and Technology（韩国科学技术院）
许多上下文化的单词表示现在通过复杂的神经网络模型来学习，例如掩蔽神经语言模型（MNLM），其由巨大的神经网络结构组成并被训练以恢复掩蔽的文本。这种表征在某些阅读理解（RC）任务中表现出超人的表现，这些任务在给定问题的上下文中提取适当的答案。然而，识别详细的知识培训MNLM是具有挑战性的，由于众多和混杂的模型参数。本文提供了新的见解和经验分析的常识知识包括预训练MNLM。首先，我们使用一个诊断测试，评估是否常识知识是正确的MNLM培训。我们观察到，很大一部分的常识性知识没有适当的培训，在MNLM和MNLM不经常准确地理解关系的语义。此外，我们发现基于MNLM的RC模型仍然容易受到需要常识知识的语义变化的影响。最后，我们发现了一些知识没有得到训练的根本原因。我们进一步建议，利用外部常识知识库可以是一个有效的解决方案。我们通过在受控实验中从外部常识知识库中丰富文本所需的知识来克服基于MNLM的RC模型的局限性。
2022-09-01 cs.CL
A Semantic-based Method for Unsupervised Commonsense Question Answering
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
无监督的常识问答很有吸引力，因为它不依赖于任何标记的任务数据。在现有的工作中，一个流行的解决方案是使用预先训练的语言模型直接根据问题或上下文对候选选择进行评分。然而，这样的分数从语言模型可以很容易地受到无关的因素，如词频，句子结构等，这些分散注意力的因素，不仅可能会误导模型选择一个错误的答案，但也使其过于敏感的候选答案中的词汇扰动。在本文中，我们提出了一种新的基于SEmantic-based问答方法（SEQA）的无监督常识问答。我们的方法不是直接对每个答案选择进行评分，而是首先用生成模型生成一组看似合理的答案（例如，GPT-2），然后使用这些合理的答案，通过考虑每个合理的答案和每个选择之间的语义相似性来选择正确的选择。我们设计了一个简单的，但健全的形式主义，这个想法，并验证其有效性和鲁棒性与广泛的实验。我们在四个基准数据集上对所提出的方法进行了评估，我们的方法在无监督设置中取得了最好的结果。此外，当受到同义词替换的TextFocal攻击时，SEQA表现出比基线更少的性能下降，从而表明更强的鲁棒性。
2021-05-31 cs.CL
ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering
Sapienza University of Rome（罗马大学）
针对现有LLM常识问答可解释性不足、知识整合方法需额外训练或人工设计的问题，提出零样本框架ZEBRA，结合检索、案例推理与内省生成知识答题，在8个基准上平均准确率最高提升4.5个百分点。
2024-10-07 cs.CL
QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering
HKUST（香港科技大学）
针对零样本常识问答中合成数据噪声问题，提出基于训练动态的QADYNAMICS框架，通过诊断和精炼问答对，仅用33%数据即超越基线，并提升数据质量。
2023-10-17 cs.CL
MICO: A Multi-alternative Contrastive Learning Framework for Commonsense Knowledge Representation
HKUST（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）
常识知识图补全和常识问答等常识推理任务需要强大的表示学习。本文提出了一种基于常识知识图谱的多选择对比学习框架MICO（Multi-Alternative Contrast Learning Framework），用于常识知识表示的学习。MICO通过多选择对比学习，通过实体节点和关系之间的上下文交互，生成常识知识表示。在MICO中，$(h,r,t)$知识三元组中的头和尾实体被转换为自然语言形式的两个关系感知序列对（前提和替代）。通过比较语义表征之间的距离得分，MICO生成的语义表征可以帮助完成以下两个任务：1）zero-shot常识问答任务; 2）归纳常识知识图完成任务。大量的实验表明了该方法的有效性。
2022-10-14 cs.CL
TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense Question Answering
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
无监督常识问答要求在不依赖于已标记任务数据的情况下挖掘有效的常识知识。以往的方法通常从传统的知识库中提取或使用预训练的语言模型（PrLM）来生成固定类型的知识，泛化能力较差。在本文中，我们的目标是解决上述限制，利用存储在PrLM中的隐式知识，并提出了一个两阶段的无监督的常识问答框架（TSGP）。具体来说，我们首先使用知识生成提示生成所需的知识，无限类型的问题和可能的候选答案独立于指定的选择。然后，我们进一步利用答案生成提示生成可能的候选答案独立于指定的选择。在CommonsenseQA、OpenBookQA和SocialIQA三个不同的常识推理任务上的实验结果和分析表明，TSGP显著提高了无监督环境下语言模型的推理能力。我们的代码可在https://github.com/Yueqing-Sun/TSGP上获得。
2022-11-24 cs.AI cs.CL
Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization
University of California, Los Angeles（加州大学洛杉矶分校）
常识问答（CQA）旨在测试模型是否可以回答关于每个人都知道的常识知识的问题。以前的作品，将外部知识库已显示出可喜的成果，但知识库是昂贵的建设，往往限于一个固定的关系集。在本文中，我们专注于更好地利用存储在预训练的语言模型中的\textit{implicit knowledge}。虽然研究人员已经发现，嵌入在预先训练的语言模型中的知识可以通过让它们填充精心设计的关系抽取和文本分类提示的空白来提取，但目前还不清楚我们是否可以在CQA中采用这种范式，其中输入和输出采用更灵活的形式。为此，我们研究了四种翻译方法，可以将自然问题翻译成完形填空风格的句子，以更好地从语言模型中获取常识知识，包括基于句法的模型，无监督神经模型和两个监督神经模型。此外，为了结合不同的翻译方法，我们建议鼓励模型预测之间的一致性，对不同的翻译问题与未标记的数据。我们证明了我们的方法在三个CQA数据集在zero-shot设置的有效性。我们表明，我们的方法是互补的知识库改进模型，并将它们结合起来，可以导致最先进的zero-shot性能。分析还揭示了不同完形填空翻译方法的不同特点，以及为什么将它们结合起来可以带来很大的改进。
2022-01-01 cs.CL
Decker: Double Check with Heterogeneous Knowledge for Commonsense Fact Verification
Shanghai Jiao Tong University（上海交通大学）
本文提出常识事实验证模型Decker，通过揭示结构化与非结构化异构知识间的潜在关系进行双重校验，并在CSQA2.0和CREAK数据集上验证了其有效性与推理能力。
2023-05-27 cs.CL
ReTraceQA: Evaluating Reasoning Traces of Small Language Models in Commonsense Question Answering
Sapienza NLP Group（萨皮恩扎大学自然语言处理小组）；Sapienza University of Rome（罗马萨皮恩扎大学）
ReTraceQA通过引入过程级评估，揭示小语言模型在常识推理中存在大量推理过程错误，但最终答案正确的情况，表明现有评价方法高估了模型能力。
2026-04-20 cs.CL
CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在回答问题时，除了特定的上下文之外，人们还经常利用他们丰富的世界知识。最近的工作主要集中在回答一些相关文件或背景下的问题，并要求很少的一般背景。为了研究具有先验知识的问答，我们提出了常识问答：一个具有挑战性的新数据集常识问答。为了捕捉关联之外的常识，我们从ConceptNet（Speer等人，2017）与单个源概念具有相同语义关系的多个目标概念。人群工作者被要求创作多项选择题，其中提到源概念，并依次区分每个目标概念。这鼓励工作人员创建具有复杂语义的问题，这些问题通常需要先验知识。我们通过这个过程创建了12，247个问题，并通过大量强基线证明了我们任务的难度。我们的最佳基线是基于BERT-large（Devlin et al.，2018年），并获得56%的准确率，远低于人类的表现，这是89%。
2019-03-15 cs.AI cs.CL cs.LG
CIKQA: Learning Commonsense Inference with a Unified Knowledge-in-the-loop QA Paradigm
HKUST（香港科技大学）；UPenn（宾夕法尼亚大学）；CUHK（香港中文大学）；AI2（艾伦人工智能研究所）；University of Washington（华盛顿大学）；Bar Ilan University（巴伊兰大学）
最近，社区在许多常识推理基准上取得了实质性的进展。然而，目前还不清楚从训练过程中学到了什么：知识，推理能力，还是两者兼而有之？我们认为，由于大规模的常识知识，这是不可行的注释一个足够大的训练集为每个任务，以涵盖所有的常识学习。因此，我们应该把常识知识获取和常识知识的推理作为两个独立的任务。在这项工作中，我们专注于从两个角度研究模型的常识推理能力：（1）模型是否可以知道他们所拥有的知识是否足以解决任务;（2）模型是否可以开发常识推理能力，从而概括常识任务。我们首先将常识任务与常识知识库中的相关知识对齐，并要求人类注释知识是否足够。然后，我们将不同的常识性任务转换成一个统一的问答格式，以评估模型的泛化能力。我们将该基准称为具有知识在环问答的常识推理（CIKQA）。
2022-10-12 cs.CL
Inside ASCENT: Exploring a Deep Commonsense Knowledge Base and its Usage in Question Answering
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
ASCENT是一种用于从web内容中提取和合并常识断言的全自动化方法（Nguyen等人，WWW 2021）。它通过捕获语义方面（如位置和目的）和复合概念（即，主题的分组和相关方面。在这个演示中，我们展示了一个Web门户，它允许用户了解它的构建过程，探索它的内容，并观察它在问答用例中的影响。演示网站和介绍性视频都可以在线获得。
2021-05-28 cs.AI cs.CL
How Additional Knowledge can Improve Natural Language Commonsense Question Answering?
Arizona State University（亚利桑那州立大学）
最近几个数据集已被提出，以鼓励在问答领域的研究，其中常识知识预计将发挥重要作用。最近的语言模型，如ROBERTA，BERT和GPT，已经在维基百科的文章和书籍上进行了预训练，在几个这样的多选择分类（MCQ）数据集上表现出合理的性能。我们在这项工作中的目标是开发方法，将额外的（常识）知识到语言模型为基础的方法，更好地回答问题，在这些领域。在这项工作中，我们首先对外部知识来源进行分类，并显示使用这些来源确实会提高性能。然后，我们探讨了三种不同的策略，知识整合和四种不同的模式，回答问题，使用外部常识知识。我们分析我们的预测，以探索进一步改进的范围。
2020-04-17 cs.CL cs.IR cs.LG
Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Sun Yat-sen University（中山大学）；Peking University（北京大学）；Microsoft Corporation（微软公司）；Microsoft Research Asia（微软亚洲研究院）
常识问答的目的是回答需要背景知识的问题，而这些知识在问题中没有明确表达。关键的挑战是如何从外部知识中获取证据，并根据证据进行预测。最近的作品要么学习从人工注释的证据中生成证据，这是昂贵的收集，或从结构化或非结构化的知识库中提取证据，未能利用这两个来源。在这项工作中，我们提出了自动提取证据的异构知识源，并回答问题的基础上提取的证据。具体来说，我们从结构化知识库（即概念网）和维基百科纯文本中提取证据。我们构造图的两个来源，以获得证据的关系结构。基于这些图，我们提出了一个基于图的方法，包括一个基于图的上下文单词表示学习模块和一个基于图的推理模块。第一个模块利用图形结构信息来重新定义单词之间的距离，以学习更好的上下文单词表示。第二模块采用图卷积网络将邻居信息编码到节点的表示中，并利用图注意力机制进行证据聚合，预测最终答案。在CommonsenseQA数据集上的实验结果表明，我们在两个知识源上的基于图的方法在强基线上有所改进。我们的方法在CommonsenseQA排行榜上达到了最先进的准确率（75.3%）。
2020-06-09 cs.CL
Towards Faithful Knowledge Graph Explanation Through Deep Alignment in Commonsense Question Answering
针对常识问答中知识图谱解释不忠实的问题，提出LM-KG保真度指标和LKDA对齐算法，在CommonsenseQA和OpenBookQA上显著提升解释保真度与模型性能。
2024-09-20 cs.AI cs.CL
Generalizable Neuro-symbolic Systems for Commonsense Question Answering
Bosch Research（博世研究院）；Carnegie Mellon University（卡内基梅隆大学）；Information Sciences Institute, Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院信息科学研究所）；Michigan State University（密歇根州立大学）
本章说明了如何合适的语言理解的神经符号模型可以使域的概括性和鲁棒性的下游任务。讨论了集成神经语言模型和知识图谱的不同方法。这种组合是最合适的情况下的特点，包括定量评价和定性错误分析的各种常识问答基准数据集。
2022-01-17 cs.AI cs.CL
ArT: All-round Thinker for Unsupervised Commonsense Question-Answering
Shanghai Jiao Tong University（上海交通大学）
无监督常识问答（QA）由于其对知识库等常识源的独特要求，使得在没有标记问答对的情况下进行必要的训练显得非常具有挑战性，而知识库的构建通常非常耗费资源。近年来，预训练的语言模型（PLM）在充当知识生成器的角色时，显示出作为常识线索的替代品的有效性。然而，现有的工作要么依赖于大规模的域内或域外的标记数据，或未能产生高质量的知识，在一般的方式。受人类思维经验的启发，我们提出了一种在知识生成过程中充分考虑联想的全面思考者（ArT）方法。具体而言，我们的模型首先关注给定上下文中的关键部分，然后在此基础上以类似人类思维的关联方式生成高度相关的知识。此外，在因果推理中，还特别加入了逆向思维机制，进一步加强因果之间的双向推理。ArT是完全无监督和无KBS的。我们在三个常识QA基准上进行评估：COPA，SocialIQA和SCT。在PLM骨干的所有规模上，ArT都表现出出色的性能，并优于以前的高级无监督模型。我们的代码可在https://github.com/WangJW424/commonsenseQA-ArT上获得。
2022-09-13 cs.AI cs.CL
Connecting the Dots: A Knowledgeable Path Generator for Commonsense Question Answering
University of Southern California（南加州大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
常识问答需要背景知识，而背景知识在给定的上下文中没有明确说明。先前的工作使用常识知识图谱（KG）来获得用于推理的该知识。然而，考虑到这些幼儿园的覆盖面有限，而且其知识的背景依赖性，完全依靠这些幼儿园可能是不够的。在本文中，我们增加了一个一般常识QA框架与知识的路径生成器。通过对KG中现有路径的外推，使用最先进的语言模型，我们的生成器学习将文本中的一对实体与动态的、潜在的新颖的多跳关系路径连接起来。这样的路径可以为解决常识问题提供结构化的证据，而无需微调路径生成器。两个数据集上的实验表明，我们的方法优于以前的作品，完全依赖于知识的KG（与高达6%的精度提高），在不同数量的训练数据。进一步的评估表明，生成的路径通常是可解释的，新颖的，相关的任务。
2020-09-19 cs.AI cs.CL
Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Bosch Research（博世研究中心）
预训练神经语言建模的最新发展已经导致常识问答基准的准确性飞跃。然而，越来越多的人担心模型过度适应特定的任务，而不学习利用外部知识或执行一般的语义推理。相比之下，zero-shot评估已经显示出作为模型的一般推理能力的更鲁棒的度量的希望。在本文中，我们提出了一个新的神经符号框架的zero-shot问答常识任务。在一组假设的指导下，该框架研究如何将各种预先存在的知识资源转化为最有效的预训练模型的形式。我们改变了语言模型、训练机制、知识源和数据生成策略的集合，并测量了它们对任务的影响。扩展以前的工作，我们设计和比较四个约束干扰采样策略。我们提供了五个常识问答任务的实证结果，数据来自五个外部知识资源。我们表明，虽然个人知识图谱更适合于特定的任务，一个全球性的知识图谱带来了一致的收益在不同的任务。此外，保留任务的结构以及生成公平和信息丰富的问题都有助于语言模型更有效地学习。
2020-12-14 cs.AI cs.CL
UFO: Unified Fact Obtaining for Commonsense Question Answering
Soochow University（苏州大学）
本文提出UFO方法，通过统一提示将大规模语言模型转化为知识来源，生成并检索与问题相关的事实，从而提升常识问答推理性能，并在多个基准上优于人工知识库。
2023-05-25 cs.AI cs.CL
Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
为了促进自然语言理解，关键是要使用常识或背景知识。然而，如何在问答系统中有效地使用常识仍然在学术界和工业界的探索中。在本文中，我们提出了一种新的问答方法，通过集成多个知识源，即ConceptNet，维基百科和剑桥词典，以提高性能。更具体地说，我们首先介绍了一种新的基于图的迭代知识检索模块，它迭代地检索概念和实体相关的给定的问题，它的选择从多个知识源。之后，我们使用预先训练的语言模型来编码问题，检索知识和选择，并提出一个答案选择感知的注意力机制来融合前面模块的所有隐藏表示。最后，针对特定任务的线性分类器被用来预测答案。在CommonsenseQA数据集上的实验结果表明，该方法的性能明显优于其他竞争方法，达到了新的水平。此外，进一步的消融研究表明，基于图的迭代知识检索模块和答案选择感知注意模块在从多个知识源中检索和合成背景知识方面是有效的。
2020-11-05 cs.AI cs.CL
A Graph-Guided Reasoning Approach for Open-ended Commonsense Question Answering
Baidu Research（百度研究院）
最近，用于多项选择常识问答（QA）的端到端训练模型已经取得了可喜的成果。然而，这样的问答系统不能直接应用于不提供答案候选的真实世界场景中。因此，最近发布了一个新的开放式常识推理（OpenCSR）基准挑战集，其中包含没有任何预定义选择的自然科学问题。在OpenCSR挑战集中，许多问题需要隐式多跳推理，并且具有很大的决策空间，这反映了这项任务的困难性。OpenCSR的现有工作主要集中在改进检索过程，从文本知识库中提取相关的事实句子，将重要和重要的推理任务排除在外。在这项工作中，我们扩展的范围，包括一个推理机，构建一个依赖于问题的开放知识图谱检索支持的事实的基础上，并采用顺序子图推理过程来预测答案。子图可以被看作是对预测的一个简洁而紧凑的图形解释。在两个OpenCSR数据集上的实验表明，该模型在基准OpenCSR数据集上取得了良好的性能.
2023-03-18 cs.CL cs.LG
Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
知识支撑推理。最近的研究表明，当相关的知识作为额外的背景下常识问答（QA），它可以大大提高性能，即使在最先进的。根本的挑战是在哪里以及如何找到这样的知识，是高质量的和点上的问题，从知识库检索的知识是不完整的和知识产生的语言模型是不一致的。我们提出雷尼尔，或强化知识内省，学习生成上下文相关的知识，以响应给定的问题。我们的方法从模仿GPT-3生成的知识开始，然后通过强化学习学习生成自己的知识，其中奖励是根据所产生的问答的性能提高而形成的。Rainier在9个不同的常识基准测试中表现出了实质性和一致的性能提升：包括在模型训练期间看到的5个数据集，以及4个未看到的数据集。我们的工作是第一个报告，由比GPT-3小几个数量级的模型生成的知识，即使没有对知识本身的直接监督，也可以超过GPT-3所产生的常识知识的质量。
2022-10-22 cs.AI cs.CL
Enhancing Review Comprehension with Domain-Specific Commonsense
Brown University（布朗大学）；Megagon Labs（Megagon实验室）
评论理解在提高在线服务和产品质量方面发挥着越来越重要的作用，常识性知识可以进一步提高评论理解。然而，现有的通用常识知识库缺乏足够的覆盖面和准确性，以有意义地提高对特定领域评论的理解。在本文中，我们介绍了xSense，一个有效的系统审查理解使用特定领域的常识知识库（xSense知识库）。我们表明，xSense知识库可以构建成本低廉，并提出了一种知识蒸馏方法，使我们能够使用xSense知识库与BERT，以提高各种审查理解任务的性能。我们评估xSense在三个审查理解任务：方面提取，方面的情感分类，和问答。我们发现xSense在前两项任务中的表现优于最先进的模型，并显着改进了基线BERT QA模型，证明了将常识纳入审查理解管道的有用性。为了方便未来的研究和应用，我们公开发布了三个特定领域的知识库和特定领域的问答基准。
2020-04-06 cs.CL
From Representation to Reasoning: Towards both Evidence and Commonsense Reasoning for Video Question-Answering
Shanghai Jiao Tong University（上海交通大学）
视频理解在表示学习方面取得了很大的成功，如视频字幕、视频对象背景、视频描述性问答等。然而，现有的视频推理方法在视频推理方面仍存在一些问题，包括证据推理和常识推理。为了促进对视频推理的更深入的视频理解，我们提出了Cause-VidQA的任务，其中包括四种类型的问题，从场景描述（描述）到证据推理（解释）和常识推理（预测和反事实）。对于常识推理，我们通过回答问题和提供适当的理由来建立两步解决方案。通过对现有视频质量评估方法的大量实验，我们发现现有的视频质量评估方法描述能力强，但推理能力弱。我们希望Cause-VidQA能够指导视频理解从表示学习向更深层次推理的研究。数据集和相关资源可在\url{https://github.com/bcmi/Causal-VidQA.git}上获得。
2022-05-30 cs.CL cs.CV cs.MM
ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering
Seoul National University（首尔国立大学）；Hanshin University（韩神大学）
最近，预先训练的语言表示模型，如来自transformers的双向编码器表示（BERT），在常识问答（CSQA）中表现良好。然而，存在的问题是，模型不直接使用外部存在的知识源的显式信息。为了增强这一点，已经提出了其他方法，例如知识感知图网络（KagNet）和多跳图关系网络（MHGRN）。在这项研究中，我们建议使用最新的预训练的语言模型，一个精简的双向编码器表示从变压器（ALBERT）与知识图谱信息抽取技术。我们还提出了新的方法，模式图扩展到最近的语言模型。然后，我们分析了基于知识图谱的知识抽取技术应用于最近的预训练语言模型的效果，并证实模式图扩展在一定程度上是有效的。此外，我们表明，我们提出的模型可以实现更好的性能比现有的KagNet和MHGRN模型在CommonsenseQA数据集。
2022-11-14 cs.AI cs.CL
JointLK: Joint Reasoning with Language Models and Knowledge Graphs for Commonsense Question Answering
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
现有的知识图增强的常识问答模型主要集中在设计复杂的图神经网络（GNN）来建模知识图谱（KG）。然而，他们忽略了（i）在问题上下文表示和KG表示上的有效融合和推理，以及（ii）在推理期间从噪声KG中自动选择相关节点。在本文中，我们提出了一种新的模型，JointLK，它解决了上述限制，通过LM和GNN的联合推理和动态KG修剪机制。具体而言，JointLK通过一种新的密集双向注意模块实现LM和GNN之间的联合推理，其中每个问题标记参与KG节点，每个KG节点参与问题标记，两种模态表示通过多步交互相互融合和更新。然后，动态修剪模块使用由联合推理产生的注意力权重递归地修剪不相关的KG节点。我们在CommonsenseQA和OpenBookQA数据集上评估了JointLK，并展示了它对现有LM和LM+KG模型的改进，以及它执行可解释推理的能力。
2022-05-02 cs.AI cs.CL
Commonsense Properties from Query Logs and Question Answering Forums
Télécom Paris（巴黎电信学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Aberdeen（阿伯丁大学）
关于对象属性、人类行为和一般概念的常识知识对于健壮的AI应用至关重要。然而，自动获取这些知识是具有挑战性的，因为在线资源的稀疏性和偏见。本文介绍了Quasimodo，一种从非标准Web资源中提取常识属性的方法和工具套件。我们设计了新的方法，利用搜索引擎查询日志和QA论坛，并结合由此产生的候选断言与统计线索，从百科全书，书籍和图像标签中的确证步骤。与之前的常识知识库工作不同，Quasimodo专注于通常与某些对象或概念相关的显着属性。广泛的评估，包括外部用例研究，表明Quasimodo提供了比具有可比质量的最先进基线更好的覆盖率。
2021-02-10 cs.AI cs.CL cs.DB
REM-Net: Recursive Erasure Memory Network for Commonsense Evidence Refinement
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Tencent AI Lab（腾讯AI实验室）
在回答问题时，除了特定的上下文之外，人们还经常利用他们丰富的世界知识。虽然最近的作品检索支持事实/证据从常识知识库提供额外的信息，每个问题，仍然有足够的机会，以提高它的证据质量。这是至关重要的，因为证据的质量是回答常识问题的关键，甚至决定了QA系统性能的上限。在本文中，我们提出了一个递归擦除记忆网络（REM-Net），以应付证据的质量改善。为了解决这个问题，REM-Net配备了一个模块，通过递归删除无法解释问答的低质量证据来细化证据。此外，REM-Net不是从现有的知识库中检索证据，而是利用预先训练的生成模型来生成为问题定制的候选证据。我们在两个常识性的问答数据集WIQA和CosmosQA上进行了实验。结果表明，REM-Net的性能，并表明，细化的证据是可解释的。
2021-03-25 cs.AI cs.CL
RiddleSense: Reasoning about Riddle Questions Featuring Linguistic Creativity and Commonsense Knowledge
University of Southern California（南加州大学）
问：我有五个手指，但我不是活人。我算什么？答案：一只手套。解答这样的谜语式问题是一个具有挑战性的认知过程，因为它需要复杂的常识推理能力，对比喻语言的理解和反事实推理技能，这些都是高级自然语言理解（NLU）的重要能力。然而，目前还没有专门的数据集来测试这些能力。在这里，我们提出了RiddleSense，一个新的多项选择问答任务，它带有第一个大数据集（5.7k个例子），用于回答谜语式常识问题。我们系统地评估了各种各样的模型的挑战，并指出，最好的监督模型和人类的表现之间有很大的差距-这表明在高阶常识推理和语言创造力的方向，以建立先进的NLU系统有趣的未来研究。
2021-07-04 cs.AI cs.CL
Commonsense for Generative Multi-Hop Question Answering Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阅读理解问答任务最近越来越受欢迎，但大多数作品都集中在事实发现的提取问答上。相反，我们专注于更具挑战性的多跳生成任务（NarrativeQA），该任务要求模型在上下文中推理，收集和合成不相交的信息以生成答案。这种类型的多步推理通常还需要理解隐含的关系，人类通过外部背景常识知识来解决这些关系。我们首先提出了一个强大的生成基线，使用多注意力机制执行多跳推理和指针生成器解码器合成的答案。该模型比以前的生成模型表现得更好，并且与当前最先进的跨度预测模型具有竞争力。接下来，我们将介绍一种新的系统，用于通过逐点互信息和基于词频的评分函数从ConceptNet中选择接地多跳关系常识信息。最后，我们有效地使用这个提取的常识信息，以填补上下文跳之间的推理差距，使用选择性门控注意力机制。这显著提高了模型的性能（也通过人工评估进行了验证），为任务建立了新的最先进技术。我们还展示了有希望的初步结果，我们的背景知识增强的泛化能力，通过展示QAngaroo WikiHop，另一个多跳推理数据集的一些改进。
2019-06-01 cs.AI cs.CL
Dynamic Relevance Graph Network for Knowledge-Aware Question Answering
Michigan State University（密歇根州立大学）
本文研究了以知识图谱（KG）形式给出外部知识源的常识问答的学习和推理的挑战。我们提出了一种新的图神经网络结构，称为动态相关图网络（DRGN）。DRGN基于问题和答案实体对给定的KG子图进行操作，并使用节点之间的相关性得分来动态地建立新的边，以学习图网络中的节点表示。这种将相关性显式地用作图边具有以下优点：a）模型可以利用现有关系，重新缩放节点权重，并影响邻域节点的表示在KG子图中聚合的方式。b）它潜在地恢复KG中推理所需的缺失边。此外，作为副产品，由于考虑了问题节点和图实体之间的相关性，我们的模型改进了对否定问题的处理。我们提出的方法显示了竞争力的表现在两个QA基准，CommonsenseQA和OpenbookQA，相比，国家的最先进的公布的结果。
2022-09-20 cs.CL
KEPR: Knowledge Enhancement and Plausibility Ranking for Generative Commonsense Question Answering
Soochow University（苏州大学）
提出KEPR方法，通过知识增强与合理性排序提升生成式常识问答的答案多样性与排序质量，在ProtoQA上取得最佳性能。
2023-05-15 cs.AI cs.CL
Talk to Papers: Bringing Neural Question Answering to Academic Search
SOCO AI
我们介绍了Talk to Papers，它利用了最近的开放领域问答（QA）技术来改善当前的学术搜索体验。它旨在使研究人员能够使用自然语言查询来找到精确的答案，并从大量的学术论文中提取见解。我们在几个标准QA数据集上对经典搜索引擎基线进行了很大的改进，并为社区提供了一个协作数据汇集工具，以通过社区的努力来管理第一个自然语言处理研究QA数据集。
2020-05-21 cs.AI cs.CL
Gold: A Global and Local-aware Denoising Framework for Commonsense Knowledge Graph Noise Detection
HKUST（香港科技大学）
针对常识知识图谱中无监督构建引入的虚假噪声问题，提出结合实体语义、全局规则和局部结构信息的去噪框架Gold，在合成基准上优于基线并提升下游零样本问答效果。
2023-10-18 cs.CL
SODAPOP: Open-Ended Discovery of Social Biases in Social Commonsense Reasoning Models
University of Maryland, College Park（马里兰大学帕克分校）
在NLP模型中检测社会偏见的诊断测试的一个常见局限性是，它们只能检测测试设计者预先指定的刻板印象关联。由于枚举所有可能存在问题的关联是不可行的，因此这些测试可能无法检测到模型中存在但未被设计者预先指定的偏差。针对这一局限性，我们提出了SODAPOP（从关于人的答案中发现社会偏见）的社会常识问答。我们的管道从Social IQa数据集生成修改的实例（Sap et al.，2019）通过（1）替换与不同人口统计组相关联的名称，以及（2）从掩蔽的语言模型生成许多干扰项答案。通过使用社会常识模型来对生成的干扰因素进行评分，我们能够揭示该模型在人口统计学群体和一组开放词之间的刻板印象。我们还测试SODAPOP去偏置模型，并显示多个国家的最先进的去偏置算法的局限性。
2023-02-15 cs.CL
GrapeQA: GRaph Augmentation and Pruning to Enhance Question-Answering
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
提出GrapeQA方法，通过显著实体图增强和上下文感知节点剪枝改进工作图，解决常识问答中信息捕获不全和无关节点问题，在多个基准上超越前代LM+KG方法。
2023-04-18 cs.CL
Distinguish Before Answer: Generating Contrastive Explanation as Knowledge for Commonsense Question Answering
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出CPACE模型，将检索的符号知识转化为对比解释以增强常识问答，在CSQA、QASC和OBQA数据集上取得SOTA或显著提升。
2023-05-21 cs.AI cs.CL
Commonsense Knowledge Mining from Term Definitions
Rensselaer Polytechnic Institute（伦斯勒理工学院）
常识知识已被证明有益于各种应用领域，包括问答和自然语言理解。以前的工作探索了从文本中自动收集常识知识三元组，以增加当前常识知识图谱的覆盖率。我们研究了一些机器学习方法来挖掘常识知识三元组使用字典术语定义作为输入，并提供了一些初步的评估结果。我们从提取候选三元组使用部分的语音标记模式从文本中，然后比较现有的三重评分模型的性能。我们的实验表明，术语定义包含一些有效的和新的常识知识三元组的一些语义关系，也表明了一些挑战，使用现有的三重评分模型。
2021-02-01 cs.AI cs.CL
Subgraph Retrieval Enhanced by Graph-Text Alignment for Commonsense Question Answering
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Ant Group（蚂蚁集团）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
本文提出SEPTA框架，通过BFS风格子图采样策略避免信息丢失，并采用双向对比学习进行图文本对齐，有效增强了子图检索与知识融合，在五个数据集上验证了其有效性和鲁棒性。
2024-11-11 cs.AI cs.CL cs.LG
PIQA: Reasoning about Physical Commonsense in Natural Language
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Microsoft Research AI（微软研究院AI）；Carnegie Mellon University（卡内基梅隆大学）；Paul G. Allen School for Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
不用刷子涂眼影，我应该用棉签还是牙签？需要这种物理常识的问题对今天的自然语言理解系统提出了挑战。虽然最近的预训练模型（如BERT）在更抽象的领域（如新闻文章和百科全书条目，其中文本丰富）的问答方面取得了进展，但在更多的物理领域，由于报告偏见，文本本质上是有限的。人工智能系统能否在不经历物理世界的情况下学习可靠地回答物理常识问题？在本文中，我们介绍了物理常识推理的任务和相应的基准数据集物理交互：问答或PIQA。虽然人类发现数据集很容易（95%的准确率），但大型预训练模型很难（77%）。我们提供了现有模型缺乏的知识维度的分析，这为未来的研究提供了重要的机会。
2019-11-26 cs.AI cs.CL cs.LG
A Collection of Question Answering Datasets for Norwegian
University of Oslo（奥斯陆大学）
本文介绍了四个挪威语问答数据集，覆盖两种书面标准，含超万问答对，并评估了11个语言模型，发现其在常识推理和真实性上存在不足。
2025-01-19 cs.AI cs.CL
Do Fine-tuned Commonsense Language Models Really Generalize?
Information Sciences Institute（信息科学研究所）；USC Viterbi School of Engineering（南加州大学维特比工程学院）
最近，基于转换器的方法，如RoBERTa和GPT-3，在自然语言处理任务，如问答和常识推理方面取得了重大的实验进展。后者通常通过多个基准进行评估，这些基准被框定为前者的多项选择实例。根据艾伦研究所主办的有影响力的排行榜（评估常识推理基准测试的最新性能），基于这种Transformer方法的模型正在接近人类的性能，并且在许多基准测试中的平均准确率超过80%。由于这些是常识性基准测试，因此在常识推理上进行概括的模型在多个常识性基准测试中不应该经历太多的性能损失。在本文中，我们通过设计和进行严格的科学研究来详细研究泛化问题。使用五个常见的基准，多个控制和统计分析，我们发现明确的证据表明，微调常识语言模型仍然不能很好地推广，即使适度的变化，实验设置，并可能，事实上，容易受到数据集的偏见。我们还进行选择性研究，包括定性和一致性分析，以更深入地了解问题。
2020-11-18 cs.AI cs.CL
A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods
Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
常识知识图（CKG）是构建机器的重要资源，这些机器可以对文本或环境输入进行“推理”，并做出超越感知的推断。虽然目前的CKG编码大量概念的世界知识，并已被有效地用于将常识纳入神经模型中，但它们主要编码陈述性或单条件推理知识，并假设所有概念信念具有相同的可能性。此外，这些CKG利用跨概念共享的关系的有限集合，并且缺乏连贯的知识组织结构，从而导致跨较大知识图谱的冗余以及稀疏。因此，今天的CKG，而有用的第一级推理，不足以捕捉更深层次的人类水平的常识推理，可以更细致入微，并受多种上下文或情境因素的影响。因此，在这项工作中，我们研究如何常识知识可以更好地表示-（一）利用概率逻辑表示方案来模拟复合推理知识，并表示概念的信念与不同的可能性和（ii）将分层概念本体，以确定显着的概念相关的关系和组织的信念在不同的概念层次。我们由此产生的知识表示框架可以编码更广泛的世界知识，并表示信仰灵活地使用接地的概念，以及自由文本短语。因此，该框架既可以用作传统的自由文本知识图谱，也可以用作更适合于神经符号应用的基于接地逻辑的推理系统。我们描述了我们如何扩展PrimeNet知识库与我们的框架，通过众包和专家注释，并展示了其应用程序更可解释的基于语义解析和问答。
2022-12-15 cs.CL
QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
Stanford University（斯坦福大学）
使用来自预训练的语言模型（LM）和知识图谱（KG）的知识来回答问题的问题提出了两个挑战：给定QA上下文（问题和答案选择），方法需要（i）从大型KG中识别相关知识，以及（ii）在QA上下文和KG上执行联合推理。在这项工作中，我们提出了一个新的模型，QA-GNN，它通过两个关键的创新来解决上述挑战：（i）相关性评分，我们使用LM来估计KG节点相对于给定QA上下文的重要性，以及（ii）联合推理，我们将QA上下文和KG连接起来形成一个联合图，并通过图神经网络相互更新它们的表示。我们在常识（CommonsenseQA，OpenBookQA）和生物医学（MedQA-USMLE）领域的QA基准上评估我们的模型。QA-GNN优于现有的LM和LM+KG模型，并表现出执行可解释和结构化推理的能力，例如，正确处理疑问句中的否定。
2022-12-13 cs.CL cs.LG
BiRdQA: A Bilingual Dataset for Question Answering on Tricky Riddles
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
谜语是一个有双重或隐含意义的问题或陈述，后面跟着一个意想不到的答案。解谜对机器和人来说都是一项具有挑战性的任务，它考验着机器对形象的、创造性的自然语言的理解能力和运用常识进行推理的能力。我们介绍了BiRdQA，一个包含6614个英语谜语和8751个汉语谜语的双语多项选择问答数据集。对于每个谜语-答案对，我们提供四个干扰项以及来自维基百科的附加信息。干扰项是以最小的偏差按比例自动生成的。现有的单语和多语言QA模型在我们的数据集上表现不佳，这表明机器在解决棘手的谜语方面击败人类还有很长的路要走。该数据集已向社区发布。
2022-03-18 cs.CL
