ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference
University of Sheffield（谢菲尔德大学）；University of Durham（杜伦大学）
神经语言表示模型，如BERT，在大规模非结构化语料库上进行预训练，缺乏对现实世界常识知识的明确基础，并且通常无法记住推理和推断所需的事实。自然语言推理（NLI）是一个具有挑战性的推理任务，它依赖于人类对语言的共同理解和现实世界的常识知识。我们引入了一个新的模型NLI称为外部知识增强BERT（ExBERT），丰富的上下文表示与现实世界的常识知识，从外部知识源，并提高BERT的语言理解和推理能力。ExBERT充分利用从BERT中获得的上下文词表示，并使用它们从知识图谱中检索相关的外部知识，并对检索到的外部知识进行编码。我们的模型自适应地结合了推理输入所需的外部知识背景。在具有挑战性的SciTail和SNLI基准测试上进行的大量实验证明了ExBERT的有效性：与之前的最新技术相比，我们在SciTail上获得了95.9%的准确率，在SNLI上获得了91.5%的准确率。
2021-08-03 cs.CL
Attention Is (not) All You Need for Commonsense Reasoning
SAP Machine Learning Research（SAP机器学习研究院）
最近引入的BERT模型在几个语言理解基准测试中表现出很强的性能。在本文中，我们描述了一个简单的重新实现BERT的常识推理。我们表明，由BERT产生的注意力可以直接用于代词消歧问题和Winograd模式挑战等任务。我们提出的注意力引导的常识推理方法在概念上简单，但经验上强大。对多个数据集的实验分析表明，我们提出的系统在所有情况下都表现得非常好，同时比以前报道的最先进的系统表现得更好。虽然结果表明，BERT似乎隐含地学习建立实体之间的复杂关系，解决常识推理任务可能需要更多的从巨大的文本语料库学习的无监督模型。
2019-05-31 cs.AI cs.CL
Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models
University of Science and Technology of China（中国科学技术大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
最先进的预训练语言表示模型，例如来自Transformers的双向编码器表示（BERT），很少明确地并入常识知识或其他知识。我们提出了一种预训练方法，将常识知识纳入语言表示模型。我们构建了一个常识相关的多项选择问答数据集，用于预训练神经语言表征模型。数据集是自动创建的，我们提出的“对齐，屏蔽，并选择”（AMS）方法。我们还研究了不同的预训练任务。实验结果表明，使用所提出的方法进行微调的预训练模型在两个常识相关的基准测试（包括CommonsenseQA和Winograd Schema Challenge）上比以前的最先进模型有了显着的改进。我们还观察到，与原始的BERT模型相比，经过微调的模型在其他NLP任务（如句子分类和自然语言推理任务）上保持了相当的性能。这些结果验证了所提出的方法，同时显着提高常识相关的NLP任务，不降低一般的语言表示能力。
2020-05-06 cs.CL
Enhancing Review Comprehension with Domain-Specific Commonsense
Brown University（布朗大学）；Megagon Labs（Megagon实验室）
评论理解在提高在线服务和产品质量方面发挥着越来越重要的作用，常识性知识可以进一步提高评论理解。然而，现有的通用常识知识库缺乏足够的覆盖面和准确性，以有意义地提高对特定领域评论的理解。在本文中，我们介绍了xSense，一个有效的系统审查理解使用特定领域的常识知识库（xSense知识库）。我们表明，xSense知识库可以构建成本低廉，并提出了一种知识蒸馏方法，使我们能够使用xSense知识库与BERT，以提高各种审查理解任务的性能。我们评估xSense在三个审查理解任务：方面提取，方面的情感分类，和问答。我们发现xSense在前两项任务中的表现优于最先进的模型，并显着改进了基线BERT QA模型，证明了将常识纳入审查理解管道的有用性。为了方便未来的研究和应用，我们公开发布了三个特定领域的知识库和特定领域的问答基准。
2020-04-06 cs.CL
Commonsense knowledge adversarial dataset that challenges ELECTRA
NTU-Alibaba JRI Singapore（南洋理工大学-阿里巴巴联合研究院新加坡）；Victoria University, Melbourne Australia（澳大利亚维多利亚大学）；Alibaba, Beijing China（阿里巴巴（中国北京））；Shandong University, Shandong China（山东大学（中国山东））；Nanyang Technological University, Singapore（南洋理工大学）
常识知识在人类阅读理解中起着至关重要的作用。虽然机器理解近年来取得了重大进展，但处理常识知识的能力仍然有限。同义词是使用最广泛的常识之一。构造对抗性数据集是发现机器理解模型弱点并支持解决方案设计的重要途径。为了研究机器理解模型处理常识知识的能力，我们创建了一个具有同义词常识的问答数据集（QADS）。QADS是基于SQuAD 2.0通过应用同义词常识知识生成的问题。同义词是从WordNet中提取的。单词通常有多重含义和同义词。我们使用了增强的Lesk算法来执行词义消歧，以识别上下文的同义词。ELECTRA在2019年SQuAD 2.0数据集上实现了最先进的结果。随着规模的扩大，ELECTRA可以实现与BERT相似的性能。然而，QADS表明ELECTRA几乎没有能力处理同义词的常识知识。在我们的实验中，ELECTRA-small在SQuAD 2.0上可以达到70%的准确度，但在QADS上只能达到20%。ELECTRA-large的表现也好不到哪里去。它在SQuAD 2.0上的准确率为88%，但在QADS上显着下降到26%。在我们早期的实验中，BERT虽然在QADS上也失败得很惨，但没有ELECTRA那么糟糕。结果表明，即使是表现最好的NLP模型也没有能力处理阅读理解中必不可少的常识知识。
2020-10-25 cs.CL
Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming
Purdue University（普渡大学）；University of Chicago（芝加哥大学）
在自然语言处理中，被训练来估计上下文中的单词概率的模型已经变得无处不在。这些模型如何使用上下文中的词汇线索来告知他们的单词概率？为了回答这个问题，我们提出了一个案例研究，分析了预先训练的BERT模型与语义启动的测试。使用英语词汇刺激，显示在人类启动，我们发现，BERT也显示“启动”，预测一个词的概率更大时，上下文包括一个相关的词与一个无关的。这种影响随着上下文提供的信息量的增加而减少。后续分析表明，随着上下文信息量的增加，BERT越来越多地被相关的启动词分散注意力，相关词的概率越来越低。我们的研究结果强调了在这些模型中研究单词预测时考虑上下文约束效应的重要性，并强调了与人类处理的可能相似之处。
2020-10-06 cs.CL
When More Is Less: A Systematic Analysis of Spatial and Commonsense Information for Visual Spatial Reasoning
The University of Melbourne（墨尔本大学）
本文通过系统分析发现，过多信息未必提升视觉空间推理性能，针对性单空间提示和精确空间定位可提高准确性。
2026-02-25 cs.CL
When Choosing Plausible Alternatives, Clever Hans can be Clever
Tohoku University（东北大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
预训练的语言模型，如BERT和RoBERTa，在常识推理基准COPA中表现出了很大的改进。然而，最近的研究发现，自然语言理解基准的许多改进并不是因为模型学习了任务，而是因为它们利用表面线索的能力越来越强，例如在正确答案中出现的次数比错误答案中出现的次数更多。BERT和Roberta在COPA上的良好表现是否也是由此造成的？我们在COPA中发现了表面线索，以及BERT利用这些线索的证据。为了解决这个问题，我们引入了平衡COPA，这是COPA的一个扩展，它不会受到容易利用的单个令牌线索的影响。我们分析了BERT和RoBERTa在原始COPA和平衡COPA上的表现，发现BERT在表面线索存在时依赖于表面线索，但一旦它们变得无效，仍然可以达到相当的表现，这表明BERT在被迫时在一定程度上学习任务。相比之下，RoberTa似乎并不依赖于表面的线索。
2019-11-01 cs.CL
CoCoLM: COmplex COmmonsense Enhanced Language Model with Discourse Relations
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
大规模的预训练语言模型已经表现出强大的知识表示能力。然而，最近的研究表明，即使这些巨大的模型包含丰富的简单常识知识（例如，鸟会飞，鱼会游。他们经常与涉及多种可能性的复杂常识知识（以动词为中心的短语，例如，识别"Jim yells at Bob“和" Bob is upset”之间的关系）。为了解决这个问题，在本文中，我们提出帮助预训练的语言模型更好地结合复杂的常识知识。不同于现有的微调方法，我们不专注于一个特定的任务，并提出了一个通用的语言模型命名为CoCoLM。通过对大规模可能性知识图谱ASER的仔细训练，我们成功地教授了预先训练的语言模型（即，BERT和ROBERTa）在可能性中丰富了复杂的常识性知识。在多个下游常识任务上的实验表明了CoCoLM的有效性。
2022-05-26 cs.CL
A Systematic Investigation of Commonsense Knowledge in Large Language Models
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；DeepMind（深度思维）；Inflection AI（Inflection人工智能公司）；Reka（Reka公司）；Cohere（Cohere公司）；University of Oxford（牛津大学）
在大量数据上训练的语言模型（LM）在zero-shot和Few-Shot设置下的许多NLP任务中表现出令人印象深刻的性能。在这里，我们的目标是更好地理解这些模型学习常识知识的程度-这是许多NLP应用程序的关键组成部分。我们对大型预训练LM进行系统和严格的zero-shot和Few-Shot常识评估，其中我们：（i）仔细控制LM利用潜在表面线索和注释伪影的能力，以及（ii）考虑与常识知识无关的因素引起的性能变化。我们的研究结果强调了预先训练的LM在没有特定任务监督的情况下获取常识知识的局限性;此外，使用较大的模型或Few-Shot评估不足以实现人类水平的常识性能。
2022-10-31 cs.CL
Knowledge-Augmented Language Models for Cause-Effect Relation Classification
The George Washington University（乔治华盛顿大学）；Meta AI
先前的研究已经表明了知识增强方法在预训练语言模型中的有效性。但是，这些方法在域和下游任务中的行为不同。在这项工作中，我们研究了增强预训练的语言模型与常识知识的因果关系分类和常识因果推理任务。在自动语言化ATOMIC 2020，一个广泛覆盖的常识推理知识图，和GLUCOSE，一个隐含的常识因果知识的数据集，我们不断预训练BERT和RoBERTa与语言化的数据。然后，我们评估产生的模型上的因果对分类和回答常识因果推理问题。我们的研究结果表明，用常识知识增强的持续预训练的语言模型在两个常识因果推理基准（COPA和BCOPA-CE）以及时间和因果推理（TCR）数据集上的表现优于我们的基线，而无需对模型架构进行额外改进或使用质量增强的数据进行微调。
2022-06-02 cs.CL
Learning to Learn to be Right for the Right Reasons
Tohoku University（东北大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
提高模型在保留数据上的泛化能力是常识推理的核心目标之一。最近的工作表明，在具有表面线索的数据集上训练的模型往往在具有表面线索的简单测试集上表现良好，但在没有表面线索的硬测试集上表现不佳。以前的方法都采用手动方法来鼓励模型不要过度拟合表面线索。虽然其中一些方法在硬实例上提高了性能，但它们也会导致简单实例的性能下降。在这里，我们建议显式地学习一个模型，该模型在具有表面线索的简单测试集和没有表面线索的硬测试集上都表现良好。使用元学习目标，我们学习这样一个模型，它可以提高简单测试集和硬测试集的性能。通过评估我们的模型上的选择合理的替代品（COPA）和常识解释，我们表明，我们提出的方法导致提高性能的简单测试集和硬测试集上，我们观察到高达16.5个百分点的改善基线。
2021-04-23 cs.CL
Leveraging Commonsense Knowledge on Classifying False News and Determining Checkworthiness of Claims
Universitat Politècnica de València（瓦伦西亚理工大学）；Izmir Institute of Technology（伊兹密尔理工学院）；bytes Corp.（2bytes公司）；University of Koblenz-Landau（科布伦茨-兰道大学）
虚假新闻的广泛和迅速传播使事实核查成为一项必不可少的要求。鉴于其耗时和劳动密集型的性质，该任务要求自动化支持以满足需求。在本文中，我们建议利用常识知识进行虚假新闻分类和值得检查的索赔检测。认为常识知识是人类可信度的一个因素，我们微调的BERT语言模型与常识问答任务和上述任务中的多任务学习环境。为了预测细粒度的虚假新闻类型，我们将所提出的微调模型的性能与公共数据集以及新收集的数据集上的虚假新闻分类模型进行了比较。我们将该模型的性能与单任务BERT模型和最先进的检查值得索赔检测工具进行比较，以评估检查值得索赔检测。我们的实验分析表明，常识知识可以提高这两个任务的性能。
2021-08-08 cs.AI cs.CL
Birds have four legs?! NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models
University of Southern California（南加州大学）
最近的工作表明，预训练语言模型（PTLM），如BERT，拥有一定的常识和事实知识。他们认为，通过预测屏蔽词，将PTLM用作“神经知识库”是有希望的。令人惊讶的是，我们发现这可能不适用于数字常识知识（例如，鸟通常有两条腿。在本文中，我们调查是否以及在何种程度上，我们可以从PTLM以及这个过程的鲁棒性的数值常识知识。为了研究这一点，我们引入了一个新的探测任务，诊断数据集NumerSense包含13.6k个屏蔽词预测探测器（10.5k用于微调，3.1k用于测试）。我们的分析表明：（1）在任何微调之前，BERT及其更强的变体RoBERTa在诊断数据集上表现不佳;（2）远程监督的微调带来了一些改进;（3）与人类表现相比，最好的监督模型仍然表现不佳（准确率为54.06% vs 96.3%）。
2020-09-18 cs.AI cs.CL
Is She Even Relevant? When BERT Ignores Explicit Gender Cues
Department of Computational Cognitive Science, Tilburg University（蒂尔堡大学计算认知科学系）
本文研究了荷兰BERT模型在训练过程中性别信息的出现时机，发现模型在短句模板中难以更新性别表示，导致默认男性解读。
2026-05-08 cs.CL
K-Act2Emo: Korean Commonsense Knowledge Graph for Indirect Emotional Expression
Seoul National University（首尔大学）
本文提出韩语常识知识图谱 K-Act2Emo，包含 1,900 个间接情感表达，用于训练情感推理模型，其微调的 BART 模型性能媲美 GPT-4 Turbo。
2024-03-23 cs.CL
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）
常识推理旨在赋予机器以人类的能力，对我们日常生活中的普通情况做出假设。在本文中，我们提出了一个文本推理框架回答常识问题，它有效地利用外部的，结构化的常识知识图谱执行可解释的推理。该框架首先从语义空间到基于知识的符号空间将问答对作为模式图，外部知识图谱的相关子图。它用一个新的知识感知图网络模块KagNet来表示模式图，最后用图表示来给答案打分。我们的模型是基于图卷积网络和LSTM，与分层路径为基础的注意力机制。中等注意力分数使其透明和可解释，从而产生可信的推论。使用ConceptNet作为基于Bert的模型的唯一外部资源，我们在CommonsenseQA（一个用于常识推理的大规模数据集）上实现了最先进的性能。
2019-09-04 cs.AI cs.CL
ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for Nouns' Semantic Properties and their Prototypicality
University of Helsinki（赫尔辛基大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
大规模语言模型编码了通过在预训练期间暴露于海量数据而获得的丰富常识知识，但它们对实体及其语义属性的理解尚不清楚。我们探测BERT（Devlin等人，2019年）的英语名词的属性表示的形容词，不限制他们修饰的名词的参考范围（如在“红色汽车”），而是强调一些固有的方面（“红色草莓”）。我们的研究基于心理语言学数据集，捕捉名词和它们的语义特征之间的关联强度。我们探测BERT使用完形填空任务，并在分类设置，并表明该模型具有边际知识，这些功能和他们的患病率，在这些数据集表示。我们讨论的因素，使评估具有挑战性，并阻碍得出一般性的结论模型的知识名词属性。最后，我们表明，当测试中的微调设置寻址蕴涵，BERT成功地利用所需的信息推理的形容词-名词结构的意义优于以前的方法。
2021-10-12 cs.CL
Incorporating Connections Beyond Knowledge Embeddings: A Plug-and-Play Module to Enhance Commonsense Reasoning in Machine Reading Comprehension
School of EECS, Peking University（北京大学电子工程与计算机科学学院）；Peng Cheng Laboratory（鹏城实验室）
传统的机器阅读理解（MRC）已经通过模式匹配得到了很好的解决，但常识推理的能力仍然是人类和机器之间的差距。以前的方法通过预训练的知识图谱嵌入（KGE）丰富单词表示来解决这个问题。然而，它们对知识图谱（KG）中节点之间的大量连接的利用有限，这些连接可能是构建常识推理链的关键线索。在本文中，我们提出了一个即插即用的模块来存储连接信息的常识推理（PIECER）。除了用知识嵌入丰富单词表示外，PIECER还构建了一个联合查询-通道图，通过单词之间面向知识的连接来明确地指导常识推理。此外，PIECER具有很高的通用性，因为它可以插入到任何MRC模型的合适位置。实验结果ReCoRD，一个大规模的公共MRC数据集，需要常识推理，PIECER介绍了稳定的性能改善四个代表性的基础MRC模型，特别是在低资源设置。
2021-03-26 cs.AI cs.CL
BERTese: Learning to Speak to BERT
School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）；Allen Institute for AI（艾伦人工智能研究所）
大型预训练的语言模型已被证明在其参数中编码了大量的世界和常识知识，从而引起了人们对提取这些知识的方法的极大兴趣。在过去的工作中，知识是通过手动编写查询并使用单独的管道收集释义来提取的。在这项工作中，我们提出了一种方法，自动重写查询成“BERTese”，一个释义查询，直接优化更好的知识提取。为了鼓励有意义的重写，我们添加了辅助损失函数，以鼓励查询对应于实际的语言标记。我们的经验表明，我们的方法优于竞争基线，避免了复杂的管道的需要。此外，BERTese还提供了对语言类型的一些深入了解，这些语言类型有助于语言模型执行知识提取。
2021-03-11 cs.CL cs.LG
KFCNet: Knowledge Filtering and Contrastive Learning Network for Generative Commonsense Reasoning
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）
预先训练的语言模型已经在广泛的自然语言处理（NLP）任务中取得了实质性的进展，但已经被证明对于具有高质量输出要求的自然语言生成任务具有局限性，例如常识生成和广告关键字生成。在这项工作中，我们提出了一种新的知识过滤和对比学习网络（KFCNet），参考外部知识，并取得更好的生成性能。具体来说，我们提出了一个基于BERT的过滤器模型，以消除低质量的候选人，并分别应用对比学习的编码器和解码器中的每一个，在一个通用的编码器-解码器架构。编码器对比模块有助于在编码过程中捕获全局目标语义，解码器对比模块在学习一般特征的同时增强检索到的原型的实用性。在CommonGen基准测试上进行的大量实验表明，我们的模型远远优于先前的最先进水平：BLEU-4为+6.6点（42.5 vs. 35.9），SPICE为+3.7点（33.3 vs. 29.6），CIDER为+1.3点（18.3 vs. 17.0）。我们进一步验证了所提出的对比模块在广告关键词生成上的有效性，并表明我们的模型具有潜在的商业价值。
2021-09-14 cs.CL
Classifying vaccine sentiment tweets by modelling domain-specific representation and commonsense knowledge into context-aware attentive GRU
The University of Sydney（悉尼大学）
疫苗是一项重要的公共卫生措施，但疫苗犹豫和拒绝会造成疫苗覆盖率低的群体，降低疫苗接种计划的有效性。社交媒体提供了一个机会，通过包括地理位置和详细的疫苗相关问题来估计新出现的疫苗接受风险。用于对社交媒体帖子（例如疫苗相关推文）进行分类的方法使用在一般领域文本上训练的语言模型（LM）。然而，大规模测量疫苗情绪的挑战来自于缺乏音调重音和手势提示，并且可能并不总是具有关于用户的附加信息，例如，过去的微博和社交关系LM中的另一个挑战是缺乏用户元数据中明显的常识知识，即，在这项研究中，为了对信息有限的疫苗情感推文进行分类，我们提出了一种新的端到端框架，该框架由互联组件组成，这些组件使用在疫苗相关推文上训练的特定领域LM，并将常识知识建模为具有上下文感知注意力的双向门控递归网络（CK-BiGRU）。我们进一步利用语法，用户元数据和情感信息来捕获推文的情感。我们使用两个流行的疫苗相关的Twitter数据集进行了实验，并证明我们提出的方法在识别亲疫苗，反疫苗和中性推文方面优于最先进的模型。
2021-06-17 cs.CL
How Additional Knowledge can Improve Natural Language Commonsense Question Answering?
Arizona State University（亚利桑那州立大学）
最近几个数据集已被提出，以鼓励在问答领域的研究，其中常识知识预计将发挥重要作用。最近的语言模型，如ROBERTA，BERT和GPT，已经在维基百科的文章和书籍上进行了预训练，在几个这样的多选择分类（MCQ）数据集上表现出合理的性能。我们在这项工作中的目标是开发方法，将额外的（常识）知识到语言模型为基础的方法，更好地回答问题，在这些领域。在这项工作中，我们首先对外部知识来源进行分类，并显示使用这些来源确实会提高性能。然后，我们探讨了三种不同的策略，知识整合和四种不同的模式，回答问题，使用外部常识知识。我们分析我们的预测，以探索进一步改进的范围。
2020-04-17 cs.CL cs.IR cs.LG
Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary
INESC TEC（葡萄牙国家工程与系统创新研究所）；University of Porto（波尔图大学）；Cardiff University（卡迪夫大学）
常识推理的进展通常是从设计要求常识知识的问答任务的性能改进来衡量的。然而，在这些特定任务上微调大语言模型（LM）并不直接评估在预训练期间学习的常识。在预先训练的LM中，对常识知识的最直接评估可以说是针对常识断言的完形填空式任务（例如，一笔用于[面具]。）然而，这种方法受到LM可用于屏蔽预测的词汇表的限制，并且其精度取决于断言提供的上下文。在这项工作中，我们提出了一种方法，用于丰富LM与接地的感觉库存（即，WordNet）在词汇水平上可用，无需进一步培训。这种修改将完形填空式提示的预测空间增大到大型本体的大小，同时实现更细粒度（感测级）的查询和预测。为了评估LM具有更高的精度，我们提出了SenseLAMA，一个完形填空风格的任务，具有来自WordNet，WikiData和ConceptNet的消歧三元组的动词化关系。将我们的方法应用于BERT，产生一个名为SynBERT的WordNet丰富版本，我们发现LM可以从自我监督中学习非平凡的常识知识，覆盖众多的关系，并且比基于相似性的方法更有效。
2022-10-12 cs.AI cs.CL
CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
Tel-Aviv University（特拉维夫大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
在回答问题时，除了特定的上下文之外，人们还经常利用他们丰富的世界知识。最近的工作主要集中在回答一些相关文件或背景下的问题，并要求很少的一般背景。为了研究具有先验知识的问答，我们提出了常识问答：一个具有挑战性的新数据集常识问答。为了捕捉关联之外的常识，我们从ConceptNet（Speer等人，2017）与单个源概念具有相同语义关系的多个目标概念。人群工作者被要求创作多项选择题，其中提到源概念，并依次区分每个目标概念。这鼓励工作人员创建具有复杂语义的问题，这些问题通常需要先验知识。我们通过这个过程创建了12，247个问题，并通过大量强基线证明了我们任务的难度。我们的最佳基线是基于BERT-large（Devlin et al.，2018年），并获得56%的准确率，远低于人类的表现，这是89%。
2019-03-15 cs.AI cs.CL cs.LG
ALBERT with Knowledge Graph Encoder Utilizing Semantic Similarity for Commonsense Question Answering
Seoul National University（首尔国立大学）；Hanshin University（韩神大学）
最近，预先训练的语言表示模型，如来自transformers的双向编码器表示（BERT），在常识问答（CSQA）中表现良好。然而，存在的问题是，模型不直接使用外部存在的知识源的显式信息。为了增强这一点，已经提出了其他方法，例如知识感知图网络（KagNet）和多跳图关系网络（MHGRN）。在这项研究中，我们建议使用最新的预训练的语言模型，一个精简的双向编码器表示从变压器（ALBERT）与知识图谱信息抽取技术。我们还提出了新的方法，模式图扩展到最近的语言模型。然后，我们分析了基于知识图谱的知识抽取技术应用于最近的预训练语言模型的效果，并证实模式图扩展在一定程度上是有效的。此外，我们表明，我们提出的模型可以实现更好的性能比现有的KagNet和MHGRN模型在CommonsenseQA数据集。
2022-11-14 cs.AI cs.CL
Commonsense Properties from Query Logs and Question Answering Forums
Télécom Paris（巴黎电信学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Aberdeen（阿伯丁大学）
关于对象属性、人类行为和一般概念的常识知识对于健壮的AI应用至关重要。然而，自动获取这些知识是具有挑战性的，因为在线资源的稀疏性和偏见。本文介绍了Quasimodo，一种从非标准Web资源中提取常识属性的方法和工具套件。我们设计了新的方法，利用搜索引擎查询日志和QA论坛，并结合由此产生的候选断言与统计线索，从百科全书，书籍和图像标签中的确证步骤。与之前的常识知识库工作不同，Quasimodo专注于通常与某些对象或概念相关的显着属性。广泛的评估，包括外部用例研究，表明Quasimodo提供了比具有可比质量的最先进基线更好的覆盖率。
2021-02-10 cs.AI cs.CL cs.DB
PseudoReasoner: Leveraging Pseudo Labels for Commonsense Knowledge Base Population
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；NVIDIA（英伟达）
常识知识库填充的目的是对常识知识库上的不可见实体和断言进行推理，是一个重要而困难的常识推理任务。一个挑战是它需要域外泛化领域泛化能力，因为用于训练的源CSKB具有相对较小的规模（1 M），而用于群体的整个候选空间大得多（200 M）。我们提出了一个用于CSKB群体的半监督学习框架，它使用在CSKB上预训练的教师模型来提供未标记候选数据集上的伪标签，以供学生模型学习。教师可以是一个生成模型，而不是像以前的作品那样局限于判别模型。此外，我们设计了一个新的过滤过程的伪标签的影响函数和学生模型的预测，以进一步提高性能。该框架可以将骨干模型KG-BERT（RoBERTa-large）的整体性能提高3.3个点，特别是域外性能提高5.3个点，达到了最先进的水平。代码和数据可以在https://github.com/HKUST-KnowComp/PseudoReasoner上获得。
2022-10-14 cs.AI cs.CL
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore（新加坡国立大学）
视觉关系检测旨在推理图像中显著对象之间的关系，近年来受到越来越多的关注。受人类推理机制的启发，人们认为外部视觉常识知识有利于图像中对象的视觉关系推理，但现有方法很少考虑这一点。在本文中，我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers（RVL-BERT），它执行关系推理与视觉和语言常识知识，通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外，我们的模型将目标检测从视觉关系识别中分离出来，直接采用对象名称，使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明，与转移的知识和新的模块，RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
Does BERT Learn as Humans Perceive? Understanding Linguistic Styles through Lexica
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota（明尼苏达大学）
人们通过所写文章的语言风格来表达自己的意图和态度。在这项研究中，我们通过两个镜头调查跨风格的词汇使用情况：人类感知和机器词的重要性，因为词的风格线索，他们提供的强度不同。为了收集人类感知的标签，我们在基准风格数据集的基础上策划了一个新的数据集Hummingbird。我们让人群工作者突出文本中的代表性词语，使他们认为文本具有以下风格：礼貌，情感，攻击性和五种情感类型。然后，我们将这些人类单词标签与来自流行的微调风格分类器（如BERT）的单词重要性进行比较。我们的研究结果表明，BERT经常发现与目标风格不相关的内容词作为风格预测中使用的重要词，但即使对于某些风格（例如，积极的情绪和喜悦）人类和机器识别的单词对于某些风格共享显著的重叠。
2021-11-12 cs.CL
BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies?
Cardiff University（卡迪夫大学）
类比在人类的常识推理中起着核心作用。识别类比的能力，如“眼睛是看什么耳朵是听”，有时被称为类比比例，塑造我们如何构建知识和理解语言。然而，令人惊讶的是，在语言模型时代，识别这种类比的任务还没有得到太多的关注。在本文中，我们分析了基于transformer的语言模型在这个无监督任务上的能力，使用从教育环境中获得的基准，以及更常用的数据集。我们发现，现成的语言模型可以在一定程度上识别类比，但挣扎与抽象和复杂的关系，结果是高度敏感的模型架构和超参数。总体而言，使用GPT-2和RoBERTa获得了最佳结果，而使用BERT的配置无法优于词嵌入模型。我们的研究结果为未来的工作提出了重要的问题，即预训练的语言模型如何以及在多大程度上捕获关于抽象语义关系的知识。
2022-09-09 cs.CL cs.LG
Probing Neural Network Comprehension of Natural Language Arguments
National Cheng Kung University（国立成功大学）
我们惊讶地发现，BERT在论证推理理解任务中的峰值表现为77%，仅比未经训练的人类平均基线低3分。然而，我们表明，这一结果是完全占利用虚假的统计线索的数据集。我们分析了这些线索的性质，并证明了一系列的模型都利用它们。这种分析为构建对抗性数据集提供了信息，所有模型都可以在该数据集上实现随机精度。我们的对抗性数据集提供了一个更强大的参数理解评估，应该在未来的工作中作为标准。
2019-09-16 cs.CL
Visual Riddles: a Commonsense and World Knowledge Challenge for Large Vision and Language Models
Ben Gurion University（本古里安大学）；Bar-Ilan University（巴伊兰大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
针对现有视觉语言模型在利用常识和世界知识理解复杂视觉场景方面的不足，提出包含400个视觉谜题的Visual Riddles基准，通过自动评估任务测试模型性能，发现模型远落后于人类（人类准确率82%，最佳模型Gemini-Pro-1.5仅40%），为模型优化提供资源。
2024-11-25 cs.CL cs.CV
iReason: Multimodal Commonsense Reasoning using Videos and Natural Language with Interpretability
Stanford University（斯坦福大学）
因果关系知识对于构建强大的AI系统至关重要。深度学习模型通常在需要因果推理的任务上表现不佳，因果推理通常是使用某种形式的常识知识推导出来的，这些常识知识在输入中不能立即获得，而是由人类隐含地推断出来的。先前的工作已经揭开了虚假的观察偏差，模型在缺乏因果关系的情况下成为牺牲品。虽然语言表征模型在学习的嵌入中保留了上下文知识，但它们在训练过程中没有考虑因果关系。通过将具有输入特征的因果关系混合到执行视觉认知任务（诸如场景理解、视频描述、视频问答等）的现有模型，由于对因果关系的深入了解，可以取得更好的业绩。最近，已经提出了几个模型，已经解决了从视觉或文本模态中挖掘因果数据的任务。然而，并不存在广泛的研究，通过并列的视觉和语言的方式来挖掘因果关系。虽然图像为我们提供了丰富且易于处理的资源来挖掘因果关系知识，但视频更密集，并且由自然的时间顺序事件组成。此外，文本信息提供了视频中可能隐含的细节。我们提出了iReason，一个框架，推断视觉语义常识知识使用视频和自然语言字幕。此外，iReason的架构集成了一个因果合理化模块，以帮助可解释性，错误分析和偏见检测的过程。我们使用语言表示学习模型（BERT，GPT-2）以及当前最先进的多模态因果关系模型进行了双管齐下的比较分析，证明了iReason的有效性。
2021-06-25 cs.AI cs.CL cs.CV
Enhancing Cross-Modal Contextual Congruence for Crowdfunding Success using Knowledge-infused Learning
Georgia State University（佐治亚州立大学）；Adobe MDSR；Wright State University（怀特州立大学）；California Polytechnic State University（加州州立大学帕克校区）
本研究引入知识图谱的外部常识知识，结合紧凑型视觉语言模型增强多模态数据表征，以提升众筹活动成功预测性能，验证了跨模态上下文一致性对众筹成功的重要性。
2024-11-17 cs.AI cs.CL cs.CV
Pre-training Text-to-Text Transformers for Concept-centric Common Sense
Beihang University（北京航空航天大学）；University of Southern California（南加州大学）
预训练语言模型（PTLM）在一系列自然语言理解（NLU）和生成（NLG）任务中取得了令人印象深刻的结果。然而，目前的预训练目标，如掩码标记预测（对于BERT风格的PTLM）和掩码跨度填充（对于T5风格的PTLM），并没有明确地对日常概念的关系常识知识进行建模，这对于许多需要常识来理解或生成的下游任务至关重要。为了用以概念为中心的常识知识来增强PTLM，在本文中，我们提出了从文本中学习常识的生成和对比目标，并将它们用作中间自监督学习任务，用于增量预训练PTLM（在下游数据集上进行特定任务的微调之前）。此外，我们开发了一个联合预训练框架，以统一生成和对比目标，使它们能够相互加强。大量的实验结果表明，我们的方法，概念感知语言模型（CALM），可以包装更多的常识知识到一个预先训练的文本到文本的转换器Transformer的参数，而不依赖于外部知识图谱，在NLU和NLG任务产生更好的性能。我们表明，虽然只在相对较小的语料库上进行了几步增量预训练，但CALM的性能优于基线方法，并且与一些较大的PTLM相当，这表明CALM可以作为一种通用的即插即用方法，用于提高PTLM的常识推理能力。
2020-11-25 cs.AI cs.CL cs.LG
Construction Identification and Disambiguation Using BERT: A Case Study of NPN
Georgetown University（乔治城大学）
本文通过构建NPN构式基准数据集并训练探测分类器，发现BERT能够区分NPN构式与干扰项、进行义项消歧，且对词序形式敏感，证明其潜在编码了超越表层句法和词汇线索的构式知识。
2025-07-06 cs.AI cs.CL
Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference
Queen’s University（女王大学）
虽然最近对自然语言推理的研究已经从大型注释数据集中受益匪浅，但注释数据中提供的推理相关知识（包括常识）的数量仍然相当有限。有两种方法可以用来进一步解决这一限制：（1）无监督预训练可以利用更大的非结构化文本数据中的知识;（2）结构化（通常是人工策划的）知识已经开始被考虑用于NLI的基于神经网络的模型。一个迫在眉睫的问题是，这两种方法是否可以相互补充，或者如何开发能够将它们的优势结合起来的模型。在本文中，我们提出了在预训练模型的不同组件中利用结构化知识的模型。我们的研究结果表明，所提出的模型比以前的BERT为基础的国家的最先进的模型表现更好。虽然我们的模型是为NLI提出的，但它们可以很容易地扩展到其他句子或句子对分类问题。
2021-09-08 cs.AI cs.CL cs.LG
