Automatic Extraction of Commonsense LocatedNear Knowledge
Department of Computer Science and Engineering（计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
LocatedNear关系是一种描述现实生活中两个物理对象通常彼此靠近的常识性知识。在本文中，我们研究如何自动提取这种关系，通过一个层次的关系分类器和聚集的评分实体对从一个大的语料库。此外，我们还发布了两个基准数据集，用于评估和未来的研究。
2018-05-13 cs.AI cs.CL
A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories
University of Rochester（罗切斯特大学）；United States Naval Academy（美国海军学院）；Microsoft Research（微软研究院）；Virginia Tech（弗吉尼亚理工大学）；The Institute for Human & Machine Cognition（人类与机器认知研究所）
常识知识的表示和学习是实现深度语言理解的基础问题之一。这个问题对于理解事件之间的因果关系和相关关系尤其具有挑战性。虽然这个主题在NLP社区中引起了很大的兴趣，但由于缺乏适当的评估框架，研究受到了阻碍。本文试图用一个新的评价故事理解和剧本学习的框架来解决这个问题：故事完形填空。这个测试需要一个系统来为一个四句话的故事选择正确的结尾。我们创建了一个新的语料库~ 50 k五句话的常识故事，ROCStories，使这种评估。这个语料库在两个方面是独一无二的：（1）它捕捉了日常事件之间丰富的因果和时间常识关系，（2）它是一个高质量的日常生活故事集，也可以用于故事生成。实验评估表明，许多基于浅语言理解的基线和最先进的模型很难在故事完形填空测试中获得高分。我们讨论了这些对剧本和故事学习的影响，并为更深层次的语言理解提供了建议。
2016-04-06 cs.AI cs.CL
Metric-guided Distillation: Distilling Knowledge from the Metric to Ranker and Retriever for Generative Commonsense Reasoning
The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）
常识生成的目标是在给定的概念下生成一个描述日常场景的真实句子，这是非常具有挑战性的，因为它要求模型具有关系推理和组合泛化能力。以前的工作重点是检索原型句子提供的概念，以协助生成。他们首先使用稀疏检索器检索候选句子，然后用排名器对候选句子进行重新排名。然而，由它们的排序器返回的候选可能不是最相关的句子，因为排序器平等地对待所有候选，而不考虑它们与给定概念的参考句子的相关性。另一个问题是，重新排序是非常昂贵的，但只使用检索器将严重降低其生成模型的性能。为了解决这些问题，我们提出了度量蒸馏规则来从度量中提取知识（例如，蓝）的排名。我们进一步将提炼出的排序器总结的关键知识传递给检索器。通过这种方式，由排名器和检索器预测的候选句子的相关性得分将与由度量测量的它们的质量更一致。在CommonGen基准测试上的实验结果验证了该方法的有效性：（1）采用提取的排序器生成模型，取得了新的结果。(2)我们这一代的蒸馏猎犬模型甚至超过了以前的SOTA。
2022-10-21 cs.CL
A Review of Winograd Schema Challenge Datasets and Approaches
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；New York University（纽约大学）；Robust AI；Systems & Technology Research（系统与技术研究公司）；PARC（帕洛阿尔托研究中心）
Winograd Schema Challenge是一个常识推理和自然语言理解的挑战，作为图灵测试的替代方案。一个Winograd图式是一对句子，在一个或两个词与一个高度模糊的代词不同，解决了不同的两个句子，这似乎需要常识知识来正确解决。这些例子被设计成人类可以轻松解决，但机器很难解决，原则上需要对文本内容及其描述的情况有深刻的理解。本文回顾了现有的Winograd Schema Challenge基准数据集和自引入以来已发布的方法。
2020-04-23 cs.AI cs.CL
Incorporating Commonsense Knowledge into Story Ending Generation via Heterogeneous Graph Networks
Soochow University（苏州大学）；Fudan University（复旦大学）；Princeton University（普林斯顿大学）
故事结局生成是一个有趣且具有挑战性的任务，其目的是在给定的故事背景下生成连贯合理的结局。任务的关键挑战在于如何充分理解故事背景，有效处理故事线索背后的内隐知识，这是前人工作尚未探索的。在本文中，我们提出了一个故事异构图网络（SHGN）显式建模的故事上下文的信息在不同的粒度级别和它们之间的多粒度的交互关系。具体来说，我们把常识知识、单词和句子作为三种类型的节点。为了聚合非本地信息，还引入了全局节点。给定这种异构图网络，节点表示通过图传播更新，这充分利用常识知识，以促进故事的理解。此外，我们还设计了两个辅助任务来隐式地捕捉情境中的情感趋势和关键事件。在多任务学习策略中，辅助任务与主要故事结局生成任务联合优化。在ROC Stories语料库上的大量实验表明，所开发的模型达到了新的最先进的性能。人类研究进一步表明，我们的模型产生了更合理的故事结局。
2022-01-29 cs.AI cs.CL
MuDRiC: Multi-Dialect Reasoning for Arabic Commonsense Validation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
MuDRiC通过引入多方言阿拉伯语常识数据集和图卷积网络方法，提升阿拉伯语常识验证性能。
2026-01-10 cs.CL
Sentence Splitter: Uncovering Latent Factual Structure for Self-Supervised Learning
Sirjan University of Technology（锡尔詹理工大学）
研究提出句子分割器这一自监督框架，基于T5架构，通过离散分割问题识别句子潜在事实结构，利用自然语言模板训练，可提取前缀-尾部对训练生成模型，实验证明其能提升知识图谱补全和常识问答等下游任务性能。
2026-07-23 cs.AI cs.CL
Retrieval Enhanced Model for Commonsense Generation
New York University（纽约大学）；Microsoft（微软）
常识生成是一项具有挑战性的任务，即使用所提供的概念生成描述日常场景的合理句子。它对常识知识的推理和组合泛化能力的要求甚至困扰着强大的预训练语言生成模型。我们提出了一个新的框架，使用检索方法，以提高预训练和微调常识生成。我们通过概念匹配检索原型句子候选，并将其用作辅助输入。为了进行微调，我们通过可训练的句子检索器进一步提高了它的性能。我们在大规模的CommonGen基准测试上通过实验证明，我们的方法取得了新的最先进的结果。
2021-05-24 cs.AI cs.CL
PerCoR: Evaluating Commonsense Reasoning in Persian via Multiple-Choice Sentence Completion
PerCoR是首个大规模波斯语常识推理基准测试，通过多项选择句完成问题评估常识推理能力，展示了DRESS-AF方法在提升数据集难度和模型性能方面的有效性。
2026-01-15 cs.AI cs.CL
Latent Reasoning via Sentence Embedding Prediction
KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；University College London（伦敦大学学院）；LG AI Research（LG人工智能研究）
本研究提出一种通过自回归预测下一句连续嵌入使预训练语言模型在句子空间进行潜在推理的框架，实验表明连续推理下的上下文嵌入性能媲美CoT且推理时FLOPs减半。
2025-10-11 cs.AI cs.CL
Discriminative Sentence Modeling for Story Ending Prediction
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）
故事结局预测是一项需要为给定故事选择合适结局的任务，这需要机器理解故事，有时需要常识知识。为了解决这个问题，我们提出了一个新的神经网络称为Diff-Net更好地建模在这个任务中的每个结束的差异。该模型可以在三个语义层次上区分两个结尾：上下文表征、故事感知表征和区分表征。在Story Cloze Test数据集上的实验结果表明，该模型的性能明显优于其他系统，并给出了详细的消融研究，以更好地理解我们的模型。我们还仔细研究了SCT v1.0和v1.5上的传统模型和基于BERT的模型，有趣的发现可能有助于未来的研究。
2019-12-19 cs.CL
SituatedGen: Incorporating Geographical and Temporal Contexts into Generative Commonsense Reasoning
University of Michigan（密歇根大学）；Peking University（北京大学）
本文提出 SituatedGen 任务，要求模型在给定地理或时间实体关键词时生成对比句对，并构建了含 8,268 对句子的英文数据集，实验表明现有生成式语言模型在该任务上仍远落后于人类。
2023-10-27 cs.CL
KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation
School of Informatics, Xiamen University（厦门大学信息学院）；Alibaba Group（阿里巴巴集团）
生成式常识推理要求机器在给定几个概念的情况下生成描述日常场景的句子，这一问题近年来引起了人们的广泛关注。然而，现有的模型不能像人类一样表现得那么好，因为它们产生的句子往往令人难以置信，语法上也不正确。在本文中，受人类创造句子的过程的启发，我们提出了一个新的知识增强常识生成框架，称为KGR ^4，包括四个阶段：检索，搜索，提炼，反思。在这个框架下，我们首先进行检索，从外部语料库中搜索相关的句子作为原型。然后，我们训练生成器，编辑或复制这些原型来生成候选句子，其中潜在的错误将由基于自动编码器的细化器修复。最后，我们从具有不同超参数的生成器产生的候选句子中选择输出句子。在CommonGen基准测试上的实验结果和深入分析有力地证明了该框架的有效性。特别是，KGR ^4在官方排行榜上获得了33.56分的SPICE分数，比之前报道的最好成绩高出2.49分，达到了最先进的性能。
2021-12-15 cs.CL
Automatic Knowledge Augmentation for Generative Commonsense Reasoning
Korea University（高丽大学）
生成式常识推理是语言模型根据常识知识生成具有给定概念集的句子的能力。然而，生成语言模型仍然难以提供输出，并且训练集不包含足以进行生成常识推理的模式。在本文中，我们提出了一个以数据为中心的方法，使用自动知识扩充，以扩大常识知识使用机器知识发生器。该方法可以生成半金句，提高生成常识推理的语言模型，而无需架构修改。此外，这种方法是一种与模型无关的方法，不需要人工进行数据构建。
2021-10-30 cs.CL
COMET-M: Reasoning about Multiple Events in Complex Sentences
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究院）
提出 COMET-M 事件中心常识模型，通过 35K 人工推理数据集训练，解决复杂多事件句子推理问题，显著提升多事件推理性能并适用于下游自然语言任务。
2023-10-23 cs.AI cs.CL
$\rm{C {\small IS}}^2$: A Simplified Commonsense Inference Evaluation for Story Prose
University of Pennsylvania（宾夕法尼亚大学）
Transformers在各种任务中表现出接近人类的性能，但它们并非没有局限性。我们讨论的问题合并的Transformers，指示同时做多个任务的结果。特别是，我们专注于领域的常识推理内的故事散文，我们称之为上下文常识推理（CCI）。我们研究了GLUCOSE（Mostafazadeh et al. 2020）数据集和任务，用于预测故事句子之间的隐式常识推理。由于葡萄糖任务同时生成句子并预测CCI关系，因此结果中存在混淆。这个模型真的是在测量CCI，还是它生成语法文本的能力？在本文中，我们介绍了任务上下文常识推理句子选择（$\rm{C {\small IS}}^2$），一个简化的任务，避免混淆消除语言生成。我们的研究结果强调了未来工作的必要性，以解开语言生成从所需的NLP任务在手。
2022-10-19 cs.CL
CODAH: An Adversarially Authored Question-Answer Dataset for Common Sense
Northwestern University（西北大学）
常识推理是一种关键的人工智能能力，但很难构建具有挑战性的测试常识的数据集。最近的神经问答系统，基于大型的预先训练的语言模型，已经达到了接近人类水平的表现常识知识的基准。这些系统不具备人类水平的常识，但能够利用数据集的局限性来实现人类水平的分数。我们介绍CODAH数据集，这是一个用于测试常识的逆向构建的评估数据集。CODAH形成了对最近提出的SWAG数据集的一个具有挑战性的扩展，该数据集使用描述视频中观察到的情况的重复完成问题来测试常识知识。为了产生更困难的数据集，我们引入了一种新的问题获取程序，其中工作人员针对最先进的神经问答系统的弱点编写问题。如果模型在微调之前和之后都没有正确回答，工作人员会得到奖励（在交叉验证中）。我们通过这个过程创建了2.8k个问题，并在我们的数据集上评估了多个最先进的问答系统的性能。我们观察到人类表现（95.3%）与BERT-Large模型的最佳基线准确度（67.5%）之间存在显著差距。
2019-07-26 cs.CL cs.LG
Evaluating the Evaluation of Diversity in Commonsense Generation
University of Liverpool（利物浦大学）
本文对常识生成中的多样性评估指标进行系统元评估，发现基于内容的指标优于基于形式的指标，并利用LLM构建新数据集验证其与人类判断的高度相关性。
2025-05-31 cs.CL
Like hiking? You probably enjoy nature: Persona-grounded Dialog with Commonsense Expansions
UC San Diego（加利福尼亚大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
现有的基于人物角色的对话模型通常无法捕捉给定人物角色描述的简单含义，而人类能够无缝地做到这一点。例如，最先进的模型无法推断出对徒步旅行的兴趣可能意味着对自然的热爱或对休息的渴望。在本文中，我们建议使用现有的常识知识库和释义资源来扩展可用的人物角色句子，以使对话模型能够访问扩展且更丰富的人物角色描述集。此外，我们引入了细粒度接地的人物角色，鼓励模型，使一个离散的选择之间的人物角色句子，而合成的对话响应。由于在数据中没有观察到这样的选择，我们使用离散的潜在随机变量对其进行建模，并使用变分学习从数百个人物角色扩展中进行采样。我们的模型在对话质量和多样性方面优于PersonaChat数据集上的竞争基线，同时实现人物角色一致和可控的对话生成。
2020-10-07 cs.AI cs.CL
Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning
University of Liverpool（利物浦大学）；Amazon（亚马逊）
针对大型语言模型在生成式常识推理中输出多样性缺乏系统研究的问题，提出一种基于上下文学习的简单方法，在保持生成质量的同时提升多样性，并可用作训练数据改进现有常识生成器。
2024-09-27 cs.CL
Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection
Carnegie Mellon University（卡内基梅隆大学）；Bosch Research（博世研究院）
条件文本生成一直是一项具有挑战性的任务，尚未看到最先进模型的人类水平性能。在这项工作中，我们特别关注Commongen基准，其目的是为给定的一组输入概念生成一个合理的句子。尽管在其他任务中取得了进展，但在此数据集上进行微调的大型预训练语言模型通常会产生语法正确但在质量上偏离人类对常识的理解的句子。此外，生成的序列无法满足匹配的词性和完整的概念覆盖等词汇要求。在本文中，我们探讨常识知识图谱如何提高模型性能，关于常识推理和词汇约束解码。我们提出的策略，以提高所生成的文本，我们完成的语义正确性，通过：从概念网提取常识关系，注入这些关系到统一语言模型（UniLM）通过注意力机制，并通过输出约束执行上述词汇的要求。通过执行几个消融，我们发现，常识注入使生成的句子更符合人类的理解，同时保持符合词汇的要求。
2020-12-19 cs.CL
CommonGen: A Constrained Text Generation Challenge for Generative Commonsense Reasoning
University of Southern California（南加州大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
最近，大规模预训练的语言模型在几个常识推理基准数据集上表现出令人印象深刻的性能。然而，构建具有常识的机器来撰写逼真的句子仍然具有挑战性。在本文中，我们提出了一个受约束的文本生成任务，与基准数据集相关联的CommonGen，明确测试机器的生成常识推理的能力。给出一组共同的概念（例如，{dog、飞盘、接住、扔）;任务是使用这些概念生成描述日常场景的连贯句子（例如，“一个人扔了一个飞盘，他的狗接住了它”）。CommonGen任务具有挑战性，因为它本质上需要1）具有背景常识知识的关系推理，以及2）对看不见的概念组合进行组合概括的能力。我们的数据集是通过众包和现有字幕语料库的组合构建的，由79 k个常识描述和35 k个独特的概念集组成。实验表明，在现有技术的文本生成模型（例如，T5）和人的绩效。此外，我们证明了学习生成常识推理能力可以转移到改善下游任务，如常识QA通过生成额外的上下文。
2020-11-30 cs.AI cs.CL cs.CV
ConceptNet infused DialoGPT for Underlying Commonsense Understanding and Reasoning in Dialogue Response Generation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）
预先训练的会话模型仍然无法捕获隐藏在对话交互中的隐含常识（CS）知识，即使它们是用巨大的数据集预先训练的。为了构建具有CS能力的对话代理，我们首先将外部知识注入到预先训练好的对话模型中，通过高效的适配器调优建立基本常识（第4节）。其次，我们提出了“双向学习”的方法，使CS知识和句子对之间的双向关系，使模型可以生成一个句子给定的CS三元组，也生成潜在的CS知识给定一个句子（第5节）。最后，我们利用这种集成的CS功能来提高开放域对话响应生成，使对话代理能够理解隐藏在对话历史中的CS知识，并推断相关的其他知识，以进一步指导响应生成（第6节）。实验结果表明，CS适配器融合有助于DialoGPT生成系列CS知识。从CommonGen训练中改编的DialoGPT+CS\_Adapter响应模型可以生成更适合对话上下文的底层CS三元组。
2022-09-29 cs.CL
CUHK at SemEval-2020 Task 4: CommonSense Explanation, Reasoning and Prediction with Multi-task Learning
The Chinese University of Hong Kong（香港中文大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；South China Normal University（华南师范大学）
本文描述了我们的系统提交给SemEval 2020的任务4：常识验证和解释（ComVE），其中包括三个子任务。基于BERT架构的多任务环境，提出了一个有效的、可解释的“解释、推理和预测”（Explain，Reason and Predict，ERP）系统来解决与常识相关的三个子任务：（a）验证、（b）推理和（c）解释。受常识认知研究的启发，我们的系统首先生成句子的原因或理解，然后选择哪一个陈述是有意义的，这是通过多任务学习实现的。在后评估中，我们的系统在子任务A中达到了92.9%的准确率（排名11），在子任务B中达到了89.7%的准确率（排名9），在子任务C中达到了12.9的BLEU得分（排名8）。
2020-07-28 cs.AI cs.CL cs.LG
What happens before and after: Multi-Event Commonsense in Event Coreference Resolution
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Massachusetts Institute of Technology（麻省理工学院）；Kensho Technologies（Kensho科技公司）
事件共指模型集群事件提到属于同一个现实世界的事件。最近的模型依赖于上下文表示来识别词汇或上下文相似提及之间的共指。然而，模型通常无法利用常识推理，这对于解决词汇分歧的提及特别有限。我们提出了一个模型，扩展事件提到时间常识推断。给定一个包含多个事件的复合句，例如，“这个男人杀了他的妻子并被捕了”，目标事件为“被捕”，我们的模型生成了发生在目标事件之前的可信事件-例如“警察到达”，以及在目标事件之后，例如“他被判刑”。我们表明，将这样的推理到现有的事件共指模型提高了其性能，我们分析了共指，这种时间的知识是必需的。
2023-02-21 cs.CL
CO-NNECT: A Framework for Revealing Commonsense Knowledge Paths as Explicitations of Implicit Knowledge in Texts
Heidelberg University（海德堡大学）
在这项工作中，我们利用常识知识的知识路径的形式，建立句子之间的连接，作为一种形式的显式的隐性知识。这种连接可以是直接的（单跳路径），也可以是需要中间概念的（多跳路径）。为了构建这样的路径，我们将两种模型类型结合在一个联合框架中，我们称之为Co-nestra：一个关系分类器，预测概念之间的直接连接;和一个目标预测模型，它生成目标或中间概念，给出一个源概念和一个关系，我们使用它来构建多跳路径。与以前的工作，完全依赖于静态的知识源，我们利用语言模型微调存储在ConceptNet中的知识，动态生成知识路径，作为解释隐含的知识，连接文本中的句子。作为一个中心的贡献，我们设计的手动和自动评估设置，以评估生成的路径的质量。我们对两个论证数据集进行了评估，结果表明，这两种模型类型的组合在句子之间生成了有意义的、高质量的知识路径，揭示了文本中传达的隐含知识。
2021-05-07 cs.CL
Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Nanyang Technological University（南洋理工大学）
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词，因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中，我们提出了Word 2 Pix：一个基于编码器-解码器Transformer架构的一级视觉接地网络，它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入，对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式，每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO，RefCOCO+和RefCOCOg数据集上进行了实验，所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明，Word 2 Pix超越了两阶段视觉基础模型，同时保持了一阶段范式的优点，即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
Sentence-State LSTM for Text Representation
Singapore University of Technology and Design（新加坡科技设计大学）；Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
双向LSTM是文本表示的强大工具。另一方面，由于它们的连续性，它们已被证明受到各种限制。我们研究了一种用于编码文本的替代LSTM结构，它由每个单词的并行状态组成。循环步骤用于同时执行单词之间的局部和全局信息交换，而不是递增地读取单词序列。各种分类和序列标记基准测试的结果表明，该模型具有很强的表示能力，与具有类似参数数的堆叠BiLSTM模型相比，具有很强的竞争力。
2018-05-07 cs.CL cs.LG stat.ML
Extended Japanese Commonsense Morality Dataset with Masked Token and Label Enhancement
Hosei University（法政大学）
本研究通过MTLE方法将JCM数据集扩展至31,184句，构建了eJCM数据集。实验表明，基于eJCM训练的模型F1分数达0.857，超越原始JCM、ChatGPT及AugGPT增强方法，且在日本文化特有道德推理任务中性能显著提升，接近GPT-4 Turbo水平。
2024-10-12 cs.AI cs.CL
Back to Square One: Artifact Detection, Training and Commonsense Disentanglement in the Winograd Schema
Bar Ilan University（巴伊兰大学）；AI2（艾伦人工智能研究所）；HKUST（香港科技大学）；UPenn（宾夕法尼亚大学）
Winograd Schema（WS）是作为一种测试模型常识能力的方法而提出的。最近，基于预训练的语言模型的方法在一些WS基准测试中提高了性能，但改进的来源仍然不清楚。本文认为，WS的明显进展可能不一定反映在常识推理的进展。为了支持这一主张，我们首先表明，目前的评估方法WS是次优的，并提出了一个修改，使用双句评价。我们还提出了两个新的基线，表明存在的工件WS基准。然后，我们开发了一种在零射击（zero-shot）设置中评估WS类句子的方法，以考虑预训练期间获得的常识推理能力，并观察到流行的语言模型在使用时在此设置中随机执行我们更严格的评估。我们的结论是，观察到的进展主要是由于使用监督训练WS模型，这是不可能成功地支持所有所需的常识推理技能和知识。
2021-10-13 cs.CL
KG-BART: Knowledge Graph-Augmented BART for Generative Commonsense Reasoning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）；Lehigh University（里海大学）；Beihang University（北京航空航天大学）
生成式常识推理旨在赋予机器对一组概念进行推理的能力来生成句子，是文本生成的一个关键瓶颈。即使是最先进的预先训练的语言生成模型也很难完成这项任务，而且经常会产生令人难以置信的异常句子。一个原因是他们很少考虑将知识图谱，可以提供丰富的关系信息之间的常识概念。为了提高文本生成的常识推理能力，提出了一种新的知识图谱增强的预训练语言生成模型KG-BART，该模型通过知识图谱包含概念之间的复杂关系，生成更符合逻辑和自然的句子。此外，KG-BART可以利用图的注意力来聚合丰富的概念语义，从而增强模型对未知概念集的泛化能力。在基准数据集CommonGen上进行的实验验证了该方法的有效性，并与几种强预训练的语言生成模型进行了比较，特别是KG-BART在BLEU-3，4方面优于BART 5.80，4.60。此外，我们还表明，我们的模型生成的上下文可以作为背景场景，以有利于下游常识QA任务。
2021-01-21 cs.CL cs.SC
Don't Judge a Language Model by Its Last Layer: Contrastive Learning with Layer-Wise Attention Pooling
Korea University（高丽大学）；George Washington University（乔治华盛顿大学）
最近的预训练语言模型（PLM）通过学习语言特征和上下文化的句子表示，在许多自然语言处理任务上取得了巨大的成功。由于在PLM的堆叠层中捕获的属性没有被清楚地识别，因此通常首选直接的方法，例如嵌入最后一层，以从PLM中导出句子表示。本文介绍了基于注意力的池化策略，该策略使模型能够保留在每一层中捕获的逐层信号，并为下游任务学习消化的语言特征。对比学习目标可以使逐层注意力池适应无监督和有监督的方式。它导致预训练嵌入的各向异性空间正则化，并且更加均匀。我们评估我们的模型上的标准语义文本相似性（STS）和语义搜索任务。因此，我们的方法提高了基本对比学习BERT_base和变体的性能。
2022-09-13 cs.AI cs.CL
Exploring Semi-supervised Hierarchical Stacked Encoder for Legal Judgement Prediction
IRIT（图卢兹计算机研究所）
提出一种结合监督与无监督的两级分类机制，利用领域特定预训练BERT和Transformer编码器提取句子嵌入，并通过聚类获取隐藏标签，在ILDC数据集上实现法律判决预测性能提升。
2023-11-14 cs.AI cs.CL cs.IR
Winograd Schemas and Machine Translation
New York University（纽约大学）
Winograd图式是一对句子，它们在一个单词上不同，并且包含一个歧义代词，其所指在两个句子中不同，需要使用常识知识或世界知识来消除歧义。本文讨论了如何Winograd模式和其他句子对可以被用作机器翻译的挑战，使用代词之间的区别，如性别，出现在目标语言，但没有在源。
2016-09-30 cs.AI cs.CL
Commonsense Knowledge Mining from Pretrained Models
Harvard University（哈佛大学）
推断常识知识是自然语言处理中的一个关键挑战，但由于训练数据的稀疏性，先前的工作表明，用于常识知识挖掘的监督方法在对新数据进行评估时表现不佳。在这项工作中，我们开发了一种方法，使用一个大的，预先训练的双向语言模型生成常识知识。通过将关系三元组转换为屏蔽句，我们可以使用该模型通过估计两个实体之间的逐点互信息来对三元组的有效性进行排序。由于我们不更新双向模型的权重，因此我们的方法不会因任何一个常识知识库的覆盖而有偏见。虽然这种方法在测试集上的表现比在相应的训练集上显式训练的模型差，但在从新的来源中挖掘常识知识时，它优于这些方法，这表明无监督技术可能比当前的监督方法更好地推广。
2019-09-02 cs.AI cs.CL cs.LG
Natural Language Rationales with Full-Stack Visual Reasoning: From Pixels to Semantic Frames to Commonsense Graphs
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
自然语言理论可以提供直观的、更高层次的解释，这些解释很容易被人类理解，补充了更广泛研究的基于梯度或注意力权重的低层次解释。我们提出的第一项研究集中在几个复杂的视觉推理任务：视觉常识推理，视觉文本蕴涵，视觉问答生成自然语言的理由。准确合理化的关键挑战是在各个层面上全面理解图像：不仅是像素层面的明确内容，而且是语义和语用层面的上下文内容。我们提出了Rationale^VT Transformer，这是一个集成模型，它通过将预训练的语言模型与对象识别、接地的视觉语义框架和视觉常识图相结合来学习生成自由文本的基本原理。我们的实验表明，基础预训练语言模型受益于视觉适应和自由文本合理化是一个很有前途的研究方向，以补充模型的可解释性复杂的视觉-文本推理任务。
2020-10-15 cs.CL cs.CV
Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge
Fudan University（复旦大学）；Brain Technologies, Inc.（脑科技公司）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
本研究通过生成与问答任务揭示大语言模型在负面常识知识上存在信念冲突，即难以生成有效句子但能正确回答是非题，并归因于预训练中的统计捷径与否定报告偏差。
2023-05-13 cs.CL
Alleviating the Knowledge-Language Inconsistency: A Study for Deep Commonsense Knowledge
Peking University（北京大学）
知识事实通常用关系三元组表示，而我们观察到一些常识事实用三元组表示，其形式与语言表达不一致。这种不一致性对预训练的语言模型处理这些常识知识事实提出了挑战。本文将这类知识称为深层常识知识，并对其进行了大量的探索性实验，结果表明，深层常识知识在常识知识中占有相当大的比例，而传统的方法无法有效地捕捉到它。我们进一步提出了一种新的方法来挖掘分布在句子中的深层常识知识，减轻了传统方法对知识的三重表示形式的依赖。实验结果表明，该方法显著提高了挖掘深层常识知识的性能.
2021-05-31 cs.CL
KVL-BERT: Knowledge Enhanced Visual-and-Linguistic BERT for Visual Commonsense Reasoning
Beijing Institute of Technology（北京理工大学）
推理是实现完整视觉理解的关键能力。为了开发具有认知级视觉理解和推理能力的机器，引入了视觉常识推理（VCR）任务。在VCR中，给出一个关于图像的挑战性问题，机器必须正确回答，然后提供一个合理的理由来证明它的答案。采用功能强大的BERT模型作为学习图像内容和自然语言联合表示的骨干的方法在VCR上显示出有希望的改进。然而，现有的方法都没有利用常识知识的视觉常识推理，我们相信这将是非常有帮助的这项任务。在常识知识的支持下，即使图像中没有描述所需的信息，复杂的问题也可以通过认知推理来回答。因此，我们将常识知识融入到跨模态BERT中，提出了一种新的知识增强的视觉和语言BERT（Knowledge Enhanced Visual-and-Linguistic，简称KVL-BERT）模型。除了将视觉和语言内容作为输入外，还将从ConceptNet中提取的外部常识知识集成到多层Transformer中。为了保留原句子的结构信息和语义表征，本文提出利用相对位置嵌入和掩蔽自我注意来削弱注入的常识知识与输入序列中其他无关成分之间的影响。与其他特定于任务的模型和一般任务不可知的预训练模型相比，我们的KVL-BERT的性能大大优于它们。
2020-12-13 cs.AI cs.CL
CoSe-Co: Text Conditioned Generative CommonSense Contextualizer
Delhi Technological University（德里理工大学）；Media and Data Science Research Lab, Adobe（奥多比媒体与数据科学研究实验室）；Microsoft Research（微软研究院）
预训练语言模型（PTLM）已被证明在自然语言任务上表现良好。许多先前的工作已经利用了以通过知识图谱（KG）中的标记关系链接的实体的形式存在的结构化常识来辅助PTLM。检索方法使用KG作为一个单独的静态模块，这限制了覆盖范围，因为KG包含有限的知识。生成式方法在KG三元组上训练PTLM，以提高可以获得知识的规模。然而，在符号KG实体上的训练限制了它们在涉及自然语言文本的任务中的适用性，在这些任务中它们忽略了整体上下文。为了缓解这一点，我们提出了一个常识上下文（CoSe-Co）条件的句子作为输入，使其一般可用于任务生成的知识相关的输入文本的整体背景。为了训练CoSe-Co，我们提出了一个由句子和常识知识对组成的新型数据集。由CoSe-Co推断的知识是多样的，并且包含基础KG中不存在的新实体。我们在多选择QA和开放式常识推理任务中增加了生成的知识，从而改进了CSQA，ARC，QASC和OBQA数据集上的当前最佳方法。我们还证明了它的适用性，在提高性能的基准模型的释义生成任务。
2022-06-17 cs.CL
BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出BOOST框架，通过构建无参考常识评分器并扩展NADO可控生成方法训练辅助头，以计算高效方式引导冻结的预训练语言模型生成更具常识性的文本，实验证明其输出在人工评估中表现最佳。
2023-10-25 cs.CL cs.LG
Adversarial Transformer Language Models for Contextual Commonsense Inference
Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）；Dartmouth College（达特茅斯学院）
语境化或话语感知常识推断是生成连贯常识断言（即，一个故事，一个故事，一个故事。该任务的一些问题是：对推断事实的主题缺乏可控性;在训练期间缺乏常识知识;以及可能的幻觉或虚假事实。在这项工作中，我们利用一个Transformer模型为这项任务，并开发技术，以解决上述问题的任务。我们通过引入一种我们称之为“暗示”的新技术来控制推理。提示是一种语言模型提示，它利用硬提示（特定单词）和软提示（虚拟可学习模板）。这作为一个控制信号来建议语言模型“谈论什么”。接下来，我们建立了一个方法，执行联合推理与多个常识知识库。常识的联合推理需要小心，因为它是不精确的，一般性的水平更灵活。您希望确保结果对于上下文“仍然有意义”。为此，我们将来自三个知识图谱（ConceptNet，ATOMIC 2020和GLUCOSE）的断言的文本版本与故事和目标句子对齐。这种组合使我们能够训练单个模型来执行与多个知识图谱的联合推理。我们展示了三个知识图谱联合推理的实验结果。我们的最后一个贡献是探索一个GAN架构，生成上下文的常识断言，并通过一个可扩展性来对它们进行评分。其结果是一个集成系统的上下文常识推理的故事，可以可控地生成似是而非的常识断言，并利用多个常识知识库之间的联合推理。
2023-02-10 cs.CL
HypoGen: Hyperbole Generation with Commonsense and Counterfactual Knowledge
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
夸张是一种故意的和创造性的夸张，不能从字面上理解。尽管它在日常生活中无处不在，计算探索的双曲线是稀缺的。在本文中，我们解决了探索不足和具有挑战性的任务：夸张级生成。我们从一个有代表性的强化句法模式开始，系统地研究了这种夸张中每个成分之间的语义（常识和反事实）关系。接下来，我们利用COMET和反向COMET模型来进行常识和反事实推理。然后，我们根据我们从模式中的发现生成多个夸张候选，并训练神经分类器来排名和选择高质量的夸张。自动和人工评估表明，我们的生成方法能够创造性地生成双曲线，具有高成功率和强度分数。
2021-09-10 cs.AI cs.CL cs.LG
Unsupervised Deep Structured Semantic Models for Commonsense Reasoning
Singapore Management University（新加坡管理大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft（微软）
常识推理是自然语言理解的基础。虽然传统的方法严重依赖于人工制作的功能和知识库，我们探索学习常识知识，从大量的原始文本通过无监督学习。我们提出了两个神经网络模型的基础上的深度结构化语义模型（DSSM）框架，以解决两个经典的常识推理任务，Winograd模式挑战（WSC）和代词消歧（PDP）。评价结果表明，本文提出的模型有效地捕捉了句子中的上下文信息以及代词和名词之间的共指信息，与现有的方法相比有了显著的改进。
2019-04-03 cs.CL
$R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Educational Testing Service（教育考试服务中心）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
我们提出了一种无监督的方法，讽刺生成的基础上，非讽刺输入句。我们的方法采用了检索和编辑框架，实例化的讽刺的两个主要特点：反转的效价和语义不一致的上下文，其中可能包括共享的常识或世界知识之间的扬声器和听众。虽然以前的作品讽刺生成主要集中在上下文不一致，我们表明，结合效价反转和语义不一致的常识知识的基础上产生更高质量的讽刺。人类评估表明，我们的系统生成讽刺优于人类注释者34%的时间，优于强化混合基线90%的时间。
2020-06-17 cs.AI cs.CL cs.LG
Three-level Hierarchical Transformer Networks for Long-sequence and Multiple Clinical Documents Classification
School of Biomedical Informatics, The University of Texas Health Science Center（德克萨斯大学健康科学中心生物医学信息学院）
我们提出了一个三层分层Transformer网络（3-level-HTN）的建模长期依赖性的临床笔记的目的，病人级的预测。该网络配备了三个级别的基于transformer的编码器，可以从单词到句子，句子到笔记，最后到患者的笔记逐步学习。从单词到句子的第一级直接应用预训练的BERT模型作为完全可训练的组件。而第二层和第三层都实现了一堆基于变换的编码器，然后将最终的患者表示送入分类层进行临床预测。与传统的BERT模型相比，我们的模型将最大输入长度从512个令牌增加到更长的序列，适合于对大量的临床笔记进行建模。我们凭经验检查不同的超参数，以确定一个最佳的权衡给定的计算资源限制。我们在MIMIC-III数据集上针对不同预测任务的实验结果表明，所提出的分层Transformer网络优于以前的最先进模型，包括但不限于BigBird。
2021-12-16 cs.CL
Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models
University of Science and Technology of China（中国科学技术大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
最先进的预训练语言表示模型，例如来自Transformers的双向编码器表示（BERT），很少明确地并入常识知识或其他知识。我们提出了一种预训练方法，将常识知识纳入语言表示模型。我们构建了一个常识相关的多项选择问答数据集，用于预训练神经语言表征模型。数据集是自动创建的，我们提出的“对齐，屏蔽，并选择”（AMS）方法。我们还研究了不同的预训练任务。实验结果表明，使用所提出的方法进行微调的预训练模型在两个常识相关的基准测试（包括CommonsenseQA和Winograd Schema Challenge）上比以前的最先进模型有了显着的改进。我们还观察到，与原始的BERT模型相比，经过微调的模型在其他NLP任务（如句子分类和自然语言推理任务）上保持了相当的性能。这些结果验证了所提出的方法，同时显着提高常识相关的NLP任务，不降低一般的语言表示能力。
2020-05-06 cs.CL
Revisiting Generative Commonsense Reasoning: A Pre-Ordering Approach
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Allen Institute for AI（艾伦人工智能研究所）
预训练模型（PTM）在自然语言生成（NLG）方面有很大的改进。然而，目前还不清楚他们拥有多少常识知识。为了评估NLG模型的常识知识，最近的工作提出了生成常识推理的问题，例如，在给定一组无序概念的情况下，写出一个逻辑句子。现有的方法来解决这个问题的假设，PTM缺乏足够的参数知识，这可以通过引入外部知识或任务特定的预训练目标来克服。与此不同的是，我们认为PTM的生成常识推理的内在能力被低估，由于其输入的顺序不可知属性。特别是，我们假设输入概念的顺序会影响PTM利用常识知识的能力。为此，我们提出了一个预排序的方法，精心操纵的顺序生成之前的给定概念。实验表明，我们的方法可以优于更复杂的模型，可以访问大量的外部数据和资源。
2022-05-26 cs.CL
HellaSwag: Can a Machine Really Finish Your Sentence?
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Zellers等人（2018）的最新工作引入了一个新的常识自然语言推理任务：给定一个事件描述，如“一个女人坐在钢琴前”，机器必须选择最可能的后续：“她把手指放在琴键上。“随着BERT的引入，达到了接近人类水平的性能。这是否意味着机器可以执行人类水平的常识推理？在本文中，我们通过介绍一个新的挑战数据集HellaSwag，证明了常识推理对于即使是最先进的模型也是困难的。虽然它的问题对人类来说微不足道（>95%的准确率），但最先进的模型却很难（<48%）。我们通过对抗过滤（AF）实现这一点，这是一种数据汇集范例，其中一系列判别器迭代地选择机器生成的错误答案的对抗集。AF被证明是令人惊讶的强大。关键的见解是将数据集示例的长度和复杂性扩展到关键的“金发姑娘”区域，其中生成的文本对人类来说是荒谬的，但经常被最先进的模型错误分类。我们对HellaSwag的构建及其带来的困难，揭示了深度预训练模型的内部工作原理。更广泛地说，它为NLP研究提出了一条新的前进道路，其中基准以对抗的方式与不断发展的最新技术共同发展，从而提出更艰巨的挑战。
2019-05-19 cs.CL
DREAM: A Challenge Dataset and Models for Dialogue-Based Reading Comprehension
Cornell University（康奈尔大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了梦想，第一个基于对话的多项选择阅读理解数据集。我们的数据集收集自人类专家设计的英语作为外语的考试，以评估中国英语学习者的理解水平，我们的数据集包含6，444个对话的10，197个多项选择题。与现有的阅读理解数据集相比，DREAM是第一个专注于深度多回合多方对话理解的数据集。DREAM可能会对现有的阅读理解系统提出重大挑战：84%的答案是非提取的，85%的问题需要推理超过一个句子，34%的问题还涉及常识知识。我们应用了几种流行的神经阅读理解模型，这些模型主要利用文本中的表面信息，并发现它们充其量只是勉强优于基于规则的方法。接下来，我们调查的效果，将对话结构和不同种类的一般世界知识，以基于规则和（神经和非神经）机器学习为基础的阅读理解模型。在DREAM数据集上的实验结果表明了对话结构和一般世界知识的有效性。梦想将在https://dataset.org/dream/上提供。
2019-02-01 cs.CL
Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种大规模多文化知识获取方法，构建了覆盖次国家级地区和民族语言群体的 CultureAtlas 数据集，用于评估语言模型在多元文化背景下的表现并促进文化敏感模型的开发。
2024-02-14 cs.CL
A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation
Institute for Artificial Intelligence, State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室人工智能研究所）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
故事生成是一项重要而又具有挑战性的任务，即从一个主导性的语境中生成一个合理的故事。尽管在对流畅性和局部连贯性建模方面取得了成功，但现有的神经语言生成模型（例如，GPT-2）仍然遭受重复，逻辑冲突，并在生成的故事缺乏长期的连贯性。我们推测，这是因为难以将相关常识知识联系起来，理解因果关系，并以适当的时间顺序规划实体和事件。在本文中，我们设计了一个知识增强的预训练模型的常识故事生成。我们建议利用外部知识库中的常识知识来生成合理的故事。为了进一步捕捉合理故事中句子之间的因果关系和时间依赖关系，我们采用多任务学习，该学习结合了区分性目标，以在微调过程中区分真假故事。自动和手动评估表明，我们的模型可以生成比最先进的基线更合理的故事，特别是在逻辑和全局一致性方面。
2020-01-15 cs.CL
An Overview Of Temporal Commonsense Reasoning and Acquisition
University of Innsbruck（因斯布鲁克大学）
本文综述时间常识推理与获取研究，指出大语言模型虽能生成正确句子但推理浅层，通过多种增强手段提升性能仍难及人类，强调谨慎解读评估结果并合理设计数据集与指标。
2023-11-16 cs.AI cs.CL cs.LG
On-the-Fly Attention Modulation for Neural Generation
Mila / McGill University（米拉实验室/麦吉尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of CSE, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Stanford University（斯坦福大学）
尽管深度神经语言模型（LM）取得了相当大的进步，但神经文本生成仍然存在退化问题：生成的文本重复、通用、自相矛盾，而且往往缺乏常识。我们对LMs的注意模式的分析表明，神经退化可能与注意力机制对特定任务特征的学习不足有关。这一发现激发了即时注意力调节-一种简单但有效的方法，可以在推理过程中将先验知识注入注意力计算。三个文本生成基准的自动和人工评估结果表明，注意力调制有助于LM生成具有增强的流畅性，创造力和常识推理的文本，除了显着减少重复水平。
2021-10-13 cs.CL
