COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering
The University of Queensland(昆士兰大学);Monash University(蒙纳士大学);The University of New South Wales(新南威尔士大学)
常识推理指的是对社会状况进行评估并采取相应行动的能力。识别社会背景的隐含原因和影响是使机器能够执行常识推理的驱动能力。社会互动的动态世界需要上下文相关的按需系统来推断这样的潜在信息。然而,在这个领域中的当前方法缺乏在面对看不见的情况时执行常识推理的能力,主要是由于不能识别各种各样的隐式社会关系。在本文中,我们提出了条件式的基于SEQ2SEQ的混合模型(COSMO),它为我们提供了动态和多样化的内容生成能力。我们使用COSMO来生成上下文相关的子句,这些子句形成动态知识图(KG),用于常识推理。为了显示我们的模型的适应性上下文相关的知识生成,我们解决的任务zero-shot常识问答。实证结果表明,与最先进的模型相比,改进高达+5.2%。
2020-11-02 cs.CL
CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering
HKUST(香港科技大学);EPFL(洛桑联邦理工学院)
针对零样本常识问答中CSKB不完整及负例采样质量差的问题,提出概念化增强推理框架CAR,通过将知识三元组抽象为更高层次实例来扩大覆盖范围与答案空间,显著提升了零样本泛化能力并超越GPT3.5等大模型。
2023-10-20 cs.CL
Zero-Shot Prompting for Implicit Intent Prediction and Recommendation with Commonsense Reasoning
National Taiwan University(台湾大学)
针对虚拟助手只能处理显式意图、交互繁琐的问题,本文提出多领域对话框架,利用常识推理推断隐式意图并通过大型预训练语言模型进行零样本提示,以推荐并触发合适的任务型机器人。
2023-06-06 cs.CL
Improving Question Answering by Commonsense-Based Pre-Training
Microsoft Research Asia(微软亚洲研究院);Sun Yat-Sen University(中山大学)
虽然神经网络方法在各种NLP任务上取得了显着的成功,但其中许多方法难以回答需要常识知识的问题。我们认为主要原因是概念之间缺乏常识性的\mbox{connections}。为了解决这个问题,我们提供了一个简单而有效的方法,利用外部常识知识库,如概念网。我们预先训练概念之间的直接和间接关系函数,并表明这些预先训练的函数可以很容易地添加到现有的神经网络模型。结果表明,将常识为基础的功能,提高了三个问答任务,需要常识推理的基线。进一步的分析表明,我们的系统\mbox{discovers},并利用有用的证据,从外部常识知识库,这是在现有的神经网络模型,并帮助得出正确的答案。
2019-03-01 cs.CL
Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense
Amazon(亚马逊公司)
预训练的语言模型最近在许多NLP任务中表现出了出色的性能。然而,他们的社会智力仍在发展,这需要对他人的现状和精神状态进行常识推理。为了提高语言模型的社会智能,我们专注于社会IQA数据集,一个需要社会和情感常识推理的任务。在预训练的RoBERTa和GPT2模型的基础上,我们提出了几种架构变体和扩展,并利用外部常识语料库来优化社交IQA的模型。我们所提出的系统实现了竞争力的结果,因为那些在排行榜上排名靠前的模型。这项工作展示了预训练的语言模型的优势,并提供了可行的方法来提高它们在特定任务中的性能。
2021-05-12 cs.CL
Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization
University of California, Los Angeles(加州大学洛杉矶分校)
常识问答(CQA)旨在测试模型是否可以回答关于每个人都知道的常识知识的问题。以前的作品,将外部知识库已显示出可喜的成果,但知识库是昂贵的建设,往往限于一个固定的关系集。在本文中,我们专注于更好地利用存储在预训练的语言模型中的\textit{implicit knowledge}。虽然研究人员已经发现,嵌入在预先训练的语言模型中的知识可以通过让它们填充精心设计的关系抽取和文本分类提示的空白来提取,但目前还不清楚我们是否可以在CQA中采用这种范式,其中输入和输出采用更灵活的形式。为此,我们研究了四种翻译方法,可以将自然问题翻译成完形填空风格的句子,以更好地从语言模型中获取常识知识,包括基于句法的模型,无监督神经模型和两个监督神经模型。此外,为了结合不同的翻译方法,我们建议鼓励模型预测之间的一致性,对不同的翻译问题与未标记的数据。我们证明了我们的方法在三个CQA数据集在zero-shot设置的有效性。我们表明,我们的方法是互补的知识库改进模型,并将它们结合起来,可以导致最先进的zero-shot性能。分析还揭示了不同完形填空翻译方法的不同特点,以及为什么将它们结合起来可以带来很大的改进。
2022-01-01 cs.CL
Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning
University of Electronic Science and Technology of China(电子科技大学)
本文在较小语言模型上研究提示工程与校准对零样本常识推理的作用,发现各策略仅对特定模型有利,联合使用效果多为负面。
2023-04-14 cs.AI cs.CL
QADYNAMICS: Training Dynamics-Driven Synthetic QA Diagnostic for Zero-Shot Commonsense Question Answering
HKUST(香港科技大学)
针对零样本常识问答中合成数据噪声问题,提出基于训练动态的QADYNAMICS框架,通过诊断和精炼问答对,仅用33%数据即超越基线,并提升数据质量。
2023-10-17 cs.CL
ZEBRA: Zero-Shot Example-Based Retrieval Augmentation for Commonsense Question Answering
Sapienza University of Rome(罗马大学)
针对现有LLM常识问答可解释性不足、知识整合方法需额外训练或人工设计的问题,提出零样本框架ZEBRA,结合检索、案例推理与内省生成知识答题,在8个基准上平均准确率最高提升4.5个百分点。
2024-10-07 cs.CL
Exploiting Sentiment and Common Sense for Zero-shot Stance Detection
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
立场检测任务的目的是对给定文档和主题的立场进行分类。由于主题可能隐含在文档中,并且在zero-shot设置的训练数据中不可见,因此我们建议通过使用情感和常识知识来提高立场检测模型的可移植性,这在以前的研究中很少考虑。我们的模型包括一个图自动编码模块,以获得常识知识和立场检测模块的情感和常识。实验结果表明,我们的模型优于国家的最先进的方法上的zero-shot和Few-Shot基准数据集-VAST。同时,消融研究证明了模型中各个模块的重要性。通过分析情感、常识和立场之间的关系,可以看出情感和常识的有效性。
2022-10-05 cs.CL
Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning
University of Liverpool(利物浦大学);Amazon(亚马逊)
针对大型语言模型在生成式常识推理中输出多样性缺乏系统研究的问题,提出一种基于上下文学习的简单方法,在保持生成质量的同时提升多样性,并可用作训练数据改进现有常识生成器。
2024-09-27 cs.CL
Modularized Transfer Learning with Multiple Knowledge Graphs for Zero-shot Commonsense Reasoning
Yonsei University(延世大学);University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院);Seoul National University(首尔国立大学)
常识推理系统应该能够推广到不同的推理情况。然而,大多数最先进的方法依赖于昂贵的数据注释和过拟合到特定的基准,而不学习如何执行一般的语义推理。为了克服这些缺点,zero-shot QA系统已经通过将常识知识图谱(KG)转换成用于模型训练的合成QA形式样本而显示出作为鲁棒学习方案的前景。考虑到不同常识知识库类型的增加,本文旨在将zero-shot迁移学习场景扩展到多源环境中,使不同知识库能够协同使用。为了实现这一目标,我们建议,以减轻损失的知识,从不同的知识源之间的干扰,通过开发一个模块化的变体的知识聚合作为一个新的zero-shot常识推理框架。五个常识推理基准测试的结果证明了我们的框架的有效性,提高了多个KG的性能。
2022-06-22 cs.AI cs.CL cs.LG
Language Models of Code are Few-Shot Commonsense Learners
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition
我们解决结构化常识推理的一般任务:给定一个自然语言输入,目标是生成一个图,如事件-或推理图。为了使用大语言模型(LM)来完成这个任务,现有的方法将输出图"串行化"为节点和边的平面列表。虽然可行,但这些序列化的图强烈偏离了LM预先训练的自然语言语料库,阻碍了LM正确地生成它们。在本文中,我们表明,当我们而不是框架结构化的常识推理任务的代码生成任务,预训练的LM的代码是更好的结构化常识推理比LM的自然语言,即使下游任务不涉及源代码。我们展示了我们的方法在三个不同的结构化常识推理任务。在所有这些自然语言任务中,我们表明,使用我们的方法,代码生成LM(CODEX)优于在目标任务上微调的自然LM(例如,T5)和其他强LM,如Few-Shot设置中的GPT-3。
2022-12-06 cs.CL cs.LG
Zero-shot Commonsense Reasoning over Machine Imagination
Korea University(高丽大学);Hankuk University of Foreign Studies(韩国外国语大学)
针对预训练语言模型在零样本常识推理中因人类报告偏差导致理解差异的问题,提出框架Imagine,通过引入机器生成图像的视觉信号补充文本输入,并在多种基准上大幅超越现有方法。
2024-10-12 cs.AI cs.CL
Commonsense for Zero-Shot Natural Language Video Localization
Virginia Tech(弗吉尼亚理工大学);University of Illinois at Urbana - Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对零样本自然语言视频定位中伪查询与视频缺乏锚定的问题,提出融合常识推理的CORONET框架,通过GCN编码常识、交叉注意力增强表征,在基准数据集上显著优于现有基线。
2024-02-01 cs.AI cs.CL cs.CV
ImageNetVC: Zero- and Few-Shot Visual Commonsense Evaluation on 1000 ImageNet Categories
Peking University(北京大学);Shanghai AI Lab(上海人工智能实验室);Alibaba(阿里巴巴)
本文提出ImageNetVC数据集,在1000个ImageNet类别上对单模态LLMs和视觉增强模型进行零样本与少样本视觉常识评估,并分析影响因素为开发富含视觉常识的语言模型提供见解。
2023-10-20 cs.AI cs.CL cs.CV
Zero-Shot Commonsense Validation and Reasoning with Large Language Models: An Evaluation on SemEval-2020 Task 4 Dataset
College of Information Technology(信息技术学院);Lusail University(卢赛尔大学);Qatar University(卡塔尔大学)
本研究在SemEval-2020 Task 4数据集上零样本评估多款大语言模型的常识验证与解释能力,发现大模型常识验证接近人类水平,但常识解释能力仍有不足,暴露了因果与推断推理的局限。
2025-02-19 cs.AI cs.CL
Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Bosch Research(博世研究中心)
预训练神经语言建模的最新发展已经导致常识问答基准的准确性飞跃。然而,越来越多的人担心模型过度适应特定的任务,而不学习利用外部知识或执行一般的语义推理。相比之下,zero-shot评估已经显示出作为模型的一般推理能力的更鲁棒的度量的希望。在本文中,我们提出了一个新的神经符号框架的zero-shot问答常识任务。在一组假设的指导下,该框架研究如何将各种预先存在的知识资源转化为最有效的预训练模型的形式。我们改变了语言模型、训练机制、知识源和数据生成策略的集合,并测量了它们对任务的影响。扩展以前的工作,我们设计和比较四个约束干扰采样策略。我们提供了五个常识问答任务的实证结果,数据来自五个外部知识资源。我们表明,虽然个人知识图谱更适合于特定的任务,一个全球性的知识图谱带来了一致的收益在不同的任务。此外,保留任务的结构以及生成公平和信息丰富的问题都有助于语言模型更有效地学习。
2020-12-14 cs.AI cs.CL
Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge
Cornell University(康奈尔大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们的目标是提取常识知识,以提高机器阅读理解。我们建议通过将结构化知识置于上下文中而不是依赖于预定义的一组关系来隐式地表示关系,我们称之为上下文化知识。每一条语境化知识都由一对相互关联的语言和非语言信息组成,这些信息是从剧本和场景中提取出来的,它们作为语境隐含地代表了语言和非语言信息之间的关系,这些信息最初是通过剧本中的不同模态来传达的。我们提出了一个两阶段的微调策略,使用大规模的弱标记数据的基础上的一种类型的上下文知识,并采用师生范式注入多种类型的上下文知识到学生机器阅读器。实验结果表明,我们的方法在机器阅读理解数据集C^3上的准确率提高了4.3%,其中大多数问题需要未陈述的先验知识。
2020-10-19 cs.CL
TECO: Improving Multimodal Intent Recognition with Text Enhancement through Commonsense Knowledge Extraction
Faculty of Information Technology(信息技术学院);VNU University of Engineering and Technology(VNU工程技术大学)
针对多模态意图识别中文本语义利用及跨模态对齐融合的难题,提出TECO方法,通过提取生成与检索的常识知识增强文本特征,再融合视听模态,性能显著优于现有基线。
2024-12-11 cs.CL
MICO: A Multi-alternative Contrastive Learning Framework for Commonsense Knowledge Representation
HKUST(香港科技大学);Tencent AI lab(腾讯人工智能实验室)
常识知识图补全和常识问答等常识推理任务需要强大的表示学习。本文提出了一种基于常识知识图谱的多选择对比学习框架MICO(Multi-Alternative Contrast Learning Framework),用于常识知识表示的学习。MICO通过多选择对比学习,通过实体节点和关系之间的上下文交互,生成常识知识表示。在MICO中,$(h,r,t)$知识三元组中的头和尾实体被转换为自然语言形式的两个关系感知序列对(前提和替代)。通过比较语义表征之间的距离得分,MICO生成的语义表征可以帮助完成以下两个任务:1)zero-shot常识问答任务; 2)归纳常识知识图完成任务。大量的实验表明了该方法的有效性。
2022-10-14 cs.CL
Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation
确定小句之间因果关系的可解释性是一项需要复杂推理能力的常识推理任务。此任务的一般方法是在特定数据集上训练大型预训练语言模型。然而,任务的可用训练数据往往是稀缺的,这导致模型训练的不稳定性或依赖于数据集的浅层特征。本文提出了一些技术,使模型更强大的因果推理领域。首先,我们通过同义词替换生成扰动输入来进行对抗训练。其次,基于语篇连接词的语言学理论,我们使用语篇分析器来检测大文本中的因果连接子句,并使用生成语言模型来生成干扰词,从而执行数据增强。这两种方法都提高了模型在合理选择(COPA)数据集和平衡COPA数据集上的性能,平衡COPA数据集是原始数据的修改版本,旨在避免表面线索,从而产生更具挑战性的基准。我们在两个数据集上的性能和鲁棒性都有统计学上的显著改善,即使只有少量额外生成的数据点。
2021-01-13 cs.CL
Common Sense Beyond English: Evaluating and Improving Multilingual Language Models for Commonsense Reasoning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
常识推理的研究迄今仅限于英语。我们的目标是评估和改进流行的多语言语言模型(ML-LM),以帮助推进常识推理(CSR)超越英语。我们收集了米奇语料库,包括11种不同语言的561 k句子,可用于分析和改进ML-LM。我们提出了米奇探测器,一种语言无关的探测任务,用于公平地评估不同语言中流行的ML-LM的常识。此外,我们还创建了两个新的数据集,X-CSQA和X-CODAH,通过将其英文版本翻译为其他15种语言,以便我们可以评估流行的ML-LM跨语言常识推理。为了提高英语以外的性能,我们提出了一种简单而有效的方法--多语言对比预训练(MCP)。它显著增强了句子表示,在两个基准测试中都获得了很大的性能增益。
2021-06-13 cs.AI cs.CL
A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge
University of Florida(佛罗里达大学)
知识图谱(KG)已成为各种自然语言处理应用的关键组件。常识知识图谱(CKG)是一种特殊类型的知识图谱,其中实体和关系由自由形式的文本组成。然而,以前的KG完成和CKG完成的工作遭受长尾关系和新添加的关系,没有太多的已知三元组进行训练。鉴于此,Few-Shot KG完成(FKGC),它需要图表示学习和少样本学习的优势,已经被提出来挑战有限的注释数据的问题。在本文中,我们全面调查以前的尝试,这些任务的形式,一系列的方法和应用。具体来说,我们首先介绍FKGC挑战,常用的KG和CKG。然后对已有的研究成果从幼儿园的类型和研究方法两个方面进行了系统的分类和总结。最后,我们介绍了FKGC模型在不同领域的预测任务中的应用,并对FKGC的未来研究方向提出了我们的想法。
2023-01-03 cs.AI cs.CL cs.LG
CKBP v2: Better Annotation and Reasoning for Commonsense Knowledge Base Population
Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出CKBP v2,一个高质量常识知识库填充评估集,通过专家标注与对抗样本解决旧版标注错误与数据对齐问题,并证明其能提升下游常识推理与零样本问答性能。
2024-09-21 cs.CL
Generalized Zero-shot Intent Detection via Commonsense Knowledge
University of California, Riverside(加州大学河滨分校)
从自然语言话语中识别用户意图是会话系统中的关键步骤,其已作为监督分类问题被广泛研究。然而,在实践中,部署意图检测模型后会出现新的意图。因此,这些模型应该无缝地适应和分类具有可见和不可见意图的话语-不可见意图在部署后出现,并且它们没有训练数据。针对这种设置的少数现有模型严重依赖于几乎不可用的训练数据,并且过度拟合可见意图数据,导致将具有不可见意图的话语错误分类为可见意图的偏见。我们建议乘坐:意图检测模型以无监督的方式利用常识知识来克服训练数据稀缺的问题。RIDE计算鲁棒且可概括的关系元特征,其捕获话语和意图标签之间的深层语义关系;这些特征通过考虑话语中的概念如何经由常识知识链接到意图标签中的概念来计算。我们对三个广泛使用的意图检测基准进行了广泛的实验分析,结果表明,关系元特征显著提高了检测可见和不可见意图的准确性,并且RIDE在不可见意图方面优于最先进的模型。
2021-02-04 cs.AI cs.CL
Incorporating Commonsense Knowledge into Abstractive Dialogue Summarization via Heterogeneous Graph Networks
Harbin Institute of Technology(哈尔滨工业大学)
摘要对话摘要的任务是捕捉对话的亮点,并将其改写成简洁的版本。在本文中,我们提出了一种新的多扬声器对话摘要演示如何大规模的常识知识,可以促进对话的理解和摘要生成。具体来说,我们将话语和常识知识视为两种不同类型的数据,并设计了一个对话异构图网络(D-HGN)来建模这两种信息。同时,我们还添加扬声器作为异构节点,以促进信息流。SAMSum数据集上的实验结果表明,我们的模型可以优于各种方法。我们还在议论文摘要语料库上进行了zero-shot设置实验,结果表明我们的模型可以更好地推广到新的领域。
2020-10-20 cs.CL
Generated Knowledge Prompting for Commonsense Reasoning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
它仍然是一个悬而未决的问题,是否纳入外部知识的好处常识推理,同时保持预先训练的序列模型的灵活性。为了研究这个问题,我们开发了生成的知识提示,它包括从语言模型生成知识,然后在回答问题时提供知识作为额外的输入。我们的方法不需要特定任务的监督知识集成,或访问结构化的知识库,但它提高了性能的大规模,国家的最先进的模型上的四个常识推理任务,实现国家的最先进的结果数值常识(NumerSense),一般常识(常识QA 2.0),科学常识(QASC)基准。生成的知识提示突出了大规模语言模型作为外部知识的灵活来源,以提高常识推理。我们的代码可在https://github.com/liujch1998/GKP上获得
2022-09-28 cs.CL
Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
为了促进自然语言理解,关键是要使用常识或背景知识。然而,如何在问答系统中有效地使用常识仍然在学术界和工业界的探索中。在本文中,我们提出了一种新的问答方法,通过集成多个知识源,即ConceptNet,维基百科和剑桥词典,以提高性能。更具体地说,我们首先介绍了一种新的基于图的迭代知识检索模块,它迭代地检索概念和实体相关的给定的问题,它的选择从多个知识源。之后,我们使用预先训练的语言模型来编码问题,检索知识和选择,并提出一个答案选择感知的注意力机制来融合前面模块的所有隐藏表示。最后,针对特定任务的线性分类器被用来预测答案。在CommonsenseQA数据集上的实验结果表明,该方法的性能明显优于其他竞争方法,达到了新的水平。此外,进一步的消融研究表明,基于图的迭代知识检索模块和答案选择感知注意模块在从多个知识源中检索和合成背景知识方面是有效的。
2020-11-05 cs.AI cs.CL
KM-BART: Knowledge Enhanced Multimodal BART for Visual Commonsense Generation
RWTH Aachen(亚琛工业大学);LMU Munich(慕尼黑大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了知识增强的多模态BART(KM-BART),这是一个基于transformer的序列到序列模型,能够从图像和文本的多模态输入中推理常识知识。我们适应生成BART架构的多模态模型与视觉和文本输入。我们进一步开发了新的预训练任务,以提高模型在视觉常识生成(VCG)任务上的性能。特别是,我们的基于知识的常识生成(KCG)的预训练任务通过利用来自外部常识知识图谱预训练的大语言模型的常识知识来提高VCG任务的模型性能。据我们所知,我们是第一个提出一个专门的任务,以提高模型性能的VCG任务。实验结果表明,我们的模型通过应用这些新的预训练任务,在VCG任务上达到了最先进的性能。
2021-07-15 cs.CL
SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback
Georgia Institute of Technology(佐治亚理工学院)
SYNDICOM通过构建含无效响应及自然语言反馈的常识对话数据集,并采用先预测反馈再条件生成响应的两步训练方法,在不使用强化学习的情况下显著提升了对话系统的常识推理能力,在ROUGE1上比ChatGPT相对提升53%。
2023-09-18 cs.AI cs.CL cs.LG
Improving Empathetic Dialogue Generation by Dynamically Infusing Commonsense Knowledge
UniDT Technology(UniDT科技);Fudan University(复旦大学)
针对共情回复中常识关系混杂导致情绪、回复与上下文不一致的问题,本文提出带自适应常识知识选择模块的生成方法,提升回复连贯性、共情性与可解释性。
2023-05-24 cs.AI cs.CL
Leveraging Knowledge in Multilingual Commonsense Reasoning
Microsoft Cognitive Services Research Group(微软认知服务研究组)
常识推理(CSR)要求模型具有普遍的世界知识。虽然企业社会责任是一个与语言无关的过程,但大多数全面的知识来源都是少数几种流行语言,尤其是英语。因此,目前还不清楚如何有效地进行多语言常识推理(XCSR)的各种语言。在这项工作中,我们提出了利用英语知识源通过一个检索检索翻译(TRT)的策略。对于多语种的常识性问题和选择,我们通过翻译和从知识源中检索来收集相关知识。然后将检索到的知识翻译成目标语言,并通过可见的知识注意力集成到预先训练的多语言语言模型中。然后,我们利用4种不同的英语知识来源,以不同的形式提供更全面的知识覆盖。XCSR基准测试的广泛结果表明,具有外部知识的TRT可以显着改善零次(zero-shot)和翻译训练设置中的多语言常识推理,比之前最先进的XCSR基准测试数据集(X-CSQA和X-CODAH)的性能高出3.3和3.6个百分点。
2021-10-16 cs.CL
Gold: A Global and Local-aware Denoising Framework for Commonsense Knowledge Graph Noise Detection
HKUST(香港科技大学)
针对常识知识图谱中无监督构建引入的虚假噪声问题,提出结合实体语义、全局规则和局部结构信息的去噪框架Gold,在合成基准上优于基线并提升下游零样本问答效果。
2023-10-18 cs.CL
Align, Mask and Select: A Simple Method for Incorporating Commonsense Knowledge into Language Representation Models
University of Science and Technology of China(中国科学技术大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
最先进的预训练语言表示模型,例如来自Transformers的双向编码器表示(BERT),很少明确地并入常识知识或其他知识。我们提出了一种预训练方法,将常识知识纳入语言表示模型。我们构建了一个常识相关的多项选择问答数据集,用于预训练神经语言表征模型。数据集是自动创建的,我们提出的“对齐,屏蔽,并选择”(AMS)方法。我们还研究了不同的预训练任务。实验结果表明,使用所提出的方法进行微调的预训练模型在两个常识相关的基准测试(包括CommonsenseQA和Winograd Schema Challenge)上比以前的最先进模型有了显着的改进。我们还观察到,与原始的BERT模型相比,经过微调的模型在其他NLP任务(如句子分类和自然语言推理任务)上保持了相当的性能。这些结果验证了所提出的方法,同时显着提高常识相关的NLP任务,不降低一般的语言表示能力。
2020-05-06 cs.CL
Unsupervised Commonsense Question Answering with Self-Talk
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
自然语言理解包括用隐含的背景知识来解读字里行间的意思。当前的系统要么依赖于预先训练的语言模型作为世界知识的唯一隐式来源,要么求助于外部知识库(KB)来合并额外的相关知识。我们提出了一个基于自我对话的无监督框架,作为多项选择常识任务的新替代方案。受基于探究的发现学习(Bruner,1961)的启发,我们的方法用一些信息寻求问题(如“$\textit{what is the definition of ...}$“)来查询语言模型,以发现额外的背景知识。实证结果表明,自我对话过程大大提高了性能的zero-shot语言模型基线上的四个常识基准,并与模型,从外部知识库获取知识。虽然我们的方法在几个基准测试中提高了性能,但即使在导致正确答案的情况下,自我对话诱导的知识也并不总是被人类判断者视为有用的,这就提出了关于常识推理的预训练语言模型的内部工作原理的有趣问题。
2020-09-15 cs.CL
Enhancing Review Comprehension with Domain-Specific Commonsense
Brown University(布朗大学);Megagon Labs(Megagon实验室)
评论理解在提高在线服务和产品质量方面发挥着越来越重要的作用,常识性知识可以进一步提高评论理解。然而,现有的通用常识知识库缺乏足够的覆盖面和准确性,以有意义地提高对特定领域评论的理解。在本文中,我们介绍了xSense,一个有效的系统审查理解使用特定领域的常识知识库(xSense知识库)。我们表明,xSense知识库可以构建成本低廉,并提出了一种知识蒸馏方法,使我们能够使用xSense知识库与BERT,以提高各种审查理解任务的性能。我们评估xSense在三个审查理解任务:方面提取,方面的情感分类,和问答。我们发现xSense在前两项任务中的表现优于最先进的模型,并显着改进了基线BERT QA模型,证明了将常识纳入审查理解管道的有用性。为了方便未来的研究和应用,我们公开发布了三个特定领域的知识库和特定领域的问答基准。
2020-04-06 cs.CL
NLKI: A lightweight Natural Language Knowledge Integration Framework for Improving Small VLMs in Commonsense VQA Tasks
IIT Kharagpur(印度理工学院Kharagpur分校);Ashoka University(阿什oka大学)
提出 NLKI 轻量框架,通过 ColBERTv2 事实检索、LLM 解释生成与噪声鲁棒微调增强小型 VLM,在常识 VQA 等任务上最高提升 7% 准确率。
2025-08-28 cs.AI cs.CL
CORECODE: A Common Sense Annotated Dialogue Dataset with Benchmark Tasks for Chinese Large Language Models
Tianjin University(天津大学);Zhejiang Lab(之江实验室)
本文提出CORECODE,一个包含76,787条常识标注的中文对话数据集,定义9个领域37个槽位,并建立六项推理与检测任务,实验显示现有中文大模型及ChatGPT在该基准上表现不佳。
2023-12-20 cs.CL
CASE: Commonsense-Augmented Score with an Expanded Answer Space
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
针对多项选择问答中基础语言模型评分对所有单词同等加权的局限,提出带扩展答案空间的常识增强评分CASE,结合动态语义加权与答案空间扩展,在5个常识基准上优于强基线,且两种方法互补,对小模型更有益。
2023-11-03 cs.CL
Improving Commonsense Bias Classification by Mitigating the Influence of Demographic Terms
Dongguk University(东国大学)
本文提出层次泛化、基于阈值的增强及二者集成的 IHTA 方法,通过缓解人口统计学术语影响,显著提升常识极化分类器的准确率。
2024-06-11 cs.AI cs.CL
MAGIC-VQA: Multimodal And Grounded Inference with Commonsense Knowledge for Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
针对大视觉语言模型缺乏整合常识知识、真实场景VQA鲁棒性不足的问题,提出三阶段MAGIC-VQA框架,融合显隐式常识知识与GNN结构化推理,无需大量预训练或复杂提示调优,在基准数据集上达SOTA,提升VQA常识推理能力。
2025-06-11 cs.CL
CoSe-Co: Text Conditioned Generative CommonSense Contextualizer
Delhi Technological University(德里理工大学);Media and Data Science Research Lab, Adobe(奥多比媒体与数据科学研究实验室);Microsoft Research(微软研究院)
预训练语言模型(PTLM)已被证明在自然语言任务上表现良好。许多先前的工作已经利用了以通过知识图谱(KG)中的标记关系链接的实体的形式存在的结构化常识来辅助PTLM。检索方法使用KG作为一个单独的静态模块,这限制了覆盖范围,因为KG包含有限的知识。生成式方法在KG三元组上训练PTLM,以提高可以获得知识的规模。然而,在符号KG实体上的训练限制了它们在涉及自然语言文本的任务中的适用性,在这些任务中它们忽略了整体上下文。为了缓解这一点,我们提出了一个常识上下文(CoSe-Co)条件的句子作为输入,使其一般可用于任务生成的知识相关的输入文本的整体背景。为了训练CoSe-Co,我们提出了一个由句子和常识知识对组成的新型数据集。由CoSe-Co推断的知识是多样的,并且包含基础KG中不存在的新实体。我们在多选择QA和开放式常识推理任务中增加了生成的知识,从而改进了CSQA,ARC,QASC和OBQA数据集上的当前最佳方法。我们还证明了它的适用性,在提高性能的基准模型的释义生成任务。
2022-06-17 cs.CL
COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs
Allen Institute for AI(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);Stanford University(斯坦福大学)
近年来,人们对自然语言理解领域中的常识表示和推理产生了新的兴趣。新的常识知识图谱(CSGG)的开发是这些进步的核心,因为它们的各种事实可以被机器学习模型用于解决新的和具有挑战性的任务。与此同时,由于全面涵盖一般常识知识所需的规模巨大,这些资源的质量和覆盖面仍然存在问题。在这项工作中,我们认为手动构建的CSKG将永远无法实现适用于NLP代理遇到的所有情况所需的覆盖范围。因此,我们提出了一个新的评估框架,用于测试的实用性的KG的基础上如何有效地隐式知识表示可以从中学习。有了这个新目标,我们提出了ATOMIC 2020,一个新的通用常识知识CSGG,包含在预训练的语言模型中不容易获得的知识。我们评估其属性与其他领先的CSKG相比,进行第一次大规模的成对研究常识知识资源。接下来,我们展示了ATOMIC 2020更适合于训练知识模型,这些模型可以为新的、看不见的实体和事件生成准确的、有代表性的知识。最后,通过人工评估,我们发现GPT-3的Few-Shot性能(175 B参数)虽然令人印象深刻,但仍然比在ATOMIC 2020上训练的基于BART的知识模型低12个绝对点,尽管使用的参数少了430倍。
2021-12-16 cs.CL
Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs
CSE, HKUST(香港科技大学计算机科学与工程系);NLP Lab, IC, EPFL(洛桑联邦理工学院计算机学院自然语言处理实验室)
针对事件常识推理中复杂事件交互场景下数据稀缺的问题,研究者构建了基于常识知识图谱多跳逻辑查询的COM2数据集,训练后的语言模型复杂推理能力显著提升,零样本性能在多类任务上均有增强且无需昂贵人工标注。
2024-06-22 cs.AI cs.CL
Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提高预训练的语言模型的情感意识是对话生成任务的一个新兴的重要问题。虽然先前的研究已经介绍了提高移情对话生成的方法,但很少有人讨论如何将常识知识结合到预先训练的语言模型中以用于可控对话生成。在这项研究中,我们提出了一个新的框架,提高移情对话生成使用预先训练的语言模型1)通过即时言语化结合常识知识,和2)控制对话生成使用策略驱动的未来会话。我们进行了实验,揭示了社会常识知识的纳入和执法控制的生成有助于提高生成性能。最后,我们讨论了我们的研究对未来研究的影响。
2023-02-02 cs.CL cs.LG
Commonsense Knowledge Transfer for Pre-trained Language Models
ETH Zurich(苏黎世联邦理工学院);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本文提出常识知识迁移框架,利用通用文本查询神经常识知识模型,并通过常识掩码填充与关系预测两个自监督目标增强预训练语言模型,在常识推理下游任务尤其少样本场景中取得稳定提升。
2023-06-04 cs.AI cs.CL cs.LG
Localized Symbolic Knowledge Distillation for Visual Commonsense Models
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);Yonsei University(延世大学);Microsoft Research(微软研究院)
针对现有视觉-语言模型无法支持图像内特定区域推理的问题,提出通过大语言模型采样局部常识知识、结合评判模型筛选样本的蒸馏方法,构建支持区域输入的局部化视觉常识模型,零样本性能优于基线方法。
2023-12-12 cs.AI cs.CL cs.CV
Diversifying Content Generation for Commonsense Reasoning with Mixture of Knowledge Graph Experts
University of Notre Dame(圣母大学);University of Washington(华盛顿大学);Microsoft Cognitive Services Research(微软认知服务研究院)
自然语言中的生成常识推理是在生成连贯文本的同时对常识进行推理。近年来,人们对提高常识推理任务生成质量的兴趣激增。然而,这些方法很少调查GCR任务的多样性,其目的是为现实世界的情况产生替代解释或预测所有可能的结果。多样化的GCR是具有挑战性的,因为它期望产生多种输出,不仅语义不同,而且基于常识知识。在本文中,我们提出了MoKGE,一种新的方法,多样化的混合专家(MoE)策略的常识知识图谱(KG)的生成推理。一组知识专家在KG上寻求不同的推理,以鼓励各种生成输出。实证实验表明,MoKGE可以显着提高多样性,同时实现在两个GCR基准上的准确性,基于自动和人工评估。
2022-03-14 cs.AI cs.CL
It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning
Yandex;HSE University(高等经济学院)
常识推理是自然语言处理中的关键问题之一,但标记数据的相对稀缺阻碍了英语以外语言的发展。预训练的跨语言模型是强大的语言不可知表示的来源,但其固有的推理能力仍在积极研究中。在这项工作中,我们设计了一个简单的方法来常识推理,训练一个线性分类器与权重的多头注意力的功能。为了评估这种方法,我们创建了一个多语言Winograd模式语料库,通过处理标准化管道中先前工作的几个数据集,并根据样本外性能来衡量跨语言泛化能力。该方法与最近的监督和无监督的方法进行常识推理的竞争,即使在应用于其他语言的zero-shot方式。此外,我们证明了大多数的性能是由相同的小子集的注意头所有研究的语言,这提供了证据的通用推理能力,在多语言编码器。
2021-11-30 cs.CL cs.LG
Transferring Procedural Knowledge across Commonsense Tasks
Information Sciences Institute(信息科学研究所);Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学);Department of Computer Science(计算机科学系);Faculty of Science(理学院);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Tencent AI Lab(腾讯AI实验室)
针对AI缺乏自动追踪和解释未见故事过程机制的问题,提出LEAP框架,集成先进架构、训练方案和增强策略,通过少样本提示自动标注器生成密集标注,实现过程知识跨任务迁移并提供原生可解释性。
2023-11-20 cs.CL
Large Language Models are Contrastive Reasoners
Sun Yat-sen University Shenzhen, China(中山大学深圳校区)
本文提出对比提示方法,通过简单提示提升大型语言模型的推理能力,在算术和常识推理任务中优于零样本和少样本方法。
2025-02-17 cs.AI cs.CL
Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization
The Hong Kong University of Science and Technology(香港科技大学)
针对现有常识建模方法难以覆盖多样实体情境知识的问题,本研究提出基于概念化的抽象常识知识获取框架,结合ATOMIC、Probase构建抽象常识知识图谱,验证了其在常识推理等下游任务的有效性。
2024-05-18 cs.AI cs.CL
Neuro-Symbolic Procedural Planning with Commonsense Prompting
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
程序计划旨在通过分解成顺序的简单低级别步骤来实现复杂的高级别目标。尽管过程规划是人类日常生活中的一项基本技能,但对于缺乏对过程中因果关系的深刻理解的大语言模型(LLM)来说,它仍然是一个挑战。先前的方法需要手动样本来从zero-shot设置中的LLM获取程序规划知识。然而,LLM中的这种引发的预训练知识会导致目标和步骤之间的虚假相关性,从而损害模型对看不见的任务的泛化。相比之下,本文提出了一种神经符号程序规划器(ESTA),从常识注入提示LLM的程序规划知识。为了减轻虚假的目标步骤的相关性,我们使用符号程序执行器的潜在的程序表示形式化提示从常识知识库的因果干预结构因果模型。WikiHow和RobotHow上的自动和人工评估都显示了在没有进一步培训或手动范例的情况下,机器人程序规划的优越性。
2023-02-16 cs.AI cs.CL cs.LG