Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
Zhejiang University(浙江大学);Fudan University(复旦大学);Westlake University(西湖大学)
自然语言推理是自然语言处理的一项基本任务,它研究两个文本之间的蕴涵关系。受欢迎的NLI数据集将该任务呈现在任务级别。虽然足以测试语义表示,但它们不足以测试长文本的上下文推理,这是人类推理过程的自然部分。我们介绍了ConTRoL,一个新的数据集,用于长文本的上下文推理。ConTRoL由8,325个专家设计的带有黄金标签的“上下文假设”对组成,是一个高级NLI数据集,专注于复杂的上下文推理类型,如逻辑推理。该测验源于警察征聘的竞争性选拔和征聘测验(言语推理测验),具有专家级质量。与以前的NLI基准相比,ConTRoL中的材料更具挑战性,涉及一系列推理类型。实证结果表明,最先进的语言模型的表现远远不如受过教育的人。我们的数据集还可以作为下游任务的测试集,例如检查摘要的事实正确性。
2020-11-10 cs.CL
Stress-Testing Neural Models of Natural Language Inference with Multiply-Quantified Sentences
Stanford Symbolic Systems Program(斯坦福大学符号系统项目);Stanford Linguistics(斯坦福大学语言学系)
使用自然主义语料库对深度学习模型进行语义的标准评估,在它们能够告诉我们的关于学习表示的保真度方面是有限的,因为语料库很少有很好的语义复杂性度量。为了克服这一限制,我们提出了一种方法,用于生成数据集的多重量化的自然语言推理(NLI)的例子中,语义的复杂性,可以精确的特点,我们用这种方法来表明,各种常见的架构NLI不可避免地无法编码的关键信息,只有一个模型与强制词汇对齐避免这种破坏性的信息丢失。
2018-10-30 cs.CL
Breaking NLI Systems with Sentences that Require Simple Lexical Inferences
TU Darmstadt(达姆施塔特工业大学);Bar-Ilan University(巴伊兰大学)
我们创建了一个新的NLI测试集,显示了在需要词汇和世界知识的推理中最先进的模型的不足。新的例子比SNLI测试集更简单,包含的句子与训练集中的句子最多相差一个单词。然而,在SNLI上训练的系统在新测试集上的表现要差得多,这表明这些系统的泛化能力有限,无法捕获许多简单的推论。
2018-05-06 cs.CL
Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI
University of Chicago(芝加哥大学)
虽然神经模型在SNLI等数据集中表现出了很强的性能,但它们缺乏泛化分布外(OOD)的能力。在这项工作中,我们制定了一个少样本学习设置和检查的影响,自然语言解释对面向对象的推广。我们利用HANS数据集中的模板,并为每个模板构建模板化的自然语言解释。尽管生成的解释显示出与地面实况解释相比具有竞争力的BLEU分数,但它们未能提高预测性能。我们进一步表明,生成的解释往往产生幻觉的信息和错过的关键元素,表明标签。
2021-10-12 cs.AI cs.CL
Don't Take the Premise for Granted: Mitigating Artifacts in Natural Language Inference
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院)
自然语言推理(NLI)数据集通常包含仅假设的偏差--允许模型在不学习前提是否需要假设的情况下实现非平凡性能的工件。我们提出了两种概率方法来构建模型,这些模型对此类偏差更鲁棒,并且在数据集之间更好地传输。与NLI的标准方法相比,我们的方法预测给定假设和NLI标签的前提的概率,阻止模型忽略前提。我们通过在包含偏差的数据集上进行训练,并在不包含(或不同)仅假设偏差的数据集上进行测试,来评估我们在合成和现有NLI数据集上的方法。我们的研究结果表明,这些方法可以使NLI模型对特定于网络的工件更加鲁棒,在12个NLI数据集中有9个的传输比基线架构更好。此外,我们还对我们的方法与NLI数据集中已知偏差的相互作用进行了广泛的分析,以及鼓励模型忽略偏差和对目标数据集进行微调的影响。
2019-07-09 cs.CL
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University(乔治城大学);Amherst College(阿默斯特学院)
本研究探究在自然语言推理中引入抽象意义表示(AMR)的影响,发现微调时AMR阻碍泛化,提示时虽有小幅提升但源于表面差异放大,可能误导模型误判非蕴含。
2025-09-24 cs.CL
MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference
Utrecht Institute of Linguistics OTS(乌得勒支语言研究所OTS)
提出MERGE测试,通过最小表达式替换(MERE)生成高质量变体,评估NLI模型在非对抗性变体上的泛化能力,发现LLM和微调模型泛化较差。
2026-10-02 cs.CL
Bilinear Fusion of Commonsense Knowledge with Attention-Based NLI Models
Durham University(杜伦大学)
我们考虑将现实世界的常识知识融入深度自然语言推理(NLI)模型的任务。现有的外部知识整合方法仅限于词汇层面的知识,缺乏跨NLI模型、数据集和常识知识源的泛化。为了解决这些问题,我们提出了一种新的NLI模型独立的神经框架,BiCAM。BiCAM将真实世界的常识知识融入NLI模型。结合卷积特征检测器和双线性特征融合,BiCAM提供了一种概念上简单的机制,可以很好地推广。使用SNLI和SciTail数据集上的两个最先进的NLI基线与ConceptNet和Aristo Tuple KG进行的定量评估表明,BiCAM大大提高了合并的NLI基线的准确性。例如,我们的BiECAM模型,BiCAM的一个实例,在具有挑战性的SciTail数据集上,使用ConceptNet将合并基线的准确性提高了7.0%,使用Aristo Tuple KG提高了8.0%。
2020-10-22 cs.CL cs.LG
Reliable Evaluations for Natural Language Inference based on a Unified Cross-dataset Benchmark
Cloud and Smart Industries Group, Tencent(腾讯云与智慧产业事业群);Harbin Institute of Technology(哈尔滨工业大学)
最近的研究表明,众包的自然语言推理(NLI)数据集可能会受到显著的偏见,如注释工件。利用这些表面线索的模型在域内测试集上获得了幻影优势,使得评估结果被高估。缺乏可信的评估设置和基准阻碍了NLI研究的进展。在本文中,我们提出了评估模型的可信泛化性能与跨数据集评估。我们提出了一个新的统一的跨数据集基准与14个NLI数据集,并重新评估9广泛使用的神经网络为基础的NLI模型,以及最近提出的5个去偏置方法的注释工件。我们提出的评估方案和实验基线可以提供一个基础,以激励未来可靠的NLI研究。
2020-10-15 cs.AI cs.CL
Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
本文提出CONFER数据集,通过评估四个NLI模型及多款LLM在零样本、少样本条件下的表现,揭示模型在条件句预设推理上的不足。
2025-06-06 cs.CL
Analyzing Compositionality-Sensitivity of NLI Models
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
自然语言推理(NLI)的成功需要一个模型来理解词汇语义和组合语义。然而,通过对抗性评估,我们发现几个具有不同架构的最先进的模型过度依赖前者,而没有使用后者。此外,这种组合性不知道没有通过对当前数据集的标准评估来反映。我们表明,在现有模型中删除RNN或在训练过程中打乱输入单词不会导致大的性能损失,尽管明确删除了成分信息。因此,我们提出了一种成分敏感性测试设置,该设置分析来自现有数据集的自然示例的模型,这些数据集不能单独通过词汇特征来解决(即,词袋模型给出一个错误标签的高概率),从而揭示了模型的实际组合性意识。我们表明,这种设置不仅突出了当前NLI模型的有限组合能力,而且还区分了基于设计的模型性能,例如,将浅的词袋模型与更深的、基于语言的树模型分开。我们的评估设置是一个重要的分析工具:补充目前现有的对抗性和语言驱动的诊断评估,并为未来评估模型的组成理解工作提供机会。
2018-11-16 cs.AI cs.CL
Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Cross-dataset Generalization Ability
Tencent(腾讯);Harbin Institute of Technology(哈尔滨工业大学)
自然语言推理(NLI)旨在预测给定前提和假设对之间的关系。然而,一些工作已经发现,在NLI数据集中广泛存在一种称为注释伪影的偏差模式,使得仅通过查看假设来识别标签成为可能。这种不规则性使得评价结果被高估,影响了模型的泛化能力。在本文中,我们考虑一个更值得信赖的设置,即,跨数据集评估。我们探讨了跨数据集测试中注释工件的影响。此外,我们提出了一个培训框架,以减轻偏见模式的影响。实验结果表明,该方法能有效地消除伪影对模型的负面影响,提高模型的泛化能力。
2019-10-05 cs.CL cs.LG
Probing the Natural Language Inference Task with Automated Reasoning Tools
Advancing Machine and Human Reasoning (AMHR) Lab(推进机器与人类推理(AMHR)实验室);University of South Florida(南佛罗里达大学)
自然语言推理(NLI)任务是现代NLP中的一项重要任务,因为它提出了一个广泛的问题,许多其他任务可以简化为:给定一对句子,第一个是否包含第二个?虽然NLI的当前基准数据集的最新技术是基于深度学习的,但值得使用其他技术来检查NLI任务的逻辑结构。我们这样做是通过测试如何以及面向机器的控制自然语言(Attempto控制英语)可以用来解析NLI句子,以及如何自动定理证明可以在由此产生的公式的原因。为了提高性能,我们开发了一套语法和语义转换规则。我们报告他们的表现,并讨论NLI和基于逻辑的NLP的影响。
2020-05-06 cs.AI cs.CL cs.SC
Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
New York University(纽约大学)
大规模自然语言推理(NLI)数据集,如SNLI或MNLI,是通过要求众包工作者阅读一个前提并编写三个新假设来创建的,每个假设对应一种可能的语义关系(蕴涵、矛盾和中性)。虽然该协议已被用于创建有用的基准数据,但仍不清楚基于书写的注释协议是否对任何目的都是最佳的,因为它尚未被直接评估。此外,有充分的证据表明,众包写作可以在数据中引入工件。我们研究了两种替代协议,自动创建候选人(前提,假设)对标注。使用这些协议和基于写作的基线,我们收集了几个新的英语NLI数据集,每个数据集都有超过3k个示例,每个数据集都使用固定的注释时间,但示例数量不同,以适应时间预算。我们对NLI和迁移学习的实验显示了负面的结果:没有一个替代协议在NLI内的泛化评估或迁移到外部目标任务上优于基线。我们的结论是,众包写作仍然是蕴涵数据的最佳选择,强调需要进一步的数据汇集工作,专注于改善基于写作的注释过程。
2020-10-13 cs.CL
Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass
TU Dresden(德累斯顿技术大学)
本文提出仅编码器架构JEDI,通过抽取式原子事实分解与可解释推理联合执行,并利用合成理由语料训练,在NLI任务中实现有竞争力的准确率和显著提升的分布外及对抗鲁棒性。
2025-09-23 cs.CL
Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference
Purdue University(普渡大学)
自然语言推理(NLI)或文本蕴涵识别(RTE)是预测一对句子(前提和假设)之间的蕴涵关系的任务。这项任务已被描述为一个有价值的测试场的语义表示的发展,是自然语言理解评估基准的关键组成部分。理解蕴涵的模型应该对前提和假设都进行编码。然而,Poliak等人的实验揭示了这些模型对仅在假设中观察到的模式的强烈偏好,基于10个数据集的比较。他们的研究结果表明,假设中存在统计不规则性,使模型与最先进的模型竞争。虽然重铸数据集由于最少的人为干预而提供了大规模的NLI实例生成,但生成它们的论文并没有提供对可能使NLI模型产生偏差的潜在统计模式的细粒度分析。在这项工作中,我们分析了在Poliak等人提供的一个重铸数据集上训练的仅假设模型。我们的研究结果表明,存在潜在的词汇偏见,可能有助于膨胀的模型性能。
2021-01-22 cs.CL
Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation
Stanford University(斯坦福大学);Allen Institute for AI(艾伦人工智能研究所)
我们研究了自然语言推理(NLI)的神经模型是否可以学习词汇蕴涵和否定之间的组合交互作用,使用了四种方法:(1)挑战测试集和(2)系统概括任务的行为评估方法,以及(3)探测和(4)干预的结构评估方法。为了促进这种整体评估,我们提出了单调性NLI(MoNLI),一个新的自然主义数据集,专注于词汇蕴涵和否定。在我们的行为评估中,我们发现在通用NLI数据集上训练的模型在包含否定的MoNLI示例上系统地失败,但MoNLI微调解决了这一失败。在我们的结构评估中,我们寻找证据,证明我们性能最好的基于BERT的模型已经学会了实现MoNLI背后的单调性算法。探针产生的证据与这一结论一致,我们的干预实验支持这一点,表明模型的因果动态反映了该算法对MoNLI子集的因果动态。这表明,BERT模型至少部分地嵌入了算法层面的词汇蕴涵和否定理论。
2020-11-21 cs.CL
An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Beijing University of Posts and Telecommunications(北京邮电大学);University of Chicago(芝加哥大学)
现有的自然语言推理(NLI)去偏工作主要针对一个或几个已知的偏置,而不一定使模型更鲁棒。在本文中,我们专注于模型无关的去偏策略,并探讨如何(或是否可能)使NLI模型对多种不同的对抗攻击具有鲁棒性,同时保持甚至加强模型的泛化能力。我们首先对流行的神经NLI模型进行基准测试,包括在各种对抗数据集上进行预训练的模型。然后,我们试图通过修改混合专家模型(MoE)集成方法,以打击不同的已知偏见,并表明它是不平凡的,以减轻多个NLI偏见在同一时间,模型级集成方法优于MoE集成方法。我们还进行了数据增强,包括文本交换,单词替换和释义,并证明了其在打击各种(虽然不是所有)对抗攻击的效率在同一时间。最后,我们研究了几种方法来合并异构训练数据(1.35 M)和执行模型集成,这是直接的,但有效地加强NLI模型。
2020-10-17 cs.AI cs.CL
TaxiNLI: Taking a Ride up the NLU Hill
Microsoft Research India(微软印度研究院);Google Research(谷歌研究院);University of Richmond(里士满大学)
经过预训练的基于transformer的神经架构在自然语言推理(NLI)任务中始终实现了最先进的性能。由于NLI示例包含各种语言、逻辑和推理现象,因此仍不清楚训练系统学习了哪些特定概念,以及它们在哪里可以实现强大的泛化。为了研究这个问题,我们提出了一个分类层次的类别,是相关的NLI任务。我们引入TAXINLI,一个新的数据集,它有来自MNLI数据集的10 k个例子(Williams等人,2018年)与这些分类标签。通过对TAXINLI的各种实验,我们观察到,尽管SOTA神经模型在某些分类类别上已经达到了近乎完美的准确度--比以前的模型有了很大的飞跃--但有些类别仍然很困难。我们的工作增加了越来越多的文献,通过系统地介绍和分析推理类别,显示了当前NLI系统和数据集的差距。
2020-10-09 cs.AI cs.CL
Can neural networks understand monotonicity reasoning?
RIKEN(理化学研究所);Ochanomizu University(御茶水女子大学);Tohoku University(东北大学);University of Groningen(格罗宁根大学)
单调性推理是任何智能自然语言推理(NLI)模型的重要推理技巧之一,因为它需要捕获词汇和句法结构之间的交互的能力。由于没有测试集已经开发的单调性推理的覆盖面广,它仍然是不清楚的神经模型是否可以执行单调性推理以适当的方式。为了研究这个问题,我们引入了单调蕴涵数据集(MED)。最先进的NLI模型在新的测试集上的表现要差得多,低于55%,特别是在向下推理方面。此外,使用单调性驱动的数据增强方法进行的分析表明,这些模型在向上和向下推理中的泛化能力可能有限。
2019-06-27 cs.CL
Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
溯因自然语言推理(αnli)的任务是决定哪个假设是对一组观察结果的更可能的解释,这是一种特别困难的NLI类型。它不仅需要确定因果关系,还需要常识来评估解释的合理性。所有最近的竞争系统都建立在上下文表示的基础上,并利用Transformer架构来学习NLI模型。当有人面临特定的NLI任务时,他们需要选择可用的最佳模型。这是一项耗费时间和资源的工作。为了解决这个实际问题,我们提出了一个简单的方法来预测的性能,实际上没有微调的模型。我们通过测试预先训练的模型在αnli任务上的表现如何来做到这一点,当仅仅比较具有余弦相似性的句子嵌入与在这些嵌入之上训练分类器时所实现的性能时。我们发现,余弦相似性方法的准确性与皮尔逊相关系数为0.65的分类方法的准确性密切相关。由于相似性计算在给定数据集上的计算速度快了几个数量级(不到一分钟,而不是几小时),因此我们的方法可以在模型选择过程中节省大量时间。
2022-07-11 cs.CL
Enhancing Robustness in Biomedical NLI Models: A Probing Approach for Clinical Trials
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
本研究通过记忆探针分析Sci-five模型在临床试验蕴含任务中的特征学习,并利用迭代零空间投影微调,提升了模型鲁棒性和准确性。
2024-02-04 cs.CL cs.LG
Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science(计算机科学学院);University of Texas(德克萨斯大学)
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题,本文提出不依赖测试分布的数据增强与预处理方法,以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
Soft Label Memorization-Generalization for Natural Language Inference
University of Massachusetts(马萨诸塞大学);Vanderbilt University(范德堡大学);Bedford VA(贝德福德退伍军人管理局)
通常,当为训练样本获得多个标签时,假设存在必须考虑的噪声元素。已经表明,这种不一致可以被认为是信号而不是噪声。在这项工作中,我们研究使用软标签的训练数据,以提高泛化机器学习模型。然而,使用软标签来训练深度神经网络(DNN)是不切实际的,这是由于为大型数据集获得多个标签所涉及的成本。我们提出了软标签记忆泛化(SLMG),这是一种使用软标签训练DNN的微调方法。我们假设由人类注释者提供的标签的差异表示关于真实标签而不是噪声的模糊性。SLMG的实验表明,改进的泛化性能的自然语言推理(NLI)任务。我们的实验表明,通过注入一小部分的软标签训练数据(0.03%的训练集大小),我们可以提高泛化性能超过几个基线。
2019-01-25 cs.CL
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA(德克萨斯大学);Hamad Bin Khalifa University, Doha, Qatar(哈马德·本·卡伊夫大学)
针对大语言模型跨语言逻辑对齐能力未充分探索的问题,提出合成逻辑型NLI对并翻译至多语言的受控评估框架,发现语码转换不降低甚至提升性能,为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
Enhancing adversarial robustness in Natural Language Inference using explanations
Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室);School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学)
针对自然语言推理模型易受对抗攻击的问题,提出基于自然语言解释的模型无关防御策略,在解释上微调分类器可提升对抗鲁棒性,并探究了语言生成指标与人类感知的相关性以辅助构建鲁棒模型,方法高效易复现。
2024-10-06 cs.CL
Evaluating the Scalability and Adversarial Generalization of GRPO-Trained NLI Models
Department of Computer Systems Technical University of Madrid(计算机系统系马德里技术大学)
本研究利用GRPO强化学习对7B至32B语言模型进行NLI思维链训练,无需人工标注理由,在对抗性基准上表现优于监督基线,且通过量化适配22GB内存,提供了可扩展的稳健NLI框架。
2026-09-09 cs.AI cs.CL
Diversify Your Datasets: Analyzing Generalization via Controlled Variance in Adversarial Datasets
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
现象特定的“对抗性”数据集最近被设计为针对特定推理类型执行有针对性的压力测试。最近的工作(Liu et al.,2019 a)提出,这样的数据集可以用于训练NLI和其他类型的模型,通常允许学习焦点现象并改进挑战数据集,这表明原始训练数据中存在“盲点”。然而,尽管模型可以在这样的训练过程中得到改进,但它仍然可能容易受到针对相同现象但来自不同分布的其他挑战数据集的影响,例如具有不同的语法复杂性水平。在这项工作中,我们扩展了这种方法,通过控制对抗数据集中的其他方面,来得出关于模型学习和概括目标现象的能力的结论,而不是“学习”数据集。我们展示了我们的方法上的两个推理现象-与格交替和数值推理,阐述,并在某些情况下矛盾,刘等人的结果。我们的方法能够构建更好的挑战数据集,以创建更强大的模型,并可能产生更好的模型理解和随后的总体改进。
2019-10-21 cs.CL
Link Prediction for Wikipedia Articles as a Natural Language Inference Task
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出将维基百科文章链接预测建模为自然语言推理任务,基于句子对分类实现,在DSAA-2023竞赛私有测试集上取得1.00000宏F1分数,排名第三。
2023-09-05 cs.CL
Empowering Language Understanding with Counterfactual Reasoning
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
目前的语言理解方法已经证明了通过机器学习识别文本中模式的非凡能力。然而,现有的方法在测试阶段不加区别地使用与具有反事实思维的我们人类固有不同的识别模式,例如,仔细检查那些难以检测的样本受此启发,我们提出了一个反事实推理模型,它通过从少量的反事实样本中学习来模仿反事实思维。特别是,我们设计了一个生成模块,为每个事实样本生成代表性的反事实样本,和一个回顾模块,通过比较反事实和事实样本来回顾模型预测。在情感分析(SA)和自然语言推理(NLI)上的大量实验验证了该方法的有效性。
2021-06-06 cs.AI cs.CL
Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
机器学习模型可以在基准自然语言处理(NLP)数据集上达到高性能,但在更具挑战性的设置中失败。我们研究这个问题时,一个预先训练的模型学习数据集工件在自然语言推理(NLI),研究一对文本序列之间的逻辑关系的主题。我们提供了各种技术来分析和定位众包斯坦福自然语言推理(SNLI)语料库内的数据集工件。我们研究了SNLI中数据集工件的风格模式。为了减轻数据集的文物,我们采用了一种独特的多尺度数据增强技术与两个不同的框架:行为测试清单在句子级别和词汇同义词标准在单词级别。具体来说,我们的组合方法增强了模型对扰动测试的抵抗力,使其能够持续优于预先训练的基线。
2023-03-16 cs.CL stat.AP
Jamp: Controlled Japanese Temporal Inference Dataset for Evaluating Generalization Capacity of Language Models
The University of Tokyo(东京大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出日语时间推理NLI基准Jamp,通过控制推理模式分布生成数据,评估语言模型泛化能力,发现模型在习惯性等现象上表现不足。
2023-06-19 cs.CL
SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);Cancer Research UK Manchester Institute(英国癌症研究院曼彻斯特研究所)
本文介绍SemEval-2023任务7(NLI4CT),包含临床试验数据的蕴含与证据选择两个子任务,发现增加模型参数比生物医学预训练更有效,并公开了数据集和结果。
2023-05-11 cs.AI cs.CL cs.LG
Lessons from Natural Language Inference in the Clinical Domain
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);IBM Almaden Research Center(IBM阿尔马登研究中心)
使用深度神经网络的现有技术模型在学习从输入到输出的准确映射方面已经变得非常好。然而,他们仍然缺乏泛化能力,在不同的条件下遇到的培训。这在训练数据有限的专业化和知识密集型领域中甚至更具挑战性。为了解决这一差距,我们引入了MedNLI -一个由医生注释的数据集,执行自然语言推理任务(NLI),以患者的病史为基础。我们提出的战略是:1)利用来自开放领域(例如SNLI)的数据集的迁移学习,以及2)结合来自外部数据和词汇源(例如医学术语)的领域知识。我们的研究结果表明,使用这两种策略的性能增益。
2018-08-27 cs.CL
Probing Linguistic Systematicity
Department of Linguistics(语言学系);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所 (Mila));School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Facebook AI Research (FAIR)(Facebook 人工智能研究院 (FAIR));CIFAR AI Chair, Mila(CIFAR 人工智能讲席教授,Mila)
最近,人们对深度自然语言理解模型是否表现出系统性的问题产生了很大的兴趣;泛化使得像单词这样的单元对它们出现的句子的意义做出一致的贡献。越来越多的证据表明,神经模型通常会非系统地泛化。我们从语言学的角度研究了系统性的概念,定义了一组探针和一组度量系统行为的指标。我们还确定了网络架构可以非系统地泛化的方式,并讨论了为什么这种形式的泛化可能不令人满意。作为一个案例研究,我们进行了一系列的实验中设置的自然语言推理(NLI),表明一些NLU系统实现高的整体性能,尽管是非系统的。
2020-08-25 cs.CL
Designing NLP Systems That Adapt to Diverse Worldviews
Faculty of Mathematics and Computer Science(数学与计算机科学学院);Interdisciplinary School of Doctoral Studies(跨学科博士研究学院);HLT Research Center(HLT研究中心);University of Bucharest(布加勒斯特大学)
针对 NLI 模型忽视意义主观性、泛化不足的问题,论文提出构建记录标注者背景、价值观与标注理由的数据集,以显式建模多元世界观,并在 SBIC 子集上验证元数据可提升性能。
2024-05-18 cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
关于隐含关系的推理(例如,词对之间的释义、常识、百科全书)对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对,隐含地表示背景知识,这种关系。我们的成对嵌入被计算为单词表示的组合函数,这是通过最大化两个单词共同出现的上下文的逐点互信息(PMI)来学习的。我们将这些表示添加到现有推理模型的跨句注意力层(例如,QA的Biorean,NLI的ESIM),而不是扩展或替换现有的词嵌入。实验表明,在最近发布的SQuAD 2.0上的增益为2.7%,在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化,在对抗SQuAD数据集上获得约6-7%的收益,在Glockner et al.(2018)的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
RuArg-2022: Argument Mining Evaluation
Vyatka State University(维亚特卡国立大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
论证分析是计算语言学的一个研究领域,它研究从文本中提取论证的方法以及它们之间的关系,并建立文本的论证结构。本文是主办方在对话会议框架内举办的第一届俄语语篇论证分析系统竞赛的报告。在比赛中,参与者被提供了两个任务:立场检测和论点分类。一个包含9,550个句子(社交媒体帖子的评论)的语料库,涉及与COVID-19大流行相关的三个主题(疫苗接种、隔离和戴口罩),已准备好,并进行了注释,用于培训和测试。在这两项任务中获得第一名的系统使用了BERT架构的NLI(自然语言推理)变体,自动翻译成英语以应用专门的BERT模型,在讨论COVID-19的Twitter帖子上进行重新训练,以及对目标实体进行额外的掩蔽。该系统显示了以下结果:对于立场检测任务,F1分数为0.6968,对于论点分类任务,F1分数为0.7404。我们希望准备好的数据集和基线将有助于促进对俄语参数挖掘的进一步研究。
2022-06-18 cs.CL
LawngNLI: A Long-Premise Benchmark for In-Domain Generalization from Short to Long Contexts and for Implication-Based Retrieval
University of Pennsylvania(宾夕法尼亚大学)
自然语言推理已经趋向于研究句子层面之外的语境。一个重要的应用领域是法律:过去的案例往往不能预示它们如何适用于新的情况,必须推断其含义。本文介绍了LawngNLI,它是根据美国法律意见构建的,具有高度人工验证准确性的自动标签。前提是长的和多粒度的。实验显示了两个用例。首先,LawngNLI可以对从短到长上下文的领域泛化进行基准测试。目前尚不清楚是否需要构建大规模的长前提NLI数据集:长前提下的近顶级性能可以通过使用短前提进行微调来实现。如果没有多粒度,基准测试就无法区分长前提下的微调不足与短数据集和长数据集之间的域转移。相比之下,我们的长前提和短前提共享相同的示例和域。使用过去的几个NLI数据集和/或我们的短前提进行微调的模型在我们的长前提下没有达到最佳性能。因此,至少在某些领域(比如我们的领域),需要大规模的长期前提数据集。其次,LawngNLI可以为基于隐含的检索提供基准。目标文件包含或反驳论点,允许用户在论点和证据之间移动。领先的检索模型执行合理的zero shot在LawngNLI派生的检索任务。我们比较了不同的系统进行重新排名,包括词汇重叠和交叉编码器微调使用修改后的LawngNLI或过去的NLI数据集。LawngNLI可以训练和测试基于隐含的案例检索和论证系统。
2022-12-06 cs.CL
The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
虽然最近的基准测试已经激发了许多关于改进预训练的多语言模型在多语言任务上的泛化的新工作,但改进代码转换自然语言理解任务的技术却很少被探索。在这项工作中,我们提出使用双语中间预训练作为一种可靠的技术,以获得大的和一致的性能增益在三个不同的NLP任务使用代码切换文本。我们实现了7.87%,20.15%,和10.99%,平均准确率和F1分数比以前的国家的最先进的系统印地语-英语自然语言推理(NLI),问答(QA)任务,西班牙语-英语情感分析(SA)分别大幅绝对改善。我们表现出一致的性能增益四个不同的代码切换语言对(印地语-英语,西班牙语-英语,泰米尔语-英语和马拉雅拉姆语-英语)SA。我们还提出了一种代码切换的掩蔽语言建模(MLM)预训练技术,与使用真正代码切换文本的标准MLM预训练相比,该技术始终有利于SA。
2021-07-21 cs.CL cs.LG
ConjNLI: Natural Language Inference Over Conjunctive Sentences
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
关于合取句中合取词的推理对于更深入地理解英语中的合取词以及它们的用法和语义与合取和析取布尔逻辑的区别是很重要的。现有的NLI压力测试不考虑连接词的非布尔用法,而是使用模板来测试这种模型知识。因此,我们介绍了ConjNLI,一个挑战压力测试的自然语言推理的连接语句,其中的前提不同的假设的连接词删除,添加,或替换。这些句子包含单个和多个协调连词(“and”,“or”,“but”,“nor”)与量词,否定词的实例,并需要对连词进行各种布尔和非布尔推理。我们发现,像RoBERTa这样的大规模预训练语言模型不能很好地理解连接语义,并采用浅层语义学来对这些句子进行推理。作为一些初步的解决方案,我们首先提出了一个迭代对抗微调方法,使用综合创建的训练数据的基础上布尔和非布尔代数。我们还提出了一个直接的模型进步,使Roberta知道谓词语义角色。虽然我们观察到一些性能的提高,ConjNLI仍然是目前的方法具有挑战性,从而鼓励有趣的未来工作,更好地理解合取。我们的数据和代码可在https://github.com/swarnaHub/ConjNLI上公开获取
2020-10-21 cs.AI cs.CL
Evaluating LLM Personalization via Semantic Constraint Verification
University of New South Wales(新南威尔士大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Technology Innovation Institute(技术创新研究所);The Hong Kong University of Science and Technology(香港科技大学)
提出NLICV框架,利用自然语言推理模型将句子映射到真值条件集,验证个性化约束,将LLM行为分为四类,与人类标注高度一致,并大幅降低延迟和成本。
2026-06-16 cs.CL cs.LG
E-CONAN (Entailment, CONtradition And Neutral) Benchmarks: Arabic Textual Entailment and Natural Inference Datasets
Higher Institute for Applied Sciences and Technology(高等应用科学与技术学院);Arab International University(阿拉伯国际大学)
针对阿拉伯语NLI资源匮乏,构建E-CONAN基准数据集(含二分类和三分类),评估多语言预训练模型与LLM,证明其多样构成优于现有基准,助力泛化评估与微调。
2026-09-11 cs.AI cs.CL cs.LG
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen(圣加仑大学)
在本文中,我们将探讨基于transformer的预训练语言模型(PLM)所使用的浅层语法,这些模型针对自然语言推理(NLI)进行了微调。为此,我们基于三段论构建或拥有数据集,并在我们的数据集上评估许多模型的性能。我们发现的证据表明,该模型严重依赖于某些浅的物理学,拿起对称性和不对称性之间的前提和假设。我们认为,在我们的研究中,这正在成为一个活跃的辩论在该领域的话题,缺乏概括性,这意味着PLM目前没有学习NLI,而是虚假的语法。
2022-01-19 cs.CL cs.LG
Improving Task Generalization via Unified Schema Prompt
Sun Yat-sen University(中山大学);Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Langboat Technology(澜舟科技);Microsoft Research Asia(微软亚洲研究院)
任务泛化一直是自然语言处理(NLP)中的一个难题。最近的研究试图通过将NLP任务映射到人类可读的提示形式来提高预训练语言模型的任务泛化能力。然而,这些方法需要费力且不灵活的提示的手动收集,并且同一下游任务上的不同提示可能接收不稳定的性能。我们提出了统一模式提示,一个灵活的和可扩展的提示方法,自动定制的学习提示每个任务根据任务输入模式。该模型在保持不同任务模式特点的同时,对任务间的共享知识进行建模,从而提高了任务泛化能力。模式提示符采用每个任务的显式数据结构来制定提示符,因此只需要很少的人力。为了测试图式提示的任务泛化能力,我们对各种各样的一般NLP任务进行了基于图式提示的多任务预训练。该框架在来自8种任务类型(例如,QA、NLI等)。此外,全面的分析表明,每个组件的有效性,在模式提示,其灵活性的任务组合,并能够提高性能下的全数据微调设置。
2022-08-05 cs.CL
Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding
Salesforce Research(赛富时研究院);Singapore University of Technology and Design(新加坡科技设计大学)
作为一种调节大规模预训练的语言模型以执行下游任务的参数高效方法,提示微调在很大程度上取得了成功。到目前为止,软提示微调学习任务特定的连续向量的固定集合,即,在任务样本中保持静态的软令牌。然而,固定的提示可能无法很好地推广到任务所包含的各种输入。为了解决这一问题,我们提出了矢量量化的输入上下文化调优器(VIP)作为软提示微调框架的扩展。VIP特别关注两个方面--上下文提示,其通过小规模句子编码器学习软提示令牌的输入特定上下文化,以及量化提示,其通过矢量量化网络将上下文化提示映射到一组可学习的码本矢量。在各种语言理解任务上,如SuperGLUE,QA,关系分类,NER和NLI,VIP的表现优于软提示微调(PT)基线的平均幅度为1.19%。此外,我们的泛化研究表明,VIP学习更强大的提示表示,在Out-of-domain QA和NLI任务上分别超过PT 0.6% - 5.3%,在跨12个域的4个任务的多任务设置上超过PT 0.75%。
2022-10-22 cs.CL
DISCO: Distilling Counterfactuals with Large Language Models
EPFL(洛桑联邦理工学院);Allen Institute for AI(艾伦人工智能研究所)
本文提出 DISCO 流程,用大型通用语言模型生成短语扰动并由任务教师模型过滤蒸馏,大规模获得高质量反事实数据,显著提升小型 NLI 模型的鲁棒性、跨分布泛化和反事实一致性。
2023-06-05 cs.CL
Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization
Technical University of Darmstadt(达姆施塔特工业大学);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);IBM Research Europe(IBM欧洲研究院)
该研究针对预训练语言模型跨主题泛化能力弱于同主题的问题,通过三类探测实验分析差距成因,发现不同模型的泛化差距与嵌入鲁棒性差异显著,多样化预训练目标等可缩小差距,助力理解不同泛化场景下的语言模型。
2024-02-02 cs.CL
Exploring Linguistic Probes for Morphological Generalization
Stony Brook University(石溪大学)
本文提出语言特定探针以测试形态学泛化,发现三种领先的形态学词形变化系统在英语、西班牙语和斯瓦希里语的正字法及语音输入上采用了不同的泛化策略。
2023-10-20 cs.CL
MultiCaption: Detecting disinformation using multilingual visual claims
MultiCaption通过多语言视觉主张数据集提升多模态虚假信息检测性能
2026-01-16 cs.CL
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力,它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性,在接地环境中使用泛化到新的导航指令作为探测工具,要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词(如“around”和“right”)的设置。我们的研究结果证实并加强了早期的研究结果:seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合,但只有当它们接受了关于要推广的特定模式的广泛训练时(例如,从“右周围X”到“右周围跳跃”的许多示例中概括),而当概括需要合成规则的新颖应用时失败(例如,从“右”和“左右”的含义推断“左右”的含义)。
2018-07-19 cs.AI cs.CL cs.LG
Fixing FOLIO and MALLS: Verified Annotations and an LLM-assisted Framework to Focus Human Relabeling
University of Udine(乌迪大学)
通过人工检查发现FOLIO和MALLS数据集中存在大量形式化错误,提出基于LLM的框架引导人工审核,显著减少所需审核量并提高数据集准确性。
2026-09-04 cs.AI cs.CL
Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data
Dartmouth College(达特茅斯学院);University of California, Berkeley(加州大学伯克利分校);University of Melbourne(墨尔本大学);Calculation Consulting(计算咨询公司);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文面向NLP任务评估无需训练或测试数据的泛化指标,通过51个Huggingface预训练Transformer和28种指标,发现重尾类指标更能预测测试误差。
2023-06-04 cs.CL cs.LG
Testing the Generalization of Neural Language Models for COVID-19 Misinformation Detection
University of Wuppertal(伍珀塔尔大学);Indian Institute of Technology Patna(巴特那印度理工学院);Charles University(查理大学)
本研究评估十五个Transformer模型在五个COVID-19错误信息数据集上的泛化能力,发现专用模型无显著优势,为未来检测系统提供现实基准。
2022-11-10 cs.AI cs.CL cs.LG