Breaking NLI Systems with Sentences that Require Simple Lexical Inferences
TU Darmstadt(达姆施塔特工业大学);Bar-Ilan University(巴伊兰大学)
我们创建了一个新的NLI测试集,显示了在需要词汇和世界知识的推理中最先进的模型的不足。新的例子比SNLI测试集更简单,包含的句子与训练集中的句子最多相差一个单词。然而,在SNLI上训练的系统在新测试集上的表现要差得多,这表明这些系统的泛化能力有限,无法捕获许多简单的推论。
2018-05-06 cs.CL
Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI
University of Chicago(芝加哥大学)
虽然神经模型在SNLI等数据集中表现出了很强的性能,但它们缺乏泛化分布外(OOD)的能力。在这项工作中,我们制定了一个少样本学习设置和检查的影响,自然语言解释对面向对象的推广。我们利用HANS数据集中的模板,并为每个模板构建模板化的自然语言解释。尽管生成的解释显示出与地面实况解释相比具有竞争力的BLEU分数,但它们未能提高预测性能。我们进一步表明,生成的解释往往产生幻觉的信息和错过的关键元素,表明标签。
2021-10-12 cs.AI cs.CL
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University(乔治城大学);Amherst College(阿默斯特学院)
本研究探究在自然语言推理中引入抽象意义表示(AMR)的影响,发现微调时AMR阻碍泛化,提示时虽有小幅提升但源于表面差异放大,可能误导模型误判非蕴含。
2025-09-24 cs.CL
Don't Take the Premise for Granted: Mitigating Artifacts in Natural Language Inference
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院)
自然语言推理(NLI)数据集通常包含仅假设的偏差--允许模型在不学习前提是否需要假设的情况下实现非平凡性能的工件。我们提出了两种概率方法来构建模型,这些模型对此类偏差更鲁棒,并且在数据集之间更好地传输。与NLI的标准方法相比,我们的方法预测给定假设和NLI标签的前提的概率,阻止模型忽略前提。我们通过在包含偏差的数据集上进行训练,并在不包含(或不同)仅假设偏差的数据集上进行测试,来评估我们在合成和现有NLI数据集上的方法。我们的研究结果表明,这些方法可以使NLI模型对特定于网络的工件更加鲁棒,在12个NLI数据集中有9个的传输比基线架构更好。此外,我们还对我们的方法与NLI数据集中已知偏差的相互作用进行了广泛的分析,以及鼓励模型忽略偏差和对目标数据集进行微调的影响。
2019-07-09 cs.CL
Exploring Factual Entailment with NLI: A News Media Study
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究提出新型事实蕴涵标注方案FactRel并构建新闻句对数据集,发现事实关系与NLI关系存在显著差异,验证了GPT-4合成数据、小样本学习在该任务上的有效性,揭示任务对世界知识与推理能力的双重依赖。
2024-06-24 cs.CL
Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass
TU Dresden(德累斯顿技术大学)
本文提出仅编码器架构JEDI,通过抽取式原子事实分解与可解释推理联合执行,并利用合成理由语料训练,在NLI任务中实现有竞争力的准确率和显著提升的分布外及对抗鲁棒性。
2025-09-23 cs.CL
MERGE: Minimal Expression-Replacement GEneralization Test for Natural Language Inference
Utrecht Institute of Linguistics OTS(乌得勒支语言研究所OTS)
提出MERGE测试,通过最小表达式替换(MERE)生成高质量变体,评估NLI模型在非对抗性变体上的泛化能力,发现LLM和微调模型泛化较差。
2026-10-02 cs.CL
Simple Yet Effective Synthetic Dataset Construction for Unsupervised Opinion Summarization
Arizona State University(亚利桑那州立大学);AWS AI Labs(亚马逊云服务人工智能实验室)
意见摘要是对大量评论中表达的意见进行总结的重要解决方案。然而,由于缺乏注释数据,生成特定方面和一般摘要是具有挑战性的。在这项工作中,我们提出了两种简单而有效的无监督方法,通过在与方面相关的评论内容构建的合成数据集上进行训练来生成特定方面和一般性的意见摘要。我们的第一种方法,基于种子词的留一法(SW-LOO),识别方面相关的部分,简单地通过精确匹配方面种子词,并优于现有的方法由3.4 ROUGE-L点的空间和0.5 ROUGE-1点的OPOSUM+方面特定的意见摘要。我们的第二种方法,自然语言推理为基础的留一法(NLI-LOO)确定方面相关的句子,利用NLI模型在一个更一般的设置,而不使用种子词,并优于现有的方法由1.2 ROUGE-L点的空间特定方面的意见摘要,并保持竞争力的其他指标。
2023-03-21 cs.CL
Bilinear Fusion of Commonsense Knowledge with Attention-Based NLI Models
Durham University(杜伦大学)
我们考虑将现实世界的常识知识融入深度自然语言推理(NLI)模型的任务。现有的外部知识整合方法仅限于词汇层面的知识,缺乏跨NLI模型、数据集和常识知识源的泛化。为了解决这些问题,我们提出了一种新的NLI模型独立的神经框架,BiCAM。BiCAM将真实世界的常识知识融入NLI模型。结合卷积特征检测器和双线性特征融合,BiCAM提供了一种概念上简单的机制,可以很好地推广。使用SNLI和SciTail数据集上的两个最先进的NLI基线与ConceptNet和Aristo Tuple KG进行的定量评估表明,BiCAM大大提高了合并的NLI基线的准确性。例如,我们的BiECAM模型,BiCAM的一个实例,在具有挑战性的SciTail数据集上,使用ConceptNet将合并基线的准确性提高了7.0%,使用Aristo Tuple KG提高了8.0%。
2020-10-22 cs.CL cs.LG
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona(亚利桑那大学)
本文构建包含1,304对句子的合成数据集SICCK,通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力,发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
本文提出CONFER数据集,通过评估四个NLI模型及多款LLM在零样本、少样本条件下的表现,揭示模型在条件句预设推理上的不足。
2025-06-06 cs.CL
First Train to Generate, then Generate to Train: UnitedSynT5 for Few-Shot NLI
DataLabs(数据实验室);United We Care
针对少样本NLI任务受数据集局限难以提升性能的问题,提出进阶模型UnitedSynT5,通过T5生成器合成并清洗增强数据后训练GTR-T5-XL,在多个NLI数据集上刷新SOTA准确率,证明合成数据增强的应用潜力。
2024-12-13 cs.AI cs.CL
Reliable Evaluations for Natural Language Inference based on a Unified Cross-dataset Benchmark
Cloud and Smart Industries Group, Tencent(腾讯云与智慧产业事业群);Harbin Institute of Technology(哈尔滨工业大学)
最近的研究表明,众包的自然语言推理(NLI)数据集可能会受到显著的偏见,如注释工件。利用这些表面线索的模型在域内测试集上获得了幻影优势,使得评估结果被高估。缺乏可信的评估设置和基准阻碍了NLI研究的进展。在本文中,我们提出了评估模型的可信泛化性能与跨数据集评估。我们提出了一个新的统一的跨数据集基准与14个NLI数据集,并重新评估9广泛使用的神经网络为基础的NLI模型,以及最近提出的5个去偏置方法的注释工件。我们提出的评估方案和实验基线可以提供一个基础,以激励未来可靠的NLI研究。
2020-10-15 cs.AI cs.CL
Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Cross-dataset Generalization Ability
Tencent(腾讯);Harbin Institute of Technology(哈尔滨工业大学)
自然语言推理(NLI)旨在预测给定前提和假设对之间的关系。然而,一些工作已经发现,在NLI数据集中广泛存在一种称为注释伪影的偏差模式,使得仅通过查看假设来识别标签成为可能。这种不规则性使得评价结果被高估,影响了模型的泛化能力。在本文中,我们考虑一个更值得信赖的设置,即,跨数据集评估。我们探讨了跨数据集测试中注释工件的影响。此外,我们提出了一个培训框架,以减轻偏见模式的影响。实验结果表明,该方法能有效地消除伪影对模型的负面影响,提高模型的泛化能力。
2019-10-05 cs.CL cs.LG
Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options
New York University(纽约大学)
大规模自然语言推理(NLI)数据集,如SNLI或MNLI,是通过要求众包工作者阅读一个前提并编写三个新假设来创建的,每个假设对应一种可能的语义关系(蕴涵、矛盾和中性)。虽然该协议已被用于创建有用的基准数据,但仍不清楚基于书写的注释协议是否对任何目的都是最佳的,因为它尚未被直接评估。此外,有充分的证据表明,众包写作可以在数据中引入工件。我们研究了两种替代协议,自动创建候选人(前提,假设)对标注。使用这些协议和基于写作的基线,我们收集了几个新的英语NLI数据集,每个数据集都有超过3k个示例,每个数据集都使用固定的注释时间,但示例数量不同,以适应时间预算。我们对NLI和迁移学习的实验显示了负面的结果:没有一个替代协议在NLI内的泛化评估或迁移到外部目标任务上优于基线。我们的结论是,众包写作仍然是蕴涵数据的最佳选择,强调需要进一步的数据汇集工作,专注于改善基于写作的注释过程。
2020-10-13 cs.CL
Evaluating Multilingual and Code-Switched Alignment in LLMs via Synthetic Natural Language Inference
Texas A\&M University, College Station, TX., USA(德克萨斯大学);Hamad Bin Khalifa University, Doha, Qatar(哈马德·本·卡伊夫大学)
针对大语言模型跨语言逻辑对齐能力未充分探索的问题,提出合成逻辑型NLI对并翻译至多语言的受控评估框架,发现语码转换不降低甚至提升性能,为多语言鲁棒性研究提供新视角与工具。
2025-08-20 cs.AI cs.CL
Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation
Stanford University(斯坦福大学);Allen Institute for AI(艾伦人工智能研究所)
我们研究了自然语言推理(NLI)的神经模型是否可以学习词汇蕴涵和否定之间的组合交互作用,使用了四种方法:(1)挑战测试集和(2)系统概括任务的行为评估方法,以及(3)探测和(4)干预的结构评估方法。为了促进这种整体评估,我们提出了单调性NLI(MoNLI),一个新的自然主义数据集,专注于词汇蕴涵和否定。在我们的行为评估中,我们发现在通用NLI数据集上训练的模型在包含否定的MoNLI示例上系统地失败,但MoNLI微调解决了这一失败。在我们的结构评估中,我们寻找证据,证明我们性能最好的基于BERT的模型已经学会了实现MoNLI背后的单调性算法。探针产生的证据与这一结论一致,我们的干预实验支持这一点,表明模型的因果动态反映了该算法对MoNLI子集的因果动态。这表明,BERT模型至少部分地嵌入了算法层面的词汇蕴涵和否定理论。
2020-11-21 cs.CL
An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Beijing University of Posts and Telecommunications(北京邮电大学);University of Chicago(芝加哥大学)
现有的自然语言推理(NLI)去偏工作主要针对一个或几个已知的偏置,而不一定使模型更鲁棒。在本文中,我们专注于模型无关的去偏策略,并探讨如何(或是否可能)使NLI模型对多种不同的对抗攻击具有鲁棒性,同时保持甚至加强模型的泛化能力。我们首先对流行的神经NLI模型进行基准测试,包括在各种对抗数据集上进行预训练的模型。然后,我们试图通过修改混合专家模型(MoE)集成方法,以打击不同的已知偏见,并表明它是不平凡的,以减轻多个NLI偏见在同一时间,模型级集成方法优于MoE集成方法。我们还进行了数据增强,包括文本交换,单词替换和释义,并证明了其在打击各种(虽然不是所有)对抗攻击的效率在同一时间。最后,我们研究了几种方法来合并异构训练数据(1.35 M)和执行模型集成,这是直接的,但有效地加强NLI模型。
2020-10-17 cs.AI cs.CL
TaxiNLI: Taking a Ride up the NLU Hill
Microsoft Research India(微软印度研究院);Google Research(谷歌研究院);University of Richmond(里士满大学)
经过预训练的基于transformer的神经架构在自然语言推理(NLI)任务中始终实现了最先进的性能。由于NLI示例包含各种语言、逻辑和推理现象,因此仍不清楚训练系统学习了哪些特定概念,以及它们在哪里可以实现强大的泛化。为了研究这个问题,我们提出了一个分类层次的类别,是相关的NLI任务。我们引入TAXINLI,一个新的数据集,它有来自MNLI数据集的10 k个例子(Williams等人,2018年)与这些分类标签。通过对TAXINLI的各种实验,我们观察到,尽管SOTA神经模型在某些分类类别上已经达到了近乎完美的准确度--比以前的模型有了很大的飞跃--但有些类别仍然很困难。我们的工作增加了越来越多的文献,通过系统地介绍和分析推理类别,显示了当前NLI系统和数据集的差距。
2020-10-09 cs.AI cs.CL
Can neural networks understand monotonicity reasoning?
RIKEN(理化学研究所);Ochanomizu University(御茶水女子大学);Tohoku University(东北大学);University of Groningen(格罗宁根大学)
单调性推理是任何智能自然语言推理(NLI)模型的重要推理技巧之一,因为它需要捕获词汇和句法结构之间的交互的能力。由于没有测试集已经开发的单调性推理的覆盖面广,它仍然是不清楚的神经模型是否可以执行单调性推理以适当的方式。为了研究这个问题,我们引入了单调蕴涵数据集(MED)。最先进的NLI模型在新的测试集上的表现要差得多,低于55%,特别是在向下推理方面。此外,使用单调性驱动的数据增强方法进行的分析表明,这些模型在向上和向下推理中的泛化能力可能有限。
2019-06-27 cs.CL
A Generative Approach for Mitigating Structural Biases in Natural Language Inference
Technion(以色列理工学院);Israel Institute of Technology(以色列理工学院);Harvard University(哈佛大学)
许多自然语言推理(NLI)数据集包含偏差,这些偏差允许模型仅使用输入的偏差子集,而不考虑其余特征。例如,模型能够通过仅使用假设来做出分类决策,而无需学习它与前提之间的真实关系。这些结构性偏差导致判别模型学习非预期的表面特征,并在训练分布中推广得很差。在这项工作中,我们将NLI任务重新定义为生成任务,其中模型以输入和标签的偏置子集为条件,并生成输入的剩余子集。我们表明,通过施加一个统一的先验,我们得到一个可证明的无偏模型。通过合成实验,我们发现,这种方法是非常强大的大量的偏见。然后,我们证明经验上的两种类型的自然偏见,这种方法导致完全无偏的模型在实践中。然而,我们发现生成模型很难训练,而且它们的表现通常比判别基线差。我们强调了在NLI的背景下生成建模任务的难度,这是导致性能下降的原因。最后,通过用判别目标微调生成模型,我们减少了生成模型和判别基线之间的性能差距,同时允许少量的偏差。
2021-08-31 cs.CL
Learning to Rank for Plausible Plausibility
Harbin Institute of Technology(哈尔滨工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究人员通过一组共享的自然语言理解(NLU)任务的结果表现来说明上下文编码策略的改进。这些任务中的许多都是分类预测类型:给定条件上下文(例如,NLI前提),基于相关联的提示提供标签(例如,NLI假说)。这些任务的分类性质导致在训练期间通常使用交叉熵对数损失目标。我们认为,这种损失是直观错误的,当应用到可扩展性任务,其中提示的设计既不是绝对必然的,也不矛盾的背景。对数损失自然会促使模型分配接近0.0或1.0的分数,这与我们建议使用的基于边际的损失相反。在讨论了我们的直觉之后,我们描述了一项基于MultiNLI的极端综合策划任务的确认研究。我们发现,基于保证金的损失导致一个更合理的模型的可扩展性。最后,我们通过这种损失的变化说明了合理选择(COPA)任务的改进。
2019-06-05 cs.CL
L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi
MKSSS’ Cummins College of Engineering for Women(MKSSS卡明斯女子工程学院);L3Cube;Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
普通BERT模型的句子表示在句子相似性任务中效果不佳。在STS或NLI数据集上专门训练的Sentence-BERT模型显示出最先进的性能。然而,由于缺乏这些专门的数据集,为低资源语言构建这些模型并不简单。这项工作的重点是两个低资源的印度语言,印地语和马拉地语。我们使用使用机器翻译准备的合成NLI和STS数据集为这些语言训练重复BERT模型。我们表明,NLI预训练,然后STSb微调的策略是有效的,在生成高性能的印地语和马拉地语的相似性模型。使用这种简单策略训练的普通BERT模型优于使用复杂训练策略训练的多语言LaBSE。这些模型在下游文本分类和相似性任务中进行评估。我们在真实文本分类数据集上评估这些模型,以显示从合成数据训练中获得的嵌入也可推广到真实数据集,因此代表了低资源语言的有效训练策略。我们还提供了对快速文本模型、多语言BERT模型(mBERT、IndicBERT、xlm-RoBERTa、MuRIL)、多语言句子嵌入模型(LASER、LaBSE)以及基于L3 Cube-Maha BERT和HindBERT的单语言BERT模型的句子嵌入的比较分析。我们发布L3 Cube-MahaSBERT和HindSBERT,分别用于马拉地语和印地语的最先进的BERT模型。我们的工作也作为一个指导,以建立低资源的句子嵌入模型。
2022-11-22 cs.CL cs.LG
Soft Label Memorization-Generalization for Natural Language Inference
University of Massachusetts(马萨诸塞大学);Vanderbilt University(范德堡大学);Bedford VA(贝德福德退伍军人管理局)
通常,当为训练样本获得多个标签时,假设存在必须考虑的噪声元素。已经表明,这种不一致可以被认为是信号而不是噪声。在这项工作中,我们研究使用软标签的训练数据,以提高泛化机器学习模型。然而,使用软标签来训练深度神经网络(DNN)是不切实际的,这是由于为大型数据集获得多个标签所涉及的成本。我们提出了软标签记忆泛化(SLMG),这是一种使用软标签训练DNN的微调方法。我们假设由人类注释者提供的标签的差异表示关于真实标签而不是噪声的模糊性。SLMG的实验表明,改进的泛化性能的自然语言推理(NLI)任务。我们的实验表明,通过注入一小部分的软标签训练数据(0.03%的训练集大小),我们可以提高泛化性能超过几个基线。
2019-01-25 cs.CL
Improving the OOD Performance of Closed-Source LLMs on NLI Through Strategic Data Selection
Imperial College London(伦敦帝国学院);University of Sheffield(谢菲尔德大学);Cohere Labs(Cohere实验室);Boston University(波士顿大学)
本文通过战略选择NLI微调数据提升封闭源LLM在自然语言推理任务中的分布外性能,优先复杂示例和生成复杂合成数据以增强鲁棒性。
2026-01-19 cs.CL
Finding needles in a haystack: Sampling Structurally-diverse Training Sets from Synthetic Data for Compositional Generalization
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
现代语义解析器有两个主要的局限性。首先,训练需要昂贵的话语-程序对集合。第二,语义解析器在测试时无法泛化到在训练期间没有观察到的新组合/结构。最近的研究表明,自动生成的合成话语程序对可以缓解第一个问题,但其潜力的第二个迄今尚未被充分发掘。在这项工作中,我们研究自动生成的合成话语程序对,以提高合成概括语义解析。给定一个小的注释示例训练集和一个“无限”的合成示例池,我们选择一个结构多样的合成示例子集,并使用它们来提高合成泛化。我们评估我们的方法上的schema 2 QA数据集的一个新的分裂,并表明,它导致了显着的改进,在组成的泛化以及温和的改进,在传统的i.i.d设置。此外,结构多样性采样仅用5 K个样本就实现了这些改进,而随机均匀采样时只有1 M个样本-数据效率提高了200倍。
2021-09-06 cs.CL
Evaluating the Scalability and Adversarial Generalization of GRPO-Trained NLI Models
Department of Computer Systems Technical University of Madrid(计算机系统系马德里技术大学)
本研究利用GRPO强化学习对7B至32B语言模型进行NLI思维链训练,无需人工标注理由,在对抗性基准上表现优于监督基线,且通过量化适配22GB内存,提供了可扩展的稳健NLI框架。
2026-09-09 cs.AI cs.CL
Diversify Your Datasets: Analyzing Generalization via Controlled Variance in Adversarial Datasets
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
现象特定的“对抗性”数据集最近被设计为针对特定推理类型执行有针对性的压力测试。最近的工作(Liu et al.,2019 a)提出,这样的数据集可以用于训练NLI和其他类型的模型,通常允许学习焦点现象并改进挑战数据集,这表明原始训练数据中存在“盲点”。然而,尽管模型可以在这样的训练过程中得到改进,但它仍然可能容易受到针对相同现象但来自不同分布的其他挑战数据集的影响,例如具有不同的语法复杂性水平。在这项工作中,我们扩展了这种方法,通过控制对抗数据集中的其他方面,来得出关于模型学习和概括目标现象的能力的结论,而不是“学习”数据集。我们展示了我们的方法上的两个推理现象-与格交替和数值推理,阐述,并在某些情况下矛盾,刘等人的结果。我们的方法能够构建更好的挑战数据集,以创建更强大的模型,并可能产生更好的模型理解和随后的总体改进。
2019-10-21 cs.CL
Leveraging Data Recasting to Enhance Tabular Reasoning
IIIT Hyderabad(印度海得拉巴国际信息技术学院);Google Research(谷歌研究院);University of Utah(犹他大学)
创建具有挑战性的表格推理数据对于学习复杂推理至关重要。以前的工作主要依赖于两种数据生成策略。第一种是人工注释,它产生语言多样的数据,但难以扩展。第二类创造是合成发电,这是可扩展的,成本效益高,但缺乏创造性。在这项研究中,我们提出了一个框架,半自动重铸现有的表格数据,利用这两种方法的好处。我们利用我们的框架,建立表格NLI实例,从五个数据集,最初打算像table 2 text创建,表格Q/A,和语义解析的任务。我们证明,重铸的数据可以作为评估基准,以及增强数据,以提高性能的表格NLI任务。此外,我们还研究了在zero-shot场景中对重铸数据进行训练的模型的有效性,并分析了不同重铸数据集类型的性能趋势。
2022-11-23 cs.AI cs.CL cs.IR
Jamp: Controlled Japanese Temporal Inference Dataset for Evaluating Generalization Capacity of Language Models
The University of Tokyo(东京大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出日语时间推理NLI基准Jamp,通过控制推理模式分布生成数据,评估语言模型泛化能力,发现模型在习惯性等现象上表现不足。
2023-06-19 cs.CL
Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both?
Google Research(谷歌研究院)
序列到序列模型擅长处理自然语言变化,但已被证明与分布外的组合泛化的斗争。这激发了具有更强成分偏差的新的专门架构,但这些方法中的大多数仅在合成生成的数据集上进行了评估,这些数据集并不代表自然语言的变化。在这项工作中,我们问:我们可以开发一个语义解析的方法,既处理自然语言的变化和组成的概括?为了更好地评估这种能力,我们提出了新的非合成数据集的训练和测试分裂。我们证明,强大的现有方法在广泛的评估中表现不佳。我们还提出了NQG-T5,这是一种混合模型,将高精度的基于语法的方法与预训练的序列到序列模型相结合。它在非合成数据上的几个合成泛化挑战方面优于现有方法,同时在标准评估方面也与最先进的方法竞争。虽然还远远没有解决这个问题,我们的研究突出了多样的评价和开放的挑战,处理组合泛化和自然语言变化的语义解析的重要性。
2021-06-01 cs.CL
Lessons from Natural Language Inference in the Clinical Domain
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);IBM Almaden Research Center(IBM阿尔马登研究中心)
使用深度神经网络的现有技术模型在学习从输入到输出的准确映射方面已经变得非常好。然而,他们仍然缺乏泛化能力,在不同的条件下遇到的培训。这在训练数据有限的专业化和知识密集型领域中甚至更具挑战性。为了解决这一差距,我们引入了MedNLI -一个由医生注释的数据集,执行自然语言推理任务(NLI),以患者的病史为基础。我们提出的战略是:1)利用来自开放领域(例如SNLI)的数据集的迁移学习,以及2)结合来自外部数据和词汇源(例如医学术语)的领域知识。我们的研究结果表明,使用这两种策略的性能增益。
2018-08-27 cs.CL
What does the Failure to Reason with "Respectively" in Zero/Few-Shot Settings Tell Us about Language Models?
University of Copenhagen(哥本哈根大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文通过构建 WikiResNLI 和 NatResNLI 数据集,研究语言模型在零样本/少样本下对“respectively”并列结构的推理能力,发现模型在隐式解读、跨结构泛化上仍显著落后于人类。
2023-05-31 cs.AI cs.CL
SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所);Cancer Research UK Manchester Institute(英国癌症研究院曼彻斯特研究所)
本文介绍SemEval-2023任务7(NLI4CT),包含临床试验数据的蕴含与证据选择两个子任务,发现增加模型参数比生物医学预训练更有效,并公开了数据集和结果。
2023-05-11 cs.AI cs.CL cs.LG
Designing NLP Systems That Adapt to Diverse Worldviews
Faculty of Mathematics and Computer Science(数学与计算机科学学院);Interdisciplinary School of Doctoral Studies(跨学科博士研究学院);HLT Research Center(HLT研究中心);University of Bucharest(布加勒斯特大学)
针对 NLI 模型忽视意义主观性、泛化不足的问题,论文提出构建记录标注者背景、价值观与标注理由的数据集,以显式建模多元世界观,并在 SBIC 子集上验证元数据可提升性能。
2024-05-18 cs.CL
LawngNLI: A Long-Premise Benchmark for In-Domain Generalization from Short to Long Contexts and for Implication-Based Retrieval
University of Pennsylvania(宾夕法尼亚大学)
自然语言推理已经趋向于研究句子层面之外的语境。一个重要的应用领域是法律:过去的案例往往不能预示它们如何适用于新的情况,必须推断其含义。本文介绍了LawngNLI,它是根据美国法律意见构建的,具有高度人工验证准确性的自动标签。前提是长的和多粒度的。实验显示了两个用例。首先,LawngNLI可以对从短到长上下文的领域泛化进行基准测试。目前尚不清楚是否需要构建大规模的长前提NLI数据集:长前提下的近顶级性能可以通过使用短前提进行微调来实现。如果没有多粒度,基准测试就无法区分长前提下的微调不足与短数据集和长数据集之间的域转移。相比之下,我们的长前提和短前提共享相同的示例和域。使用过去的几个NLI数据集和/或我们的短前提进行微调的模型在我们的长前提下没有达到最佳性能。因此,至少在某些领域(比如我们的领域),需要大规模的长期前提数据集。其次,LawngNLI可以为基于隐含的检索提供基准。目标文件包含或反驳论点,允许用户在论点和证据之间移动。领先的检索模型执行合理的zero shot在LawngNLI派生的检索任务。我们比较了不同的系统进行重新排名,包括词汇重叠和交叉编码器微调使用修改后的LawngNLI或过去的NLI数据集。LawngNLI可以训练和测试基于隐含的案例检索和论证系统。
2022-12-06 cs.CL
The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
虽然最近的基准测试已经激发了许多关于改进预训练的多语言模型在多语言任务上的泛化的新工作,但改进代码转换自然语言理解任务的技术却很少被探索。在这项工作中,我们提出使用双语中间预训练作为一种可靠的技术,以获得大的和一致的性能增益在三个不同的NLP任务使用代码切换文本。我们实现了7.87%,20.15%,和10.99%,平均准确率和F1分数比以前的国家的最先进的系统印地语-英语自然语言推理(NLI),问答(QA)任务,西班牙语-英语情感分析(SA)分别大幅绝对改善。我们表现出一致的性能增益四个不同的代码切换语言对(印地语-英语,西班牙语-英语,泰米尔语-英语和马拉雅拉姆语-英语)SA。我们还提出了一种代码切换的掩蔽语言建模(MLM)预训练技术,与使用真正代码切换文本的标准MLM预训练相比,该技术始终有利于SA。
2021-07-21 cs.CL cs.LG
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University(卡内基梅隆大学)
以前的工作表明,深度NLP模型并不总是概念上合理的:它们并不总是学习正确的语言概念。具体来说,他们可能对词序不敏感。为了系统地评估模型的概念合理性,相对于词序,我们介绍了一种新的解释方法:顺序敏感Shapley值(OSV)。我们进行了广泛的实证评估,以验证该方法,并揭示各种深度NLP模型学习词序的效果。使用合成数据,我们首先表明,OSV是更忠实地解释模型的行为比基于梯度的方法。其次,应用于HANS数据集,我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性,但OSV表明,增强模型并没有从根本上提高模型的阶次学习。第三,我们发现并非所有的情感分析模型都能正确地学习否定:有些模型无法捕捉到否定结构的正确语法。最后,我们证明了预训练的语言模型,如BERT,可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务,我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
Does Training on Synthetic Data Make Models Less Robust?
Brown University(布朗大学)
本文通过 Llama-2-7B-hf 在 MultiNLI 与 HANS 上的模拟微调实验,检验同类 LLM 生成的合成数据是否会强化 NLI 启发式盲点,结果表明其既未减少也未加剧该问题。
2025-03-16 cs.AI cs.CL cs.LG
FactCG: Enhancing Fact Checkers with Graph-Based Multi-Hop Data
Microsoft Responsible AI(微软负责任人工智能部门)
提出基于上下文图多跳推理的合成数据生成方法CG2C,训练事实检查器FactCG,在LLM-Aggrefact基准上以更小模型规模超越GPT-4-o。
2025-01-28 cs.AI cs.CL
Auto-GDA: Automatic Domain Adaptation for Efficient Grounding Verification in Retrieval-Augmented Generation
University of Tübingen(蒂宾根大学);MIT(麻省理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
针对真实 RAG 场景中轻量 NLI 验证模型领域不匹配且缺少标注的问题,本文提出 Auto-GDA,利用教师弱标签与离散优化迭代生成并筛选合成数据,实现无监督领域适应。
2025-03-14 cs.CL cs.LG
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen(圣加仑大学)
在本文中,我们将探讨基于transformer的预训练语言模型(PLM)所使用的浅层语法,这些模型针对自然语言推理(NLI)进行了微调。为此,我们基于三段论构建或拥有数据集,并在我们的数据集上评估许多模型的性能。我们发现的证据表明,该模型严重依赖于某些浅的物理学,拿起对称性和不对称性之间的前提和假设。我们认为,在我们的研究中,这正在成为一个活跃的辩论在该领域的话题,缺乏概括性,这意味着PLM目前没有学习NLI,而是虚假的语法。
2022-01-19 cs.CL cs.LG
MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM Hallucination Detection
Politecnico di Torino(托尼诺理工学院)
MALTO通过合成数据增强和投票集成方法,提升LLM幻觉检测的准确性与鲁棒性。
2024-03-01 cs.CL cs.LG
TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
本文提出TrueTeacher方法,利用大型语言模型标注多样化的模型生成摘要来生成合成数据,以学习事实一致性评估,在TRUE基准上显著优于现有模型和LLM教师,并发布了140万示例的大规模数据集。
2023-10-18 cs.CL
From Templates to Natural Language: Generalization Challenges in Instruction-Tuned LLMs for Spatial Reasoning
Computational Linguistics, Department of Linguistics University of Potsdam(乌特雷赫特大学语言学系计算语言学部);German Research Center for Artificial Intelligence (DFKI), Berlin(德国人工智能研究中心(DFKI)柏林)
本文研究指令微调大语言模型在空间定位任务中从合成指令向人类自然语言指令泛化的挑战,发现模型在简单任务上表现良好但在复杂任务上性能显著下降,并通过错误分析揭示了泛化差距。
2025-08-18 cs.CL
OpenCharacter: Training Customizable Role-Playing LLMs with Large-Scale Synthetic Personas
Tencent AI Lab(腾讯AI实验室)
本文提出基于Persona Hub大规模合成角色档案,并通过回复重写与生成构建角色对齐指令数据,用LLaMA-3 8B进行SFT,使模型在角色扮演对话上达到接近GPT-4o的表现。
2025-02-18 cs.CL
Understanding the Influence of Synthetic Data for Text Embedders
Carnegie Mellon University(卡内基梅隆大学);Mila – Quebec AI Institute, McGill University(蒙特利尔AI研究院,麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本研究复现并公开了Mistral-E5合成数据,发现其对文本嵌入模型的泛化提升稀疏且局部化,并存在任务间性能权衡,挑战了合成数据训练带来更稳健模型的观念。
2025-09-07 cs.CL
Synthetic Feature Augmentation Improves Generalization Performance of Language Models
Mayo Clinic(梅奥诊所)
针对有限不平衡数据集下大语言模型等深度学习模型泛化差、过拟合主导类别的问题,提出嵌入空间合成特征增强方法,经多文本分类基准验证可提升不平衡场景下模型性能与鲁棒性。
2025-01-11 cs.AI cs.CL
DiNeR: a Large Realistic Dataset for Evaluating Compositional Generalization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出菜名识别任务DiNeR,构建包含3,811道菜和228,114条食谱的大规模真实中文数据集,以更丰富的语言现象和组合多样性评估组合泛化,并提供基于T5和大语言模型的基线方法。
2024-06-07 cs.CL
Learning Beyond Limits: Multitask Learning and Synthetic Data for Low-Resource Canonical Morpheme Segmentation
University of British Columbia(不列颠哥伦比亚大学)
本文提出一种基于Transformer的多任务学习与LLM合成数据方法,用于低资源语素切分,显著提升词级准确性和语素级F1分数。
2025-05-22 cs.CL
Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
本文从反向瓶颈视角对LLM后训练中的合成数据进行理论建模,提出基于互信息的泛化增益(GGMI)概念,揭示信息增益与泛化能力的关系,为合成数据生成与后训练优化提供理论指导。
2025-02-06 cs.AI cs.CL cs.LG
Controlled Automatic Task-Specific Synthetic Data Generation for Hallucination Detection
Amazon(亚马逊)
本文提出了一种受控的自动任务特定合成数据生成方法,通过两步流程和数据混合策略提升幻觉检测的泛化能力和鲁棒性,实验表明其在幻觉检测任务中优于基于上下文学习的检测器。
2026-01-09 cs.AI cs.CL cs.CV
Fill In The Gaps: Model Calibration and Generalization with Synthetic Data
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);School of Mathematical and Natural Sciences, Arizona State University(亚利桑那州立大学数学与自然科学学院)
针对现有校准方法因验证数据缺乏多样性而降低模型泛化能力的问题,提出一种利用大型语言模型生成合成数据的校准方法,通过PAC框架推导ECE边界,在四项NLP任务上使准确率提升达34%且ECE降低33%。
2024-10-07 cs.AI cs.CL cs.LG
Dyna-bAbI: unlocking bAbI's potential with dynamic synthetic benchmarking
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for AI(艾伦人工智能研究院);Bar-Ilan University(巴伊兰大学);Tel-Aviv University(特拉维夫大学);Stanford University(斯坦福大学)
虽然神经语言模型在自然语言理解(NLU)任务中的表现通常令人惊讶,但它们的优势和局限性仍然知之甚少。因此,受控合成任务是诊断模型行为的越来越重要的资源。在这项工作中,我们专注于故事理解,这是NLU系统的核心能力。然而,故事理解的主要合成资源,bAbI基准,缺乏这样一个系统的可控任务生成机制。我们开发Dyna-bAbI,一个动态的框架,提供细粒度的控制任务生成bAbI。我们证明了我们的想法,通过构建三个新的任务,需要组成的泛化,一个重要的评估设置,从原来的基准缺席。我们测试了为bAbI开发的专用模型以及最先进的预训练方法,发现虽然这两种方法都解决了原始任务(>99%的准确率),但这两种方法都没有在合成泛化设置中取得成功,这表明原始训练数据的局限性。我们探索了增强原始数据的方法,发现尽管多样化的训练数据远比简单地增加数据集大小有用,但它仍然不足以驱动强大的组合泛化(复杂组合的准确率<70%)。我们的研究结果强调了高度可控的任务生成器对于通过模型和数据开发的良性循环创建强大的NLU系统的重要性。
2021-11-30 cs.AI cs.CL