Scaling Native Language Identification with Transformer Adapters
Universität Zürich(苏黎世大学);PRODAFT
母语识别(NLI)是根据学习语言的语言产出自动识别个人母语的任务。它可用于各种目的,包括营销,安全和教育应用。NLI通常被定义为多标签分类任务,其中许多设计的特征被组合以实现最先进的结果。最近,基于Transformer解码器(GPT-2)的深度生成方法优于其同行,并在NLI基准数据集上取得了最佳结果。我们调查这种方法,以确定与传统的国家的最先进的NLI系统的实际影响。我们引入了Transformer适配器来解决内存限制并提高训练/推理速度,以扩展NLI应用程序以用于生产。
2022-11-18 cs.CL
VariErr NLI: Separating Annotation Error from Human Label Variation
LMU Munich(慕尼黑大学);FNRS(比利时国家科学研究基金会);UCLouvain(鲁汶大学)
本文提出 VariErr NLI 数据集和两轮标注方法,用于区分标注错误与人类标签变异,并发现现有自动错误检测方法及 GPT-4 仍不及人类表现。
2024-06-06 cs.CL
Testing the Generalization Power of Neural Network Models Across NLI Benchmarks
University of Helsinki(赫尔辛基大学);Basement AI(Basement人工智能);University of Gothenburg(哥德堡大学)
神经网络模型在自然语言推理中非常成功,在一些基准测试中,最好的模型达到90%的准确率。然而,这些模型的成功在很大程度上取决于具体的基准。我们发现,在从一个基准测试中提取的自然语言推理数据集上训练的模型在其他基准测试中表现不佳,即使这些基准测试中假设的推理概念相同或相似。我们训练六个高性能的神经网络模型在不同的数据集,并表明,这些都有问题的推广时,我们用一个测试集从另一个语料库设计的相同的任务取代原来的测试集。根据这些结果,我们认为,目前的大多数神经网络模型是不能够推广以及在自然语言推理任务。我们发现,当数据集足够相似时,使用大型预训练语言模型有助于迁移学习。我们的研究结果还强调,目前的NLI数据集没有足够广泛地覆盖推理的不同细微差别。
2019-05-31 cs.CL
A Generic NLI approach for Classification of Sentiment Associated with Therapies
Institute for Infocomm Research, Agency for Science Technology and Research(新加坡科技研究局信息通信研究所)
该研究提出基于NLI的句子对分类方法并训练transformer模型,用于SMM4H 2023疗法相关情感分类任务,最佳模型F1达75.22%,显著优于参赛队伍均值与中位数。
2023-11-28 cs.AI cs.CL
Uncertain Natural Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
我们引入了不确定自然语言推理(UNLI),这是自然语言推理(NLI)的一种改进,它远离了分类标签,而是针对主观概率评估的直接预测。我们证明了通过在概率尺度下重新标记SNLI数据集的一部分来为UNLI收集注释的可行性,即使具有相同分类标签的项目在给定前提下人们判断它们为真的可能性也不同。我们描述了一种直接标量回归建模方法,并发现现有的分类标记的NLI数据可以用于预训练。我们最好的模型接近人类的表现,证明模型可能能够比目前NLI任务中采用的分类箱分配更微妙的推断。
2020-05-05 cs.CL
NLI4CT: Multi-Evidence Natural Language Inference for Clinical Trial Reports
University of Manchester(曼彻斯特大学);Cancer Research UK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
本文提出NLI4CT语料库,包含2400条陈述与临床试验报告,用于多证据自然语言推理,通过预测陈述与报告间的推理关系并检索支持事实,揭示现有NLI模型在生物医学领域的不足(最高F1为0.627)。
2023-10-28 cs.AI cs.CL cs.LG
Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic
University of Alberta(阿尔伯塔大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言推理的目的是确定两个句子之间的逻辑关系,如蕴涵、矛盾和中性。近年来,深度学习模型已成为NLI的主流方法,但它们缺乏可解释性和可解释性。在这项工作中,我们解决了NLI的弱监督逻辑推理的可解释性,并提出了一个可解释短语推理(EPR)的方法。我们的模型首先检测短语作为语义单位,并将两个句子中的相应短语对齐。然后,该模型预测对齐短语的NLI标签,并通过模糊逻辑公式归纳句子标签。我们的EPR几乎在任何地方都是可微的,因此系统可以端到端地训练。通过这种方式,我们能够以弱监督的方式提供短语逻辑关系的明确解释。我们进一步表明,这样的推理结果有助于文本解释生成。
2023-02-22 cs.AI cs.CL
Mining Knowledge for Natural Language Inference from Wikipedia Categories
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Rutgers University(罗格斯大学);University of Chicago(芝加哥大学)
精确的词汇蕴涵(LE)和自然语言推理(NLI)通常需要大量昂贵的注释。为了减轻对标记数据的需求,我们引入了WikiNLI:一个用于提高NLI和LE任务模型性能的资源。它包含428,899对短语,这些短语是从维基百科中自然注释的类别层次结构中构建的。我们表明,我们可以通过在WikiNLI上对BERT和RoBERTa进行预训练并将模型转移到下游任务上来改进强基线。我们与从其他知识库(如WordNet和Wikidata)中提取的短语进行了系统的比较,发现在WikiNLI上进行预训练可以获得最佳性能。此外,我们还用其他语言构建了WikiNLI,并表明对它们进行预训练可以提高相应语言的NLI任务的性能。
2020-10-03 cs.CL
SciNLI: A Corpus for Natural Language Inference on Scientific Text
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
现有的自然语言推理(NLI)数据集虽然有助于自然语言理解(NLU)研究的进步,但与科学文本无关。在本文中,我们介绍了SciNLI,这是一个用于NLI的大型数据集,它捕获了科学文本中的形式,包含从NLP和计算语言学的学术论文中提取的107,412个句子对。鉴于科学文献中使用的文本在词汇和句子结构方面与日常语言中使用的文本有很大不同,我们的数据集非常适合作为评估科学NLU模型的基准。我们的实验表明,SciNLI比现有的NLI数据集更难分类。我们使用XLNet的最佳性能模型的Macro F1得分仅为78.18%,准确率为78.23%,这表明还有很大的改进空间。
2022-03-15 cs.CL
BNLI: A Linguistically-Refined Bengali Dataset for Natural Language Inference
Computer Science and Engineering(计算机科学与工程);Brac University(布拉大学);Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
针对现有孟加拉语NLI数据集的标注错误、语义模糊等问题,本文构建语言精修的BNLI数据集,经多语言及孟加拉语特定Transformer模型基准测试,提升了推理任务的可靠性与可解释性,为低资源语言推理研究奠基。
2025-11-11 cs.CL
Improving Natural Language Inference Using External Knowledge in the Science Questions Domain
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
自然语言推理(NLI)是许多自然语言处理(NLP)应用(包括语义搜索和问答)的基础。由于大规模、具有挑战性的数据集的发布,NLI问题得到了极大的关注。目前的解决方法主要集中在基于学习的方法,只使用文本信息,以分类是否一个给定的前提需要,矛盾,或相对于一个给定的假设是中性的。令人惊讶的是,使用基于结构化知识的方法--人工智能的一个中心主题--在NLI问题上并没有得到太多的关注。虽然有许多开放的知识库,包含各种类型的推理信息,它们的使用NLI还没有得到很好的探索。为了解决这个问题,我们提出了一个技术的组合,利用知识图谱,以提高性能的NLI问题的科学问题域。我们提出了我们的技术应用于文本,图形和文本到图形为基础的模型的结果,并讨论了使用外部知识解决NLI问题的影响。我们的模型在SciTail科学问题数据集上实现了NLI问题的最新性能。
2018-11-20 cs.AI cs.CL cs.LG
A MISMATCHED Benchmark for Scientific Natural Language Inference
Computer Science(计算机科学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Kansas State University(堪萨斯州立大学)
本文提出覆盖心理学、工程学和公共卫生三个非计算机科学领域的科学NLI基准MISMATCHED,并通过实验表明引入隐式NLI关系句子对可提升模型性能。
2025-06-05 cs.CL
SpaceNLI: Evaluating the Consistency of Predicting Inferences in Space
Utrecht University(乌得勒支大学);Institute for Language Sciences(语言科学研究所)
本文提出空间推理数据集 SpaceNLI,并引入模式准确率指标,发现现有 NLI 系统在空间推理上表现中等且缺乏模式一致性,其中非投射性空间推理最具挑战性。
2023-07-05 cs.CL
OCNLI: Original Chinese Natural Language Inference
Indiana University, Bloomington(印第安纳大学伯明顿分校);Allen Institute for Artificial Intelligence, Seattle(艾伦人工智能研究所);Chinese Language Understanding Evaluation (CLUE) benchmark(中文语言理解评估(CLUE)基准测试(注:CLUE作为一个基准测试,严格来说不属于机构,但根据提取范围,此处明确出现作者单位,按要求提取))
尽管最近在自然语言推理(NLI)方面取得了巨大的进展,这主要是由对新数据集的大规模投资(例如,SNLI,MNLI)和建模的进步,由于缺乏世界上大多数语言的可靠数据集,大多数进展仅限于英语。在本文中,我们提出了第一个大规模的NLI数据集(包括约56,000注释的句子对)的中文称为原始中文自然语言推理数据集(OCNLI)。与最近将NLI扩展到其他语言的尝试不同,我们的数据集不依赖于任何自动翻译或非专家注释。相反,我们从语言学专业的母语人士那里得到注释。我们密切关注用于MNLI的注释协议,但创建新的策略来引出不同的假设。我们使用最先进的中国预训练模型在我们的数据集上建立了几个基线结果,并发现即使是表现最好的模型也远远超过人类表现(约12%的绝对性能差距),使其成为一个具有挑战性的新资源,我们希望这将有助于加速中国NLU的进展。据我们所知,这是第一个非英语语言的人类引发的MNLI风格语料库。
2020-10-12 cs.CL
First Train to Generate, then Generate to Train: UnitedSynT5 for Few-Shot NLI
DataLabs(数据实验室);United We Care
针对少样本NLI任务受数据集局限难以提升性能的问题,提出进阶模型UnitedSynT5,通过T5生成器合成并清洗增强数据后训练GTR-T5-XL,在多个NLI数据集上刷新SOTA准确率,证明合成数据增强的应用潜力。
2024-12-13 cs.AI cs.CL
Learning Natural Language Inference with LSTM
Singapore Management University(新加坡管理大学)
自然语言推理(NLI)是自然语言处理中的一项重要任务,有着广泛的应用。最近发布的斯坦福自然语言推理(SNLI)语料库使得开发和评估以学习为中心的方法成为可能,例如用于自然语言推理(NLI)的深度神经网络。在本文中,我们提出了一个特殊的长短期记忆(LSTM)架构的NLI。我们的模型建立在最近提出的NLI神经注意力模型之上,但基于一个显着不同的想法。我们的解决方案不是为用于分类的前提和假设导出句子嵌入,而是使用match-LSTM来执行假设与前提的逐字匹配。这个LSTM能够更加强调重要的单词级匹配结果。特别是,我们观察到这个LSTM记住了重要的不匹配,这对于预测矛盾或中性关系标签至关重要。在SNLI语料库上,我们的模型达到了86.1%的准确率,超过了最先进的水平。
2016-11-10 cs.AI cs.CL cs.NE
Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);IBM Research(IBM研究院)
近年来,自然语言推理(NLI)任务获得了极大的关注,新的数据集和模型在其上实现了接近人类水平的性能。然而,NLI的全部承诺-特别是它学习的知识应该推广到其他下游NLP任务-尚未实现。在本文中,我们从两个下游任务的镜头:问答(QA)和文本摘要研究这个未实现的承诺。我们推测,NLI数据集和这些下游任务之间的关键区别在于前提的长度;并且从现有的QA数据集创建新的长前提NLI数据集是训练真正可推广的NLI模型的有希望的途径。我们验证了我们的猜想,通过显示竞争力的结果,QA的任务,并获得最好的报告结果的任务,检查事实的正确性摘要。
2020-09-18 cs.AI cs.CL cs.LG
VERITAS-NLI : Validation and Extraction of Reliable Information Through Automated Scraping and Natural Language Inference
D.J. Sanghvi College of Engineering(D.J. Sanghvi工程学院)
针对虚假新闻检测问题,提出VERITAS-NLI系统,结合动态网络抓取与自然语言推理检索外部知识验证标题准确性,准确率达84.3%,显著优于经典机器学习和BERT模型。
2024-10-12 cs.AI cs.CL cs.LG
MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学);University of Arizona(亚利桑那大学)
MorphNLI通过文本变形逐步改进自然语言推理任务,在跨领域场景中显著优于现有基线模型。
2025-02-13 cs.AI cs.CL
Probing What Different NLP Tasks Teach Machines about Function Word Comprehension
New York University(纽约大学);Google AI Language(谷歌人工智能语言团队);Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Brown University(布朗大学)
我们介绍了一套九个挑战性的任务,测试功能词的理解。这些任务是通过从现有数据集中结构地突变句子来创建的,以针对特定类型的功能词的理解(例如,介词、wh词)。使用这些探测任务,我们探索了句子编码器的各种预训练目标的影响(例如,语言建模、CCG超标记和自然语言推理(NLI))。我们的研究结果表明,在我们的探测任务中,语言建模的预训练平均表现最好,支持其广泛用于预训练最先进的NLP模型,CCG超级标记和NLI预训练表现最好。总的来说,没有一个预训练目标是全面主导的,我们的功能词探测任务突出了预训练目标之间的几个直观差异,例如,NLI有助于理解否定。
2019-08-07 cs.CL
Validity Assessment of Legal Will Statements as Natural Language Inference
The University of Arizona(亚利桑那大学)
这项工作引入了一个自然语言推理(NLI)数据集,重点关注法律遗嘱中陈述的有效性。这个数据集是独一无二的,因为:(a)每个蕴涵决定需要三个输入:遗嘱的陈述,法律和立遗嘱人死亡时的条件;(b)所包含的文本比当前NLI数据集中的文本更长。我们在这个数据集中训练了八个神经NLI模型。所有模型都达到了80%以上的宏观F1和准确度,这表明神经方法可以很好地处理这项任务。然而,群体准确性,一个更严格的评估措施,计算了一组积极和消极的例子,从同一个陈述作为一个单位,最多在80年代中期,这表明模型的理解仍然是肤浅的。进一步的消融分析和解释实验表明,所有三个文本段用于预测,但一些决策依赖于语义无关的令牌。这表明在这些较长的文本上可能会发生过度拟合,并且需要更多的研究来解决这个任务。
2022-10-30 cs.CL
Distributed NLI: Learning to Predict Human Opinion Distributions for Language Reasoning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了分布式NLI,一个新的NLU任务的目标是预测分布的人类判断自然语言推理。我们表明,通过应用额外的分布估计方法,即蒙特卡罗(MC)辍学,深度增强,重新校准和分布蒸馏,模型可以比softmax基线更有效地捕获人类判断分布。我们表明,MC辍学是能够实现体面的性能,没有任何分布注释,而重新校准可以提供额外的分布注释进一步改进,建议多个注释的价值为一个例子,在模拟人类判断的分布。尽管有这些改进,最好的结果仍然远远低于估计的人类上限,这表明预测人类判断的分布仍然是一个开放的,具有挑战性的问题,有很大的改进空间。我们展示了MC丢弃和重新校准的常见错误。最后,我们给出了使用这些方法的指导方针与不同级别的数据可用性,并鼓励未来的工作建模的人类意见分布的语言推理。我们的代码和数据可在https://github.com/easonnie/ChaosNLI上公开获取
2022-04-07 cs.AI cs.CL cs.LG
EQUATE: A Benchmark Evaluation Framework for Quantitative Reasoning in Natural Language Inference
Carnegie Mellon University(卡内基梅隆大学)
定量推理是一种高阶推理技能,任何智能自然语言理解系统都可以合理地处理。我们提出了EQUATE(Evaluating Quantitative Understanding Aptitude in Textual Entailment),一个新的文本蕴涵定量推理框架。我们对9个已发表的NLI模型在EQUATE上的性能进行了基准测试,发现平均而言,最先进的方法并没有在大多数类基线上实现绝对的改进,这表明它们并没有隐式地学习用数量进行推理。我们建立了一个新的基线Q-REAS,象征性地操纵数量。与表现最好的NLI模型相比,它在数字推理测试中取得了成功(+24.2%),但语言推理能力有限(-8.1%)。我们希望我们的评估框架将支持语言理解中定量推理模型的发展。
2019-10-27 cs.CL
Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science(计算机科学学院);University of Texas(德克萨斯大学)
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题,本文提出不依赖测试分布的数据增强与预处理方法,以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
DR-BiLSTM: Dependent Reading Bidirectional LSTM for Natural Language Inference
Oregon State University(俄勒冈州立大学);Philips Research North America(飞利浦北美研究院)
我们提出了一种新的深度学习架构来解决自然语言推理(NLI)任务。现有的方法大多依赖于简单的阅读机制,独立编码的前提和假设。相反,我们提出了一种新的依赖阅读双向LSTM网络(DR-BiLSTM),以有效地建模编码和推理过程中前提和假设之间的关系。我们还引入了一个复杂的集成策略来结合我们提出的模型,这显着提高了最终的预测。最后,我们演示了如何通过额外的预处理步骤进一步改善结果。我们的评估表明,DR-BiLSTM获得了最佳的单个模型和集成模型结果,在斯坦福NLI数据集上获得了最新的最先进分数。
2018-04-11 cs.CL
Enhancing Natural Language Inference Performance with Knowledge Graph for COVID-19 Automated Fact-Checking in Indonesian Language
School of Electrical Engineering and Informatics, Institut Teknologi Bandung(万隆理工学院电气工程与信息学院);Center for Artificial Intelligence (U-COE AI-VLB), Institut Teknologi Bandung(万隆理工学院人工智能中心)
针对深度学习因缺乏知识导致性能停滞的问题,提出在印尼语COVID-19自动事实核查中引入知识图谱作为外部知识,构建含事实、NLI和分类器模块的模型,显著提升了自然语言推理性能,最佳准确率达0.8616。
2025-09-03 cs.AI cs.CL
Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
最近的研究表明,自动编码器为基础的方法成功地执行语言生成,平滑的句子插值,和风格转移看不见的属性使用未标记的数据集在一个zero-shot的方式。这种模型的潜在空间几何结构组织得足够好,可以在风格是“粗粒度”的数据集上执行,即句子中的一小部分单词足以确定整体风格标签。最近的一项研究使用了一种基于离散标记的扰动方法来映射潜在空间中的“相似”句子(由低Levenshtein距离/高单词重叠定义的“相似”)。这种“相似性”的定义在映射潜在空间邻域时没有考虑组成词的潜在细微差别,因此在映射潜在邻域时无法识别具有不同风格语义的句子。我们引入了EPAAE(嵌入扰动对抗自动编码器),它通过在连续嵌入空间上添加可微调的噪声分量来完成这个扰动模型。我们的经验表明,这(a)产生了一个组织更好的潜在空间,将风格相似的句子聚集在一起,(b)在一组不同的文本风格转移任务上表现最好,而不是类似的去噪启发基线,(c)能够细粒度控制风格转移强度。我们还将文本样式传输任务扩展到NLI数据集,并表明EPAAE可以最好地学习这些更复杂的样式定义。据我们所知,将风格迁移扩展到NLI任务之前还没有被探索过。
2022-05-04 cs.CL
Syntactic Data Augmentation Increases Robustness to Inference Heuristics
Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
预训练的神经模型,如BERT,当被微调以执行自然语言推理(NLI)时,通常在标准数据集上显示出高准确性,但在受控挑战集上显示出惊人的对词序缺乏敏感性。我们假设这个问题主要不是由预训练模型的局限性引起的,而是由于缺乏可能在微调阶段传达句法结构重要性的众包NLI示例。我们探讨了几种方法来增加标准的训练集与句法信息的例子,通过应用句法转换从MNLI语料库的句子。表现最好的增强方法,主语/宾语倒置,提高了BERT的准确性控制的例子,诊断敏感性从0.28到0.73,不影响性能的MNLI测试集。这种改进超出了用于数据增强的特定结构,表明增强导致BERT招募抽象语法表示。
2020-04-24 cs.CL
The Lifted Matrix-Space Model for Semantic Composition
New York University(纽约大学)
用于句子编码的树结构神经网络架构从形式语言学中常见的语义组合方法中汲取灵感,并且通过这样做已经显示出对可比序列模型的经验改进。此外,在这些模型中的组合函数中添加乘法相互作用项可以产生显着的进一步改进。然而,现有的组合方法,采用这样一个强大的组合功能的规模差,与参数计数爆炸模型尺寸或词汇量的增长。我们引入了提升矩阵空间模型,它使用全局变换将向量词嵌入映射到矩阵,然后可以通过基于矩阵-矩阵乘法的操作来组合。它的组合功能有效地传输了大量的激活层与相对较少的模型参数。我们在Stanford NLI语料库、Multi-Genre NLI语料库和Stanford Sentiment Treebank上评估了我们的模型,发现它始终优于TreeLSTM(Tai et al.,2015年),以前最著名的树结构模型的组合函数。
2019-04-05 cs.CL
Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
溯因自然语言推理(αnli)的任务是决定哪个假设是对一组观察结果的更可能的解释,这是一种特别困难的NLI类型。它不仅需要确定因果关系,还需要常识来评估解释的合理性。所有最近的竞争系统都建立在上下文表示的基础上,并利用Transformer架构来学习NLI模型。当有人面临特定的NLI任务时,他们需要选择可用的最佳模型。这是一项耗费时间和资源的工作。为了解决这个实际问题,我们提出了一个简单的方法来预测的性能,实际上没有微调的模型。我们通过测试预先训练的模型在αnli任务上的表现如何来做到这一点,当仅仅比较具有余弦相似性的句子嵌入与在这些嵌入之上训练分类器时所实现的性能时。我们发现,余弦相似性方法的准确性与皮尔逊相关系数为0.65的分类方法的准确性密切相关。由于相似性计算在给定数据集上的计算速度快了几个数量级(不到一分钟,而不是几小时),因此我们的方法可以在模型选择过程中节省大量时间。
2022-07-11 cs.CL
Commonsense on Demand: Generating and Selectively Integrating Commonsense Knowledge for Natural Language Inference
University of Florida(佛罗里达大学)
本研究探讨了大型语言模型通过生成常识公理提升自然语言推理性能的效果,并发现选择性知识访问能有效提高准确率并减少对中性类别的偏见。
2026-08-13 cs.AI cs.CL
IndoNLI: A Natural Language Inference Dataset for Indonesian
Universitas Indonesia(印度尼西亚大学);Kata.ai Research(Kata.ai研究院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of St Andrews(圣安德鲁斯大学);Amazon(亚马逊)
我们提出了IndoNLI,第一个人类引起的NLI数据集印度尼西亚。我们采用了MNLI的数据汇集协议,并收集了近18 K的句子对人群工作人员和专家的注释。专家注释的数据专门用作测试集。它的目的是提供一个具有挑战性的测试台,印尼NLI明确纳入各种语言现象,如数字推理,结构变化,成语,或时间和空间推理。实验结果表明,XLM-R在我们的数据中优于其他预训练模型。专家注释数据的最佳性能仍然远低于人类性能(13.4%的准确率差距),这表明该测试集特别具有挑战性。此外,我们的分析表明,我们的专家注释的数据更多样化,包含更少的注释工件比人群注释的数据。我们希望这个数据集可以帮助加快印度尼西亚NLP研究的进展。
2021-10-27 cs.CL
A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus
University of Bucharest(布加勒斯特大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出首个罗马尼亚语自然语言推理语料库RoNLI,并通过基于数据制图的课程学习方法提升最佳模型性能,为罗马尼亚语NLI任务建立了竞争性基线。
2024-10-18 cs.AI cs.CL cs.LG
Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness
Seoul National University(首尔国立大学)
我们探讨的任务,提高人物角色的一致性的对话代理。最近处理一致性的模型通常使用额外的自然语言推理(NLI)标签进行训练,或者将训练过的额外模块附加到生成代理以保持一致性。然而,这种额外的标签和培训可能是苛刻的。此外,我们发现,即使是表现最好的基于角色的代理是不敏感的矛盾的话。受社会认知和语用学的启发,我们通过一个假想的听众赋予现有的对话主体公共自我意识。我们的方法基于理性言语行为框架(Frank and Goodman,2012),可以强制对话代理避免说出矛盾。我们通过学习分心物选择来进一步扩展框架,这通常是手动或随机完成的。关于对话NLI的结果(Welleck等人,2019)和PersonaChat(Zhang et al.,2018)数据集表明,我们的方法减少了矛盾,提高了现有对话模型的一致性。此外,我们表明,它可以推广到提高上下文一致性超越人物角色的对话。
2020-10-06 cs.CL
SILT: Efficient transformer training for inter-lingual inference
Departamento de Sistemas Informáticos(计算机系统系);Universidad Politécnica de Madrid(马德里理工大学)
Transformers执行精确任务的能力,如问答,自然语言推理(NLI)或总结,使其成为解决自然语言处理(NLP)任务的最佳范例之一。NLI是测试这些架构的最佳场景之一,因为理解复杂句子以及假设和前提之间建立关系所需的知识。然而,这些模型无法推广到其他领域或难以面对多语言和跨语言的情况。文献中解决这些问题的主要途径涉及设计和训练非常大的架构,这会导致不可预测的行为,并建立阻碍广泛访问和微调的障碍。在本文中,我们提出了一个新的架构称为暹罗间的语言Transformer(SILT),有效地对齐多语言嵌入自然语言推理,允许不匹配的语言对进行处理。SILT利用具有冻结权重的siamese预训练多语言Transformers,其中两个输入句子彼此关注,稍后通过矩阵对齐方法组合。本文中进行的实验结果证明,SILT允许大幅减少可训练参数的数量,同时允许跨语言NLI并在常见基准上实现最先进的性能。我们在https://github.com/jahuerta92/siamese-inter-lingual-transformer上提供代码和数据集。
2021-05-17 cs.CL cs.LG
Can string kernels pass the test of time in Native Language Identification?
University of Bucharest(布加勒斯特大学)
我们描述了一种用于2017年母语识别(NLI)共享任务的机器学习方法。所提出的方法结合了多个内核使用多核学习。虽然我们的大多数内核都基于从论文或语音记录中提取的字符p-gram(也称为n-gram),但我们也使用基于i-vector的内核,i-vector是共享任务组织者提供的音频记录的低维表示。对于学习阶段,我们选择核判别分析(KDA)而不是核岭回归(KRR),因为前者的分类器在开发集上获得了比后者更好的结果。在我们以前的工作中,我们使用了类似的机器学习方法来实现最先进的NLI结果。本文的目标是证明我们基于字符串内核的肤浅而简单的方法(略有改进)可以通过时间的考验,并在2017年NLI共享任务中达到最先进的性能,尽管自然语言处理最近取得了进展。我们参加了所有三个轨道,其中允许竞争对手只使用论文(论文轨道),只使用演讲稿(演讲轨道),或两者兼而有之(融合轨道)。仅使用组织者提供的数据来训练我们的模型,我们在封闭的论文轨道中达到了86.95%的宏观F1分数,在封闭的演讲轨道中达到了87.55%的宏观F1分数,在封闭的融合轨道中达到了93.19%的宏观F1分数。凭借这些分数,我们的团队(UnibucKernel)在所有三个曲目中均名列第一组,同时在演讲和融合曲目中获得了最好的分数。
2017-08-04 cs.CL
Polish Natural Language Inference and Factivity -- an Expert-based Dataset and Benchmarks
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学)
针对波兰语自然语言推理中的事实性现象,构建了包含2,432个动词-补语对的数据集,并评估了BERT模型与基于语言特征的方法,发现BERT模型接近专家特征性能,但复杂案例仍待研究。
2022-01-10 cs.CL cs.LG
Multi-head attention debiasing and contrastive learning for mitigating Dataset Artifacts in Natural Language Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对自然语言推理模型利用数据集伪影的问题,提出一种基于多头注意力去偏与对比学习的结构化去偏方法,有效缓解了四类伪影偏置并显著降低了整体错误率。
2024-12-16 cs.CL
E-CONAN (Entailment, CONtradition And Neutral) Benchmarks: Arabic Textual Entailment and Natural Inference Datasets
Higher Institute for Applied Sciences and Technology(高等应用科学与技术学院);Arab International University(阿拉伯国际大学)
针对阿拉伯语NLI资源匮乏,构建E-CONAN基准数据集(含二分类和三分类),评估多语言预训练模型与LLM,证明其多样构成优于现有基准,助力泛化评估与微调。
2026-09-11 cs.AI cs.CL cs.LG
Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科)
本文提出利用大语言模型通过少样本学习自动生成NLI数据集来微调PromptEOL,从而在无需大规模人工标注数据的情况下改进句子嵌入,并在STS任务上优于现有模型。
2024-08-02 cs.CL cs.LG
A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference
Boğaziçi University(博阿齐奇大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Technion – Israel Institute of Technology(以色列理工学院)
针对归因方法评估偏重英语的问题,本文提出基于词对齐的跨语言忠实性评估策略,结合多种输出与聚合机制全面评估 NLI 归因方法,并构建带高亮解释的多语言 XNLI 数据集。
2023-06-05 cs.AI cs.CL
ContractNLI: A Dataset for Document-level Natural Language Inference for Contracts
Stanford University(斯坦福大学);Hitachi America Ltd(日立美国有限公司)
审查合同是一个耗时的过程,招致大量的费用,公司和社会不平等的那些谁买不起it.In这项工作中,我们提出了“文件级自然语言推理(NLI)的合同”,一个新的,现实世界中的应用NLI,解决这些问题。在这项任务中,系统被赋予一组假设(如“协议的某些义务可能在终止后继续存在。“)和合同,并要求对每一项假设进行分类,确定每一项假设是否为合同“所必然”、“与合同相矛盾”或“未被合同提及”(对合同中性),并将决定的“证据”确定为合同中的跨度。我们注释并发布了迄今为止最大的语料库,包括607个注释合同。然后,我们发现现有的模型在我们的任务中失败得很严重,并引入了一个强大的基线,(1)将证据识别建模为跨度上的多标签分类,而不是试图预测开始和结束标记,(2)采用更复杂的上下文分割来处理长文档。我们还表明,合同的语言特点,如否定的例外情况,有助于这项任务的难度,有很大的改进空间。
2021-10-05 cs.AI cs.CL cs.LG
BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs
European Central Bank(欧洲中央银行)
BTZSC是一个涵盖22个公开数据集的零样本文本分类基准,系统比较了跨编码器、嵌入模型、重排序器和LLMs四种模型家族,发现重排序器和LLMs在性能上表现突出,嵌入模型在准确性和延迟之间取得良好平衡。
2026-03-12 cs.AI cs.CL cs.LG
Product-of-Experts Training Reduces Dataset Artifacts in Natural Language Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出PoE训练方法,通过降低偏见模型过度自信的例子权重,减少数据集痕迹,提升推理准确性与减少偏见依赖。
2026-04-21 cs.AI cs.CL
ArNLI: Arabic Natural Language Inference for Entailment and Contradiction Detection
Arab International University(阿拉伯国际大学)
针对阿拉伯语低资源矛盾检测难题,构建了含超12k句的ArNLI数据集,提出结合矛盾向量与语言模型向量的机器学习方法,利用Random Forest在ArNLI上达到75%准确率。
2022-09-28 cs.AI cs.CL cs.LG
Augmenting Legal Decision Support Systems with LLM-based NLI for Analyzing Social Media Evidence
University of Maryland(马里兰大学);University of Wisconsin(威斯康星大学);University of South Florida(南佛罗里达大学)
本文提出基于LLM的NLI方法用于法律社交媒体证据分析,在NLLP 2024法律NLI共享任务中夺冠,并通过系统描述与错误分析揭示各模型优劣及改进方向。
2024-10-21 cs.AI cs.CL cs.LG
Marking: Visual Grading with Highlighting Errors and Annotating Missing Bits
Rice University(莱斯大学)
本文提出“Marking”任务,通过高亮学生回答片段并标注标准答案遗漏来增强自动评分系统,将其构建为NLI任务扩展,使用BERT和RoBERTa进行实验并提供基线结果。
2024-04-22 cs.CL
Functional Entropy: Predicting Functional Correctness in LLM-Generated Code with Uncertainty Quantification
CVS Health(CVS健康)
针对LLM生成代码功能不正确的问题,提出基于功能等价性的不确定性量化方法(功能熵),在多个编程语言和模型上优于现有方法。
2026-08-27 cs.AI cs.CL cs.LG
AGSC: Adaptive Granularity and Semantic Clustering for Uncertainty Quantification in Long-text Generation
School of Informatics, Xiamen University(厦门大学信息学院)
AGSC通过适应粒度和基于GMM的语义聚类方法,解决长文本生成中不确定性量化的问题,提升事实性并减少计算成本。
2026-04-14 cs.CL
FActBench: A Benchmark for Fine-grained Automatic Evaluation of LLM-Generated Text in the Medical Domain
Technical University of Munich(慕尼黑技术大学)
针对大语言模型在医学领域的事实性评估难题,提出覆盖4项生成任务、6款大模型的事实核查基准FActBench,结合CoT提示与NLI技术,证实二者一致投票的分数与专家评估相关性最优。
2025-09-02 cs.CL
Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs
Amazon Web Services(亚马逊云服务)
本研究审计了八种自动归因评分器在三个评估构念上的表现,发现没有评分器能在所有数据集上保持最佳性能,指标排名会反转,且简单选择最佳平均评分器会导致显著遗憾。
2026-09-18 cs.CL cs.IR cs.LG
Detect and Perturb: Neutral Rewriting of Biased and Sensitive Text via Gradient-based Decoding
UC San Diego(加州大学圣地亚哥分校)
书面语言带有显性和隐性的偏见,可以分散有意义的信号。例如,推荐信可能对男性和女性候选人的描述不同,或者他们的写作风格可能间接揭示人口特征。在最好的情况下,这种偏见会分散文本的有意义的内容;在最坏的情况下,它们会导致不公平的结果。我们调查的挑战,重新生成的输入句子,以“中和”敏感属性,同时保持原始文本的语义(例如,候选人合格?)。我们提出了一个基于梯度的重写框架,检测和扰动,以中和(DEPEN),首先检测敏感组件和屏蔽它们的再生,然后在解码时扰动生成模型的中和约束下,推动(预测)敏感属性的分布朝向均匀分布。我们在两个不同的情况下的实验表明,DEPEN可以重新生成流畅的替代品是中立的敏感属性,同时保持其他属性的语义。
2021-09-24 cs.CL
Think While You Write: Hypothesis Verification Promotes Faithful Knowledge-to-Text Generation
University of Edinburgh(爱丁堡大学);Apple(苹果公司)
本文提出无需重训的解码方法 TWEAK,通过 HVM 验证生成假设以减少知识到文本幻觉,并基于 FATE 训练专用 HVM,在两个生成器上显著提升忠实度且质量损失极小。
2024-04-03 cs.AI cs.CL
E-CONAN (Entailment, CONtradition And Neutral) Diagnostics Dataset Investigating Linguistic Phenomena in Arabic Natural Language Understanding
Higher Institute for Applied Sciences and Technology(高等应用科学与技术学院);Arab International University(阿拉伯国际大学)
针对阿拉伯语NLU,提出E-CONAN诊断数据集和层级错误分析框架,评估9个预训练模型和5个LLM,发现LLM在知识和常识推理上更强,但在句法上较弱。
2026-09-29 cs.AI cs.CL cs.HC