Enhancing Natural Language Inference Performance with Knowledge Graph for COVID-19 Automated Fact-Checking in Indonesian Language
School of Electrical Engineering and Informatics, Institut Teknologi Bandung(万隆理工学院电气工程与信息学院);Center for Artificial Intelligence (U-COE AI-VLB), Institut Teknologi Bandung(万隆理工学院人工智能中心)
针对深度学习因缺乏知识导致性能停滞的问题,提出在印尼语COVID-19自动事实核查中引入知识图谱作为外部知识,构建含事实、NLI和分类器模块的模型,显著提升了自然语言推理性能,最佳准确率达0.8616。
2025-09-03 cs.AI cs.CL
Logical Reasoning with Span-Level Predictions for Interpretable and Robust NLI Models
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学)
当前的自然语言推理(NLI)模型取得了令人印象深刻的结果,有时在分布测试集上进行评估时表现优于人类。然而,由于已知这些模型从注释伪影和数据集偏差中学习,因此不清楚模型在多大程度上学习NLI任务,而不是从其训练数据中的浅层几何学中学习。我们通过为NLI引入一个逻辑推理框架来解决这个问题,创建基于逻辑规则的高度透明的模型决策。与以前的工作不同,我们表明,可以在不降低预测精度的情况下实现更好的可解释性。我们几乎完全保留了SNLI的性能,同时还确定了负责每个模型预测的确切假设跨度。使用e-SNLI人类解释,我们验证了我们的模型在跨度水平上做出了明智的决策,尽管在训练过程中没有使用任何跨度标签。我们可以通过在训练过程中使用e-SNLI解释来进一步提高模型性能和跨度级决策。最后,我们的模型在减少的数据设置中更鲁棒。当仅使用1,000个示例进行训练时,相对于基线,MNLI匹配和不匹配验证集的分布外性能提高了13%和16%。用较少的观测值进行训练可以进一步改善分布内和分布外的性能。
2022-10-21 cs.CL cs.LG
NLI under the Microscope: What Atomic Hypothesis Decomposition Reveals
University of Maryland, College Park(马里兰大学帕克分校)
本文利用原子假设分解将NLI和可废止NLI任务拆分为原子子问题,以探究模型逻辑一致性,发现LLM在此类细粒度推理上仍存在困难,并提出衡量模型推理一致性的新指标。
2025-03-07 cs.CL
VERITAS-NLI : Validation and Extraction of Reliable Information Through Automated Scraping and Natural Language Inference
D.J. Sanghvi College of Engineering(D.J. Sanghvi工程学院)
针对虚假新闻检测问题,提出VERITAS-NLI系统,结合动态网络抓取与自然语言推理检索外部知识验证标题准确性,准确率达84.3%,显著优于经典机器学习和BERT模型。
2024-10-12 cs.AI cs.CL cs.LG
With a Little Push, NLI Models can Robustly and Efficiently Predict Faithfulness
Heidelberg University(海德堡大学)
本文提出通过任务自适应数据增强、联合利用蕴含与矛盾概率以及蒙特卡洛dropout推理,使纯NLI模型在TRUE基准上以更低计算成本稳健超越复杂忠实性度量方法。
2023-05-26 cs.CL
Which Spurious Correlations Impact Reasoning in NLI Models? A Visual Interactive Diagnosis through Data-Constrained Counterfactuals
ETH Zürich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出一种人机交互仪表盘,利用GPT-3生成反事实示例并获取模型反馈,以诊断NLI模型依赖的虚假相关性,将其归为语义相关性、逻辑谬误和偏见三类,并指出多样化训练数据与构建对抗性测试套件等研究机会。
2023-06-21 cs.CL cs.HC
Atomic Inference for NLI with Generated Facts as Atoms
Imperial College London(伦敦帝国学院);University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);University College London(伦敦大学学院)
本文提出以LLM生成事实为原子的原子推断方法,通过多阶段事实生成和融合事实的训练机制,在自然语言推理中实现可解释且性能更优的决策。
2024-10-01 cs.CL
NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance
Basement AI;University of Gothenburg(哥德堡大学);University of Helsinki(赫尔辛基大学)
预训练的神经语言模型在自然语言推理(NLI)任务上具有高性能。但他们是否真的理解处理过的序列的含义仍不清楚。我们提出了一个新的诊断测试套件,它允许评估数据集是否构成一个很好的测试平台,用于评估模型的意义理解能力。我们专门将受控腐败转换应用于广泛使用的基准测试(MNLI和ANLI),这涉及删除整个单词类,并经常导致无意义的句子对。如果受损数据的模型准确性仍然很高,那么数据集可能包含指导预测的统计偏差和伪影。然而,模型精度的大幅下降表明原始数据集对模型的推理能力提出了适当的挑战。因此,我们提出的控制可以作为一个碰撞测试,为NLI任务开发高质量的数据。
2021-04-10 cs.CL
Capturing Label Distribution: A Case Study in NLI
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究估计固有的人类分歧(注释标签分布)在自然语言推理任务。预测标签分布的事后平滑以匹配预期标签熵是非常有效的。这种简单的操作可以将KL分歧减少近一半,但不会提高大多数标签预测的准确性或学习标签分布。为此,我们在训练中引入了少量具有多个引用的示例。我们从每个训练样本收集单个引用的标准实践出发,发现在固定的注释预算下,收集多个引用可以实现更好的准确性。最后,我们提供了丰富的分析比较这两种方法,以改善标签分布估计。
2021-02-13 cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University(女王大学);iFLYTEK Research(科大讯飞研究院);University of Science and Technology of China(中国科学技术大学)
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号(如语言模型和句子预测目标)的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如,如果它学习数据注释中的伪影,或者相反地学习真正的推理知识。另外,可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中,例如,从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验,以研究它们是否以同样的方式帮助NLI,如果不是,如何帮助?
2019-04-27 cs.CL
Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI
Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI Research(Meta人工智能研究院)
评估解释的可信性是出于信任、可解释性和诊断模型错误的原因。在这项工作中,它专注于NLI任务,我们介绍了通过反事实的忠实的方法,它首先生成一个反事实的假设的基础上的逻辑谓词表示的解释,然后评估模型的预测是否与反事实的表达逻辑一致(即,如果新的公式是\textit{logically satisfiable})。与现有方法相比,这不需要对训练单独的验证模型进行任何解释。我们首先验证自动反事实假设生成的有效性,利用Few-Shot启动范式。接下来,我们表明,我们提出的度量区分人类模型的协议和新的反事实输入的分歧。此外,我们进行了敏感性分析,以验证我们的指标是敏感的不忠实的解释。
2022-05-25 cs.CL
On Reference (In-)Determinacy in Natural Language Inference
University of Pennsylvania(宾夕法尼亚大学);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Microsoft(微软)
本文重新审视NLI任务中的指代确定性假设,发现基于该假设训练的模型在语境不匹配的下游任务中表现差,为此引入RefNLI诊断基准,揭示模型无法识别指代歧义的问题,并指出其对NLI数据集创建及人类分歧的影响。
2025-02-09 cs.CL
Native Language Identification using Stacked Generalization
Harvard Medical School(哈佛医学院);Macquarie University(麦考瑞大学)
使用多个分类器的集成方法已被证明是最成功的母语识别(NLI)的任务,实现当前的艺术状态。然而,集成方法的NLI尚未进行系统的检查。此外,更深层次的集成架构,如分类器堆叠尚未密切评估。我们提出了一组实验,使用三个基于集成的模型,测试每个与多种配置和算法。这包括严格应用NLI的元分类模型,在来自不同语言的三个数据集上获得最先进的结果。我们还提出了第一次使用统计显著性检验比较NLI系统,表明我们的结果是显着优于以前的最先进的状态。我们提供了一个测试集的预测,以方便未来的统计测试。
2017-03-19 cs.CL
Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference
Stanford University(斯坦福大学)
虽然大型预训练语言模型功能强大,但它们的预测通常在测试输入中缺乏逻辑一致性。例如,一个最先进的金刚鹦鹉问答(QA)模型对“麻雀是鸟吗?””和“鸟有脚吗?但对“麻雀有脚吗?”'.为了解决这种故障模式,我们提出了一个框架,通过关系检测的一致性校正,或ConCoRD,用于使用预训练的自然语言推理(NLI)模型来提高预训练的NLP模型的一致性和准确性,而无需微调或重新训练。给定一批测试输入,ConCoRD对每个输入的几个候选输出进行采样,并实例化一个因子图,该因子图既考虑了模型对每个答案选择的可能性的信念,又考虑了NLI模型对成对答案选择兼容性的信念。我们表明,加权MaxSAT求解器可以有效地计算高质量的答案选择下,这个因素图,提高了原始模型的预测。我们的实验表明,ConCoRD使用现成的NLI模型持续提高现成的闭卷QA和VQA模型的准确性和一致性,特别是将LXMERT对ConVQA的准确性提高了5%。有关代码和数据,请参见https://ericmitchell.ai/emnlp-2022-concord/。
2022-11-21 cs.AI cs.CL
Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks
University of Campinas(坎皮纳斯大学);Technical University of Darmstadt(达姆施塔特工业大学)
本文研究利用现有解释数据集训练自我合理化模型,通过在19个OOD数据集上评估T5-Large和OLMo-7B,发现少量标注示例即可有效适应OOD解释生成,且微调数据来源比样本选择策略对性能影响更大。
2025-02-07 cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文通过因果效应估计方法,在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响,构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
NL-Eye: Abductive NLI for Images
Technion - IIT(以色列理工学院);Google Research(谷歌研究院)
本文提出NL-Eye基准,将溯因自然语言推理任务扩展到视觉领域,通过350个三元组示例评估视觉语言模型的视觉溯因推理能力,实验表明现有模型表现接近随机水平,揭示了其在多模态推理上的不足。
2024-10-03 cs.AI cs.CL cs.CV
Uncertain Natural Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
我们引入了不确定自然语言推理(UNLI),这是自然语言推理(NLI)的一种改进,它远离了分类标签,而是针对主观概率评估的直接预测。我们证明了通过在概率尺度下重新标记SNLI数据集的一部分来为UNLI收集注释的可行性,即使具有相同分类标签的项目在给定前提下人们判断它们为真的可能性也不同。我们描述了一种直接标量回归建模方法,并发现现有的分类标记的NLI数据可以用于预训练。我们最好的模型接近人类的表现,证明模型可能能够比目前NLI任务中采用的分类箱分配更微妙的推断。
2020-05-05 cs.CL
Embarrassingly Simple Performance Prediction for Abductive Natural Language Inference
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);University of Stuttgart(斯图加特大学)
溯因自然语言推理(αnli)的任务是决定哪个假设是对一组观察结果的更可能的解释,这是一种特别困难的NLI类型。它不仅需要确定因果关系,还需要常识来评估解释的合理性。所有最近的竞争系统都建立在上下文表示的基础上,并利用Transformer架构来学习NLI模型。当有人面临特定的NLI任务时,他们需要选择可用的最佳模型。这是一项耗费时间和资源的工作。为了解决这个实际问题,我们提出了一个简单的方法来预测的性能,实际上没有微调的模型。我们通过测试预先训练的模型在αnli任务上的表现如何来做到这一点,当仅仅比较具有余弦相似性的句子嵌入与在这些嵌入之上训练分类器时所实现的性能时。我们发现,余弦相似性方法的准确性与皮尔逊相关系数为0.65的分类方法的准确性密切相关。由于相似性计算在给定数据集上的计算速度快了几个数量级(不到一分钟,而不是几小时),因此我们的方法可以在模型选择过程中节省大量时间。
2022-07-11 cs.CL
Towards Improving Selective Prediction Ability of NLP Systems
Arizona State University(亚利桑那州立大学)
与其回答错误,不如说“我不能回答”。这种选择性的预测能力对于NLP系统在现实世界中的可靠部署至关重要。先前的工作已经表明,现有的选择性预测技术不能很好地执行,特别是在域外设置。在这项工作中,我们提出了一种方法,通过使用预测置信度和实例的难度得分来校准模型,从而提高模型的概率估计。使用这两个信号,我们首先注释出的实例,然后训练校准器来预测模型预测正确性的可能性。我们实例化我们的方法与自然语言推理(NLI)和重复检测(DD)的任务,并评估它在域(IID)和域外(OOD)设置。在(IID,OOD)设置中,我们表明,我们的校准器学习的表示结果在NLI和DD任务上分别比“MaxProb”(选择性预测基线)提高了(15.81%,5.64%)和(6.19%,13.9%)。
2022-04-07 cs.CL cs.LG
Repurposing Entailment for Multi-Hop Question Answering Tasks
Stony Brook University(石溪大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
问答(QA)自然地归结为蕴涵问题,即验证某些文本是否蕴涵问题的答案。然而,对于需要用多个句子进行推理的多跳QA任务,目前还不清楚如何最好地利用在大规模数据集(如SNLI)上预先训练的蕴涵模型,这些模型基于句子对。我们介绍Multee,一个通用的架构,可以有效地使用蕴涵模型的多跳QA任务。Multee使用(i)一个本地模块,帮助定位重要的句子,从而避免分散注意力的信息,以及(ii)一个全局模块,通过有效地整合重要性权重来聚合信息。重要的是,我们证明了这两个模块都可以使用在大规模NLI数据集上预先训练的蕴涵函数。我们评估MultiRC和OpenBookQA,两个多跳QA数据集的性能。当使用在NLI数据集上预先训练的蕴涵函数时,Multee的性能优于仅在目标QA数据集和OpenAI Transformer模型上训练的QA模型。该代码可在https://github.com/StonyBrookNLP/multee上获得。
2019-04-20 cs.AI cs.CL cs.LG
Poison Attacks against Text Datasets with Conditional Adversarially Regularized Autoencoder
Nanyang Technological University(南洋理工大学);AWS AI(亚马逊云科技人工智能)
本文演示了自然语言推理(NLI)和文本分类系统中的致命漏洞。更具体地说,我们对NLP模型进行了“后门中毒”攻击。我们的中毒攻击利用条件逆向正则化自动编码器(CARA)生成中毒的训练样本的毒药注射在潜在的空间。实验结果表明,仅添加1%的中毒数据,当输入假设被注入中毒签名时,受害者BERT微调分类器的预测就可以以>80%的成功率转向中毒目标类,这表明NLI和文本分类系统面临着巨大的安全风险。
2020-10-06 cs.AI cs.CL cs.NE
Does External Knowledge Help Explainable Natural Language Inference? Automatic Evaluation vs. Human Ratings
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
自然语言推理(NLI)需要模型来学习和应用常识知识。这些推理能力对于可解释的NLI系统特别重要,该系统除了其标签预测之外还生成自然语言解释。外部知识的整合已被证明可以改善NLI系统,在这里,我们调查它是否也可以提高他们的解释能力。为此,我们调查了不同的外部知识来源,并评估了我们的模型在域内数据以及旨在评估细粒度推理能力的特殊传输数据集上的性能。我们发现不同的知识来源对推理能力有不同的影响,例如,存储在语言模型中的隐性知识会阻碍对数字和否定的推理。最后,我们进行了迄今为止规模最大,粒度最细的可解释的NLI众包研究。它表明,即使是在自动性能分数的巨大差异并不反映在标签,解释,常识或语法正确性的人的评级。
2021-10-13 cs.CL cs.HC
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标志物中心,英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap 研究所)
本文针对基于 Transformer 的 NLI 模型,利用因果效应估计和干预实验分析自然逻辑特征,揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Selection Shapes the Boundary: A Replication of Monotonicity and Label Agreement in Unselected NLI Populations
University of Bremen(不来梅大学)
研究自然语言推理中人类标签变异,预注册复制未选群体中单调性和标签一致性边界,原负边界预测失败,新结果显示为正,表明原负边界或为低一致性选择结构,相关主张应明确选择条件。
2026-11-03 cs.CL
Generating Token-Level Explanations for Natural Language Inference
University of Cambridge(剑桥大学);Amazon(亚马逊)
自然语言推理(NLI)的任务被广泛地建模为有监督的句对分类。虽然最近在生成分类器对单个文本的预测的解释方面做了很多工作,但还没有尝试生成分类器对句子对的操作的解释。在本文中,我们表明,它是可能的,生成令牌级的解释NLI,而不需要明确注释为此目的的训练数据。我们使用一个简单的LSTM架构,并为此任务评估LIME和Anchor解释。我们将这些与使用阈值注意力进行标记级预测的多实例学习(MIL)方法进行比较。本文提出的方法是一种新的扩展zero-shot单句标记的句子对NLI。我们进行了我们的实验,充分研究的SNLI数据集,最近增加了手动注释的令牌,解释蕴涵关系。我们发现,我们的白盒MIL为基础的方法,而数量级更快,并没有达到相同的准确性的黑盒方法。
2019-04-24 cs.CL cs.LG stat.ML
Deep Natural Language Feature Learning for Interpretable Prediction
Centro Nacional de Inteligencia Artificial(国家人工智能中心);Universidad de Chile(智利大学)
该研究提出将复杂任务拆解为自然语言二元子任务的NLLF特征学习方法,用LLM生成弱标签训练BERT生成可解释特征,可增强分类器性能并支撑高表现可解释决策树,已在两类任务中验证有效。
2023-11-09 cs.AI cs.CL
ConCSE: Unified Contrastive Learning and Augmentation for Code-Switched Embeddings
Chung-Ang University(中央大学);University of British Columbia(不列颠哥伦比亚大学)
针对英韩语码转换(CS)场景,本文构建了Koglish-GLUE和Koglish-NLI数据集,并提出统一对比学习与增强方法ConCSE,有效提升了CS句子的语义表示能力。
2024-12-20 cs.AI cs.CL
Link Prediction for Wikipedia Articles as a Natural Language Inference Task
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出将维基百科文章链接预测建模为自然语言推理任务,基于句子对分类实现,在DSAA-2023竞赛私有测试集上取得1.00000宏F1分数,排名第三。
2023-09-05 cs.CL
Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI
University of Lagos(拉各斯大学)
该研究探究非洲语言NLI自适应推断的基于表示的难度估计,发现内部表示统计量无法为该场景提供有用的示例级难度信号,且自适应路由的表现不如始终高开销的推断。
2026-08-20 cs.CL
KPC-cF: Aspect-Based Sentiment Analysis via Implicit-Feature Alignment with Corpus Filtering
Hongik University(弘益大学);MODULABS(MODULABS机构)
针对韩语工业评论ABSA研究不足的问题,提出KPC-cF框架,整合翻译基准与未标记数据,通过伪标记、LaBSE和MSP双重过滤实现隐式特征对齐,在低资源下提升性能,F1和准确率仅比英语ABSA低约3%,并将开源数据集与代码。
2025-04-16 cs.AI cs.CL
TLDR at SemEval-2024 Task 2: T5-generated clinical-Language summaries for DeBERTa Report Analysis
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Department(机器学习系)
针对临床试验自然语言推理任务中上下文窗口小、前提长的问题,提出融合T5生成前提摘要的TLDR方法,显著提升Macro F1分数,经实验验证其预测一致性与忠实度更优。
2024-04-14 cs.AI cs.CL cs.LG
Validity Assessment of Legal Will Statements as Natural Language Inference
The University of Arizona(亚利桑那大学)
这项工作引入了一个自然语言推理(NLI)数据集,重点关注法律遗嘱中陈述的有效性。这个数据集是独一无二的,因为:(a)每个蕴涵决定需要三个输入:遗嘱的陈述,法律和立遗嘱人死亡时的条件;(b)所包含的文本比当前NLI数据集中的文本更长。我们在这个数据集中训练了八个神经NLI模型。所有模型都达到了80%以上的宏观F1和准确度,这表明神经方法可以很好地处理这项任务。然而,群体准确性,一个更严格的评估措施,计算了一组积极和消极的例子,从同一个陈述作为一个单位,最多在80年代中期,这表明模型的理解仍然是肤浅的。进一步的消融分析和解释实验表明,所有三个文本段用于预测,但一些决策依赖于语义无关的令牌。这表明在这些较长的文本上可能会发生过度拟合,并且需要更多的研究来解决这个任务。
2022-10-30 cs.CL
Conformal Predictor for Improving Zero-shot Text Classification Efficiency
Salesforce AI Research(赛富时人工智能研究院);Hugging Face(拥抱脸)
预训练的语言模型(PLM)已被证明是有效的zero-shot(0 shot)文本分类。基于自然语言推理(NLI)和下一句预测(NSP)的Oshot模型采用交叉编码器架构,并通过分别对每个标签-文本对进行模型的前向传递来进行推理。这增加了在标签数量上进行线性推断的计算成本。在这项工作中,我们通过使用另一个基于快速基本分类器的共形预测器(CP)来限制可能标签的数量,从而提高了这种基于交叉编码器的0 shot模型的效率。由于CP生成具有覆盖保证的预测集,因此它减少了目标标签的数量,而不排除基于0 shot模型的最可能的标签。我们使用三个意图和两个主题分类数据集进行实验。通过为每个数据集选择合适的CP,我们将基于NLI和NSP的模型的平均推理时间分别减少了25.6%和22.2%,而不会将性能降低到预定义的出错率1%以下。
2022-10-23 cs.CL
DR-BiLSTM: Dependent Reading Bidirectional LSTM for Natural Language Inference
Oregon State University(俄勒冈州立大学);Philips Research North America(飞利浦北美研究院)
我们提出了一种新的深度学习架构来解决自然语言推理(NLI)任务。现有的方法大多依赖于简单的阅读机制,独立编码的前提和假设。相反,我们提出了一种新的依赖阅读双向LSTM网络(DR-BiLSTM),以有效地建模编码和推理过程中前提和假设之间的关系。我们还引入了一个复杂的集成策略来结合我们提出的模型,这显着提高了最终的预测。最后,我们演示了如何通过额外的预处理步骤进一步改善结果。我们的评估表明,DR-BiLSTM获得了最佳的单个模型和集成模型结果,在斯坦福NLI数据集上获得了最新的最先进分数。
2018-04-11 cs.CL
Reference-Free Evaluation of Reasoning in Open-Ended Question Answering
Queen Mary University of London(伦敦大学玛丽皇后学院);Temple University(天普大学)
针对高风险领域人工智能生成答案难验证问题,提出基于推理的无参考框架审核大语言模型输出,通过分解推理轨迹、标记关系并组织成超图等方法评估,在数学和医学推理设置下比直接以大语言模型为基线更可靠,强调问答评估应考虑推理关系组合。
2026-07-23 cs.AI cs.CL cs.LG
HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference
School of EECS, Peking University(北京大学工程科学学院(电子工程与计算机科学学院));Peng Cheng Laboratory(鹏城实验室)
最近的许多研究表明,对于在自然语言推理(NLI)数据集上训练的模型,可以通过只考虑假设而完全忽略前提来做出正确的预测。在这项工作中,我们设法从仅假设偏见的角度推导出对抗性的例子,并探索合适的方法来减轻这种偏见。具体来说,我们从训练集中的假设(人工模式)中提取各种短语,并表明它们是特定标签的强指标。然后,我们从原始测试集中找出标签与这些指示相反或一致的“硬”和“容易”实例。我们还设置了基线,包括预训练模型(BERT,RoBERTa,XLNet)和竞争性非预训练模型(InferSent,DAM,ESIM)。除了基准和基线之外,我们还研究了两种去偏置方法,它们利用人工模式建模来减轻这种仅假设的偏差:下采样和对抗训练。我们相信这些方法可以被视为NLI去偏置任务中的竞争基线。
2021-03-15 cs.AI cs.CL cs.LG
Investigating Selective Prediction Approaches Across Several Tasks in IID, OOD, and Adversarial Settings
Arizona State University(亚利桑那州立大学)
为了使NLP系统具有选择性预测能力,已经提出了几种特定于任务的方法。然而,哪些方法在任务中效果最好,或者即使它们始终优于最简单的基线“MaxProb”,仍有待探索。为此,我们系统地研究了“选择性预测”在一个大规模的设置17个数据集在几个NLP任务。通过在域内(IID),域外(OOD)和对抗(ADV)设置下的全面实验,我们表明,尽管利用了额外的资源(保留的数据/计算),但现有方法在所有三种设置中都没有一致且显著优于MaxProb。此外,他们的表现并不能很好地体现在各项任务中。例如,Monte-Carlo Dropout在重复检测数据集上优于所有其他方法,但在NLI数据集上表现不佳,特别是在OOD设置中。因此,我们建议,未来的选择性预测方法应跨任务和设置进行评估,以可靠地估计其能力。
2022-03-01 cs.AI cs.CL cs.LG
Learning to Rank for Plausible Plausibility
Harbin Institute of Technology(哈尔滨工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究人员通过一组共享的自然语言理解(NLU)任务的结果表现来说明上下文编码策略的改进。这些任务中的许多都是分类预测类型:给定条件上下文(例如,NLI前提),基于相关联的提示提供标签(例如,NLI假说)。这些任务的分类性质导致在训练期间通常使用交叉熵对数损失目标。我们认为,这种损失是直观错误的,当应用到可扩展性任务,其中提示的设计既不是绝对必然的,也不矛盾的背景。对数损失自然会促使模型分配接近0.0或1.0的分数,这与我们建议使用的基于边际的损失相反。在讨论了我们的直觉之后,我们描述了一项基于MultiNLI的极端综合策划任务的确认研究。我们发现,基于保证金的损失导致一个更合理的模型的可扩展性。最后,我们通过这种损失的变化说明了合理选择(COPA)任务的改进。
2019-06-05 cs.CL
Polish Natural Language Inference and Factivity -- an Expert-based Dataset and Benchmarks
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学)
针对波兰语自然语言推理中的事实性现象,构建了包含2,432个动词-补语对的数据集,并评估了BERT模型与基于语言特征的方法,发现BERT模型接近专家特征性能,但复杂案例仍待研究。
2022-01-10 cs.CL cs.LG
Trust but Verify: Prover-Verifier Deliberation for Selective LLM Prediction
New York University(纽约大学)
提出基于交互式证明理论的证明者-验证者审议协议,通过结构化置信度判定实现选择性预测,在GPQA Diamond上取得约30个百分点的高置信度精确率差距。
2026-05-24 cs.AI cs.CL
Explaining and Improving Model Behavior with k Nearest Neighbor Representations
Salesforce Research(Salesforce研究院)
NLP中的可解释性技术主要集中在使用注意力可视化或基于标记的梯度显着图来理解个体预测。我们建议使用k近邻(kNN)表示来识别负责模型预测的训练样本,并获得对模型行为的语料库级别的理解。除了可解释性,我们表明,kNN表示是有效的发现学习虚假的关联,识别错误标记的例子,并提高微调模型的性能。我们专注于自然语言推理(NLI)作为一个案例研究和实验多个数据集。我们的方法部署回退到kNN的BERT和RoBERTa的例子与低模型的信心,没有任何更新的模型参数。我们的研究结果表明,kNN方法使微调模型对对抗性输入更具鲁棒性。
2020-10-18 cs.CL cs.LG
Knowing When Not to Answer: Abstention-Aware Scientific Reasoning
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文提出一种具有退避意识的科学推理框架,通过分解科学主张并利用自然语言推理评估证据,以减少错误风险,强调退避在科学验证中的重要性。
2026-02-15 cs.AI cs.CL
Emulating the Human Mind: A Neural-symbolic Link Prediction Model with Fast and Slow Reasoning and Filtered Rules
Iran University of Science and Technology(伊朗科技大学);Sohar University(苏哈尔大学)
受人类快慢思考与常识推理启发,提出神经符号模型 FaSt-FLiP,结合逻辑与神经模型进行链接预测,利用 NLI 过滤错误规则并统一答案,显著提升了预测性能与解释可靠性。
2023-10-21 cs.CL
Evaluating Gender Bias in Natural Language Inference
Walmart Labs(沃尔玛实验室);SAP Labs(思爱普实验室);McGill University(麦吉尔大学);Facebook AI Research(脸书人工智能研究)
性别偏见的刻板印象最近引起了自然语言处理的重大伦理问题。然而,在检测和评估性别偏见的自然语言理解,通过推理的进展是有限的,需要进一步调查。在这项工作中,我们提出了一种评估方法来衡量这些偏见,通过构建一个挑战性的任务,涉及配对性别中立的前提对性别特定的假设。我们使用我们的挑战任务,调查国家的最先进的NLI模型的存在下,性别刻板印象使用的职业。我们的研究结果表明,在MNLI和SNLI数据集上训练的三个模型(BERT,RoBERTa,BART)明显容易出现性别引起的预测错误。我们还发现,在某些情况下,诸如增加训练数据集以确保性别平衡的数据集等去偏置技术可以帮助减少这种偏见。
2021-05-12 cs.CL cs.LG
Link Prediction for Event Logs in the Process Industry
本文提出一种跨文档核心ference解决方法,用于解决过程工业中事件日志碎片化问题,提升数据质量和连接性。
2026-03-30 cs.CL cs.IR
Cross-Stage Coherence in Hierarchical Driving VQA: A Consistency Protocol and Parameter-Efficient Gated Context Routing
Technische Hochschule Augsburg(亚琛工业大学)
本文研究了驾驶场景中跨阶段上下文传递的两种方法,显式基线通过无额外训练的4B VLM减少矛盾,隐式基线通过门控投影提升规划阶段语义一致性,两者共同探讨了领域适应在全谱改进中的潜力。
2026-10-14 cs.AI cs.CV
DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification
Georgia Institute of Technology(佐治亚理工学院)
本研究使用QuanTemp数据集评估数值事实核查的建模策略,发现R2L分词和更长上下文窗口均无提升,证据质量是瓶颈,最佳系统宏平均F1达0.57,位列CheckThat! 2025任务3前四。
2025-07-08 cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich(苏黎世大学)
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作,重新利用自然语言推理(NLI)模型的zero-shot文本分类,我们提出了一个简单的方法,结合多个假设,以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测,然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面,并将这些预测组合成最终的判决。我们发现,用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点(pp),将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL
More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering
Rensselaer Polytechnic Institute(伦斯勒理工学院);Northeastern University(东北大学);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);Michigan State University(密歇根州立大学)
本文提出上下文内采样(ICS)技术,通过优化多个ICL提示输入的构建来提升LLM少样本性能,并在多个NLI和QA数据集上验证其有效性,同时探索了基于数据相似度的ICS策略。
2024-04-02 cs.CL