Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science（计算机科学学院）；University of Texas（德克萨斯大学）
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题，本文提出不依赖测试分布的数据增强与预处理方法，以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
On Reference (In-)Determinacy in Natural Language Inference
University of Pennsylvania（宾夕法尼亚大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Microsoft（微软）
本文重新审视NLI任务中的指代确定性假设，发现基于该假设训练的模型在语境不匹配的下游任务中表现差，为此引入RefNLI诊断基准，揭示模型无法识别指代歧义的问题，并指出其对NLI数据集创建及人类分歧的影响。
2025-02-09 cs.CL
DR-BiLSTM: Dependent Reading Bidirectional LSTM for Natural Language Inference
Oregon State University（俄勒冈州立大学）；Philips Research North America（飞利浦北美研究院）
我们提出了一种新的深度学习架构来解决自然语言推理（NLI）任务。现有的方法大多依赖于简单的阅读机制，独立编码的前提和假设。相反，我们提出了一种新的依赖阅读双向LSTM网络（DR-BiLSTM），以有效地建模编码和推理过程中前提和假设之间的关系。我们还引入了一个复杂的集成策略来结合我们提出的模型，这显着提高了最终的预测。最后，我们演示了如何通过额外的预处理步骤进一步改善结果。我们的评估表明，DR-BiLSTM获得了最佳的单个模型和集成模型结果，在斯坦福NLI数据集上获得了最新的最先进分数。
2018-04-11 cs.CL
R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference
SenseTime（商汤科技）；National University of Defense Technology（国防科技大学）；Singapore Management University（新加坡管理大学）
文档级自然语言推理（Document-level natural language inference，DOCNLI）是自然语言处理领域的一个新的挑战性课题，旨在判断一对假设和前提文档之间的蕴涵关系。目前的数据集和基线基本上遵循文件级别的设置，但未能解决较长文件引起的问题。在本文中，我们建立了一个通用的解决方案，命名为检索，阅读和融合（R2 F）的框架，和一个新的设置，通过分析的主要挑战DOCNLI：可解释性，长程依赖，跨句子推理。该框架的基本思想是将文档级任务简化为一组文档级任务，并利用证据的力量提高性能和可解释性。对于每个假设句，框架从前提中检索证据句，并读取以估计其可信度。然后对文档级结果进行融合，判断文档之间的关系。对于设置，我们提供补充证据和蕴涵标签注释的假设句子，可解释性研究。实验结果表明，R2 F框架可以获得最先进的性能，并对各种证据检索方法具有鲁棒性。此外，它可以给出更多的解释性预测结果。我们的模型和代码在https://github.com/phoenixsecularbird/R2F上发布。
2022-10-22 cs.CL
Attention Boosted Sequential Inference Model
Beijing Jiaotong University（北京交通大学）
注意力机制在自然语言处理中被证明是有效的。本文提出了一种名为aESIM的注意力增强自然语言推理模型，通过将单词注意力和自适应方向注意力机制添加到自然语言推理模型（例如ESIM）的传统Bi-LSTM层。这使得推理模型aESIM能够有效地学习单词的表示，并对前提和假设对之间的局部实质推理进行建模。对SNLI、MultiNLI和Quora基准的实证研究表明，aESIM模型优于原ESIM模型。
2018-12-06 cs.CL
Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
自然语言推理（NLI）数据集包含注释伪像，其导致自然语言话语与它们各自的蕴涵类之间的虚假相关。即使只考虑假设而忽略前提，神经网络也会利用这些人为因素，从而导致不必要的偏差。Belinkov等人（2019 b）提出通过对抗训练来解决这个问题，但这可能会导致学习到的句子表示仍然存在相同的偏见。我们表明，可以通过使用对手的集合来减少句子表示中的偏差，鼓励模型在拟合数据的同时共同降低这些不同对手的准确性。这种方法产生更稳健的NLI模型，当推广到12个其他数据集时，其表现优于先前的去偏置努力（Belinkov等人，2019 a; Mahabadi等人，2020年）。此外，我们发现对抗分类器的最佳数量取决于句子表示的维度，更大的句子表示更难去偏见，同时受益于使用更多的对手。
2021-05-27 cs.AI cs.CL cs.LG
Realistic Data Augmentation Framework for Enhancing Tabular Reasoning
IIT Kharagpur（印度理工学院克勒格布尔分校）；Bloomberg（彭博社）；IIT Guwahati（印度理工学院古瓦哈提分校）；University of Utah（犹他大学）
构建用于自然语言推理（NLI）任务（诸如用于半结构化表格推理）的训练数据的现有方法是经由众包或全自动方法。然而，前者是昂贵和耗时的，因此限制了规模，而后者往往产生可能缺乏复杂推理的天真的例子。本文开发了一个现实的半自动化框架，数据增强的表格推理。而不是手动生成一个假设为每个表，我们的方法生成的假设模板转移到类似的表。此外，我们的框架需要创建基于人类书面逻辑约束和前提释义的理性反事实表。对于我们的案例研究，我们使用InfoTabs，这是一个以实体为中心的表格推理数据集。我们观察到，我们的框架可以生成类似人类的表格推理示例，这可能有利于训练数据增强，特别是在监督有限的情况下。
2022-10-23 cs.CL
NLI under the Microscope: What Atomic Hypothesis Decomposition Reveals
University of Maryland, College Park（马里兰大学帕克分校）
本文利用原子假设分解将NLI和可废止NLI任务拆分为原子子问题，以探究模型逻辑一致性，发现LLM在此类细粒度推理上仍存在困难，并提出衡量模型推理一致性的新指标。
2025-03-07 cs.CL
Mitigating Annotation Artifacts in Natural Language Inference Datasets to Improve Cross-dataset Generalization Ability
Tencent（腾讯）；Harbin Institute of Technology（哈尔滨工业大学）
自然语言推理（NLI）旨在预测给定前提和假设对之间的关系。然而，一些工作已经发现，在NLI数据集中广泛存在一种称为注释伪影的偏差模式，使得仅通过查看假设来识别标签成为可能。这种不规则性使得评价结果被高估，影响了模型的泛化能力。在本文中，我们考虑一个更值得信赖的设置，即，跨数据集评估。我们探讨了跨数据集测试中注释工件的影响。此外，我们提出了一个培训框架，以减轻偏见模式的影响。实验结果表明，该方法能有效地消除伪影对模型的负面影响，提高模型的泛化能力。
2019-10-05 cs.CL cs.LG
Annotation Artifacts in Natural Language Inference Data
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；New York University（纽约大学）
用于自然语言推理的大规模数据集是通过向人群工作者提供一个句子（前提），并要求他们生成三个新句子（假设）来创建的，这些句子包含、矛盾或在逻辑上中立。我们表明，在相当一部分这样的数据，该协议留下的线索，使人们有可能识别标签只看假设，而不观察的前提。具体来说，我们表明，一个简单的文本分类模型可以正确分类的假设单独在约67%的SNLI（鲍曼等。等人，2015）和53%的MultiNLI（Williams et.等人，2017）。我们的分析表明，特定的语言现象，如否定和不确定性是高度相关的某些推理类。我们的研究结果表明，迄今为止，自然语言推理模型的成功被高估了，而且这项任务仍然是一个很难解决的问题。
2018-04-16 cs.AI cs.CL
MorphNLI: A Stepwise Approach to Natural Language Inference Using Text Morphing
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；University of Arizona（亚利桑那大学）
MorphNLI通过文本变形逐步改进自然语言推理任务，在跨领域场景中显著优于现有基线模型。
2025-02-13 cs.AI cs.CL
Learning Natural Language Inference with LSTM
Singapore Management University（新加坡管理大学）
自然语言推理（NLI）是自然语言处理中的一项重要任务，有着广泛的应用。最近发布的斯坦福自然语言推理（SNLI）语料库使得开发和评估以学习为中心的方法成为可能，例如用于自然语言推理（NLI）的深度神经网络。在本文中，我们提出了一个特殊的长短期记忆（LSTM）架构的NLI。我们的模型建立在最近提出的NLI神经注意力模型之上，但基于一个显着不同的想法。我们的解决方案不是为用于分类的前提和假设导出句子嵌入，而是使用match-LSTM来执行假设与前提的逐字匹配。这个LSTM能够更加强调重要的单词级匹配结果。特别是，我们观察到这个LSTM记住了重要的不匹配，这对于预测矛盾或中性关系标签至关重要。在SNLI语料库上，我们的模型达到了86.1%的准确率，超过了最先进的水平。
2016-11-10 cs.AI cs.CL cs.NE
ViLegalNLI: Natural Language Inference for Vietnamese Legal Texts
University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）
本文提出ViLegalNLI，首个针对法律领域构建的越南语自然语言推理数据集，包含42,012个前提-假设对，涵盖多种法律领域，用于评估法律推理的结构逻辑与术语一致性。
2026-04-30 cs.AI cs.CL cs.LG
Hypothesis-only Biases in Large Language Model-Elicited Natural Language Inference
研究测试用LLM替代众包工人编写NLI假设是否产生标注伪影，发现LLM生成数据中存在严重的仅基于假设的偏差，证明NLI的已知偏差在LLM生成数据中依然持续存在。
2024-10-11 cs.CL
HypothesisMed: Inference-Time Answer Fusion and Structured Hypothesis-Space Reporting for Biomedical Question Answering
Department of Computer Science Rensselaer Polytechnic Institute（计算机科学系雷士打理工学院）；Department of Biomedical Engineering Rensselaer Polytechnic Institute（生物医学工程系雷士打理工学院）
提出HypothesisMed推理时可靠性流水线，通过答案融合和SPACE标签（有效/不完整/矛盾）提升生物医学多项选择问答的准确率、可解析性和结构化可靠性报告。
2026-05-31 cs.CL
Task Calibration: Calibrating Large Language Models on Inference Tasks
School of Engineering, Westlake University（西湖大学工程学院）；Central South University（中南大学）
针对LLM在推理中依赖前提或假设单侧信息的问题，提出零样本任务校准TC，通过任务重构促使双侧推理，并在13项任务及多种设置中验证有效。
2024-10-24 cs.CL
EVAR: Evidence-Validated Hypothesis Admission for Budget-Aware Narrative Reasoning
Jilin University（吉林大学）；Peking University（北京大学）
针对LLM在长篇叙事推理中易引入无支撑假说的问题，本文提出EVAR框架，通过编译证据库、分配推理预算及验证候选假说，在可控成本下提升了推理性能与证据忠实度。
2026-09-01 cs.CL
HypoSpace: A Diagnostic Benchmark for Set-Valued Hypothesis Generation under Underdetermination and Sublinear Coverage Bounds
National University of Singapore（国立新加坡大学）；College of Computing（计算学院）；Data Science（数据科学）；Nanyang Technological University（南洋理工大学）；Centre for Frontier AI Research (CFAR)（前沿人工智能研究中心 (CFAR)）；Agency for Science, Technology and Research（科技研究局）；Meta Superintelligence Labs（Meta超智能实验室）
提出HypoSpace基准，通过三个结构化领域评估大语言模型在欠定假设空间中的采样能力，发现模型在高有效性下存在覆盖失败，并展示分层解码可部分缓解该问题。
2026-05-29 cs.CL
Baselines and test data for cross-lingual inference
IT University of Copenhagen（哥本哈根信息技术大学）
近年来，人们对文本蕴涵的兴趣重新燃起，这是由于i）用于自然语言处理的强大深度神经网络学习器的出现以及ii）大规模评估数据集（如SNLI）的及时开发。这个问题被重新定义为自然语言推理，现在相当于检测语句对之间的关系：它们要么相互矛盾，要么相互蕴涵，要么相互中立。目前对自然语言推理的研究实际上只限于英语。在本文中，我们提出了推进SNLI风格的自然语言推理的多语种评估的研究。为此，我们提供四种主要语言的测试数据：阿拉伯语、法语、西班牙语和俄语。我们用一组基线进行实验。我们的系统是基于跨语言的词嵌入和机器翻译。虽然我们最好的系统的平均准确率略高于75%，但我们主要专注于多语言推理的进一步研究。
2018-03-02 cs.CL
Biases in Large Language Model-Elicited Text: A Case Study in Natural Language Inference
Haverford College（哈弗福德学院）；Bryn Mawr College（布林莫尔学院）
本文通过重建SNLI数据集并训练仅假设分类器，发现LLM生成的NLI数据集中存在标注伪影和社会偏见，揭示了其与性别、种族和年龄相关的刻板印象。
2025-03-06 cs.CL
From Hypothesis to Premises: LLM-based Backward Logical Reasoning with Selective Symbolic Translation
本文提出HBLR框架，通过结合自信符号翻译与假设驱动反向推理，提升逻辑推理的准确性和效率。
2025-12-03 cs.CL
Learning Mental Models From Unreliable Evidence
Computer Science University of Waterloo（滑铁卢大学计算机科学系）；Department of Computer Science Cornell University（康奈尔大学计算机科学系）；Department of Computer Science Dalhousie University（达尔豪斯大学计算机科学系）；Department of Psychology University of Toronto（多伦多大学心理学系）
通过归纳推理盒子任务，结合贝叶斯粒子推断的程序归纳形式化，比较儿童与基于LLM的智能体在不确定性下的假设生成与证据寻求行为，发现两者在适应环境结构上相似但信息寻求成本与归纳偏差不同。
2026-10-30 cs.AI cs.CL cs.LG
VIOLIN: A Large-Scale Dataset for Video-and-Language Inference
Carnegie Mellon University（卡内基梅隆大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究）
我们介绍了一个新的任务，视频和语言推理，联合多模态理解的视频和文本。给定具有对齐的字幕的视频剪辑作为前提，与基于视频内容的自然语言假设配对，模型需要推断该假设是由给定的视频剪辑引起的还是矛盾的。为此任务引入了一个新的大规模数据集，名为Violin（视频和语言推理），它由来自15，887个视频剪辑的95，322个视频假设对组成，跨越582小时的视频。这些视频剪辑包含丰富的内容，具有不同的时间动态，事件转移和人的互动，从两个来源收集：（i）流行的电视节目，和（ii）来自YouTube频道的电影剪辑。为了解决我们新的多模态推理任务，需要一个模型拥有复杂的推理技能，从表面水平的基础（例如，识别视频中的对象和人物）到深入的常识推理（例如，推断视频中事件的因果关系）。我们对数据集进行了详细的分析，并对许多强基线进行了广泛的评估，为这项新任务的挑战提供了有价值的见解。
2020-03-25 cs.AI cs.CL cs.CV
Misleading Failures of Partial-input Baselines
University of Maryland（马里兰大学）
最近的工作建立了数据集的难度，并通过部分输入基线（例如，SNLI的仅假设模型或VQA的仅问题模型）。当部分输入基线获得高精度时，数据集是可欺骗的。然而，反过来并不一定是正确的：部分输入基线的失败并不意味着数据集没有工件。为了说明这一点，我们首先设计人工数据集，其中包含任何部分输入模型都无法检测到的完整输入中的琐碎模式。接下来，我们在SNLI数据集中识别出这样的工件--一个在前提中增加了平凡模式的仅假设模型可以解决15%以前被认为是“困难”的例子。我们的工作为使用部分输入基线进行数据集验证和创建提供了警告。
2019-06-18 cs.AI cs.CL cs.LG
Scissorhands: Exploiting the Persistence of Importance Hypothesis for LLM KV Cache Compression at Test Time
Rice University（莱斯大学）
针对大语言模型KV缓存内存占用过高限制推理吞吐量的问题，提出基于重要性持久性假设的Scissorhands系统，无需微调即可将KV缓存压缩5倍，结合4位量化可达20倍压缩比且不损失模型质量。
2023-08-28 cs.CL cs.LG
Keep Guessing? When Considering Inference Scaling, Mind the Baselines
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
本文提出基于训练集答案频率枚举的基线，揭示LLM重复采样覆盖率提升部分源于基准答案分布偏差，为更准确评估推理扩展效果提供参照。
2024-10-20 cs.AI cs.CL
Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses
Florida State University（佛罗里达州立大学）
研究针对语言化机器学习无不确定性度量等问题，提出语言化粒子后验方法，通过维护自然语言假设粒子并更新预测，在回归等基准测试中表现优于单个VML运行，能消除灾难性单运行失败，且后验可检查。
2026-07-28 cs.CL cs.LG
Blind Baselines Beat Membership Inference Attacks for Foundation Models
ETH Zurich（苏黎世联邦理工学院）
针对基础模型的成员推断攻击评估因成员与非成员采样分布不同而有缺陷；在8个数据集上，不看模型的盲攻击优于最先进MI攻击，表明现有评估无法反映真实成员泄露。
2025-03-30 cs.CL cs.CR cs.LG
