Improving the Natural Language Inference robustness to hard dataset by data augmentation and preprocessing
School of Computer Science(计算机科学学院);University of Texas(德克萨斯大学)
针对 NLI 模型在困难及分布外数据上依赖虚假关联的问题,本文提出不依赖测试分布的数据增强与预处理方法,以缓解词重叠、数值推理和长度不匹配并增强鲁棒性。
2024-12-10 cs.CL
FLUTE: Figurative Language Understanding through Textual Explanations
Columbia University(哥伦比亚大学);Educational Testing Service(教育考试服务中心)
比喻性语言理解最近被定义为一个识别文本蕴涵(RTE)任务(a.k.a.自然语言推理或NLI)。然而,类似于经典的RTE/NLI数据集,目前的基准遭受虚假的相关性和注释工件。为了解决这个问题,NLI的工作建立了基于解释的数据集,如e-SNLI,使我们能够探索语言模型是否出于正确的原因而正确。然而,对于比喻语言来说,没有这样的数据,这使得评估对这些表达的真正理解变得更加困难。为了解决这个问题,我们发布了FLUTE,这是一个包含9,000个具有解释的比喻性NLI实例的数据集,涵盖四个类别:讽刺,明喻,隐喻和习语。我们通过基于GPT-3的模型在环框架,人群工作人员和专家注释器收集数据。我们展示了如何利用GPT-3与人类注释者(新手和专家)相结合,可以帮助扩大数据集的创建,即使是对于像比喻语言这样复杂的语言现象。在FLUTE上微调的T5模型的基线性能表明,我们的数据集可以使我们更接近于开发通过文本解释理解比喻语言的模型。
2022-10-14 cs.CL
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester(曼彻斯特大学);National Biomarker Centre, CRUK-MI, University of Manchester(曼彻斯特大学国家生物标志物中心,英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap 研究所)
本文针对基于 Transformer 的 NLI 模型,利用因果效应估计和干预实验分析自然逻辑特征,揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
SpatialNLI: A Spatial Domain Natural Language Interface to Databases Using Spatial Comprehension
Auburn University(奥本大学);Stony Brook University(石溪大学);WeWork Research(WeWork研究院)
数据库的自然语言接口(NLI)是将自然语言问题转换为可由数据库管理系统(DBMS)执行的结构化查询的接口。然而,由于空间问题的特质和表现力,在一般领域中训练的NLI很难应用于空间领域。受机器理解模型的启发,我们提出了一个空间理解模型,它能够根据上下文的语义来识别空间实体的含义。然后将从空间理解模型中学习到的空间语义注入到自然语言问题中,以减轻捕获空间特定语义的负担。通过我们的空间理解模型和信息注入,我们的空间域NLI,命名为SpatialNLI,能够捕获问题的语义结构,并将其准确地转换为可执行查询的相应语法。我们还通过实验确定SpatialNLI优于最先进的方法。
2019-08-28 cs.CL
Interactive Model with Structural Loss for Language-based Abductive Reasoning
Hebei University of Technology(河北工业大学);West Virginia University(西弗吉尼亚大学)
溯因自然语言推理任务($α$ NLI)被提出来推断原因和事件之间的最合理的解释。在$α$ NLI任务中,给出两个观察结果,并要求从候选者中挑选出最合理的假设。现有的方法分别对每个候选假设之间的关系建模,并统一惩罚推理网络。在本文中,我们认为没有必要区分正确的假设之间的推理能力;同样,所有错误的假设都有助于解释观察的原因。因此,我们建议在本文中将假设分组而不是排序,并设计一种称为“联合softmax焦点损失”的结构损失。基于观察到的假设一般是语义相关的,我们设计了一种新的交互式语言模型,旨在利用竞争的假设之间的丰富的互动。我们将这个新模型命名为$α$ NLI:具有结构损失的交互模型(IMSL)。实验结果表明,我们的IMSL在RoBERTa-large预训练模型上取得了最高的性能,ACC和AUC结果分别提高了约1%和5%。
2022-12-20 cs.AI cs.CL
Interpreting Recurrent and Attention-Based Neural Models: a Case Study on Natural Language Inference
Oregon State University(俄勒冈州立大学)
深度学习模型在自然语言推理(NLI)任务中取得了显著的成功。虽然这些模型被广泛探讨,但它们很难解释,而且通常不清楚它们实际上是如何工作的。在本文中,我们通过对NLI的流行神经模型的案例研究,向解释这种基于深度学习的模型迈出了一步。特别是,我们建议通过可视化注意力和LSTM门控信号的显着性来解释NLI模型的中间层。我们提出了几个例子,我们的方法能够揭示有趣的见解,并确定有助于模型决策的关键信息。
2018-08-12 cs.AI cs.CL cs.LG
Evaluating the Effectiveness of Natural Language Inference for Hate Speech Detection in Languages with Limited Labeled Data
University of Zurich(苏黎世大学)
针对标注数据有限的多语言仇恨言论检测问题,验证自然语言推理模型的效用,对比直接微调、英语中间微调等方案,给出低资源语言仇恨言论检测的实践建议。
2023-06-10 cs.CL cs.CY
Understanding Deep Learning Performance through an Examination of Test Set Difficulty: A Psychometric Case Study
解释深度学习模型的性能超出测试集精度是具有挑战性的。在评估过程中,通常不考虑单个数据点的特征,对每个数据点都一视同仁。我们研究了测试集问题的难度的影响,以确定是否有难度和性能之间的关系。我们使用经过充分研究的心理测量方法对人类的反应模式进行建模。自然语言推理(NLI)和情感分析(SA)的实验表明,正确回答问题的可能性受到问题难度的影响。随着DNN使用更多数据进行训练,简单的示例比困难的示例学习得更快。
2018-09-07 cs.CL
SherLIiC: A Typed Event-Focused Lexical Inference Benchmark for Evaluating Natural Language Inference
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
我们提出了SherLIiC,一个上下文中的词汇推理(LIiC)的测试平台,由3985个手动注释的推理规则候选者(InfCands)组成,伴随着(i)~ 960 k未标记的InfCands,以及(ii)从大型实体链接语料库CNOW Web 09中提取的Freebase实体之间的~ 190 k类型化文本关系。每个InfCand都由这些关系中的一个组成,表示为lemmatized依赖路径和两个参数占位符,每个占位符链接到一个或多个Freebase类型。由于我们的候选人选择过程基于强分布证据,SherLIiC比现有的测试平台要难得多,因为分布证据在InfCands的分类中几乎没有用处。我们还表明,由于它的建设,许多SherLIiC的正确InfCands是新颖的,从现有的规则基础失踪。我们评估了SherLIiC上的一些强基线,从语义向量空间模型到最先进的自然语言推理(NLI)神经模型。我们表明,SherLIiC对现有的NLI系统构成了严峻的挑战。
2019-06-04 cs.AI cs.CL
Evaluating CxG Generalisation in LLMs via Construction-Based NLI Fine Tuning
University of Bath(巴斯大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出ConTest-NLI基准,通过8万句覆盖八种英语构式的合成NLI数据评估大语言模型的构式语法泛化能力,发现对抗数据准确率下降24%,微调仅提升9%,揭示了当前模型的抽象差距。
2025-09-19 cs.CL
HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference
School of EECS, Peking University(北京大学工程科学学院(电子工程与计算机科学学院));Peng Cheng Laboratory(鹏城实验室)
最近的许多研究表明,对于在自然语言推理(NLI)数据集上训练的模型,可以通过只考虑假设而完全忽略前提来做出正确的预测。在这项工作中,我们设法从仅假设偏见的角度推导出对抗性的例子,并探索合适的方法来减轻这种偏见。具体来说,我们从训练集中的假设(人工模式)中提取各种短语,并表明它们是特定标签的强指标。然后,我们从原始测试集中找出标签与这些指示相反或一致的“硬”和“容易”实例。我们还设置了基线,包括预训练模型(BERT,RoBERTa,XLNet)和竞争性非预训练模型(InferSent,DAM,ESIM)。除了基准和基线之外,我们还研究了两种去偏置方法,它们利用人工模式建模来减轻这种仅假设的偏差:下采样和对抗训练。我们相信这些方法可以被视为NLI去偏置任务中的竞争基线。
2021-03-15 cs.AI cs.CL cs.LG
Exploiting News Article Structure for Automatic Corpus Generation of Entailment Datasets
De La Salle University(德拉萨大学);University of the Philippines Diliman(菲律宾大学迪利曼分校)
Transformers代表了近年来自然语言处理(NLP)的最新技术,即使在低资源语言中完成的任务中也证明了其有效性。虽然可以为这些语言制作预训练的Transformers,但由于缺乏硬基准数据集,以及制作它们的难度和成本,衡量它们的真实性能和容量具有挑战性。在本文中,我们提出了三个贡献:第一,我们提出了一种方法,自动生产自然语言推理(NLI)基准数据集的低资源的语言,使用已发表的新闻文章。通过这一点,我们创建并发布了NewsPH-NLI,这是低资源菲律宾语的第一个句子蕴涵基准数据集。其次,我们基于ELECTRA技术生产新的预训练Transformers,以进一步缓解菲律宾语的资源稀缺性,并将其与其他常用的迁移学习技术进行比较。最后,我们对迁移学习技术进行了分析,通过使用降级测试来揭示它们在低数据域中运行时的真实性能。
2021-08-13 cs.CL
FarsTail: A Persian Natural Language Inference Dataset
University of Qom(库姆大学)
本文构建波斯语NLI数据集FarsTail,含10,367个样本并提供多模型基线与偏差分析,以支持波斯语自然语言推理研究。
2021-07-08 cs.CL
Exploiting Global and Local Hierarchies for Hierarchical Text Classification
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
层次文本分类旨在利用标签层次结构进行多标签文本分类。现有的方法在全局视图中对标签层次进行编码,其中标签层次被视为包含所有标签的静态层次结构。由于全局层次结构是静态的,与文本样本无关,这使得这些方法很难利用层次信息。与全局层次结构相反,局部层次结构作为一种结构化的标签层次结构,对应于每个文本样本.它是动态的,与文本样本相关,这在以前的方法中被忽略了。为了充分利用全局和局部层次结构,本文提出了基于全局和局部层次结构的层次引导BERT(HBGL)方法,该方法利用BERT的大规模参数和先验语言知识对全局和局部层次结构进行建模,并通过直接利用BERT对语义和层次信息进行建模,避免了语义和层次模块的有意融合。我们的方法在三个基准数据集上取得了显著的改进。
2022-11-08 cs.CL
Empowering Language Understanding with Counterfactual Reasoning
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
目前的语言理解方法已经证明了通过机器学习识别文本中模式的非凡能力。然而,现有的方法在测试阶段不加区别地使用与具有反事实思维的我们人类固有不同的识别模式,例如,仔细检查那些难以检测的样本受此启发,我们提出了一个反事实推理模型,它通过从少量的反事实样本中学习来模仿反事实思维。特别是,我们设计了一个生成模块,为每个事实样本生成代表性的反事实样本,和一个回顾模块,通过比较反事实和事实样本来回顾模型预测。在情感分析(SA)和自然语言推理(NLI)上的大量实验验证了该方法的有效性。
2021-06-06 cs.AI cs.CL
Enhancing Tabular Reasoning with Pattern Exploiting Training
Bloomberg(彭博社);IIT Guwahati(印度理工学院古瓦哈提分校);University of Utah(犹他大学)
基于预训练的语言模型的最近方法已经表现出优于表格任务的性能(例如,表格NLI),尽管显示出固有的问题,例如在对表格数据进行推理时不使用正确的证据和跨输入的不一致预测。在这项工作中,我们利用模式开发训练(PET)(即,策略MLM),以加强这些表格式语言模型模型的预先存在的知识和推理能力。与当前基线相比,我们升级后的模型对知识事实和表格推理有更好的理解。此外,我们还证明了这种模型对于InfoTabs上表格推理的底层下游任务更有效。此外,我们还展示了我们的模型对通过各种字符和单词级扰动生成的对抗集的鲁棒性。
2022-10-21 cs.CL
Exploiting Social Network Structure for Person-to-Person Sentiment Analysis
Stanford University(斯坦福大学)
人与人之间的评价普遍存在于各种话语中,对建立声誉、建立社会联系和塑造公众舆论都很重要。这种评价可以分别使用签名社交网络和文本情感分析进行分析,但这错过了语言和社交语境之间丰富的互动。为了捕捉这样的互动,我们开发了一个模型,预测个人A的个人B的意见,通过综合信息,从签署的社会网络中,A和B嵌入与情感分析的评价文本有关的A到B。我们证明了这个问题是NP难的,但可以放松到一个有效的可解的铰链损失马尔可夫随机场,我们表明,这种实现优于纯文本和网络版本在两个非常不同的数据集,涉及社区层面的决策:维基百科的管理请求语料库和投票美国国会演讲语料库。
2014-09-08 cs.CL cs.SI physics.soc-ph
Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference
Indiana University Bloomington(印第安纳大学伯明顿分校);Brigham Young University(杨百翰大学);Northwestern University(西北大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Allen Institute for AI(艾伦人工智能研究所);Shanghai Jiaotong Univ.(上海交通大学)
多语言Transformers(XLM,mT5)已被证明在zero-shot设置中具有出色的转换技能。然而,大多数迁移研究依赖于自动翻译的资源(XNLI,XQuAD),这使得很难辨别正在迁移的特定语言知识,以及在开发特定任务模型时专家注释的单语数据集的作用。我们研究了XLM-R在中文和英文自然语言推理(NLI)中的跨语言迁移能力,重点是最近的大规模中文数据集OCNLI。为了更好地理解语言迁移,我们为中国人创建了4类挑战和对抗性任务(共17个新数据集),这些任务建立在几个知名的英语资源(例如,HANS,NLI压力测试)。我们发现,在英语NLI上训练的跨语言模型在我们的中文任务中迁移得很好(例如,在我们3/4的挑战类别中,它们的表现与最好的单语模型一样好/更好,甚至在3/5的独特的中国语言现象上,如成语,亲下降)。然而,这些结果带来了重要的警告:跨语言模型在英语和高质量单语NLI数据(OCNLI)的混合训练中表现最佳,并且经常受到自动翻译资源(XNLI-zh)的阻碍。对于许多现象,所有模型都在继续挣扎,这突出了我们需要新的诊断来帮助基准中文和跨语言模型。所有新的数据集/代码都在https://github.com/huhailinguist/ChineseNLIProbing上发布。
2021-06-07 cs.AI cs.CL
How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
Independent Researcher(独立研究者)
系统评估五种轻量级、CPU可运行的幻觉检测方法在HaluEval基准上的表现,发现性能高度依赖任务,在摘要任务上接近随机,为资源受限场景提供方法选择指导。
2026-10-05 cs.AI cs.CL
HELP: A Dataset for Identifying Shortcomings of Neural Models in Monotonicity Reasoning
RIKEN(理化学研究所);Ochanomizu University(御茶水女子大学);Tohoku University(东北大学);University of Groningen(格罗宁根大学)
大型众包数据集广泛用于训练和评估自然语言推理(NLI)的神经模型。尽管有这些努力,神经模型很难捕捉逻辑推理,包括那些由短语替换授权的推理,即所谓的单调性推理。由于还没有为单调性推理开发大型数据集,因此目前还不清楚主要障碍是数据集的大小还是模型架构本身。为了研究这个问题,我们引入了一个新的数据集,称为HELP,用于处理词汇和逻辑现象的蕴涵。我们将其添加到最先进的神经模型的训练数据中,并在测试集上评估单调性现象。结果表明,我们的数据增强提高了整体精度。我们还发现,这种改进对词汇替换的单调性推理比对析取和修饰的向下推理更好。这表明,某些类型的推断可以通过我们的数据增强来改进,而其他类型的推断则不受其影响。
2019-04-27 cs.CL