From No to Know: Taxonomy, Challenges, and Opportunities for Negation Understanding in Multimodal Foundation Models
IIT Jodhpur(焦特布尔印度理工学院);Lehigh University(利哈伊大学)
针对多语言多模态基础模型在解读否定时的困难,提出否定结构分类法,分析结构、语义和文化因素的影响,指出研究问题与挑战,并倡导专门基准等策略以提升模型处理否定的稳健性与精确性。
2025-02-10 cs.AI cs.CL
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Revisiting the Systematicity in Negation in the Era of In-Context Learning
The University of Tokyo(东京大学);Riken(理化学研究所);Tohoku University(东北大学)
通过行为与表征系统性分析,发现大型语言模型在上下文学习中能部分识别否定表达和范围,但无法完美执行,且功能向量在否定线索提取任务中可组合,但范围识别更具挑战。
2026-06-16 cs.CL
MAQA: A Multimodal QA Benchmark for Negation
Google Research(谷歌研究院);Seoul National University(首尔国立大学)
多模态学习可以受益于预训练的大语言模型(LLM)的表示能力。然而,最先进的基于Transformer的LLM经常忽略自然语言中的否定,并且没有现有的基准来定量评估多模态Transformers是否继承了这个弱点。在这项研究中,我们提出了一个新的多模态问答(QA)基准,改编自AudioSet中的标记音乐视频(Gemmeke等人,2017年)的目标是系统地评估多模态Transformers是否可以执行复杂的推理,以将新概念识别为对先前学习的概念的否定。我们表明,与标准的微调方法多模态Transformers仍然无法正确地解释否定,无论模型的大小。然而,我们的实验表明,用否定的QA示例来增强原始训练任务分布,可以让模型可靠地用否定进行推理。要做到这一点,我们描述了一种新的数据生成过程,提示540 B参数PaLM模型自动生成否定QA的例子,容易访问的视频标签的组成。生成的例子包含更多的自然语言模式和增益相比,基于模板的任务增强方法是显着的。
2023-01-09 cs.AI cs.CL cs.LG
Negation: A Pink Elephant in the Large Language Models' Room?
Faculty of Informatics, Masaryk University(信息学院,马萨里克大学)
本文通过构建四种语言的否定文本蕴含数据集 NoFEVER-ML 和 NoSNLI-ML,研究大语言模型处理否定的困难,发现模型规模、语言类型及前提长度和明确性会影响推理准确性与鲁棒性。
2025-06-03 cs.CL
Not all Negation Cues are Equal: Affixal Negations Yield Better Negation Understanding
University of Arizona(亚利桑那大学)
本研究构建大规模数据集NegCue,预训练多种语言模型,发现词缀否定对否定理解提升最大,而单词否定增益有限,且进一步预训练对LM和LLM均有效。
2026-09-15 cs.AI cs.CL
Can Your Model Tell a Negation from an Implicature? Unravelling Challenges With Intent Encoders
University of California, San Diego(加利福尼亚大学圣迭戈分校);WS AI Labs(WS AI实验室);KAIST(韩国科学技术院)
针对传统基准无法衡量意图嵌入模型语义理解差距的问题,研究提出含三元组任务的语义工具包评估模型对否定与隐含意义的理解,并通过自回归数据增强加对比损失的预训练方法提升相关语义能力。
2024-03-07 cs.CL
This is not correct! Negation-aware Evaluation of Language Generation Systems
School for Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
针对语言模型评估指标对否定不敏感的问题,提出否定感知评估指标NegBLEURT,构建CANNOT数据集进行微调,在否定句评估上大幅超越现有指标且保持基础性能。
2023-07-26 cs.CL cs.LG
As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language
Intelligent Systems Lab University of Bristol(智能系统实验室 英国布里斯托尔大学);ILLC University of Amsterdam(阿姆斯特丹大学语言学研究所)
本研究通过开发新的注释数据集,测试多种大型语言模型在比喻语言中理解否定的能力,发现否定与比喻的组合对模型构成挑战,且性能高度依赖提示风格。
2026-06-18 cs.AI cs.CL
Generating Diverse Negations from Affirmative Sentences
University College London(伦敦大学学院);Legal & General(法通集团)
针对现有基准中否定数据不足且形式单一的问题,提出NegVerse方法,从句法掩码的肯定句生成多类型否定句,经过滤后得到高质量多样样本,效果优于现有方法。
2024-10-30 cs.AI cs.CL
Know "No" Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP
Department of Electrical and Computer Engineering, Seoul National University(首尔国立大学电子与计算机工程系);Amazon(亚马逊);Samsung Research(三星研究院);School of Computer Science and Engineering, Soongsil University(顺天大学计算机科学与工程学院);IPAI, AIIS, ASRI, INMC, and ISRC, Seoul National University(首尔国立大学IPAI、AIIS、ASRI、INMC和ISRC)
本文提出NegationCLIP,通过生成包含否定的数据增强CLIP的否定意识,同时提出NegRefCOCOg基准用于评估多模态模型的否定理解能力。
2025-08-27 cs.CL cs.CV
How Do LLMs Change Predictions Under Negation?
Graduate School of Data Science, Seoul National University(首尔大学数据科学研究生院);Department of Computer Science and Engineering, Seoul National University(首尔大学计算机科学与工程系)
本研究通过机制分析揭示大语言模型在否定条件下常重复原答案,其机制为抑制原答案而非利用其排除,并提出针对性训练目标以减少失败并保持通用能力。
2026-10-09 cs.AI cs.CL
Balancing Exploration and Exploitation in LLM using Soft RLLF for Enhanced Negation Understanding
National Institute of Informatics(信息学研究所)
提出用 Soft RLLF 在 LLM 微调中平衡探索与利用,并通过基准对比、迁移学习和法律 AI 评估验证其对否定理解与逻辑可靠性的提升。
2024-03-02 cs.AI cs.CL
Don't Think of the White Bear: Ironic Negation in Transformer Models Under Cognitive Load
该研究探讨Transformer模型在否定指令下的讽刺性反弹现象,通过两项实验分析认知负荷对反弹的影响及极性分离与反弹的关联,结合回路追踪揭示机制,并发布ReboundBench数据集支持后续研究。
2025-11-15 cs.AI cs.CL
Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
本研究通过上下文学习将心理语言学探针基准大幅扩展,发现模型性能显著下降,揭示先前结论可能受小数据集影响,并公开了数据集与代码。
2023-11-14 cs.CL
Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);RMIT University(皇家墨尔本理工大学)
当前的语言模型很难捕捉否定,尽管这个问题的程度还没有被广泛理解。我们介绍了一个自然语言推理(NLI)测试套件,使探测能力的NLP方法,以了解子子句否定的目的。测试套件包含前提-假设对,其中前提包含子子句否定,并且通过对前提进行最小修改来构建假设,以反映不同的可能解释。除了采用标准的NLI标签,我们的测试套件系统地构建在一个严格的语言框架。它包括基于语言学理论的否定类型和结构的注释,以及用于构建假设的操作。这有助于对模型性能进行细粒度分析。我们使用预先训练的语言模型进行实验,以证明我们的测试套件比现有的基准测试更具挑战性,重点是否定,并显示我们的注释如何支持更深入地了解当前NLI的否定和量化能力。
2022-10-13 cs.CL
ROG: Retrieval-Augmented LLM Reasoning for Complex First-Order Queries over Knowledge Graphs
School of Information Science and Engineering, Chongqing Jiaotong University(信息科学与工程学院,重庆交通大学);State Grid Chongqing Electric Power Company(国网重庆市电力公司)
ROG通过检索增强的大语言模型推理,解决复杂一阶查询中的投影、交集、并集和否定问题,提升知识图谱推理的鲁棒性和准确性。
2026-02-02 cs.CL
Controlled Reformulation Testing for Logical Consistency in Large Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究大语言模型在逻辑等价问题表面形式改变时的逻辑一致性,提出CRTBench基准,评估多个前沿LLMs,发现存在准确率 - 一致性差距,揭示失败集中在逻辑非平凡变换,表明仅靠准确率无法评估LLMs的逻辑推理。
2026-07-17 cs.AI cs.CL
Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation
Aligarh Muslim University(阿里格尔穆斯林大学);VIT Bhopal University(VIT博帕尔大学);Nanyang Technological University(南洋理工大学);Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院);Edinburgh Napier University(爱丁堡龙比亚大学)
本文发现大语言模型在图像生成中存在“NO综合征”,即无法正确理解含否定词的提示,并通过多语言统计实验验证其普遍性,提出用否定上下文感知强化学习反馈回路加以改进。
2024-09-04 cs.AI cs.CL cs.LG
Improving negation detection with negation-focused pre-training
The University of Melbourne(墨尔本大学);RMIT University(皇家墨尔本理工大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
否定是一种常见的语言特征,在许多语言理解任务中起着至关重要的作用,但由于否定在不同类型的语篇中的表现形式不同,它仍然是一个难题。最近的工作表明,最先进的NLP模型在各种任务中对包含否定的样本表现不佳,并且否定检测模型不能很好地跨域传输。我们提出了一种新的以否定为中心的预训练策略,包括有针对性的数据增强和否定掩蔽,以更好地将否定信息纳入语言模型。在常见基准上进行的大量实验表明,我们提出的方法在强基线NegBERT上提高了否定检测性能和泛化能力(Khandewal和Sawant,2020)。
2022-05-09 cs.CL
Paraphrasing in Affirmative Terms Improves Negation Understanding
University of Arizona(亚利桑那大学)
针对语言模型难以理解否定的问题,提出自动生成无否定肯定改写并融入模型的策略,在 CondaQA 和五项 NLU 任务上提升了否定鲁棒性。
2024-06-11 cs.CL
Disparities In Negation Understanding Across Languages In Vision-Language Models
Massachusetts Institute of Technology(麻省理工学院)
研究探讨了视觉-语言模型在不同语言中对否定理解的差异,通过多语言基准测试发现,CLIP在非拉丁文字语言表现不佳,而MultiCLIP在多语言中表现更优,SpaceVLM在部分语言中显著提升性能。
2026-04-21 cs.CL
Multi-task Learning of Negation and Speculation for Targeted Sentiment Classification
Lancaster University(兰卡斯特大学);University of Oslo(奥斯陆大学)
目标情感分析的大部分工作都集中在寻找更好的方法来改善整体结果。在本文中,我们表明,这些模型是不强大的语言现象,特别是否定和投机。在本文中,我们提出了一种多任务学习方法,将信息从句法和语义辅助任务,包括否定和投机范围检测,创建英语语言模型,这些现象更强大。此外,我们创建了两个挑战数据集,以评估模型在否定和推测样本上的性能。我们发现,多任务模型和通过语言建模的迁移学习可以提高这些挑战数据集的性能,但总体性能表明仍有很大的改进空间。我们在https://github.com/jerbarnes/multitask_negation_for_targeted_sentiment上发布数据集和源代码。
2021-03-31 cs.CL
LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出LOGICAL-COMMONSENSEQA基准,通过逻辑运算符评估常识推理,发现模型在否定类问题上表现下降,揭示了推理局限性。
2026-04-20 cs.AI cs.CL
Making Language Models Robust Against Negation
University of Arizona(亚利桑那大学)
针对语言模型处理否定的长期挑战,提出含新任务NSPP及NSP变体的自监督预训练方法,使BERT和RoBERTa在九项否定基准上优于现成模型,在CondaQA上提升1.8%-9.1%。
2025-02-11 cs.CL
SurgiQ: A Large-Scale Multi-Domain Benchmark for Evaluating Surgical Understanding in Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出SurgiQ基准,包含13,055道多选题,覆盖六个外科领域和四种题型,用于评估LLM的手术推理能力。实验显示最佳模型准确率仅68.1%,通用模型优于多数生物医学模型,表明当前医学专业化未能充分覆盖手术知识。
2026-06-06 cs.CL
Towards Safer Large Language Models through Machine Unlearning
University of Notre Dame(圣母大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出选择性知识否定遗忘框架 SKU,通过先获取再否定有害知识的两阶段方法,在消除大语言模型有害输出的同时保持其在正常提示上的效用。
2024-06-05 cs.CL
NADE: A Benchmark for Robust Adverse Drug Events Extraction in Face of Negations
University of Udine(乌迪内大学);The Hong Kong Polytechnic University(香港理工大学);DSIG - Bayer Pharmaceuticals(拜耳制药DSIG)
药物不良事件(ADE)提取模型可以快速检查大量社交媒体文本,检测与药物相关的不良反应并触发医学调查。然而,尽管NLP最近取得了进展,但目前还不知道这些模型在面对否定时是否强大,这在各种语言中普遍存在。在本文中,我们评估三个国家的最先进的系统,显示其对否定的脆弱性,然后我们引入两种可能的策略,以增加这些模型的鲁棒性:管道的方法,依赖于一个特定的组件进行否定检测;增强ADE提取数据集,人工创建否定的样本,并进一步训练模型。我们表明,这两种策略带来了显着的性能提高,降低了模型预测的虚假实体的数量。我们的数据集和代码将公开发布,以鼓励对该主题的研究。
2021-09-24 cs.CL cs.LG
Leveraging Affirmative Interpretations from Negation Improves Natural Language Understanding
University of North Texas(北得克萨斯大学);University of Arizona(亚利桑那大学);Amazon(亚马逊)
否定在许多自然语言理解任务中构成了挑战。受这一事实的启发,理解否定的语句往往需要人类推断肯定的解释,在本文中,我们表明,这样做的好处模型三个自然语言理解任务。我们提出了一个自动化的过程来收集对句子的否定和肯定的解释,导致超过150,000对。实验结果表明,利用这些对有助于(a)T5生成肯定的解释从否定在以前的基准,和(b)基于RoberTa的分类器解决自然语言推理的任务。我们还利用我们的配对来构建一个即插即用的神经生成器,该神经生成器给出否定的陈述,生成肯定的解释。然后,我们将预训练的生成器纳入基于RoberTa的分类器进行情感分析,并表明这样做可以改善结果。最重要的是,我们的建议不需要任何手动操作。
2022-10-26 cs.CL
How and where does CLIP process negation?
Utrecht University(乌得勒支大学)
本研究针对多模态模型否定理解的内部机制问题,借助可解释性方法分析CLIP的文本编码器,定位否定处理模块并分析注意力头作用,同时验证方法可迁移性、揭示VALSE基准的固有局限。
2024-07-15 cs.AI cs.CL
Vision-Language Models Do Not Understand Negation
Institution1(机构1);Institution2(机构2)
本文提出NegBench评估VLM的否定理解能力,发现现有模型常接近随机水平,并通过合成否定字幕微调CLIP显著提升检索与选择题表现。
2025-05-13 cs.CL cs.CV
Neural Natural Language Inference Models Partially Embed Theories of Lexical Entailment and Negation
Stanford University(斯坦福大学);Allen Institute for AI(艾伦人工智能研究所)
我们研究了自然语言推理(NLI)的神经模型是否可以学习词汇蕴涵和否定之间的组合交互作用,使用了四种方法:(1)挑战测试集和(2)系统概括任务的行为评估方法,以及(3)探测和(4)干预的结构评估方法。为了促进这种整体评估,我们提出了单调性NLI(MoNLI),一个新的自然主义数据集,专注于词汇蕴涵和否定。在我们的行为评估中,我们发现在通用NLI数据集上训练的模型在包含否定的MoNLI示例上系统地失败,但MoNLI微调解决了这一失败。在我们的结构评估中,我们寻找证据,证明我们性能最好的基于BERT的模型已经学会了实现MoNLI背后的单调性算法。探针产生的证据与这一结论一致,我们的干预实验支持这一点,表明模型的因果动态反映了该算法对MoNLI子集的因果动态。这表明,BERT模型至少部分地嵌入了算法层面的词汇蕴涵和否定理论。
2020-11-21 cs.CL
Benchmarking Gaslighting Attacks Against Speech Large Language Models
Singapore Management University(新加坡管理学院);Tongyi Speech Lab(通义语音实验室);Dalian University of Technology(大连理工大学)
提出五种气灯攻击策略(愤怒、认知干扰、讽刺、隐晦、专业否定),在5个语音和多模态大语言模型上测试,发现平均准确率下降24.3%,揭示语音模型的行为脆弱性。
2026-05-22 cs.CL
Analyzing and Mitigating Negation Artifacts using Data Augmentation for Improving ELECTRA-Small Model Accuracy
本文针对 ELECTRA-small 在 SNLI 上因否定伪影导致分类困难的问题,提出用对比集和对抗样本进行定向数据增强,在不损害整体性能的前提下提升否定样本准确率。
2025-11-09 cs.AI cs.CL
Benchmarking LLM Competence on Logical Inference over Probability Operators
Haverford College(哈维福德学院)
本研究构建含14320个提示的概率算子推理基准,评估29个大语言模型,发现多数模型存在答案偏差,仅9个超随机水平,且各维度均有偏差。
2026-08-05 cs.AI cs.CL
What Has Been Lost with Synthetic Evaluation?
University of Utah(犹他大学);University of Washington(华盛顿大学)
本研究针对大语言模型生成评估基准的范式,通过CondaQA、DROP两个阅读理解数据集案例,发现LLM生成的基准虽有效且成本低,但挑战性弱于人类制作的基准,提示需审慎对待该基准创建方法。
2025-10-03 cs.AI cs.CL
Resolving the Scope of Speculation and Negation using Transformer-Based Architectures
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院);College of Engineering Pune(浦那工程学院)
推测是文本数据中自然发生的现象,形成许多系统的组成部分,特别是在生物医学信息检索领域。先前解决线索检测和范围解析(推测检测的两个子任务)的工作范围从基于规则的系统到基于深度学习的方法。在本文中,我们应用三种流行的基于转换器的架构,BERT,XLNet和RoBERTa的这项任务,在两个公开的数据集,BioScope语料库和SFU评论语料库,报告大幅改善以前报告的结果(至少0.29 F1点线索检测和4.27 F1点范围分辨率)。我们还在多个数据集上进行了模型的联合训练实验,其性能优于单数据集训练方法。我们观察到XLNet始终优于BERT和RoBERTa,与其他基准数据集的结果相反。为了证实这一观察结果,我们将XLNet和RoBERTa应用于否定检测和范围解析,报告了BioScope语料库(BioScope全文增加3.16 F1点,BioScope摘要增加0.06 F1点)和SFU评论语料库(增加0.3 F1点)的否定范围解析的最新结果。
2020-01-09 cs.CL
NegBio: a high-performance tool for negation and uncertainty detection in radiology reports
National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆国家生物技术信息中心);Department of Radiology and Imaging Sciences, Clinical Center, National Institutes of Health(美国国立卫生研究院临床中心放射与影像科学系)
在放射学报告中,阴性和不确定的医学发现是常见的,但是将它们与阳性发现区分开对于信息抽取来说仍然是挑战。在这里,我们提出了一种新的算法NegBio,以检测放射学报告中的阴性和不确定结果。与以前的基于规则的方法不同,NegBio利用普遍依赖性的模式来识别指示否定或不确定性的触发器的范围。我们在四个数据集上评估了NegBio,包括两个放射学报告的公共基准语料库,一个我们为这项工作注释的新放射学语料库,以及一个一般临床文本的公共语料库。对这些数据集的评估表明,NegBio在检测阴性和不确定结果方面具有高度准确性,并与广泛使用的最先进系统NegEx相比(精确度平均提高9.5%,F1评分平均提高5.1%)。
2017-12-27 cs.CL
ANALOGICAL -- A Novel Benchmark for Long Text Analogy Evaluation in Large Language Models
AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Nirma University(尼玛大学);BITS Pilani(博拉理工学院皮拉尼校区);IIIT Delhi(德里印度信息技术学院);Amazon AI(亚马逊人工智能);Stanford(斯坦福大学);Amazon(亚马逊)
本文提出长文本类比评估基准ANALOGICAL,涵盖六个复杂度级别,并通过13个数据集和3种距离度量评估8个大语言模型,发现类比层级越高,模型识别越困难。
2023-05-25 cs.AI cs.CL
A Comprehensive Taxonomy of Negation for NLP and Neural Retrievers
University of Amsterdam(阿姆斯特丹大学)
本文提出否定分类法、两个基准数据集及逻辑分类机制,以提升神经检索模型对含否定查询的处理能力,并在NevIR上实现更快收敛。
2025-10-14 cs.CL cs.IR
Semantic Adapter for Universal Text Embeddings: Diagnosing and Mitigating Negation Blindness to Enhance Universality
Amadeus France(法国阿玛德斯公司)
针对通用文本嵌入模型在评估基准偏差下存在的否定感知缺失问题,提出一种无需修改模型参数的嵌入重加权方法,在简单与复杂否定理解任务中显著提升了模型及大语言模型嵌入的否定感知能力。
2025-07-16 cs.AI cs.CL
NevIR: Negation in Neural Information Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
本文构建NevIR基准,评估否定对神经信息检索模型排序的影响,发现现有模型大多忽略否定,表现接近随机,并指出继续微调和增大模型规模虽能提升性能,但与人类水平仍有很大差距。
2024-02-26 cs.CL cs.IR
A Bag of Tricks for Dialogue Summarization
Amazon AI(亚马逊人工智能);Cairo University(开罗大学);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
与新闻或科技文章摘要相比,对话摘要有其独特的挑战。在这项工作中,我们探讨了四个不同的挑战的任务:处理和区分部分的对话属于多个扬声器,否定的理解,推理的情况下,和非正式的语言理解。使用预训练的序列到序列语言模型,我们探索了说话人姓名替换,否定范围突出显示,相关任务的多任务学习,以及域内数据的预训练。我们的实验表明,我们提出的技术确实提高了摘要性能,优于强基线。
2021-09-16 cs.CL
NegVQA: Can Vision Language Models Understand Negation?
Stanford University(斯坦福大学);Tsinghua University(清华大学)
本文提出 NegVQA 视觉问答基准,评估 20 个先进视觉语言模型在理解否定现象上的能力,发现模型表现显著下降并存在 U 型缩放趋势,揭示了 VLMs 否定理解的缺陷。
2025-05-28 cs.AI cs.CL cs.CV
AWARE-FX: Auditable measurement of corporate foreign-exchange hedging disclosure
University of Nottingham(诺丁汉大学)
本研究开发可审计的AWARE-FX系统,将企业年报文本转换为可追溯的套期保值披露指标,通过多维度实验验证其可靠性,为外汇风险管理提供可单独审计的决策支持架构。
2026-11-10 cs.CL q-fin.RM
The Impact of Negated Text on Hallucination with Large Language Models
Korea University(高丽大学)
本文研究否定文本对大型语言模型幻觉检测的影响,提出三个研究问题,构建NegHalu数据集,实验发现LLMs难以有效检测否定文本中的幻觉,并揭示内部状态处理挑战。
2025-10-23 cs.AI cs.CL
FORUM: Frozen Outputs Reconciled Using Model Agreement for Visual Grounding
Hokkaido University(北海道大学);Neurogica Inc.(Neurogica公司)
针对冻结多模态大模型在对抗性视觉定位基准上易出错的问题,提出无需训练的测试时融合方法FORUM,利用模型间一致性及几何规则选择目标框,在Ref-Adv-s上平均准确率相对超过397B模型5%。
2026-09-30 cs.CL cs.CV cs.LG
Word Synchronization Challenge: A Benchmark for Word Association Responses for Large Language Models
Ghent University(根特大学);Airo lab(Airo实验室)
本文提出词同步挑战基准测试,用于评估大型语言模型在模拟人类认知过程中的词关联能力,揭示模型复杂性对社交互动性能的影响。
2026-01-14 cs.CL cs.HC
Revealing the Blind Spot of Sentence Encoder Evaluation by HEROS
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
该研究针对传统句子文本相似度基准的评估盲区,构建高词汇重叠最小对诊断数据集HEROS,测试发现多数无监督句子编码器对否定不敏感,训练数据集是编码器相似度判断的主要决定因素。
2023-06-13 cs.CL
SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics
The University of Tokyo(东京大学);RIKEN(理化学研究所);Keio University(庆应义塾大学);Tohoku University(东北大学)
最近,深度神经网络(DNN)在语义上具有挑战性的NLP任务中取得了巨大的成功,但目前还不清楚DNN模型是否可以捕获组成意义,这些意义方面已经在形式语义学中研究了很长时间。为了研究这个问题,我们提出了一个基于自然语言语义(SyGNS)的系统泛化测试平台,其挑战是将自然语言句子映射到多种形式的范围含义表示,旨在解释各种语义现象。使用SyGNS,我们测试神经网络是否可以系统地解析句子,涉及新的组合的逻辑表达式,如量词和否定。实验表明,Transformer和GRU模型可以泛化到与给定训练实例在形式上相似的量词、否定词和修饰词的不可见组合,但不能泛化到其他组合。我们还发现,当意义表征的形式更简单时,对未知组合的泛化性能更好。SyGNS的数据和代码可在www.example.com上公开获取。
2021-06-02 cs.CL
When a sentence does not introduce a discourse entity, Transformer-based models still sometimes refer to it
Center for Data Science(数据科学中心);Department of Linguistics(语言学系);New York University(纽约大学)
理解较长的叙述或参与对话需要跟踪已经提到的话语实体。不定名词短语(NP),如“一只狗”,经常引入话语实体,但这种行为是由间接操作,如否定调制。例如,“亚瑟没有狗”中的“一只狗”由于否定的存在而没有引入话语实体。在这项工作中,我们适应的心理语言学评估的语言模型范式,以更高层次的语言现象,并介绍了英语评估套件,目标的知识之间的相互作用,不确定的操作符和NP。我们使用此评估套件对基于Transformer的模型GPT-2和GPT-3的实体跟踪能力进行细粒度调查。我们发现,虽然模型在一定程度上对我们研究的相互作用敏感,但它们都受到多个NP存在的挑战,并且它们的行为不是系统的,这表明即使是GPT-3规模的模型也没有完全获得基本的实体跟踪能力。
2022-05-06 cs.CL
RuBLiMP: Russian Benchmark of Linguistic Minimal Pairs
University of Edinburgh(爱丁堡大学);HSE University(高等经济大学);University of Groningen(格罗宁根大学);Ghent University(根特大学);SaluteDevices(SaluteDevices公司);Toloka AI(Toloka AI公司);University of Oslo(奥斯陆大学)
该研究构建含4.5万对句子的俄语最小对立体基准RuBLiMP,评估25个模型,揭示其在结构关系、否定、及物性和时态理解上仍落后于人类。
2024-10-01 cs.CL
BLiMPPI: Benchmark of Linguistic Minimal Pairs for Polarity Items
IT University of Copenhagen(哥本哈根信息技术大学);Leipzig University(莱比锡大学);ScaDS.AI Dresden/Leipzig(德累斯顿/莱比锡人工智能服务与数据科学中心);Uppsala University(乌普萨拉大学)
本研究推出多语种NPI评估套件BLiMPPI,评估多语种与单语种模型及n元语法基线,发现多语种模型在低资源语言和非n元语法可解对方面表现差,还分析了NPI相关因素影响
2026-10-12 cs.CL
Multi-head attention debiasing and contrastive learning for mitigating Dataset Artifacts in Natural Language Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对自然语言推理模型利用数据集伪影的问题,提出一种基于多头注意力去偏与对比学习的结构化去偏方法,有效缓解了四类伪影偏置并显著降低了整体错误率。
2024-12-16 cs.CL