Mitigating Spurious Correlations in NLI via LLM-Synthesized Counterfactuals and Dynamic Balanced Sampling
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种自动化流程,通过LLM合成反事实和动态平衡采样缓解NLI中的虚假相关性,提升了模型性能和领域内准确性。
2025-12-20 cs.AI cs.CL cs.LG
NLPGuard: A Framework for Mitigating the Use of Protected Attributes by NLP Classifiers
Politecnico di Torino(都灵理工大学);Nokia Bell Labs(诺基亚贝尔实验室);University College London(伦敦大学学院)
针对NLP分类器依赖受保护属性的问题,提出NLPGuard框架,通过修改训练数据集在不损失准确性的前提下将依赖性降低高达79%。
2024-07-01 cs.AI cs.CL cs.HC
Spurious Correlations and Beyond: Understanding and Mitigating Shortcut Learning in SDOH Extraction with Large Language Models
Department of Computer Science(计算机科学系);School of Nursing(护理学院);Department of Information Sciences and Technology(信息科学与技术系);Department of Biomedical Informatics & Medical Education(生物医学信息学与医学教育系)
研究大型语言模型在 SDOH 抽取中因依赖表面线索导致的虚假预测及性别差异问题,并评估提示工程与思维链等缓解策略以提升模型可靠性。
2025-05-30 cs.AI cs.CL
Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation
School of Computer, Beihang University(计算机学院,北航);Institute of Artificial Intelligence (TeleAI)(人工智能研究院(TeleAI))
针对SLM微调中CoT数据噪声导致问题与答案虚假相关的问题,提出CoPeD方法,通过正确性感知任务设置和加权损失提升推理质量,在IND和OOD数据集上验证有效。
2025-09-09 cs.CL
Reasoning in Transformers -- Mitigating Spurious Correlations and Reasoning Shortcuts
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
本文研究Transformer在命题逻辑推理中如何避免虚假相关导致的推理捷径,提出神经符号模型SIP-BART并验证其有效性,同时识别出四类新的推理错误。
2024-03-17 cs.CL cs.LG
Mitigating LLM biases toward spurious social contexts using direct preference optimization
Stanford University(斯坦福大学)
本文研究了LLM对虚假社会情境的鲁棒性,提出Debiasing-DPO方法,通过自监督训练和监督微调减少偏见并提升预测准确性。
2026-08-27 cs.AI cs.CL
Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
当训练集存在非预期偏差时,提取式问答(QA)模型倾向于利用虚假相关性进行预测。这种倾向导致模型不能推广到相关性不成立的例子。确定QA模型可以利用的虚假相关性对于在现实应用中构建可推广的QA模型至关重要;此外,需要开发一种方法,即使在训练集有偏差时,也可以防止这些模型学习虚假相关性。在这项研究中,我们发现,答案的相对位置,这是定义为相对距离从答案跨度最接近的问题上下文重叠字,可以利用QA模型作为表面线索进行预测。具体来说,我们发现,当训练集中的相对位置有偏差时,在训练过程中看不到相对位置的例子的性能会显着下降。为了减轻看不见的相对位置的性能下降,我们提出了一个基于集合的去偏置方法,不需要先验知识的相对位置的分布。我们证明了所提出的方法减轻了模型对使用有偏和完整SQuAD数据集的相对位置的依赖。我们希望这项研究可以帮助提高QA模型在实际应用中的泛化能力。
2022-10-26 cs.CL
Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates
University of Washington(华盛顿大学)
深度学习NLP模型最关键的限制之一是缺乏可解释性,以及依赖于虚假的相关性。先前的工作提出了各种方法来解释黑盒模型,以揭示虚假的相关性,但该研究主要用于人机交互场景。它仍然是未充分探索是否或如何这样的模型解释可以用来自动“忘记”混淆功能。在这项工作中,我们提出了影响调整-一个利用模型解释来更新模型参数的过程,除了学习预测任务标签之外,还可以实现合理的解释(而不是依赖于数据中虚假模式的解释)。我们表明,在受控设置中,影响调整可以帮助从数据中的虚假模式中消除模型,显著优于使用对抗训练的基线方法。
2021-10-07 cs.CL
XMD: An End-to-End Framework for Interactive Explanation-Based Debugging of NLP Models
University of Southern California(南加州大学);Sony Group Corporation(索尼集团公司)
NLP模型容易学习虚假的偏差(即,错误),在某些数据集上工作,但不能正确反映底层任务。基于解释的模型调试旨在通过向人类用户展示模型行为的解释,要求用户对行为给出反馈,然后使用反馈来更新模型来解决虚假偏差。虽然现有的模型调试方法已经显示出了希望,但它们的原型级实现提供了有限的实际效用。因此,我们提出了XMD:第一个开源的,端到端的框架,用于基于解析的模型调试。给定任务或实例级别的解释,用户可以通过直观的基于Web的UI灵活地提供各种形式的反馈。在收到用户反馈后,XMD通过正则化模型来实时的自动更新模型,以便其解释与用户反馈保持一致。新模型可以通过Hugging Face轻松部署到现实世界的应用程序中。使用XMD,我们可以将模型在文本分类任务上的OOD性能提高高达18%。
2022-10-30 cs.CL
Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning
NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所NLPR与MAIS实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Meituan(美团);University of Science and Technology of China(中国科学技术大学)
本文研究了测试时间强化学习在数学推理中因标签噪声导致的虚假信号放大问题,提出DDRL框架通过频率采样、去偏优势估计和共识-off-policy优化来缓解该问题,实验表明其优于现有基线方法。
2026-04-23 cs.AI cs.CL cs.LG
Mitigating Biases of Large Language Models in Stance Detection with Counterfactual Augmented Calibration
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);The Chinese University of Hong Kong(香港中文大学);King’s College London(伦敦国王学院);The 30th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第三十研究所)
本文提出反事实增强校准网络FACTUAL,通过校准LLMs立场预测中的偏见并利用反事实数据提升去偏与域外泛化能力,在目标内和零样本立场检测中取得最先进结果。
2025-02-09 cs.CL
Understanding and Mitigating Classification Errors Through Interpretable Token Patterns
Cornell University(康奈尔大学);Harvard University(哈佛大学);Saarland University(萨尔大学);CISPA(CISPA亥姆霍兹信息安全中心)
提出基于最小描述长度原则的Premise方法,通过发现区分正确与错误预测的token模式,为NLP分类器提供全局可解释的系统性错误描述,并在高度不平衡数据上有效恢复真实情况。
2023-11-18 cs.AI cs.CL
On the Limitations of Dataset Balancing: The Lost Battle Against Spurious Correlations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
最近的研究表明,NLP中的深度学习模型对简单特征和特定输出标签之间的低级相关性高度敏感,导致过度拟合和缺乏泛化。为了缓解这个问题,通常的做法是通过添加新实例或通过过滤掉“简单”实例来平衡数据集(Sakaguchi等人,2020年),最终在最近的建议,以消除单字相关性完全(加德纳等人,2021年)。在这篇观点论文中,我们发现,尽管有这些努力,越来越强大的模型不断利用越来越小的虚假相关性,因此,即使平衡所有单字特征也不足以减轻所有这些相关性。同时,一个真正平衡的数据集可能会“把婴儿和洗澡水一起扔掉”,错过重要的信号编码常识和世界知识。我们强调了数据集平衡的几种替代方案,重点是用更丰富的上下文增强数据集,允许模型弃权并与用户交互,并从大规模微调转向零或Few-Shot设置。
2022-04-27 cs.CL
AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning
Tsinghua University(清华大学);Tencent Inc(腾讯公司)
最近的研究表明,反事实增强数据(CAD)在减少NLU模型对虚假特征的依赖和提高其泛化能力方面具有令人印象深刻的效果。然而,目前的方法仍然严重依赖于人类的努力或特定于任务的设计来生成反事实,从而阻碍了CAD对广泛的NLU任务的适用性。在本文中,我们提出了AutoCAD,一个全自动和任务无关的CAD生成框架。AutoCAD首先利用分类器来无监督地将基本原理识别为要干预的跨度,从而解开虚假和因果特征。然后,AutoCAD执行通过不可能训练增强的可控生成,以产生不同的反事实。对多个域外和挑战基准的广泛评估表明,AutoCAD在不同的NLU任务中持续显著地提高了强大的预训练模型的分布性能,这与以前最先进的人在回路或特定于任务的CAD方法相当甚至更好。该代码可在https://github.com/thu-coai/AutoCAD上公开获取。
2022-11-29 cs.AI cs.CL
Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
本文提出DIBJudge框架,通过解耦信息瓶颈缓解多语言LLM的翻译偏差问题,有效提升多语言评估的公平性和准确性。
2026-03-11 cs.AI cs.CL
Mitigating Gender Bias in Machine Translation through Adversarial Learning
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
机器翻译和其他NLP系统通常包含关于敏感属性的重大偏见,例如性别或种族,这会恶化系统性能并使有害的刻板印象永久化。最近的初步研究表明,对抗性学习可以用作模型不可知的偏见缓解方法的一部分,不需要修改数据。然而,将这种策略应用于机器翻译和其他现代NLP领域需要(1)在微调预训练的大语言模型的背景下重新构建训练目标,以及(2)为性别或其他受保护变量制定措施,这些变量必须从数据本身推导出来。我们提出了一个对抗性学习框架,解决这些挑战,以减轻性别偏见seq 2seq机器翻译。我们的框架改善了男性与女性实体句子翻译质量的差异,对于英语-德语翻译为86%,对于英语-法语翻译为91%,对翻译质量的影响最小。结果表明,对抗性学习是一种很有前途的技术,可以减轻机器翻译中的性别偏见。
2022-03-20 cs.AI cs.CL
Measuring Spurious Correlation in Classification: 'Clever Hans' in Translationese
Saarland University(萨尔大学);DFKI GmbH(DFKI有限公司)
本文针对翻译腔分类中基于主题的虚假相关性,提出一种基于无监督主题与分类标签对齐的度量方法(等价于聚类纯度),并研究掩码已知虚假主题载体的缓解策略,以量化和降低“聪明汉斯”效应。
2024-06-11 cs.CL
Mitigating Shortcuts in Language Models with Soft Label Encoding
Stevens Institute of Technology(史蒂文斯理工学院);Shanghai Jiao Tong University(上海交通大学);New Jersey Institute of Technology(新泽西理工学院);University of Georgia(佐治亚大学)
本文提出软标签编码(SoftLE)框架,通过教师模型评估样本捷径依赖程度并生成软标签训练学生模型,从而在保持分布内准确率的同时显著提升NLU模型的分布外泛化能力。
2023-09-17 cs.CL cs.LG
Dealing with Data for RE: Mitigating Challenges while using NLP and Generative AI
TCS Research(塔塔咨询服务研究机构)
本章面向 AI 融合背景下的需求工程,分析企业集成 NLP 与生成式 AI 时的数据、训练、评估及流程挑战,并给出实践方案与新型 RE 任务建议。
2024-02-28 cs.CL cs.SE
Avoiding spurious sharpness minimization broadens applicability of SAM
Google DeepMind(谷歌DeepMind);ETH Zürich(苏黎世联邦理工学院)
本文发现SAM在NLP中因logit统计量正则化导致性能下降,提出Functional-SAM及预条件扰动方法避免虚假锐度最小化,在多种训练设置和模型规模上优于AdamW和SAM基线。
2025-02-04 cs.CL cs.LG stat.ML
Increasing Robustness to Spurious Correlations using Forgettable Examples
Microsoft Turing(微软图灵);Microsoft Research(微软研究院)
神经NLP模型往往依赖于标签和输入特征之间的虚假相关性来执行其任务。少数民族的例子,即,与存在于大多数数据点中的虚假相关性相矛盾的示例已经被证明增加了预先训练的语言模型的分布外泛化。在本文中,我们首先提出使用例子遗忘来找到少数的例子,而不需要事先知道数据集中存在的虚假相关性。遗忘的例子是在训练中学习然后忘记的例子,或者从来没有学习过的例子。我们经验性地展示了这些例子是如何与我们训练集中的少数民族相关的。然后,我们引入了一种新的方法,通过两次微调我们的模型来增强模型的鲁棒性,第一次是在完整的训练数据上,第二次是在少数数据上。当我们将我们的方法应用于MNLI,QQP和FEVER数据集时,我们在分布外泛化方面获得了实质性的改进。
2021-02-02 cs.CL cs.LG
Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection
NVIDIA;Australian National University(澳大利亚国立大学);Data61, CSIRO(Data61,CSIRO)
本文提出GACD方法,通过梯度分析缓解多模态模型的幻觉问题,提升输出的视觉基础性。
2026-03-02 cs.CL cs.CV
Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks
University of Washington(华盛顿大学);Microsoft Semantic Machines(微软语义机器公司);Allen Institute for AI(艾伦人工智能研究所)
检索增强生成模型在许多知识密集型NLP任务(如开放式问答和事实验证)中表现出最先进的性能。这些模型经过训练,在给定检索到的段落的情况下生成最终输出,这些段落可能与原始查询无关,从而导致学习虚假线索或答案记忆。这项工作介绍了一种方法,将证据的段落-是否包含正确的证据,以支持输出-到训练的生成器。我们引入了一个多任务学习框架来联合生成最终输出并预测每个段落的证据,利用一种新的任务不可知的方法来获得银证据标签进行监督。我们在三个知识密集型任务的五个数据集上进行的实验表明,我们新的证据引导生成器在相同大小的模型上的性能明显优于其直接对应的生成器,并提高了FaVIQ-Ambig的最新技术水平。我们将这些改进归功于辅助多任务学习和银证据挖掘技术。
2022-05-14 cs.CL
Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers
Microsoft Research(微软研究院)
本文提出一种基于因果推断的正则化算法,控制文本分类器中特征的学习效应以匹配其因果效应,从而减少虚假相关性,在毒性评论和IMDB数据集上提升少数群体及总体准确率。
2023-06-21 cs.CL cs.LG
Are All Spurious Features in Natural Language Alike? An Analysis through a Causal Lens
New York University(纽约大学)
在NLP中,术语“虚假相关性”被用来非正式地表示任何不受欢迎的特征-标签相关性。然而,相关性可能是不期望的,因为(i)特征与标签无关(例如,评论中的标点符号),或者(ii)特征对标签的影响取决于上下文(例如,评论中的否定词),这在语言任务中是普遍存在的。在情况(i)中,我们希望模型对特征保持不变,这对于预测来说既不必要也不充分。但在情况(ii)中,即使是理想的模型(例如人类)也必须依赖于该特征,因为它对于预测是必要的(但不是充分的)。因此,需要对虚假特征进行更细粒度的处理,以指定所需的模型行为。我们使用因果模型和必要性和充分性的概率来形式化这种区分,它描绘了特征和标签之间的因果关系。然后,我们表明,这种区别有助于解释现有的去偏置方法对不同的虚假功能的结果,并揭秘令人惊讶的结果,如在模型表示的虚假功能的编码后,去偏置。
2022-10-25 cs.CL cs.LG
A Survey on Measuring and Mitigating Reasoning Shortcuts in Machine Reading Comprehension
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies(综合研究大学院大学);The University of Tokyo(东京大学)
本文综述了机器阅读理解中推理捷径的测量与缓解技术,指出缺乏公开挑战集及部分缓解技术是该领域的两大关键问题。
2023-09-06 cs.CL
Mitigating Toxic Degeneration with Empathetic Data: Exploring the Relationship Between Toxicity and Empathy
University of Marburg(马尔堡大学)
大型预训练神经语言模型支持许多NLP任务的有效性,但仍然容易产生有毒语言,阻碍其使用的安全性。使用移情数据,我们改进了最近的可控文本生成工作,旨在减少生成的文本的毒性。我们发现,我们能够将微调数据的大小大幅减少到7.5- 30 k个样本,同时通过基于同理心分数的策略性采样数据,在230万个样本的原始工作中,对最先进的毒性缓解进行了显著改进,绝对减少了3.4%(相对减少了26%)。我们观察到,改善的程度取决于共情的具体沟通成分。特别是,在几乎所有的实验中,共情的认知成分都明显优于原始数据集,而情感共情与原始数据的随机样本的改善程度更低,甚至表现不佳。这对于NLP关于同理心的工作来说是一个特别有意义的见解,因为直到最近,为它建立的研究和资源都只考虑同理心作为一个情感概念。
2022-05-15 cs.AI cs.CL
Analyzing and Mitigating Negation Artifacts using Data Augmentation for Improving ELECTRA-Small Model Accuracy
本文针对 ELECTRA-small 在 SNLI 上因否定伪影导致分类困难的问题,提出用对比集和对抗样本进行定向数据增强,在不损害整体性能的前提下提升否定样本准确率。
2025-11-09 cs.AI cs.CL
Does Self-Rationalization Improve Robustness to Spurious Correlations?
Massachusetts Institute of Technology(麻省理工学院);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
抽象化是人类推理和学习的基础。被训练来产生推理和预测的NLP模型,称为自我合理化模型,已经研究了它们对最终用户的可解释性和实用性。然而,在何种程度上与人类书面的理由培训促进学习仍然是一个未充分探讨的问题。我们要问的是,自我合理化的训练模型是否有助于他们学习以正确的理由解决任务。具体来说,我们评估了如何训练自合理化模型与自由文本的理由影响鲁棒性虚假的相关性微调编码器-解码器和解码器的六种不同大小的模型。我们通过测量1)手动注释的挑战数据集和2)原始测试集的子集的性能来评估对虚假相关性的鲁棒性,其中依赖虚假相关性将无法产生正确的答案。我们发现,虽然自我合理化可以提高鲁棒性虚假的相关性在低资源设置,它往往会伤害鲁棒性在较高的资源设置。此外,这些影响取决于模型系列和大小,以及基本原理内容。总之,我们的研究结果表明,可解释性可能会以健壮性为代价;因此,在训练自我合理化模型时应适当注意,以创建更值得信赖的模型。
2022-10-24 cs.AI cs.CL
Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance
Technion - Institute of Technology(技术学院-理工学院);Google Research(谷歌研究)
本研究利用LLM-as-a-judge方法检测NLP基准数据集中的标签错误,发现纠正这些错误能显著提升报告的模型性能,表明LLM的部分错误实为标签问题,并提出了减轻其影响的训练方法。
2025-09-12 cs.CL
KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models
Xidian University(西安电子科技大学);University of Chinese Academy of Sciences(中国科学院大学);Hainan University(海南大学);University of Waterloo(滑铁卢大学)
KSHSeek通过数据驱动方法缓解和检测生成模型中的知识捷径幻觉,提升模型的鲁棒性和可靠性。
2025-11-27 cs.CL
Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias
University of Groningen(格罗宁根大学);University of Malta(马耳他大学)
语境化的词嵌入已经取代标准嵌入,成为NLP系统中选择的表征性知识源。由于之前在标准词嵌入中发现了各种偏见,因此评估其替换中编码的偏见也至关重要。关注BERT(Devlin等人,2018),我们通过研究英语和德语中表示性别的目标词与职业名称之间的关联来衡量性别偏见,并将研究结果与现实世界的劳动力统计数据进行比较。我们通过在GAP语料库上微调BERT来减轻偏差(Webster等人,2018),在应用反事实数据替代(CDS)(Maudslay等人,2019年)。我们表明,我们的方法测量偏见是适当的语言,如英语,但不适合语言丰富的形态和性别标记,如德语。我们的研究结果强调了跨语言调查偏见和缓解技术的重要性,特别是考虑到目前对大规模,多语言语言模型的重视。
2020-10-27 cs.CL
Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
College of Natural Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校自然科学学院)
本文提出利用LLM自动生成多样化对比集,并在SNLI上构建3000样本对比集,通过微调提升模型鲁棒性和泛化能力,为NLP系统评估与对抗训练提供可扩展框架。
2025-03-09 cs.AI cs.CL cs.LG
DQI: Measuring Data Quality in NLP
Arizona State University(亚利桑那州立大学)
神经语言模型已经在几个NLP数据集上达到了人类水平的性能。然而,最近的研究表明,这些模型并没有真正学习所需的任务;相反,它们的高性能归因于使用虚假偏差的过度拟合,这表明人工智能系统的能力被高估了。我们引入了数据质量指数(DQI)的通用公式,以帮助数据集创建者创建没有此类不必要偏见的数据集。我们使用最近提出的对抗过滤方法AFLite来评估这个公式。我们提出了一个新的数据创建范例,使用DQI创建更高质量的数据。数据创建范例由几个数据可视化组成,以帮助数据创建者(i)了解数据的质量,以及(ii)可视化所创建的数据实例对整体质量的影响。它还有几种自动化方法来(i)帮助数据创建者,(ii)使模型对对抗攻击更加鲁棒。我们使用DQI和这些自动化方法来更新SNLI中有偏见的例子。我们表明,在翻新的SNLI数据集上训练的模型更好地推广到分布任务。改造会导致模型性能降低,从而暴露出与人工性能之间的巨大差距。DQI系统地帮助使用主动学习创建更难的基准。我们的工作将动态数据集创建的过程向前推进,其中数据集与不断发展的最新技术一起发展,因此可以作为衡量人工智能真正进展的一种手段。
2020-05-02 cs.CL
Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing
Microsoft Research(微软研究院);Duke University(杜克大学)
具有自回归解码器的变分自编码器(VAE)已经被应用于许多自然语言处理(NLP)任务。VAE目标由两项组成,(i)重建和(ii)KL正则化,通过加权超参数β进行平衡。一个众所周知的训练困难是KL项往往会消失。本文研究了β的调度方案,指出KL消失是由于优化开始时训练解码器时缺少好的潜在码造成的。为了解决这个问题,我们提出了一个循环退火计划,它重复多次增加β的过程。这种新的程序允许通过利用先前周期的信息表示作为热重启来渐进地学习更有意义的潜在代码。循环退火的有效性在广泛的NLP任务中得到了验证,包括语言建模,对话响应生成和无监督语言预训练。
2019-06-10 cs.AI cs.CL cs.CV
Explore Spurious Correlations at the Concept Level in Language Models for Text Classification
College of Information Studies, University of Maryland(马里兰大学信息研究学院);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
针对文本分类语言模型依赖概念—标签虚假相关性的问题,本文用ChatGPT标注概念并评估偏差,同时提出结合反事实生成的数据再平衡方法,效果优于传统词元移除。
2024-06-16 cs.AI cs.CL
Multi-View Incongruity Learning for Multimodal Sarcasm Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机系)
针对多模态讽刺检测现有方法依赖虚假相关性、泛化性差的问题,提出整合多模态不一致性的对比学习方法MICL,构建测试集SPMSD,实验验证其性能与缓解虚假相关性的优势。
2024-12-08 cs.CL
A Multi-Agent Framework for Mitigating Dialect Biases in Privacy Policy Question-Answering Systems
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Tecnológico de Monterrey(蒙特雷技术学院)
本文提出一种多智能体框架,通过方言智能体和隐私政策智能体协作,提升隐私政策问答系统对非标准方言的处理能力,有效缓解方言偏见问题。
2026-01-31 cs.CL
Stubborn Lexical Bias in Data and Models
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文研究多种交叉词汇虚假关联对NLP模型的累积影响,提出通过优化重加权训练数据减少数千种偏差,却发现模型仍保留顽固偏差。
2023-06-03 cs.CL
Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs
University of Science and Technology of China(中国科学技术大学);University of Aberdeen(阿伯丁大学);University of Birmingham(伯明翰大学);Alibaba Group(阿里巴巴集团)
研究RLVR中虚假奖励导致模型依赖记忆而非推理的机制,发现锚定-适配器电路,并通过因果干预验证其作用。
2026-06-26 cs.CL cs.LG
Improving Commonsense Bias Classification by Mitigating the Influence of Demographic Terms
Dongguk University(东国大学)
本文提出层次泛化、基于阈值的增强及二者集成的 IHTA 方法,通过缓解人口统计学术语影响,显著提升常识极化分类器的准确率。
2024-06-11 cs.AI cs.CL
Uncovering Main Causalities for Long-tailed Information Extraction
Singapore University of Technology and Design(新加坡科技设计大学);Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学)
信息抽取(Information Extraction,IE)的目的是从非结构化文本中抽取结构化信息。在实践中,由数据集的选择偏差引起的长尾分布可能会导致传统似然模型中实体和标签之间的不正确相关性,也称为虚假相关性。这促使我们提出反事实IE(CFIE),一个新的框架,旨在揭示数据背后的因果关系的因果推理的观点。具体而言,1)我们首先为各种IE任务引入统一的结构因果模型(SCM),描述变量之间的关系; 2)使用我们的SCM,然后基于显式语言结构生成反事实,以更好地计算推理阶段的直接因果效应; 3)我们进一步提出了一种新的去偏方法,以产生更强大的预测。在五个公共数据集上的三个IE任务的实验表明,我们的CFIE模型在减轻虚假相关问题方面的有效性。
2021-09-11 cs.CL
People Make Better Edits: Measuring the Efficacy of LLM-Generated Counterfactually Augmented Data for Harmful Language Detection
RWTH Aachen University(亚琛工业大学);University of Konstanz(康斯坦茨大学);GESIS - Leibniz Institute for Social Sciences(GESIS-莱布尼茨社会科学研究所);Sapienza University of Rome(罗马智慧大学);University of Copenhagen(哥本哈根大学)
本文研究能否用生成式 NLP 模型自动生成反事实增强数据以提升有害语言检测模型的鲁棒性,通过对比 Polyjuice、ChatGPT、Flan-T5 与人工生成 CADs 的效果,发现人工 CADs 最优、ChatGPT 次之,自动方法性能受限主要因其改动不足以翻转标签。
2024-02-25 cs.CL cs.CY
Mitigating Gender Bias in Contextual Word Embeddings
本文提出新的掩码语言建模目标函数和评估指标,用于缓解上下文词嵌入中的性别偏见,同时证明静态嵌入偏见主要源于刻板印象名字而非性别化词语本身。
2024-11-18 cs.CL cs.LG
Toward Understanding Bias Correlations for Mitigation in NLP
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Arizona State University(亚利桑那州立大学)
自然语言处理(NLP)模型被发现对不同社会身份的群体(如性别和种族)具有歧视性。由于这些不受欢迎的偏见的负面影响,研究人员以前所未有的努力做出回应,并提出了有希望的偏见缓解方法。尽管有相当大的实际重要性,目前的算法公平性文献缺乏深入的了解不同形式的偏见之间的关系。社会偏见本质上是复杂的。社会心理学的许多研究确定了“广义偏见”,即,不同群体的普遍贬值情绪。例如,贬低少数民族的人也可能贬低妇女和同性恋。因此,这项工作的目的是提供第一个系统的研究,了解偏见的相关性缓解。特别是,我们研究了两个常见的NLP任务-毒性检测和词嵌入-在三个社会身份,即,种族性别和宗教我们的研究结果表明,偏见是相关的,目前的情况下,独立的去偏见的方法占主导地位,在目前的文献可能是不够的。我们进一步研究联合减轻相关的偏见是否比独立和个人去偏更可取。最后,我们揭示了固有的问题,消除偏置精度权衡偏见缓解。这项研究有助于激励未来的研究联合偏见缓解,占相关的偏见。
2022-05-24 cs.AI cs.CL
A Survey of Parameters Associated with the Quality of Benchmarks in NLP
Arizona State University(亚利桑那州立大学)
我们已经建立了几个基准,并投入大量资源来跟踪我们在NLP方面的进展。数以千计针对这些基准发表的论文已经在排行榜上名列前茅,模型往往超过人类的表现。然而,最近的研究表明,模型只是通过对虚假偏差的过度拟合而战胜了几个流行的基准,而没有真正学习所需的任务。尽管有这一发现,基准测试在试图解决偏差的同时,仍然依赖于变通方法,由于丢弃低质量数据,这些变通方法没有充分利用在基准测试创建中投入的资源,并且覆盖有限的偏差。这些问题的一个可能解决办法-量化质量的指标-仍然没有得到充分探讨。受电力、食品和水等多个领域成功的质量指标的启发,我们通过识别某些语言属性来迈出度量的第一步,这些语言属性可以代表导致基准偏差的各种可能的相互作用。我们寻找与偏差相关的参数,这些参数可能有助于我们实现指标。我们调查现有的作品,并确定参数捕捉各种属性的偏见,其起源,类型和影响的性能,泛化和鲁棒性。我们的分析跨越了数据集和从NLI到汇总的任务层次,确保我们的参数是通用的,不会过度拟合特定的任务或数据集。我们还在这个过程中制定了一些参数。
2022-10-14 cs.CL cs.CV
Invariant Language Modeling
EPFL(洛桑联邦理工学院);Microsoft Corporation(微软公司)
大型预训练语言模型是现代NLP管道的关键组成部分。然而,他们遭受虚假的相关性,穷人的领域泛化,和偏见。受因果机器学习最新进展的启发,特别是不变风险最小化(Invariant Risk Minimization,简称VRM)范式,我们提出了不变语言建模,这是一个学习不变表示的框架,可以更好地在多个环境中推广。特别是,我们适应了一个游戏理论的配方,以语言模型,其中的不变性出现在一个特定的训练时间表中,所有的环境竞争,以优化自己的环境特定的损失,通过更新模型的子集在循环的方式。我们专注于控制实验,以精确地证明我们的方法的能力(i)去除结构化噪声,(ii)忽略特定的虚假相关性,而不影响全局性能,(iii)实现更好的领域泛化。与标准训练相比,这些好处的计算开销可以忽略不计,不需要改变局部损失,并且可以应用于任何语言模型。我们相信这个框架是有希望的,以帮助减轻虚假的相关性和偏见的语言模型。
2022-11-14 cs.CL cs.LG
UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心)
该研究针对大语言模型因固有偏见引发的提示脆弱性问题,探究FFN与注意力头的内部偏见机制,提出仅推理阶段的UniBias方法识别消除偏见组件,经12个NLP数据集验证可提升ICL性能、缓解提示脆弱性。
2024-12-12 cs.AI cs.CL
CIP: A Plug-and-Play Causal Prompting Framework for Mitigating Hallucinations under Long-Context Noise
Beijing University of Posts and Telecommunications(北京邮电大学);Northwestern University(西北大学)
CIP通过因果推理框架提升大语言模型的可解释性、稳定性和效率,有效缓解长上下文噪声下的幻觉问题。
2025-12-12 cs.AI cs.CL
CURE: Controlled Unlearning for Robust Embeddings -- Mitigating Conceptual Shortcuts in Pre-Trained Language Models
Technical University of Munich(慕尼黑技术大学)
CURE通过解耦并抑制概念捷径,在保留内容信息的同时,利用对比学习可控去偏,在IMDB和Yelp上分别提升F1分数10和2个百分点,实现鲁棒且公平的语言理解。
2025-09-10 cs.AI cs.CL cs.LG
Evaluating Health Misinformation in Low-Resource Languages: Integrating Small Language Models with a Culturally-Sensitive Responsible NLP Framework (Bangla as a Case Study)
Western Sydney University(西悉尼大学);Microsoft(微软公司);Excelsia College(埃克塞尔西亚学院);Faulconbridge Health Centre(福尔康布里奇健康中心)
研究针对低资源语言中健康错误信息难检测问题,提出结合小语言模型与文化敏感的负责任自然语言处理框架,以孟加拉语为例进行实验,证明Phi-4表现优,还设计新框架,为评估低资源语言错误信息提供整体视角。
2026-07-15 cs.AI cs.CL cs.CY
Do Student LLMs Inherit OOD Robustness? Invariance-Weighted Distillation for Reliable Knowledge Transfer
University of Maryland, College Park(马里兰大学帕克分校)
针对知识蒸馏中学生模型在分布外场景性能下降的问题,提出不变性加权蒸馏(IWD),通过预测不变性动态加权样本,降低虚假相关性影响,在多个基准上显著提升OOD鲁棒性。
2026-09-22 cs.AI cs.CL cs.LG