Exploring the Efficacy of Automatically Generated Counterfactuals for Sentiment Analysis
University College Dublin（都柏林大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
虽然近年来最先进的NLP模型在各种任务中取得了优异的性能，但人们对它们的鲁棒性及其对训练和测试数据中可能存在的系统偏差的潜在敏感性提出了重要的问题。当在现场面对分发外的数据时，这些问题在性能问题中变得明显。最近的一个解决方案是使用反事实增强数据集，以减少对原始数据中可能存在的虚假模式的依赖。生成高质量的增强数据可能是昂贵和耗时的，因为它通常需要涉及人工反馈和众包工作。在这项工作中，我们提出了一种替代方案，通过描述和评估的方法来自动生成反事实的数据，数据增强和解释。对几个不同的数据集进行全面评估，并使用各种最先进的基准测试，展示了与在原始数据上训练的模型相比，甚至与利用人工生成的增强数据训练的模型相比，我们的方法如何能够在模型性能方面实现显着改进。
2022-03-24 cs.AI cs.CL cs.LO
Towards Robust Aspect-based Sentiment Analysis through Non-counterfactual Augmentations
Northeastern University（东北大学）；Amazon Alexa（亚马逊Alexa）；City, University of London（伦敦城市大学）；NiuTrans Research（小牛翻译研究院）
针对现有ABSA模型鲁棒性不足、反事实增强方法受限于因果结构的问题，提出保留目标方面语义的低成本非反事实噪声数据增强方法，通过建模数据变体间的不变性提升鲁棒性，在多数据集上超越基线并刷新鲁棒性基准SOTA，跨域迁移效果好。
2023-07-21 cs.CL
Explaining The Efficacy of Counterfactually Augmented Data
Carnegie Mellon University（卡内基梅隆大学）
为了减少对NLP数据集中虚假模式的依赖，研究人员最近提出了通过人在回路过程来管理反事实增强数据（CAD），在该过程中，给定一些文档及其（初始）标签，人类必须修改文本以使反事实标签适用。重要的是，禁止不需要翻转适用标签的编辑。根据经验，在增强数据上训练的模型似乎更少地依赖于语义上不相关的单词，并且更好地泛化出域。虽然这项工作松散地借鉴了因果思维，但潜在的因果模型（即使在抽象层面上）和所观察到的域外改进的基本原则仍然不清楚。在本文中，我们介绍了一个玩具模拟的基础上线性高斯模型，观察因果模型，测量噪声，领域泛化，并依赖于虚假信号之间的有趣的关系。我们的分析提供了一些见解，有助于解释CAD的疗效。此外，我们发展的假设，而增加噪声的因果功能应该降低域内和域外的性能，增加噪声的非因果功能应导致域外性能的相对改善。这个想法启发了一个投机性的测试，以确定是否有一个功能属性技术确定的因果跨度。如果添加噪声（例如，通过随机字翻转）到突出显示的跨度会降低一组挑战数据集上的域内和域外性能，但是向补充添加噪声会改善域外性能，这表明我们已经识别了因果跨度。我们提出了一个大规模的实证研究比较跨度编辑创建CAD的注意力和显着性地图选择。在众多的领域和模型，我们发现，假设的现象是明显的CAD。
2021-03-24 cs.AI cs.CL cs.LG
Practical Benefits of Feature Feedback Under Distribution Shift
Carnegie Mellon University（卡内基梅隆大学）
在尝试开发样本有效和可解释的算法中，研究人员已经探索了无数的机制，用于收集和利用为突出证据的训练（但不是测试）实例提供的特征反馈（或理由）辅助注释。例子包括对象周围的边界框和文本中的突出跨度。尽管它直观的吸引力，功能反馈并没有在实际问题中提供显著的收益，就像iid holdout集上评估的那样。然而，最近的作品反事实增强数据建议补充注释的替代好处，超越解释性：降低对虚假模式的敏感性，从而提供收益的域外评估。我们推测，虽然现有的方法，将功能反馈提供了微不足道的样本内的性能增益，但它们可能会提供域外的好处。我们的实验解决情感分析，表明，功能反馈方法执行显着更好的各种自然域外的数据集，尽管可比的域内评估。相比之下，自然语言推理的性能仍然相当。最后，我们比较了那些功能反馈确实（和不）有帮助的任务。
2022-10-17 cs.AI cs.CL cs.LG
MABEL: Attenuating Gender Bias using Textual Entailment Data
Princeton University（普林斯顿大学）
预先训练的语言模型编码了不受欢迎的社会偏见，这在下游使用中进一步加剧。为此，我们提出了MABEL（一种使用蕴涵标签减弱性别偏见的方法），这是一种用于减轻情境化表征中性别偏见的中间预训练方法。我们的方法的关键是使用反事实增强，性别平衡的蕴涵对自然语言推理（NLI）数据集的对比学习目标。我们还引入了一个对齐正则化器，它可以将相同的蕴涵对沿着相反的性别方向拉近。我们广泛评估我们的方法的内在和外在的指标，并表明MABEL优于以前的任务无关的去偏置方法的公平性。它还在对下游任务进行微调后保留任务性能。总之，这些研究结果表明，NLI数据作为一种有效的偏见缓解手段，而不是只使用未标记的句子在文献中的适用性。最后，我们发现，现有的方法往往使用的评估设置是不够的或不一致的。我们努力复制和比较以前的方法，并呼吁统一的评估设置跨性别去偏见的方法，以更好的未来比较。
2022-10-26 cs.CL cs.LG
Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions
Technion - Israel Institute of Technology（以色列理工学院）
深度学习算法已经在视觉问答（VQA）任务中显示出了有希望的结果，但更仔细的观察会发现，它们通常不理解所输入的丰富信号。为了理解和更好地衡量VQA系统的泛化能力，我们研究了它们对反事实增强数据的鲁棒性。我们提出的增强旨在对问题的特定属性进行集中干预，以便答案发生变化。使用这些增强，我们提出了一个新的鲁棒性措施，增强数据的鲁棒性（RAD），它衡量原始和增强的例子之间的模型预测的一致性。通过大量的实验，我们表明，RAD，不像经典的准确性措施，可以量化时，国家的最先进的系统是不稳健的反事实。我们发现大量的失败案例表明，目前的VQA系统仍然是脆弱的。最后，我们将鲁棒性和泛化联系起来，展示了RAD对看不见的增强性能的预测能力。
2021-09-17 cs.CL cs.CV cs.LG
SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data
Sungkyunkwan University（成均馆大学）；SK Telecom（SK电讯）
针对预训练语言模型微调时的虚假关联问题，提出SALAD方法，通过标记生成结构感知正样本、LLM生成反事实负样本用于对比学习，提升了模型在情感分类等任务中对分布外数据的鲁棒性与泛化性。
2025-04-16 cs.AI cs.CL
Graph Evidence Is Not Enough: Diagnosing Native Decoder Use in Graph-Augmented LLMs
Xinjiang University（新疆大学）
该研究针对图增强LLM检验图证据可被原生解码器使用的假设，通过HopQA诊断任务发现现有模型无法有效利用图证据，提出S²GE方法在多个数据集上大幅提升性能，并揭示了相关 regimes。
2026-09-02 cs.CL
One Vector is Not Enough: Entity-Augmented Distributional Semantics for Discourse Relations
Georgia Institute of Technology（佐治亚理工学院）
语篇关系将较小的语言单位联结成连贯的语篇。然而，自动识别话语关系是困难的，因为它需要理解所链接的论元的语义。一个更微妙的挑战是，仅仅表示话语关系中每个论元的意义是不够的，因为话语关系可能依赖于较低层次组件之间的联系，例如实体提及。我们的解决方案计算分布式意义表示的组成了语法分析树。一个关键的区别，从以前的工作组成的分布语义是，我们还计算表示实体提到，使用一种新的向下组合通过。语篇关系的预测从分布表示的论点，也是他们的共指实体提及。该系统在预测Penn Discourse Treebank中的隐含语篇关系方面取得了显著的进步。
2014-11-25 cs.CL cs.LG
DISCO: Distilling Counterfactuals with Large Language Models
EPFL（洛桑联邦理工学院）；Allen Institute for AI（艾伦人工智能研究所）
本文提出 DISCO 流程，用大型通用语言模型生成短语扰动并由任务教师模型过滤蒸馏，大规模获得高质量反事实数据，显著提升小型 NLI 模型的鲁棒性、跨分布泛化和反事实一致性。
2023-06-05 cs.CL
AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）
最近的研究表明，反事实增强数据（CAD）在减少NLU模型对虚假特征的依赖和提高其泛化能力方面具有令人印象深刻的效果。然而，目前的方法仍然严重依赖于人类的努力或特定于任务的设计来生成反事实，从而阻碍了CAD对广泛的NLU任务的适用性。在本文中，我们提出了AutoCAD，一个全自动和任务无关的CAD生成框架。AutoCAD首先利用分类器来无监督地将基本原理识别为要干预的跨度，从而解开虚假和因果特征。然后，AutoCAD执行通过不可能训练增强的可控生成，以产生不同的反事实。对多个域外和挑战基准的广泛评估表明，AutoCAD在不同的NLU任务中持续显著地提高了强大的预训练模型的分布性能，这与以前最先进的人在回路或特定于任务的CAD方法相当甚至更好。该代码可在https://github.com/thu-coai/AutoCAD上公开获取。
2022-11-29 cs.AI cs.CL
Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data
Yuanfudao Research（猿辅导研究院）
神经机器翻译系统已成为语法纠错（GEC）任务的最先进的方法。在本文中，我们提出了一个复制增强架构的GEC任务复制不变的话从源句子到目标句子。因为GEC遭受没有足够的标记训练数据来实现高准确度。我们使用未标记的One Billion Benchmark使用去噪自动编码器预训练复制增强架构，并在完全预训练模型和部分预训练模型之间进行比较。这是第一次从源上下文复制单词并完全预训练序列到序列模型在GEC任务上进行实验。此外，我们还为GEC任务添加了令牌级和任务级多任务学习。在CoNLL-2014测试集上的评估结果表明，我们的方法大大优于所有最近发表的最先进的结果。代码和预训练模型在https://github.com/zhawe01/fairseq-gec上发布。
2019-06-11 cs.CL
Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study
Sinch Chatlayer；Ghent University - imec（根特大学 - imec）
本研究探索零样本跨语言情感分类中语言与领域偏移对OOD泛化的影响，验证反事实增强数据在低资源语言中的有效性，并提出两种利用大语言模型的低成本新方法，在部分数据集上达到与CAD相当或更高的准确率。
2023-11-11 cs.CL
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而，该模型架构对于流场景不够有效，因为自注意力是在整个输入序列上计算的，并且计算成本随着输入序列的长度二次增长。然而，大多数关于同时语音翻译的先前工作，即从部分音频输入生成翻译的任务，在分析延迟时忽略了生成翻译所花费的时间。在这种假设下，系统可能具有良好的延迟质量权衡，但在实时场景中不适用。在本文中，我们重点关注流同步语音翻译的任务，其中系统不仅能够在部分输入的情况下进行翻译，而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型，配备了一个增强内存的Transformer编码器，它已显示出巨大的成功，在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段，上下文和内存大小，我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
Recall Is Not Enough: A Reader-Context Diagnostic for Budget-Constrained Retrieval-Augmented Generation
Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）
针对固定读者上下文预算下的检索增强生成，提出答案在上下文中诊断指标，并构建基于子模最大化的打包器，在特定条件下提升性能。
2026-08-06 cs.CL cs.IR
Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization
Zhejiang University（浙江大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；South China University of Technology（华南理工大学）；University of British Columbia（不列颠哥伦比亚大学）；Fudan University（复旦大学）；University of Hong Kong（香港大学）
针对RAG中LLM内部推理与检索证据不一致的推理错位问题，提出基于批评驱动对齐的迭代框架AlignRAG及其自主变体，通过对比批评合成机制训练批评语言模型，显著提升推理保真度与鲁棒性。
2025-10-11 cs.AI cs.CL
Efficient Long Sequence Modeling via State Space Augmented Transformer
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
Transformer模型在各种自然语言处理任务中取得了卓越的性能。然而，注意力机制的二次计算成本限制了其对长序列的实用性。现有的注意力变体提高了计算效率，但它们有效计算全局信息的能力有限。与Transformer模型并行，状态空间模型（SSM）是为长序列定制的，但是它们不够灵活以捕获复杂的局部信息。我们提出了SPADE，简称$\underline{\textbf{S}}$状态$\underline{\textbf{P}}$ ace $\underline{\textbf{A}}$ ugmente $\underline{\textbf{D}}$ Transform $\underline{\textbf{E}}$ r。具体来说，我们增加了SSM到SPADE的底层，我们采用有效的本地注意力方法的其他层。SSM增强了全局信息，这补充了局部注意力方法中缺乏长距离依赖性问题。在Long Range Arena基准测试和语言建模任务上的实验结果证明了该方法的有效性。为了进一步证明SPADE的可扩展性，我们对大型编码器-解码器模型进行了预训练，并在自然语言理解和自然语言生成任务上呈现了微调结果。
2022-12-15 cs.CL cs.LG
Persona-Augmented Benchmarking: Evaluating LLMs Across Diverse Writing Styles
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS（亚马逊AWS）
本研究通过人物角色提示重写评估提示，发现写作风格显著影响LLM性能，并提出可扩展的基准增强方法以提升评估外部有效性。
2025-09-25 cs.AI cs.CL
Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室）；Baichuan Inc.（百川智能）
本文提出利用知识图谱派生规划数据微调大语言模型，以增强其在检索增强复杂问答中的规划能力，并通过多个数据集验证了框架的有效性。
2024-10-23 cs.AI cs.CL
FairyTED: A Fair Rating Predictor for TED Talk Data
University of Rochester（罗切斯特大学）；Comcast Applied AI Research（康卡斯特应用人工智能研究院）
随着机器学习应用于人类生活的各个方面，将公平性纳入预测算法的核心非常重要。我们解决的问题，预测的质量的公开演讲，而公平的发言者的敏感属性，如性别和种族。我们使用TED演讲作为公众演讲的输入库，因为它由来自不同社区的演讲者组成，并且具有广泛的覆盖面。利用因果模型、反事实公平性和最新的神经语言模型理论，我们提出了一个公平预测演讲质量的数学框架。我们采用接地的假设来构建一个因果模型，捕捉不同的属性如何影响演讲质量。该因果模型有助于生成反事实数据以训练公平的预测模型。我们的框架足够通用，可以利用因果模型中的任何假设。实验结果表明，虽然预测准确性与最近在该数据集上的工作相当，但与真实数据标签相比，我们的预测在一个新的度量方面是反事实的公平。FairyTED设置不仅允许组织者从未观察到的反事实可能性中选择明智和多样化的演讲者，而且还确保观众和新用户在决定观看演讲时不会受到www.ted.com网站任意访问者的不公平和不平衡评级的影响。
2019-11-25 cs.CL cs.LG stat.ML
Less Is Personal: Learning Minimal Sufficient User Profiles for Personalized Language Models
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对个性化语言模型固定前置检索记录导致冗余和有害信息的问题，提出ENOUGH方法，通过迭代构建自适应长度的最小充分用户画像，在保持个性化效用的同时降低上下文成本。
2026-09-10 cs.AI cs.CL
Entailed Opinion Matters: Improving the Fact-Checking Performance of Language Models by Relying on their Entailment Ability
Department of Data Science and Engineering（数据科学与工程系）；Indian Institute of Science Education and Research（印度科学教育与研究学院）
本文提出通过生成语言模型的蕴含能力提升事实核查性能，通过证据分类和蕴含论证训练仅编码器的语言模型，以提高事实核查的准确性。
2026-02-20 cs.CL
Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）；Duke Center for Artificial Intelligence in Radiology（杜克放射学人工智能中心）
本研究利用开放权重语言模型和检索增强生成，自动化提取放射学与病理学报告中的结构化临床信息，最佳模型准确率超98%和90%，验证了本地隐私保护下临床数据提取的可行性。
2024-09-18 cs.CL cs.IR cs.LG
Is Implicit Knowledge Enough for LLMs? A RAG Approach for Tree-based Structures
General Motors（通用汽车公司）
针对树状层次结构，本文提出自底向上生成各级聚合摘要的知识线性化 RAG 方法，在回答质量相当的情况下将检索文档数减少逾68%。
2025-10-21 cs.AI cs.CL cs.IR
Rethinking Data Augmentation for Low-Resource Neural Machine Translation: A Multi-Task Learning Approach
Universitat d’Alacant（阿利坎特大学）
在神经机器翻译的上下文中，当可用并行数据稀缺时，数据增强（DA）技术可用于生成附加训练样本。许多DA方法旨在通过生成包含不频繁单词的新句子对来扩展经验数据分布的支持，从而使其更接近并行句子的真实数据分布。在本文中，我们建议遵循一个完全不同的方法，并提出了一个多任务DA方法，在该方法中，我们生成新的句子对转换，如反转的目标句子，产生不流利的目标句子的顺序。在训练过程中，这些增强的句子被用作多任务框架中的辅助任务，目的是提供新的上下文，其中目标前缀的信息量不足以预测下一个单词。这加强了编码器，并迫使解码器更加关注编码器的源表示。在六个低资源翻译任务上进行的实验表明，与基线和DA方法相比，旨在扩展对经验数据分布的支持的改进是一致的。用我们的方法训练的系统更多地依赖于源令牌，对域转移更鲁棒，并且遭受更少的幻觉。
2021-09-08 cs.CL
UnWeaving the knots of GraphRAG -- turns out VectorRAG is almost enough
Samsung AI Warsaw（三星AI华沙）
本文提出UnWeaver框架，通过LLM解构文档内容为跨chunk的实体，提升检索和生成的准确性与效率，实验表明向量RAG在成本上优于图式RAG。
2026-06-08 cs.AI cs.CL cs.IR
Checkpoints Are Not Enough: Trust Calibration in CoSLR, a Human-AI System for Systematic Literature Reviews
Tampere University（坦佩雷大学）
针对系统文献综述中AI生成内容可能未经核实即被信任的问题，提出带强制人工检查点的CoSLR系统；实验显示其可用性良好，但34.9%参与者仍过度信任AI输出，表明需通过界面设计校准信任。
2026-09-22 cs.AI cs.CL cs.IR
Augmentation with Projection: Towards an Effective and Efficient Data Augmentation Paradigm for Distillation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）；University of Washington（华盛顿大学）
知识蒸馏是将知识从大型模型转移到小型模型的主要方法之一。然而，它需要大量特定于任务的数据，这在许多现实世界的应用中可能是不合理的。数据增强方法，如表示插值，令牌替换，或与模型增强被应用于解决这个问题。然而，这些数据增强方法要么可能导致决策边界的偏移（表示插值），要么表达不够（令牌替换），要么引入太多的计算开销（模型增强）。为此，我们提出AugPro（增强投影），一个有效的和高效的数据增强方法蒸馏。我们的方法建立在表示插值增强方法之上，以保持表达的多样性，并将增强的数据转换为令牌，以避免移动决策边界。它使用简单的操作，几乎没有计算开销。多个GLUE任务的结果表明，我们的方法可以提高蒸馏性能的大幅度在较低的时间成本。代码可在https://github.com/google-research/google-research/tree/master/augpro上获得。
2023-03-11 cs.AI cs.CL
