Good-Enough Example Extrapolation
Google Research（谷歌研究院）
本文提出了一个问题，是否外推隐藏的空间分布的文本例子从一个类到另一个是一个有效的归纳偏见数据增强。为了使这个问题可操作化，我提出了一个简单的数据增强协议，称为“足够好的示例外推”（GE 3）。GE3是轻量级的，没有超参数。应用于三个文本分类数据集的各种数据不平衡的情况下，GE3提高性能比上采样和其他隐藏空间数据增强方法。
2021-09-15 cs.CL
Compositional pre-training for neural semantic parsing
Stanford University（斯坦福大学）
语义解析是将自然语言语句转换成逻辑形式的过程，它有许多重要的应用，如问答和指令遵循。序列到序列模型在许多NLP任务中非常成功。然而，缺乏特定于任务的先验知识可能对这些模型的性能不利。先前的工作已经使用框架来在训练样本上归纳语法，这些样本捕获模型可以利用的条件独立属性。受最近成功案例（如BERT）的启发，我们开始将此增强框架扩展为两个阶段。第一阶段是以无监督的方式使用增强示例的语料库进行预训练。第二阶段是针对特定领域的任务进行微调。此外，由于预训练阶段与主要任务的训练是分开的，我们还扩展了可能的增强范围，而不会导致灾难性的推断。我们还提出了一种新的数据增强策略，该策略交换在相似上下文中共同出现的标记以产生新的训练对。我们证明，建议的两阶段框架是有益的，提高解析精度的标准数据集称为GeoQuery的任务，从一组关于美国地理的问题生成逻辑形式。
2019-05-27 cs.CL cs.LG
Learning to Recombine and Resample Data for Compositional Generalization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
灵活的神经序列模型在各种任务上都优于基于语法和自动机的模型。然而，神经模型在需要超出训练数据的合成泛化的设置中表现不佳-特别是对于罕见或不可见的连续性。过去的工作已经发现符号脚手架（例如语法或自动机）在这些设置中必不可少。我们描述R&R，一个学习的数据增强计划，使一个大类的组成概括，而不呼吁潜在的符号结构。R&R有两个组成部分：通过基于原型的生成模型重新组合原始训练样本，并重新存储生成的样本以鼓励外推。在用重组和重新采样的示例增强的数据集上训练普通神经序列模型，可以显着提高两个语言处理问题的泛化能力-指令遵循（SCAN）和形态分析（SIGMORPHON 2018）-其中R&R可以从最少8个初始示例中学习新的结构和时态。
2021-06-08 cs.CL cs.LG
Simple and effective data augmentation for compositional generalization
Saarland University（萨尔兰大学）
本文研究 seq2seq 模型的组合泛化难题，发现对 MR 采样并回译的数据增强在采用均匀分布时效果接近测试分布采样，并显著优于训练分布采样，同时实验分析了收益来源。
2024-01-18 cs.CL
ALP: Data Augmentation using Lexicalized PCFGs for Few-Shot Text Classification
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Changwon National University（昌原大学）
数据增强是提高学习模型性能的重要因素。用于Few-Shot文本分类的先前数据增强方法已经导致了巨大的性能提升。然而，它们并没有被设计成捕捉自然语言的复杂组成结构。因此，他们无法生成具有合理和多样化句子结构的样本。基于此，我们提出了使用词汇化概率上下文无关文法（ALP）的数据增强方法，该方法可以生成具有不同句法结构的增强样本。词汇化的PCFG分析树考虑成分和依赖关系，以产生一个句法框架，最大限度地提高了各种单词的选择，在句法上可重复的方式，没有特定的领域专家。在Few-Shot文本分类任务上的实验表明，ALP增强了许多最先进的分类方法。作为第二个贡献，我们深入研究了训练值分裂方法时，数据增强方法发挥作用。我们凭经验认为，传统的训练和验证集的分裂是次优的相比，我们的新的基于增强的分裂策略，进一步扩大训练分裂相同数量的标记数据。总之，我们对数据增强策略的贡献为Few-Shot文本分类任务提供了强大的训练配方。
2021-12-16 cs.AI cs.CL cs.LG
Structurally Diverse Sampling for Sample-Efficient Training and Comprehensive Evaluation
University of California Irvine（加州大学欧文分校）；Allen Institute for AI（艾伦人工智能研究所）；Microsoft Semantic Machines（微软语义机器公司）
越来越多的研究表明，NLP模型无法在组成上进行泛化，并试图通过专门的架构、训练方案和数据增强等方法来缓解这一问题。在这项工作中，我们研究了一种不同的方法：在具有不同结构的实例上进行训练。我们提出了一个模型不可知的算法，从一个标记的实例池结构化输出的二次抽样这样的实例集。评估两个组成的模板分裂和传统的IID分裂的5个不同复杂度的语义解析数据集，我们表明，结构上不同的训练使用我们的算法导致可比或更好的泛化比以前的算法在9个10个小块分裂类型对。在一般情况下，我们发现结构多样性，以不断提高样本效率相比，随机训练集。此外，我们表明，结构多样的抽样产生全面的测试集，比IID测试集更具挑战性。最后，我们从不同的训练集提供了两个解释，提高泛化：1）提高覆盖率的输出子结构，和2）减少这些子结构之间的虚假相关性。
2022-11-01 cs.CL
A Semantic Parsing Framework for End-to-End Time Normalization
Intel Labs（英特尔实验室）；Thoughtworks；University of Arizona（亚利桑那大学）
本文提出将时间归一化视为基于SCATE框架的代码生成任务，利用LLM合成数据训练小型模型，实现高性能、可解释的时间归一化。
2025-07-08 cs.CL
Understanding Compositional Data Augmentation in Typologically Diverse Morphological Inflection
University of British Columbia（不列颠哥伦比亚大学）
本研究通过信息论分析揭示了数据增强策略StemCorrupt通过消除语素间伪相关改善组合泛化的机制，发现选择高多样性和高预测不确定性的数据点可显著提升其在七种语言中的数据效率，但高异形态语言因音位组合违规获益较少。
2023-10-23 cs.CL
Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough
Shanghai Jiao Tong University（上海交通大学）；Sun Yat-sen University（中山大学）
反事实增强数据（CAD）可以提高语言模型的分布外（OOD）泛化能力，因为CAD可以引导语言模型利用因果特征并排除虚假相关。然而，面向对象的CAD综合的经验结果并不像预期的那样有效。在本文中，我们归因于CAD引起的近视现象：语言模型只关注在增强中被编辑的因果特征，而排除其他未编辑的因果特征。因此，CAD的潜力没有得到充分利用。基于CAD的结构特性，设计了两个附加约束，帮助语言模型提取CAD中包含的更完整的因果特征，从而提高了面向对象设计的泛化能力。我们在情感分析和自然语言推理两个任务上对我们的方法进行了评估，实验结果表明，我们的方法可以释放CAD的潜力，提高语言模型的OOD泛化能力。
2023-02-18 cs.CL
Improving Compositional Generalization in Math Word Problem Solving
East China Normal University（华东师范大学）；Singapore Management University（新加坡管理大学）
组合泛化是指模型基于在训练期间观察到的数据组件泛化到新组合的输入数据的能力。由于概括是语言和问题解决技能的一个重要方面，它引发了一系列关于不同任务的合成概括分析。然而，对数学应用题（MWPs）的类似讨论是有限的。本文研究了MWP求解中的合成泛化问题。具体来说，我们首先介绍了一种数据分割方法，从现有的MWP数据集创建组合分裂。同时，我们综合数据来隔离成分的影响。为了提高MWP求解中的组合泛化能力，我们提出了一种迭代数据增强方法，该方法将不同的组合变化纳入训练数据中，并可与MWP方法协作。在评估过程中，我们检查了一组方法，发现它们在评估的数据集上都遇到了严重的性能损失。我们还发现我们的数据增强方法可以显着提高一般MWP方法的合成概括。代码可在https://github.com/demoleiwang/CGMWP上获得。
2022-09-03 cs.CL
ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
Ingenuity Labs Research Institute（创新实验室研究所）；Queen’s University（女王大学）；Smith School of Business（史密斯商学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本研究针对开放意图检测的组合泛化挑战，提出用ChatGPT生成合成数据做数据增强的方法，经多基准验证性能优于现有技术，证明大语言模型在自然语言理解数据增强中的潜力。
2023-08-25 cs.AI cs.CL
Learning to Substitute Components for Compositional Generalization
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对神经语言模型组合泛化不足，提出CompSub多粒度组件替换增强及LCS端到端学习框架，并扩展至LLM的ICL场景，在四个基准上分别提升最高66.5%、10.3%、1.4%和8.8%。
2025-02-28 cs.CL
Augmenters at SemEval-2023 Task 1: Enhancing CLIP in Handling Compositionality and Ambiguity for Zero-Shot Visual WSD through Prompt Augmentation and Text-To-Image Diffusion
University of Maryland, College Park（马里兰大学帕克分校）；Duolingo, Inc.（多邻国公司）
针对零样本视觉词义消歧中 CLIP 难以处理语言组合性、短语焦点变化和图文多对多匹配的问题，提出 LLM 提示增强、跨语言 CLIP 与 Stable Diffusion 采样方法。
2023-07-09 cs.CL
Self-Compositional Data Augmentation for Scientific Keyphrase Generation
Nantes University（南特大学）；CNRS（法国国家科学研究中心）；National Institute of Informatics（国立信息学研究所）
提出一种自组合数据增强方法，通过共享关键短语组合相似文档生成合成样本，无需外部数据，在多个领域数据集上持续提升关键短语生成性能。
2024-11-06 cs.CL cs.IR
Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
最近的数据集暴露了缺乏系统的泛化能力，在标准的序列到序列模型。在这项工作中，我们分析了seq2seq模型的这种行为，并确定了两个影响因素：缺乏相互排他性偏见（即，已经映射到目标序列的源序列不太可能被映射到其他目标序列），以及倾向于记住整个示例而不是将结构与内容分开。我们提出了两种技术来分别解决这两个问题：互斥训练，防止模型在面对新的，看不见的例子时通过基于不可能性的损失产生可见的世代;和prim2primX数据增强，自动多样化每个语法函数的参数，以防止记忆，并提供一个组成的归纳偏差，而不暴露测试集数据。结合这两种技术，我们使用标准的序列到序列模型（LSTM和Transformers）在两个广泛使用的组合数据集：SCAN和COGS上显示了大量的经验改进。最后，我们提供分析表征的改进以及剩余的挑战，并提供详细的消融我们的方法。我们的代码可在www.example.com上获得
2022-11-28 cs.AI cs.CL cs.LG
Learning to Substitute Spans towards Improving Compositional Generalization
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；City University of Hong Kong（香港城市大学）
本文针对神经序列模型组合泛化不足的问题，提出多粒度跨度替换增强策略 SpanSub，并通过端到端 L2S2 框架学习替换概率，在 SCAN、COGS 和 GeoQuery 上取得显著提升。
2023-06-05 cs.CL cs.LG
Inference-Time Structural Reasoning for Compositional Vision-Language Understanding
本文提出统一评估和增强框架，评估四种架构各异的VLMs在Winoground基准上的表现，通过结构化关系先验提升模型能力，发现SG增强对已有能力强的模型有益。
2026-03-28 cs.CL cs.CV
Error Rate is Not Enough: Costs of Augmentation in Low-Resource ASR
University of Notre Dame（圣母大学）
该研究针对低资源ASR，分析音频类与文本类数据增强的互补性，发现二者结合的超加性改进仅在低资源场景有效，可通过训练暴露和声学特性选择增强方法。
2026-10-12 cs.CL
Compositionality as Lexical Symmetry
Massachusetts Institute of Technology（麻省理工学院）
本文提出LEXSYM，将组合性定义为数据分布对称性约束，通过自动发现数据变换并增强训练数据，使普通神经序列模型在语义解析、指令跟随和视觉问答等任务上达到或超越专用模型。
2023-07-05 cs.CL cs.CV cs.LG
Chain-of-Thought Augmentation with Logit Contrast for Enhanced Reasoning in Language Models
Algoverse AI Research（Algoverse AI研究院）
为提升语言模型推理与组合泛化能力，受思维链提示与上下文感知解码启发，探索基于输入的对比方法以鼓励思维链推理，并证实其改进值得进一步研究。
2024-08-27 cs.CL
Multi-Hop Knowledge Composition is Bound by Pretraining Exposure
Inria, Paris, France（法国国家信息与自动化研究所（巴黎））；Inria, Chile（法国国家信息与自动化研究所（智利））；Dept. of Computer Science, Universidad de Chile（智利大学计算机科学系）
研究发现，即使单跳准确率达97%，大语言模型仍无法进行隐式多跳推理，原因是预训练中缺乏组合上下文，而非知识缺失。
2026-09-17 cs.CL
Improved Compositional Generalization by Generating Demonstrations for Meta-Learning
Aalto University（阿尔托大学）
针对gSCAN中训练数据缺乏良好支持示例的问题，提出一种智能体生成相关支持示例并通过元学习解决测试查询的方法，显著提升了组合泛化性能。
2024-10-12 cs.CL
Mosaic-IT: Cost-Free Compositional Data Synthesis for Instruction Tuning
University of Maryland（马里兰大学）；Texas A&M University（德克萨斯A&M大学）；Stony Brook University（石溪大学）
本文提出 Mosaic-IT，一种无需人工或教师模型的组合式数据合成方法，通过随机拼接多条指令并引入高层元指令训练大语言模型，在多个基准上提升指令遵循能力，同时将训练成本降低 80%。
2025-06-05 cs.CL
Compositional Zero-Shot Domain Transfer with Text-to-Text Models
University of Cambridge（剑桥大学）；Microsoft Health Futures（微软健康未来部门）
标签稀缺是提高专业领域任务性能的瓶颈。我们提出了一种新的成分迁移学习框架（DoT5域成分zero-shot T5）的zero-shot域迁移。在不访问域内标签的情况下，DoT5以多任务的方式联合学习领域知识（来自未标记的域内自由文本的MLM）和任务知识（来自更容易获得的通用领域数据的任务训练）。为了提高任务训练的可移植性，我们设计了一种名为NLGU的策略：我们同时训练NLG进行域内标签到数据的生成，这使得数据增强用于自微调，NLU用于标签预测。我们在生物医学领域和资源贫乏的放射学子域上评估DoT5，重点是NLI，文本摘要和嵌入式学习。DoT5通过多任务学习证明了组合迁移学习的有效性。特别是，DoT5在RadNLI上的zero-shot传输中的精度超过当前SOTA 7个绝对点。我们通过消融和案例研究验证了DoT5，证明其能够解决需要领域内专业知识的具有挑战性的NLI示例。
2023-03-23 cs.CL cs.LG
Not Enough Data? Deep Learning to the Rescue!
IBM Research AI（IBM研究院人工智能部门）；Technion - Israel Institute of Technology（以色列理工学院）；University of Haifa（海法大学）
基于自然语言建模和文本生成能力的最新进展，我们提出了一种新的文本分类任务的数据增强方法。我们使用一个强大的预训练神经网络模型来人工合成新的标记数据，用于监督学习。我们主要关注具有稀缺标记数据的情况。我们的方法，被称为基于语言模型的数据增强（LAMBADA），涉及微调一个国家的最先进的语言生成器，通过现有的（通常是小）标记数据的初始训练阶段的特定任务。使用微调的模型并给定类标签，生成该类的新句子。然后，我们的过程通过使用在原始数据上训练的分类器来过滤这些新句子。在一系列的实验中，我们表明，LAMBADA提高了分类器在各种数据集上的性能。此外，LAMBADA显着提高了国家的最先进的技术，数据增强，特别是那些适用于文本分类任务的数据很少。
2019-11-27 cs.CL cs.LG
Automatic Discovery of Non-Compositional Compounds in Parallel Data
将文本自动分割成最小的内容承载单元是一个尚未解决的问题，即使对于英语这样的语言也是如此。单词之间的空格提供了一个简单的第一近似，但这种近似对于机器翻译（MT）来说还不够好，因为许多单词序列不是逐字翻译的。本文提出了一种有效的自动方法来发现作为一个单位翻译的单词序列。该方法通过比较从两种语言的平行文本中导出的统计翻译模型对来进行。它可以在每次迭代中发现数百个非合成化合物，并从较短的化合物中构造出较长的化合物。对一个简单机械翻译任务的客观评价表明，该方法对提高机器翻译输出质量具有潜力。该方法对数据的假设很少，因此可以应用于并行文本以外的并行数据，如单词拼写和发音。
1997-06-24 cmp-lg cs.CL
Learning to Compose Representations of Different Encoder Layers towards Improving Compositional Generalization
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）
针对seq2seq模型中编码器和解码器层间表示纠缠阻碍组合泛化的问题，提出CompoSition扩展，通过在编码器与解码器间引入组合层动态组合不同编码器层表示，在两个基准上取得有竞争力的结果。
2023-10-18 cs.CL
Augmentation with Projection: Towards an Effective and Efficient Data Augmentation Paradigm for Distillation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）；University of Washington（华盛顿大学）
知识蒸馏是将知识从大型模型转移到小型模型的主要方法之一。然而，它需要大量特定于任务的数据，这在许多现实世界的应用中可能是不合理的。数据增强方法，如表示插值，令牌替换，或与模型增强被应用于解决这个问题。然而，这些数据增强方法要么可能导致决策边界的偏移（表示插值），要么表达不够（令牌替换），要么引入太多的计算开销（模型增强）。为此，我们提出AugPro（增强投影），一个有效的和高效的数据增强方法蒸馏。我们的方法建立在表示插值增强方法之上，以保持表达的多样性，并将增强的数据转换为令牌，以避免移动决策边界。它使用简单的操作，几乎没有计算开销。多个GLUE任务的结果表明，我们的方法可以提高蒸馏性能的大幅度在较低的时间成本。代码可在https://github.com/google-research/google-research/tree/master/augpro上获得。
2023-03-11 cs.AI cs.CL
Heavy-tailed Representations, Text Polarity Classification & Data Augmentation
LTCI（信息与通信技术实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；IBM France（IBM法国公司）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
自然语言中文本表示的主要方法依赖于在大量语料库上学习嵌入，这些语料库具有组合性和距离保持性等便利属性。在本文中，我们开发了一种新的方法来学习一个重尾嵌入与理想的规律性属性的分布尾部，它允许使用多元极值理论的框架来分析远离分布块的点。特别是，一个分类器专用于建议的嵌入的尾部获得的性能优于基线。该分类器具有尺度不变性，我们通过引入一种新的文本生成方法来增强标签保留数据集，从而利用该属性。在合成文本和真实文本数据上的数值实验证明了所提出的框架的相关性，并证实该方法生成具有可控属性（例如积极或消极情感）的有意义的句子。
2021-03-25 cs.CL cs.LG stat.ML
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
CounterCurate框架通过物理基础数据增强和语义反事实微调，显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
Rethinking Data Augmentation for Low-Resource Neural Machine Translation: A Multi-Task Learning Approach
Universitat d’Alacant（阿利坎特大学）
在神经机器翻译的上下文中，当可用并行数据稀缺时，数据增强（DA）技术可用于生成附加训练样本。许多DA方法旨在通过生成包含不频繁单词的新句子对来扩展经验数据分布的支持，从而使其更接近并行句子的真实数据分布。在本文中，我们建议遵循一个完全不同的方法，并提出了一个多任务DA方法，在该方法中，我们生成新的句子对转换，如反转的目标句子，产生不流利的目标句子的顺序。在训练过程中，这些增强的句子被用作多任务框架中的辅助任务，目的是提供新的上下文，其中目标前缀的信息量不足以预测下一个单词。这加强了编码器，并迫使解码器更加关注编码器的源表示。在六个低资源翻译任务上进行的实验表明，与基线和DA方法相比，旨在扩展对经验数据分布的支持的改进是一致的。用我们的方法训练的系统更多地依赖于源令牌，对域转移更鲁棒，并且遭受更少的幻觉。
2021-09-08 cs.CL
Text generation for dataset augmentation in security classification tasks
针对安全分类任务中正类样本不足导致分类器性能下降的问题，评估GPT-3文本生成用于数据增强，发现其微调策略在样本受限时显著提升多种安全检测分类器的性能。
2023-10-22 cs.CL cs.CR
Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Alibaba Cloud Computing（阿里云计算）
本文提出基于小型 LLM 的数据增强模型家族，通过自动数据收集、质量评估与教师模型蒸馏支持指令扩展、精炼及指令-响应对扩展，并集成到云端平台实现低成本微调。
2024-12-06 cs.CL
On Evaluation Protocols for Data Augmentation in a Limited Data Scenario
Université de Montréal（蒙特利尔大学）
本研究质疑经典文本数据增强在小数据场景下的有效性，指出其本质是优化微调的方式，微调更充分时效果会抵消，并证实基于大模型对话智能体的零/少样本数据增强性能更优。
2024-09-16 cs.AI cs.CL cs.LG
When and why vision-language models behave like bags-of-words, and what to do about it?
Stanford University（斯坦福大学）
尽管大型视觉和语言模型（VLM）在许多下游应用中取得了成功，但目前还不清楚它们对成分信息的编码效果如何。在这里，我们创建了归因、关系和顺序（ARO）基准，以系统地评估VLM理解不同类型的关系、属性和顺序的能力。ARO包括Visual Genome Attribution，用于测试对象属性的理解; Visual Genome Relation，用于测试关系理解;以及COCO & Flickr 30 k-Order，用于测试顺序敏感性。ARO比以前的组合性基准大几个数量级，有超过50，000个测试用例。我们展示了最先进的VLM的关系理解能力很差，在将对象链接到其属性时可能会出错，并且表现出严重缺乏顺序敏感性。VLM主要在图像和标题中具有丰富组成结构的大型数据集上进行训练和评估。然而，在这些数据集上的训练还不足以解决缺乏成分理解的问题，对这些数据集的评估也未能揭示这一缺陷。为了理解为什么这些限制会出现，而在标准测试中却没有表现出来，我们放大到评估和培训程序。我们证明，它是可能的，在现有的数据集上进行检索，而不使用的组成和顺序信息。鉴于对比预训练优化了具有类似快捷方式的数据集上的检索，我们假设这可以解释为什么模型不需要学习表示成分信息。这一发现提出了一个自然的解决方案：成分感知的硬负面挖掘。我们发现，一个简单的实施修改对比学习显着提高了性能的任务，需要理解的顺序和组合。
2023-03-23 cs.AI cs.CL cs.CV
