Data Augmentation Policy Search for Long-Term Forecasting
提出TSAA，一种高效易实现的时间序列自动增强方法，通过贝叶斯优化搜索增强策略，在长期预测基准上优于多个基线，可集成于预测流程。
2025-02-08 cs.AI cs.LG
Sparse Data Augmentation for Optimization with Provable Guarantees
Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
针对几何机器学习中数据增强计算昂贵的问题，提出用固定稀疏变换样本近似完全增强，证明梯度下降在更少查询下达到ε-稳定点，优于完全增强GD和group-SGD。
2026-09-18 cs.AI cs.LG math.OC
Model-Based Offline Reinforcement Learning with Adversarial Data Augmentation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；City University of Hong Kong（香港城市大学）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）；Department of Computer Science, University of Liverpool（利物浦大学计算机系）
针对离线强化学习中静态数据导致策略不稳健的问题，提出MORAL方法，利用对抗性数据增强和集成模型交替采样扩展训练数据，并引入差分因子正则化，在D4RL基准上优于现有方法。
2025-03-26 cs.AI cs.LG
IGADA-IoT: IoT Sensor Energy Optimization in Wireless Sensor Networks Driven by Automatic Data Augmentation
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）
提出一种信息间隙引导的自动数据增强框架IGADA-IoT，通过分层多生成器协作与调度，联合利用不同生成器能力减小信息间隙，并引入信息间隙-模型性能联合评估与闭环方法，提升增强决策准确性，实验表明平均准确率提升7.27%。
2026-10-23 cs.LG
DAPLSR: Data Augmentation Partial Least Squares Regression Model via Manifold Optimization
School of Computer Science and Technology, Zhengzhou University of Light Industry（郑州轻工业大学计算机与通信工程学院）
针对PLSR在类别不均衡数据上表现不佳的问题，提出DAPLSR模型，结合SMOTE和VDM进行数据增强，并采用流形优化提升求解精度，实验证明其分类性能显著优于现有方法。
2025-04-23 cs.IR cs.LG
Latent Space Bayesian Optimization with Latent Data Augmentation for Enhanced Exploration
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
针对潜在空间贝叶斯优化中VAE与BO目标不匹配导致的探索能力差问题，提出LCA-VAE通过潜在空间数据增强增加一致点，并结合LCA-AF获取函数构建LCA-LSBO，实现高样本效率和有效探索。
2024-04-28 cs.LG
Next-Generation Parallel Decoder for LPDR: Architectural Optimization and Class-Balanced GAN-Augmentation
School of Electrical Engineering；Computer Science National University of Sciences \& Technology Islamabad, Pakistan sobaid.mscs25seecs.edu.pk；Computer Science National University of Sciences \& Technology Islamabad, Pakistan nchandio.mscs25seecs.edu.pk；Computer Science National University of Sciences \& Technology Islamabad, Pakistan njamil.mscs25seecs.edu.pk；Computer Science National University of Sciences \& Technology Islamabad, Pakistan
针对车牌检测与识别中的空间字符不匹配和数据不平衡问题，提出交叉空间混合注意力和类别平衡合成增强方法，将少数省份车牌识别率从78.2%提升至91.5%，同时保持152 FPS的实时处理性能。
2026-06-04 cs.AI cs.CV cs.LG
Joint Optimization of Class-Specific Training- and Test-Time Data Augmentation in Segmentation
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；University of Birmingham（伯明翰大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种基于梯度元学习的医学图像分割数据增强框架，通过联合优化类别特定训练时增强与测试时增强来对齐数据分布，并在多个任务上显著提升分割性能。
2023-05-30 cs.CV cs.LG
Adversarial Policy Optimization in Deep Reinforcement Learning
Purdue University（普渡大学）
针对深度强化学习中策略易过拟合虚假特征的问题，提出基于最大-最小博弈的对抗策略优化算法APO，在高维噪声机器人控制任务上性能优于PPO、RAD、DRAC等基线方法。
2023-04-27 cs.AI cs.LG
Test-Time Augmentation for Traveling Salesperson Problem
Kyushu University（九州大学）
针对旅行商等组合优化问题，该研究将节点索引排列设计为测试时增强方案，在不依赖不变性建模的情况下获得比最新模型更短的路径，并提升逼近精确解的概率。
2024-05-08 cs.AI cs.LG
DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
自动机器学习（AutoML）通常涉及几个关键组件，例如数据增强（DA）策略，超参数优化（HPO）和神经架构搜索（NAS）。虽然已经开发了许多策略来自动化这些组件的分离，这些组件的联合优化仍然具有挑战性，由于大大增加了搜索维度和每个组件的不同输入类型。与此并行，首先搜索最佳架构然后在NAS中部署之前对其进行重新训练的常见做法通常会受到搜索和重新训练阶段之间的低性能相关性的影响。一个端到端的解决方案，集成了AutoML组件，并在搜索结束时返回一个现成的模型是可取的。有鉴于此，本文提出了动态数据增强（DHA）算法，实现了数据增强策略、超参数和体系结构的联合优化。具体地说，端到端NAS通过优化压缩的低维特征空间以可区分的方式实现，而DA策略和HPO被看作是动态映射器，它们同时适应网络参数和网络架构的更新。实验表明，DHA在各种数据集和搜索空间上实现了最先进的（SOTA）结果。据我们所知，我们是第一个以端到端的方式高效地联合优化DA策略、NAS和HPO的公司，而无需重新培训。
2022-11-03 cs.CV cs.LG
Robust Optimization as Data Augmentation for Large-scale Graphs
University of Maryland（马里兰大学）；KAUST（阿卜杜拉国王科技大学）；US Naval Academy（美国海军学院）
数据增强通过扩大训练集来帮助神经网络更好地泛化，但如何有效地增强图数据以提高GNN（图神经网络）的性能仍然是一个悬而未决的问题。虽然大多数现有的图形正则化集中在操纵图形的拓扑结构，通过添加/删除边缘，我们提供了一种方法来增强节点功能，以获得更好的性能。我们提出了FLAG（Free Large-scale Adversarial Augmentation on Graphs），它在训练过程中使用基于梯度的对抗性扰动迭代地增强节点特征。通过使模型对输入数据的微小波动保持不变，我们的方法可以帮助模型推广到分布外的样本，并提高测试时的模型性能。FLAG是一种通用的图形数据处理方法，它普遍适用于节点分类、链接预测和图形分类任务。FLAG还具有高度灵活性和可扩展性，可与任意GNN骨干和大规模数据集一起部署。我们通过大量的实验和消融研究证明了我们的方法的有效性和稳定性。我们还提供了直观的观察，以更深入地了解我们的方法。
2022-03-29 cs.LG stat.ML
P-TA: Using Proximal Policy Optimization to Enhance Tabular Data Augmentation via Large Language Models
Technical University of Munich（慕尼黑工业大学）
提出P-TA方法，利用近端策略优化（PPO）将LLM作为GAN生成器进行表格数据增强，解决梯度断点问题，在三个真实数据集上准确率提升约4%。
2025-02-23 cs.LG
Adaptively Weighted Data Augmentation Consistency Regularization for Robust Optimization under Concept Shift
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snap Inc.（Snap公司）
概念转移是医学图像分割等自然任务中普遍存在的问题，其中样本通常来自不同的子群体，特征和标签之间具有不同的相关性。医学图像分割中的一种常见的概念转移类型是具有很少（如果有的话）分割标签的标签稀疏样本和具有大量标记像素的标签密集样本之间的“信息不平衡”。现有的分布式鲁棒算法集中于自适应地截断/降低“较少信息”（即，在我们的上下文中是标签稀疏的）样本。为了更有效地利用标签稀疏样本的数据特征，我们提出了一种自适应加权在线优化算法- AdaWAC -将数据增强一致性正则化的样本重新加权。我们的方法引入了一组可训练的权重来分别平衡每个样本的监督损失和无监督一致性正则化。在底层目标的鞍点处，权重将标签密集样本分配给监督损失，将标签稀疏样本分配给无监督一致性正则化。我们提供了一个收敛保证，通过重铸的优化作为在线镜像下降的鞍点问题。我们的实验结果表明，AdaWAC不仅提高了分割性能和样本效率，但也提高了鲁棒性的概念转移的各种医学图像分割任务与不同的UNet风格的骨干。
2023-01-31 cs.CV cs.LG
Generalization in Reinforcement Learning by Soft Data Augmentation
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Technical University of Denmark（丹麦技术大学）
为了提高强化学习（RL）方法的泛化能力，人们已经做出了广泛的努力，通过域随机化和数据增强。然而，随着在训练期间引入更多的变化因素，优化变得越来越具有挑战性，并且根据经验可能导致较低的样本效率和不稳定的训练。我们提出了软数据增强（SODA），而不是直接从增强数据中学习策略，这是一种将增强与策略学习相结合的方法。具体而言，SODA对编码器施加软约束，其旨在最大化增强数据和非增强数据的潜在表示之间的互信息，而RL优化过程使用严格的非增强数据。对来自DeepMind Control套件的各种任务以及机器人操作任务进行了实证评估，我们发现SODA在训练中显着提高了样本效率，泛化和稳定性，超过了最先进的基于视觉的RL方法。
2021-04-09 cs.LG
DADA: Differentiable Automatic Data Augmentation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Anyvision（Anyvision公司）；Queens University of Belfast（贝尔法斯特女王大学）；School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）
数据增强（DA）技术旨在增加数据的可变性，从而训练具有更好泛化能力的深度网络。开创性的AutoAugment通过强化学习自动搜索最佳DA策略。然而，AutoAugment在计算上非常昂贵，限制了其广泛的适用性。后续的工作，如基于人口的增强（PBA）和快速自动增强提高了效率，但它们的优化速度仍然是一个瓶颈。在本文中，我们提出了微分自动数据增强（DADA），大大降低了成本。DADA通过Gumbel-Softmax将离散DA策略选择问题放松为可微优化问题。此外，我们引入了一个无偏梯度估计，RELAX，导致一个高效和有效的一遍优化策略，学习一个高效和准确的DA政策。我们在CIFAR-10、CIFAR-100、SVHN和ImageNet数据集上进行了广泛的实验。此外，我们证明了Auto DA在下游检测问题的预训练中的价值。结果表明，我们的DADA比最先进的DADA至少快一个数量级，同时达到非常相似的精度。该代码可在https://github.com/VDIGPKU/DADA上获得。
2020-07-30 cs.CV cs.LG
SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation
University of Maryland（马里兰大学）
本文提出SAFLEX方法，通过高效双层优化学习上游增强样本的权重和软标签，以极低计算成本降低噪声和标签错误，在少样本学习与分布外泛化中表现优异，并兼容多种增强策略和框架。
2024-10-03 cs.AI cs.LG
Toward Robustness in Multi-label Classification: A Data Augmentation Strategy against Imbalance and Noise
KAIST（韩国科学技术院）；Amazon（亚马逊公司）
针对多标签分类中训练数据标签不平衡与含噪的问题，提出统一数据增强方法BalanceMix，通过两类采样器生成高多样性少数类增强样本、按标签粒度细化噪声标签分类以实现鲁棒优化，在三个基准数据集上性能超越现有SOTA方法并已开源代码。
2023-12-12 cs.AI cs.LG
Learning Optimal Data Augmentation Policies via Bayesian Optimization for Image Classification Tasks
Jilin University（吉林大学）
近年来，深度学习在计算机视觉、自然语言处理、语音识别等多个领域取得了令人瞩目的成就。充足的训练数据是保证深度模型有效性的关键。然而，获取有效数据需要大量的时间和人力资源。数据增强（DA）是一种有效的替代方法，它可以使用标签保持变换基于现有数据生成新的标签数据。虽然我们可以从DA中受益匪浅，但设计合适的DA策略需要大量的专家经验和时间消耗，并且搜索最优策略的评估是昂贵的。因此，本文提出了一个新的问题：如何以尽可能低的成本实现自动化的数据增强？我们提出了一种方法，名为BO-Aug的自动化过程中，通过使用贝叶斯优化方法找到最佳的DA政策。我们的方法可以以相对较低的搜索代价找到最优策略，并且基于特定数据集的搜索策略可以在不同的神经网络架构甚至不同的数据集之间转移。我们在三个广泛使用的图像分类数据集上验证了BO-Aug，包括CIFAR-10，CIFAR-100和SVHN。实验结果表明，该方法可以达到国家的最先进的或接近先进的分类精度。复制我们实验的代码可在https://github.com/zhangxiaozao/BO-Aug上获得。
2019-05-23 cs.CV cs.LG stat.ML
Adversarial Data Augmentation for Single Domain Generalization via Lyapunov Exponent-Guided Optimization
Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出LEAwareSGD方法，利用Lyapunov指数引导学习率调节，使模型在混沌边缘附近训练，以提升单域泛化能力，并在多个数据集上取得显著性能提升。
2025-07-06 cs.CV cs.LG
Simple Noisy Environment Augmentation for Reinforcement Learning
Institute of Finance and Technology, UCL（伦敦大学学院金融与技术研究所）；Data Science and Innovation, NatWest Group（国民西敏寺银行集团数据科学与创新部）
该研究提出一组带噪声率超参数的通用强化学习环境噪声增强包装器，涵盖状态、奖励等维度及两种新技术，在多算法多MuJoCo环境下验证了效果并开源了工具。
2023-05-04 cs.AI cs.LG
Deep deterministic policy gradient with symmetric data augmentation for lateral attitude tracking control of a fixed-wing aircraft
Delft University of Technology（代尔夫特理工大学）
本文利用系统对称性提出对称数据增强方法，提升DDPG的样本效率和状态-动作空间覆盖率，并通过双批评者结构提高样本利用率，验证了飞机模型对称性并加速了控制策略收敛。
2026-04-13 cs.AI cs.LG
Learning from Generalization Patterns: An Evaluation-Driven Approach to Enhanced Data Augmentation for Fine-Tuning Small Language Models
AWS Generative AI Innovation Center（AWS生成式AI创新中心）
针对小语言模型微调数据增强需大量人工、现有方法仅聚焦训练错误的问题，提出评估驱动的PaDA-Agent，从验证数据挖掘失败模式制定针对性增强策略以缩小泛化差距，在Llama 3.2 1B Instruct微调上优于现有最优LLM数据增强方法。
2025-10-20 cs.AI cs.LG
Graph Contrastive Learning Automated
Texas A&M University（德州农工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
图结构数据上的自监督学习最近引起了人们的兴趣，从未标记的图中学习可推广的，可转移的和鲁棒的表示。其中，图对比学习（GraphCL）已经出现了有前途的表示学习性能。不幸的是，与图像数据上的对应物不同，GraphCL的有效性取决于ad-hoc数据增强，由于图形数据的多样性，这些数据必须通过经验法则或试错法手动选择每个数据集。这极大地限制了GraphCL的更普遍的适用性。为了填补这一关键空白，本文提出了一个统一的双层优化框架，自动，自适应和动态选择数据增强时，特定的图形数据执行GraphCL。一般的框架，被称为JOint增强优化（JOAO），被实例化为最小-最大优化。JOAO所做的增强选择显示出与以前从手工调整中观察到的“最佳实践”基本一致：但现在是自动化的，更加灵活和通用。此外，我们提出了一种新的增强感知投影头机制，该机制将通过与每个训练步骤中选择的不同增强相对应的不同投影头来路由输出特征。大量的实验表明，JOAO在各种规模和类型的多个图数据集上的表现与包括GraphCL在内的最先进的竞争对手相当，有时甚至更好，但无需对增强选择进行任何费力的特定于小程序的调整。我们在https://github.com/Shen-Lab/GraphCL_Automated上发布代码。
2021-06-28 cs.LG
Matrix-Valued Optimism is Matrix-Valued Augmentation: Additive Hybrid Designs for Constrained Optimization
University of Washington（华盛顿大学）
本文提出加法混合设计方法，通过矩阵值修正提升约束优化性能，揭示了增广拉格朗日与乐观对偶方法的等价性，并在非线性等式约束问题中验证了其有效性。
2026-05-07 cs.LG
Intrapersonal Parameter Optimization for Offline Handwritten Signature Augmentation
Federal University of Paraná（联邦巴拉那大学）；Pontifícia Universidade Católica do Paraná (PUCPR)（天主教巴拉那大学）；École de Technologie Supérieure（高等技术学院）；Université du Québec（魁北克大学）
通常，在现实世界的场景中，很少有签名样本可用于训练自动签名验证系统（ASVS）。然而，这样的系统确实需要大量的签名来实现可接受的性能。神经运动签名复制方法和特征空间增强方法可用于满足样本数量增加的需要。这样的技术手动地或凭经验地定义一组参数以引入一定程度的写入器可变性。因此，在本研究中，提出了一种方法来自动建模的最常见的作家的变异性状。该方法用于在图像和特征空间中生成离线签名并训练ASVS。我们还介绍了另一种方法来评估样本的质量，考虑他们的特征向量。我们使用三个著名的离线签名数据集：GPDS，MCYT-75和CEDAR，用生成的样本评估了ASVS的性能。在GPDS-300中，当SVM分类器使用每个作者的一个真实签名和在图像空间中生成的副本来训练时，相等出错率（EER）从5.71%降低到1.08%。在相同的条件下，EER降低到1.04%，使用特征空间增强技术。我们还验证了在图像空间中生成重复的模型再现了三个不同数据集中最常见的作者变异性特征。
2020-10-13 cs.CV cs.LG
Improving Socratic Question Generation using Data Augmentation and Preference Optimization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对大模型生成苏格拉底式问题时的无效输出问题，提出数据增强和直接偏好优化方法，使7B Llama 2模型优于现有提示方法。
2024-04-19 cs.CL cs.CY cs.LG
SLACK: Stable Learning of Augmentations with Cold-start and KL regularization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；NAVER LABS Europe（NAVER欧洲实验室）
针对现有自动数据增强依赖人工先验变换的问题，提出SLACK方法，通过带KL正则化的连续冷启动策略与连续分布参数化幅度，在无先验的更难设置下于标准基准取得有竞争力结果且泛化性更强。
2023-06-16 cs.CV cs.LG
Deep Learning Training Procedure Augmentations
Alexandru Ioan Cuza University（亚历山德鲁·约安·库扎大学）
深度学习的最新进展极大地提高了各种任务的性能，例如目标检测、图像分割、情感分析。直到最近，大多数研究方向的重点一直是击败最先进的结果。这体现在越来越大的模型和技术的使用上，这些模型和技术有助于训练过程从给定的数据集中提取更多的预测能力。虽然这带来了很好的结果，其中许多都是真实世界的应用，但深度学习的其他相关方面仍然被忽视和未知。在这项工作中，我们将介绍几种新颖的深度学习训练技术，这些技术在能够提供显着性能提升的同时，还揭示了关于收敛速度、优化景观平滑度和对抗鲁棒性的几个有趣的分析结果。在这项工作中提出的方法如下：$\bullet$完美的有序近似，一个广义的模型不可知的课程学习的方法。结果显示了该技术在提高训练时间方面的有效性，并为深度网络的训练过程提供了一些新的见解。$\bullet$级联求和增强; mixup的扩展，能够通过利用更平滑的优化环境来利用更多数据点进行线性插值。这可以用于计算机视觉任务，以便提高预测性能以及提高被动模型鲁棒性。
2022-11-25 cs.AI cs.CV cs.LG
Understanding and Reducing the Class-Dependent Effects of Data Augmentation with A Two-Player Game Approach
Shanghai Jiao Tong University（上海交通大学）；Duke Kunshan University（杜克大学）
本文针对数据增强在多类分类中产生的不公平类依赖效应，提出类依赖乘性权重方法CLAM，将分类器训练表述为对抗性双人博弈并设计收敛的乘性权重算法，实验证明该方法能在几乎不影响平均准确率的情况下使各类别性能分布更公平。
2025-06-30 cs.AI cs.CV cs.CY
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
自监督学习（SSL）已成为深度学习研究中非常活跃的领域，它被大量用作分类和其他任务的预训练方法。然而，这一领域的快速发展是有代价的：不同论文的培训渠道差异很大，这是一个潜在的关键混淆因素。在这里，我们表明，超参数和数据增强策略的选择确实会对性能产生巨大影响。为了揭示这些被忽视的因素并帮助最大限度地发挥SSL的功能，我们对这些组件进行了超参数化，并使用贝叶斯优化对其进行了优化，显示了SimSiam SSL方法在多个数据集上的改进。意识到数据增强对SSL的重要性，我们还引入了一个新的自动化数据增强算法GroupAugment，它考虑了增强组并优化了组间的采样。与为监督学习设计的算法相比，GroupAugment在我们考虑的所有数据集上都实现了一致的高线性评估精度。总体而言，我们的研究结果表明SSL的重要性和可能被低估的数据增强的作用。
2022-07-16 cs.AI cs.CV cs.LG
Offline Trajectory Optimization for Offline Reinforcement Learning
Shandong University（山东大学）；Leiden University（莱顿大学）；Westlake University（西湖大学）
提出OTTO离线轨迹优化方法，通过World Transformers生成长时序模拟轨迹，并利用基于不确定性的World Evaluator评估与校正数据，有效提升了离线RL算法在复杂环境中的性能。
2025-07-10 cs.AI cs.LG
Efficient Gaussian Process Classification Using Polya-Gamma Data Augmentation
TU Kaiserslautern（凯泽斯劳滕工业大学）；TU Berlin（柏林工业大学）；University of Southern California（南加州大学）
我们提出了一个可扩展的随机变分方法GP分类建立在Polya-Gamma数据增强和诱导点。与以前的方法不同，我们获得了基于自然梯度的封闭形式的更新，从而实现了有效的优化。我们在包含多达1100万个数据点的真实数据集上评估了该算法，并证明它比最先进的算法快两个数量级，同时在预测性能方面具有竞争力。
2018-11-27 cs.LG stat.ML
Optimizing Data Augmentation through Bayesian Model Selection
KAUST（卡斯土尼亚和布尔班大学）；Huawei Paris Research Center（华为巴黎研究中心）；UiT The Arctic University of Norway（UiT北极大学）；Aalto University（艾尔沃斯大学）
本文提出通过贝叶斯模型选择优化数据增强，提升模型鲁棒性和泛化能力。
2026-03-03 cs.LG stat.ML
Smart(Sampling)Augment: Optimal and Efficient Data Augmentation for Semantic Segmentation
University of Freiburg（弗莱堡大学）；Fraunhofer Institute for Physical Measurement Techniques IPM（弗劳恩霍夫物理测量技术研究所）
数据增强方法利用增强的数据来丰富数据集，以提高神经网络的性能。最近，出现了自动数据增强方法，其自动设计增强策略。现有的工作集中在图像分类和目标检测，而我们提供了第一个语义图像分割的研究，并介绍了两种新的方法：\textit{SmartAugment}和\textit{SmartSamplingAugment}。SmartAugment使用贝叶斯优化来搜索丰富的增强策略空间，并在我们考虑的所有语义分割任务中实现了最先进的性能。SmartSamplingAugment是一种简单的无参数方法，具有固定的增强策略，在性能上与现有的资源密集型方法竞争，并且优于廉价的最先进的数据增强方法。此外，我们分析了数据增强超参数的影响、相互作用和重要性，并进行了消融研究，这证实了我们在SmartAugment和SmartSamplingAugment背后的设计选择。最后，我们将提供我们的源代码，以便于重复性和进一步的研究。
2021-10-31 cs.CV cs.LG
PTEENet: Post-Trained Early-Exit Neural Networks Augmentation for Inference Cost Optimization
Afeka Academic College of Engineering（阿非卡工程学术学院）
本文提出 PTEENet，通过向预训练 DNN 附加卷积早退分支和置信度阈值，在不改动原权重的情况下降低推理成本，并实时调节准确率与速度权衡。
2025-01-05 cs.AI cs.CV cs.LG
Tied-Augment: Controlling Representation Similarity Improves Data Augmentation
Stanford University（斯坦福大学）；Cagaloglu Anadolu Lisesi（卡加奥卢阿纳多卢高中）；Google Research（谷歌研究院）
提出Tied-Augment通用框架，通过在损失中添加控制扭曲下表示相似性的项，显著提升数据增强在少轮次训练与微调中的有效性，并在ImageNet等任务上超越RandAugment等先进方法。
2023-05-22 cs.AI cs.CV cs.LG
Self-Supervised Graph Learning via Spectral Bootstrapping and Laplacian-Based Augmentations
Department of Computer Science University of Geneva（日内瓦大学计算机科学系）
提出LaplaceGNN自监督图学习框架，通过谱自举和拉普拉斯增强绕过负采样，结合中心性引导优化与对抗性自举训练，在多个基准上实现了优于SOTA的性能。
2025-06-25 cs.AI cs.DS cs.LG
Improving Mixup Calibration with Wasserstein Distributionally Robust Optimization
Department of Mathematics & Statistics（数学与统计学系）；Boston University（波士顿大学）；Department of Electrical and Computer Engineering, Division of Systems Engineering（电气与计算机工程系，系统工程 division）；Department of Biomedical Engineering（生物医学工程系）；Faculty of Computing & Data Sciences（计算与数据科学学院）
本文提出DRO-Augment框架，通过协同Wasserstein分布鲁棒优化与数据增强策略，显著提升了深度神经网络在数据损坏和对抗攻击下的鲁棒性，并保持了干净数据集上的准确率，同时提供了理论泛化误差界限。
2026-10-07 cs.CV cs.LG stat.ML
Missingness Augmentation: A General Approach for Improving Generative Imputation Models
Yantai University（烟台大学）
针对缺失数据插补中数据增强方法被忽视的问题，提出通用方法 Missingness Augmentation (MisA)，通过动态生成不完整样本并结合重建损失优化生成式插补模型，显著提升了多种模型在表格和图像数据集上的性能。
2023-04-06 cs.LG
Joint Search of Data Augmentation Policies and Network Architectures
The University of Tokyo（东京大学）；Preferred Networks inc.（Preferred Networks公司）
训练深度神经网络的常见管道由几个构建块组成，例如数据增强和网络架构选择。AutoML是一个旨在自动设计这些部分的研究领域，但大多数方法都是独立地探索每个部分，因为同时搜索所有部分更具挑战性。本文提出了一种数据增强策略和网络架构的联合优化方法，为训练管道的设计带来更多的自动化。我们方法的核心思想是使整个部分可微。该方法结合了用于增强策略搜索和网络架构搜索的可区分方法，以端到端的方式联合优化它们。实验结果表明，我们的方法取得了竞争力或独立搜索结果的优越性能。
2021-01-12 cs.CV cs.LG
Data augmentation with automated machine learning: approaches and performance comparison with classical data augmentation methods
Cape Coast Technical University（海岸角理工大学）；University of Mines and Technology（矿业与技术大学）
本文全面调研了基于AutoML的数据增强技术，涵盖数据操作、集成与合成方法，并重点探讨了图像数据增强的搜索空间设计、超参数优化和模型评估，实验证明AutoML方法优于经典常规方法。
2025-03-05 cs.AI cs.CV cs.LG
Data Augmentation for Electrocardiograms
Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
神经网络模型在预测12导联心电图（ECG）的病理和结果方面表现出令人印象深刻的性能。然而，这些模型通常需要使用大型标记数据集进行训练，而这些数据集不适用于许多感兴趣的预测任务。在这项工作中，我们进行了一项实证研究，研究是否可以使用训练时间数据增强方法来提高性能，这样的数据稀缺的心电图预测问题。我们研究了当从ECG检测心脏异常时，数据增强策略如何影响模型性能。我们发现，现有的增强策略的有效性是高度依赖于任务的动机，我们介绍了一种新的方法，TaskAug，它定义了一个灵活的增强策略，优化每个任务的基础上。我们概述了一个有效的学习算法这样做，利用最近的工作嵌套优化和隐式微分。在实验中，考虑到三个数据集和八个预测任务，我们发现TaskAug与之前的工作相比具有竞争力或有所改进，并且学习的策略揭示了哪些转换对不同的任务最有效。我们从我们的实验评估中提取关键见解，生成一组将数据增强应用于ECG预测问题的最佳实践。
2022-04-09 cs.LG
UtilGen: Utility-Centric Generative Data Augmentation with Dual-Level Task Adaptation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；National University of Singapore（新加坡国立大学）；MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学脑科学与智能感知认知教育部重点实验室）；Central South University（中南大学）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有生成式数据增强忽略任务需求的问题，提出以效用为中心的UtilGen框架，通过权重分配网络评估样本效用，结合双层优化策略自适应生成高任务价值数据，在8个基准数据集上平均准确率超此前SOTA 3.87%。
2025-10-28 cs.CV cs.LG
Tabular Data Augmentation for Machine Learning: Progress and Prospects of Embracing Generative AI
Zhejiang University（浙江大学）
本文系统综述了表格数据增强的进展与前景，提出增强前、增强、增强后三阶段架构视图，重点分析了生成式人工智能驱动的数据生成方法，并总结了未来研究方向。
2024-07-31 cs.AI cs.DB cs.LG
A Kernel Theory of Modern Data Augmentation
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
数据增强是一种利用类保持变换扩展训练集的技术，在现代机器学习流水线中无处不在。在本文中，我们试图建立一个理论框架来理解数据增强。我们从两个方向来处理这个问题：首先，我们提供了一个一般的增强模型作为一个马尔可夫过程，并表明内核自然出现在这个模型，即使我们不采用内核分类。接下来，我们更直接地分析了增强对核分类器的影响，表明数据增强可以近似为一阶特征平均和二阶方差正则化分量。这些框架都用于说明数据增强影响下游学习模型的方式，并且由此产生的分析提供了不变核，切线传播和鲁棒优化中先前工作之间的新联系。最后，我们提供了几个概念验证应用程序，表明我们的理论可以用于加速机器学习工作流程，例如减少使用增强数据进行训练所需的计算量，以及在训练之前预测转换的效用。
2019-03-20 cs.LG stat.ML
On Automatic Data Augmentation for 3D Point Cloud Classification
Institute for Infocomm Research（资讯通信研究院）；A*STAR（新加坡科技研究局）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Electronic Science and Technology of China（电子科技大学）
数据增强是减少过拟合和提高学习性能的重要技术，但现有的三维点云数据数据增强工作都是基于几何学的。在这项工作中，我们提出了自动学习的数据增强策略，使用双层优化。增强器以与条件生成器类似的方式设计，并且当增强的输入用于训练模型时，通过最小化基础模型在验证集上的损失来优化。该公式提供了一种更有原则的方法来学习3D点云上的数据增强。我们评估我们的方法对标准点云分类任务和更具挑战性的设置与训练和验证/测试集之间的姿势不一致。所提出的策略在这两项任务上都取得了有竞争力的性能，我们进一步了解了增强器学习验证集分布的能力。
2021-12-18 cs.CV cs.LG
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
在具有大超参数搜索空间的高级深度学习中，超参数、神经架构或数据增强策略的评估成为关键的模型选择问题。在本文中，我们提出了一种有效的和强大的基于带宽的算法称为子采样（SS）的超参数搜索评估的情况下。该算法通过观测值的子样本来评估超参数的潜力，并在理论上证明了其在累积后悔准则下的最优性。我们进一步结合SS和贝叶斯优化，提出了一种新的超参数优化算法BOSS。实证研究验证了我们的SS理论论点，并证明了BOSS在许多应用程序上的卓越性能，包括神经架构搜索（NAS），数据增强（DA），对象检测（OD）和强化学习（RL）。
2020-12-16 cs.LG math.ST stat.ML
Fast Parallel SVM using Data Augmentation
Tsinghua University（清华大学）
作为最流行的分类器之一，线性支持向量机在处理非常大规模的问题仍然存在挑战，即使线性或亚线性算法最近已经开发了单机。并行计算方法已经被开发用于学习大规模支持向量机。然而，现有的方法依赖于解决局部子优化问题。在本文中，我们开发了一种新的并行算法学习大规模线性SVM。我们的方法是基于一个数据增强等效公式，它将学习SVM的问题转换为贝叶斯推理问题，为此我们可以开发非常有效的并行采样方法。我们提供的经验结果，这种并行采样SVM，并提供扩展的SVR，非线性内核，并提供了一个并行实现的克莱默和辛格模型。这种方法本身就很有前途，而且是一种非常有用的技术，可以并行处理更广泛的一般最大边际模型。
2015-12-24 cs.LG
OATS: Online Data Augmentation for Time Series Foundation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Griffith University（格里菲斯大学）；Datadog AI Research（Datadog AI研究院）
OATS通过动态生成合成数据提升时间序列基础模型的性能，采用探索-利用机制和扩散框架，在多个数据集上优于传统方法。
2026-08-11 cs.LG
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
在深度学习的许多应用领域中，缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下，音频检索与自然语言查询（任务6b的DCASE 2022挑战）。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中，在该空间中，来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术，并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明，所使用的增强策略减少过拟合，提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
Automatic Data Augmentation by Learning the Deterministic Policy
为了产生足够和多样化的训练样本，数据增强已被证明在训练深度模型方面的有效性。考虑到最佳增强的标准很难定义，我们在本文中提出了一种新的基于学习的增强方法，称为DeepAugNet，它将最终增强的数据表示为几个顺序增强的子集的集合。具体而言，通过使用深度强化学习学习确定性增强策略，要求当前增强子集与上一次增强子集相比最大化性能改进。通过引入统一的优化目标，DeepAugNet打算以端到端的训练方式将数据增强和深度模型训练结合起来，通过同时训练决斗深度Q-学习算法和代理深度模型的混合架构来实现。我们在各种基准数据集上广泛评估了我们提出的DeepAugNet，包括Fashion MNIST，CUB，CIFAR-100和WebCaricature。与目前的最先进的，我们的方法可以实现一个显着的改善，在小规模的数据集，并在大规模数据集的性能相当。代码将很快可用。
2019-10-22 cs.CV cs.LG
ALOHA: Auxiliary Loss Optimization for Hypothesis Augmentation
Sophos PLC（Sophos PLC（Sophos公司））
恶意软件检测是信息安全机器学习（ML-Sec）的一个流行应用，其中ML分类器被训练以预测给定文件是恶意软件还是良性软件。该分类器的参数通常被优化，使得来自一组输入样本上的模型的输出最接近地匹配样本的真实恶意/良性（1/0）目标标签。然而，除了聚集的恶意/良性标签之外，通常存在用于每个恶意软件样本的上下文元数据的多个其他源，包括多个标签源和恶意软件类型信息（例如，勒索软件、特洛伊木马等），我们可以将其作为辅助预测目标提供给分类器。在这项工作中，我们将深度神经网络适合于从便携式可执行（PE）恶意软件和良性软件的威胁情报馈送中的元数据中派生的多个附加目标，包括多源恶意/良性丢失，多源检测的计数丢失以及语义恶意软件属性标签丢失。我们发现，将多个辅助损失项产生显着的改善性能的主要检测任务。我们还证明，这些收益可能源于更明智的神经网络表示，而不是由于多目标学习的正则化伪影。我们的辅助损失架构产生了显着减少检测出错率（假阴性）的42.6%，在假阳性率（FPR）为$10^{-3}$相比，只有一个目标的类似模型，并在$10^{-5}$ FPR的下降53.8%。
2019-03-13 cs.CR cs.LG stat.ML
Outlier-aware Tensor Robust Principal Component Analysis with Self-guided Data Augmentation
School of Mathematics and Statistics, Hunan Normal University（湖南师范大学数学与统计学学院）；School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）
提出自引导数据增强方法，通过自适应加权抑制离群值影响，将TRPCA问题转化为标准TPCA问题，并开发高效算法，在准确性和计算效率上优于现有方法。
2025-04-25 cs.CV cs.LG cs.NA
