Data augmentation for dealing with low sampling rates in NILM
L3S Research Center - Leibniz University Hannover（L3S研究中心 - 莱布尼茨汉诺威大学）
数据在评估NILM算法的性能方面具有重要作用。NILM算法的最佳性能是通过高质量的评估数据实现的。然而，许多现有的真实世界数据集的采样质量较低，并且通常存在差距，缺乏某些记录期间的数据。因此，在这样的数据中，NILM算法几乎不能识别设备并正确地估计它们的功耗。提高这些能量分解方法的性能的一个重要步骤是提高数据集的质量。在本文中，我们进行了实验，使用几种方法来提高低采样率数据的采样率。我们的研究结果表明，低频数据的增强可以支持所考虑的NILM算法在估计器具的消费与更高的F分数测量。
2021-03-30 cs.LG eess.SP
Data Augmentation with Variational Autoencoders and Manifold Sampling
Université de Paris（巴黎大学）；INRIA（法国国家信息与自动化研究所）；Centre de recherche des Cordeliers（科德利埃研究中心）；INSERM（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）
我们提出了一种新的有效的方法来采样从可变自动编码器在具有挑战性的低样本量设置。这种方法特别适合在这样一个低数据制度进行数据增强，并在各种标准和现实生活中的数据集进行验证。特别是，该方案可以大大提高OASIS数据库上的分类结果，其中平衡准确度从使用原始数据训练的分类器的80.7%跃升至仅使用我们的方法生成的合成数据训练时的88.6%。在3个标准数据集和其他分类器上也观察到这样的结果。代码可在https://github.com/clementchadebec/Data_Augmentation_with_VAE-DALI上获得。
2021-09-28 cs.LG stat.ML
Towards Arbitrary Noise Augmentation - Deep Learning for Sampling from Arbitrary Probability Distributions
Friedrich-Alexander-University Erlangen-Nuremberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
准确的噪声建模对于深度学习重建算法的训练非常重要。虽然噪声模型对于传统成像技术是公知的，但是新颖传感器的噪声分布可能难以先验地确定。因此，我们建议学习任意噪声分布。为此，本文提出了一个全连接的神经网络模型映射样本从一个均匀分布的任何明确已知的概率密度函数的样本。在训练过程中，模型输出的分布与目标分布之间的Jensen-Shannon散度被最小化。我们的实验表明，我们的模型收敛到所需的状态。它提供了一种替代现有的采样方法，如反演采样，拒绝采样，高斯混合模型和马尔可夫链蒙特卡罗。我们的模型具有很高的采样效率，很容易应用于任何概率分布，而不需要进一步的分析或数值计算。
2018-07-10 cs.LG stat.ML
GeoJEPA: Towards Eliminating Augmentation- and Sampling Bias in Multimodal Geospatial Learning
LUND UNIVERSITY（隆德大学）；LTH（隆德理工学院）；DEPARTMENT OF COMPUTER SCIENCE（计算机科学系）
本文提出GeoJEPA，一种基于联合嵌入预测架构的多模态地理空间自监督模型，旨在消除现有方法中的增强与采样偏差，并在OpenStreetMap数据上验证了其表示学习效果。
2025-02-25 cs.DB cs.LG
An Adversarial Active Sampling-based Data Augmentation Framework for Manufacturable Chip Design
Nvidia Corporation（英伟达公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California Institute of Technology（加州理工学院）
光刻建模是芯片设计中的一个关键问题，以确保芯片设计掩模的可制造性。它需要对光学和化学模型进行严格的模拟，这在计算上是昂贵的。机器学习的最新发展提供了替代方案，用深度神经网络代替耗时的光刻模拟。然而，相当大的精度下降仍然阻碍了其工业应用。最重要的是，训练数据集的质量和数量直接影响模型的性能。为了解决这个问题，我们提出了一个光刻感知的数据增强（LADA）框架，以解决有限的数据和提高机器学习模型的性能的困境。首先，我们预训练用于光刻建模的神经网络和梯度友好的StyleGAN 2生成器。然后，我们执行对抗性主动采样，以生成信息丰富的合成分布掩码设计。这些合成掩模图像将增强用于微调光刻模型以提高性能的原始有限训练数据集。实验结果表明，LADA可以成功地利用神经网络的能力，通过缩小训练和测试数据实例之间的性能差距。
2022-10-27 cs.LG
T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano（米兰理工大学）；Harvard University（哈佛大学）
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络（T-CGAN）。我们的方法是基于条件生成对抗网络（CGAN），其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件，学习数据和时间戳之间的隐藏关系，从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据，我们比较了用T-CGAN生成的数据训练的分类器的性能，以及用原始数据训练的相同分类器的性能。结果表明，在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同，即使是非常短的时间序列和小的训练集。对于现实世界的数据集，我们比较我们的方法与其他技术的数据增强的时间序列，如时间分片和时间扭曲，在分类问题与不平衡的数据集。结果表明，我们的方法总是优于其他方法，在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下，一个小的训练集和短，噪声，不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
Stores Foundational AI, Amazon Inc.（亚马逊公司基础人工智能部）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）
研究大语言模型强化学习中提示采样问题，提出HeaPA方法，通过难度感知堆采样和策略内查询增强，维持动态提示池，跟踪能力前沿，在多数据集和基准测试中提升准确率，减少计算量，尤其在中大型模型规模下效果显著。
2026-07-10 cs.CL cs.LG
Importance of Data Loading Pipeline in Training Deep Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
训练大规模深度神经网络是一项耗时长的操作，通常需要许多GPU来加速。在大型模型中，加载数据所花费的时间占据了模型训练时间的很大一部分。由于GPU服务器通常很昂贵，因此可以节省训练时间的技巧很有价值。在需要详尽的数据增强操作的实际应用中，可以观察到缓慢的训练。数据增强技术包括：填充、旋转、添加噪声、下采样、上采样等。这些额外的操作增加了构建高效数据加载管道的需求，并探索现有工具以加快训练时间。我们重点比较了两个主要工具，即二进制数据格式，以加速数据读取，和NVIDIA DALI加速数据增强。我们的研究表明，如果使用这种专用工具，可以提高20%至40%。
2020-04-21 cs.CV cs.LG
Sequential Data Augmentation for Generative Recommendation
Snap Inc.（Snap公司）
本文研究了生成推荐中数据增强的影响，提出了一种系统化的框架GenPAS，通过三种受偏步骤统一了多种增强策略，提升了模型的准确率、数据效率和参数效率。
2026-05-20 cs.IR cs.LG
TorchIO: A Python library for efficient loading, preprocessing, augmentation and patch-based sampling of medical images in deep learning
University College London（伦敦大学学院）；King’s College London（伦敦国王学院）
与计算机视觉中通常使用的RGB图像相比，MRI或CT等医学图像的处理面临着独特的挑战。这些问题包括缺乏大型数据集的标签，计算成本高，以及描述体素物理属性的元数据。数据增强用于人为地增加训练数据集的大小。使用图像补丁进行训练可以降低对计算能力的需求。需要认真考虑空间元数据，以确保各卷的正确对齐。我们介绍了TorchIO，这是一个开源Python库，可以对深度学习的医学图像进行有效的加载、预处理、增强和基于补丁的采样。TorchIO遵循PyTorch的风格，并集成了标准的医学图像处理库，以在神经网络训练期间有效地处理图像。TorchIO transforms可以组合、复制、跟踪和扩展。我们提供了多个通用的预处理和增强操作，以及MRI特定工件的模拟。TorchIO的源代码、全面的教程和大量文档可以在https://torchio.rtfd.io/上找到。该软件包可以从Python软件包索引运行'pip install torchio'安装。它包括一个命令行界面，允许用户在不使用Python的情况下将变换应用于图像文件。此外，我们在3D Slicer中的TorchIO扩展中提供了一个图形界面，以可视化变换的效果。TorchIO的开发旨在帮助研究人员标准化医学图像处理流程，并使他们能够专注于深度学习实验。它鼓励开放科学，因为它支持可重复性，并且是版本控制的，以便软件可以被精确引用。由于其模块…
2021-08-05 cs.AI cs.CV cs.LG
LatentAugment: Data Augmentation via Guided Manipulation of GAN's Latent Space
University Campus-Biomedico of Rome（罗马生物医学大学校园）；Umeå University（于默奥大学）
针对标准数据增强多样性有限、GAN模式覆盖差难以用于数据增强的问题，提出无监督的LatentAugment策略，通过引导操纵GAN潜向量提升合成样本的多样性与保真度，在MRI转CT任务中效果优于现有方法。
2023-07-21 cs.CV cs.LG eess.IV
Neighborhood Watch: Representation Learning with Local-Margin Triplet Loss and Sampling Strategy for K-Nearest-Neighbor Image Classification
University of Arkansas（阿肯色大学）；University of Washington（华盛顿大学）；Washington University（华盛顿大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；Technical University of Munich（慕尼黑工业大学）
使用三元组网络进行分类的深度表示学习缺乏理论基础，并且难以调整网络和分类器的性能。针对这一问题，提出了局部边缘三元组丢失以及局部正负挖掘策略，并对该策略如何将最近邻超参数与三元组学习相结合以提高后续分类性能进行了理论分析。在两个公共数据集，MNIST和Cifar-10，和2个小的医学图像数据集的实验结果表明，所提出的策略优于端到端的softmax和典型的三重丢失设置没有数据增强，同时保持相关任务的可转移功能的效用。该方法作为一个良好的性能基线，端到端的方法遇到的困难，如小样本数据有限的允许数据增强。
2019-10-28 cs.CV cs.LG
Fast Parallel SVM using Data Augmentation
Tsinghua University（清华大学）
作为最流行的分类器之一，线性支持向量机在处理非常大规模的问题仍然存在挑战，即使线性或亚线性算法最近已经开发了单机。并行计算方法已经被开发用于学习大规模支持向量机。然而，现有的方法依赖于解决局部子优化问题。在本文中，我们开发了一种新的并行算法学习大规模线性SVM。我们的方法是基于一个数据增强等效公式，它将学习SVM的问题转换为贝叶斯推理问题，为此我们可以开发非常有效的并行采样方法。我们提供的经验结果，这种并行采样SVM，并提供扩展的SVR，非线性内核，并提供了一个并行实现的克莱默和辛格模型。这种方法本身就很有前途，而且是一种非常有用的技术，可以并行处理更广泛的一般最大边际模型。
2015-12-24 cs.LG
Data Augmentation via Structured Adversarial Perturbations
Google Research（谷歌研究院）
数据增强是许多具有最先进性能的机器学习方法的主要组成部分。常见的增强策略通过从变换空间中抽取随机样本来工作。不幸的是，这样的采样方法在表现力方面是有限的，因为它们由于维数灾难而无法扩展到依赖于许多参数的丰富变换。对抗性示例可以被认为是数据增强的替代方案。通过对输入的最困难的修改进行训练，生成的模型有望能够处理其他可能更容易的修改。对抗性增强的优点是，它使用一个单一的、计算的扰动来取代采样，最大限度地增加损失。然而，缺点是这些原始的对抗性扰动看起来相当非结构化;应用它们通常不会产生自然的转换，这与理想的数据增强技术相反。为了解决这个问题，我们提出了一种方法来生成对抗性的例子，保持一些所需的自然结构。我们首先构造一个子空间，只包含所需结构的扰动。然后，我们将原始的对抗梯度投影到这个空间上，以选择一个结构化的变换，当应用时，它会最大限度地增加损失。我们通过两种类型的图像变换来演示这种方法：光度变换和几何变换。此外，我们还证明了在这种结构化的对抗图像上进行训练可以提高泛化能力。
2020-11-05 cs.LG
FAAGC: Feature Augmentation on Adaptive Geodesic Curve Based on the shape space theory
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；Key Laboratory of Silicate Cultural Relics Conservation (Shanghai University), Ministry of Education（上海大学硅酸盐文物保护重点实验室（教育部））
针对数据不足问题，提出在预形状空间沿自适应测地曲线采样增强特征，提升数据稀缺下的分类精度并泛化于多种特征。
2025-09-07 cs.CV cs.LG
General Purpose (GenP) Bioimage Ensemble of Handcrafted and Learned Features with Data Augmentation
Missouri State University（密苏里州立大学）；Tampere University（坦佩雷大学）
生物图像分类在许多生物学问题中起着至关重要的作用。在这项工作中，我们提出了一种新的通用（GenP）集成，通过结合局部特征，密集采样特征和深度学习方法来提高性能。首先，我们介绍了三种基于PCA/DCT的数据增强的新方法;其次，我们展示了不同的数据增强方法可以提高CNN集成的性能;最后，我们提出了一组高度通用的手工制作/学习描述符。每个手工制作的描述符用于训练不同的支持向量机（SVM），并且不同的SVM与CNN的集合相结合。我们的方法进行了评估，一组不同的生物图像分类问题。结果表明，所提出的GenP生物图像集成获得了最先进的性能，而没有任何ad-hoc数据集调整参数（从而避免了过度拟合/过度训练的风险）。
2021-07-06 cs.CV cs.LG
RESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic Manipulation
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出RESample框架，通过探索性采样机制提升VLA训练数据分布覆盖，有效解决分布外场景下的能力瓶颈问题，实验证明在LIBERO基准和真实机器人任务中性能提升12%。
2026-08-06 cs.AI cs.LG cs.RO
UniformAugment: A Search-free Probabilistic Data Augmentation Approach
Huawei Technologies（华为技术有限公司）；University of Alberta（阿尔伯塔大学）
增强训练数据集已被证明可以提高几个计算机视觉任务的学习效率。一个好的增广会产生一个增广的数据集，它增加了可变性，同时保留了原始数据集的统计属性。一些技术，如AutoAugment和Fast AutoAugment，引入了搜索阶段，为给定的模型和数据集找到一组合适的增强策略。这是以巨大的计算开销为代价的，总计数千GPU小时。最近，RandAugment被提出来通过用几个超参数近似搜索空间来大大加快搜索阶段，但仍然会产生不可忽略的调整成本。在本文中，我们表明，在增广空间近似分布不变的假设下，在增广变换的连续空间上的均匀采样足以训练高效的模型。基于这一结果，我们提出了UniformAugment，这是一种完全避免搜索阶段的自动数据增强方法。除了讨论支持我们方法的理论基础之外，我们还使用标准数据集以及图像分类的已建立模型来证明UniformAugment的有效性与上述方法相当，同时由于不需要任何搜索而仍然非常高效。
2020-03-31 cs.CV cs.LG
A Data-Augmentation Is Worth A Thousand Samples: Exact Quantification From Analytical Augmented Sample Moments
Meta/Facebook AI Research（Meta/脸书人工智能研究院）
数据增强（DA）可以提高任务和数据集的性能。我们提出了一种方法，从理论上分析DA的效果和研究的问题，如：需要多少扩增样本，以正确估计的DA编码的信息？增强策略如何影响模型的最终参数？我们得到了几个封闭形式的数量，如期望和方差的图像，损失，模型的输出在给定的DA分布。这些推导为量化DA的优点和局限性开辟了新的途径。例如，我们证明了常见的DA需要数万个样本才能正确估计手头的损失，并使模型训练收敛。我们表明，对于训练损失在DA采样下保持稳定，模型的显着性图（相对于模型输入的损失梯度）必须与所考虑的DA增强下样本方差的最小特征向量对齐，暗示了为什么模型倾向于将焦点从边缘转移到纹理的可能解释。
2022-02-16 cs.CV cs.LG
Evaluating the Effect of Frame Rate in Sequence-Based Classification of Autism-Related Self-Stimulatory Hand Idiosyncrasies
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Department of Information and Computer Sciences, University of Hawai‘i at Mānoa（夏威夷大学马诺亚分校信息与计算机科学系）
研究针对自闭症相关自我刺激行为检测，通过在不同帧率下训练LSTM和GRU模型确定最佳架构与采样率，应用十种数据增强策略并做消融研究，采用个性化机器学习方法，为视频行为分类提供架构、采样率及增强策略指导。
2026-07-10 cs.AI cs.CV cs.LG
Curvature Enhanced Data Augmentation for Regression
Ilya Kaufman Omri Azencot
针对回归任务数据增强不足的问题，提出基于数据流形二阶表示的CEMS采样方法，在分布内外场景中均以极小开销取得优于现有方法的性能。
2025-06-07 cs.LG stat.ML
Close to Reality: Interpretable and Feasible Data Augmentation for Imbalanced Learning
本文提出DPG-da框架，通过提取可解释的决策谓词来增强数据增强的可解释性和可行性，提升分类性能并提供清晰解释。
2026-03-14 cs.LG
Domain Generalization by Rejecting Extreme Augmentations
LIVIA, Dept. of Systems Engineering ETS Montreal（蒙特利尔高等技术学院系统工程系LIVIA实验室）
本文提出一种简单训练流程，通过均匀采样、增强强度和拒绝极端变换的奖励函数，使数据增强在域泛化中显著提升性能，达到或超越最先进方法。
2025-10-08 cs.CV cs.LG
Improved Bayesian Logistic Supervised Topic Models with Data Augmentation
Tsinghua University（清华大学）
具有逻辑似然性的监督主题模型具有潜在地限制其实际用途：1）响应变量通常被文档字数过度加权;以及2）现有的变分推理方法进行严格的平均场假设。我们通过以下方式解决这些问题：1）基于贝叶斯推理的优化公式，引入正则化常数以更好地平衡这两个部分;以及2）通过引入辅助Polya-Gamma变量并折叠出Dirichlet变量来开发简单的Gibbs采样算法。我们的增广-塌陷抽样算法具有每个条件分布的解析形式，而不做任何限制性假设，并且可以很容易地并行化。实证结果表明，预测性能和时间效率显着改善。
2013-10-09 cs.CL cs.LG stat.AP
CUDA: Curriculum of Data Augmentation for Long-Tailed Recognition
KAIST AI（韩国科学技术院人工智能研究院）
类不平衡问题经常发生在现实世界的任务中，传统的深度学习算法在不平衡的训练数据集上的性能下降是众所周知的。为了缓解这个问题，许多方法旨在通过重新加权或重新采样训练样本来平衡给定的类。这些重新平衡方法增加了少数类的影响，减少了多数类对模型输出的影响。然而，由于少数民族样本数量有限，所提取的代表性可能质量较差。为了处理这种限制，已经开发了几种方法，通过利用多数样本的特征来增加少数样本的表示。尽管最近进行了广泛的研究，但尚未对确定要增强的类别和增强的强度进行深入分析。在这项研究中，我们首先调查的程度之间的相关性增强和类明智的表现，并发现，必须为每个类分配适当的程度的增强，以减轻类不平衡的问题。基于这一发现，我们提出了一个简单而有效的新课程，旨在找到适当的每类数据增强的强度，称为CUDA：长尾识别的数据增强的CURISTORY。CUDA可以简单地集成到现有的长尾识别方法中。我们提出的实验结果表明，与各种不平衡数据集（如CIFAR-100-LT，ImageNet-LT和iNaturalist 2018）的最新方法相比，CUDA有效地实现了更好的泛化性能。
2023-02-10 cs.CV cs.LG
MotionAug: Augmentation with Physical Correction for Human Motion Prediction
Toyota Technological Institute（丰田工业大学）
提出 MotionAug 运动增强框架，通过改进 VAE、IK 合成、物理模仿校正与去偏生成多样且物理合理的运动，显著提升多类人体运动预测模型性能。
2023-08-17 cs.CV cs.LG
Self-supervised Graph Neural Networks without explicit negative sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
真实世界的数据大多是未标记的，或者只有少数实例被标记。手动标记数据是一项非常昂贵且令人生畏的任务。这就要求无监督学习技术足够强大，可以实现与半监督/监督技术相当的结果。对比自监督学习已经成为一个强大的方向，在某些情况下优于监督技术。在这项研究中，我们提出，SelfGNN，一种新的对比自监督图神经网络（GNN），而不依赖于显式对比条款。我们利用了批量归一化，它引入了隐式对比项，而不会牺牲性能。此外，由于数据增强是对比学习中的关键，我们介绍了四种用于图的特征增强（FA）技术。虽然图拓扑增强（TA）是常用的，我们的实证研究结果表明，FA执行TA一样好。此外，FA不会产生计算开销，不像TA，TA通常具有O（N^3）时间复杂度，N-节点数。我们对七个公开的真实世界数据的实证评估表明，SelfGNN是强大的，其性能与SOTA监督的GNN相当，并且始终优于SOTA半监督和无监督的GNN。源代码可在https://github.com/zekarias-tilahun/SelfGNN上获得。
2021-05-20 cs.LG
Single-Shot Domain Adaptation via Target-Aware Generative Augmentation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
由于深度神经网络中的脆弱泛化，使用来自任何感兴趣目标域的数据来适应源域的模型的问题已经变得突出。虽然已经出现了几种测试时自适应技术，但在目标数据可用性有限的情况下，它们通常依赖于合成数据增强。在本文中，我们考虑了单次自适应的挑战性设置，并探索了增强策略的设计。我们认为，现有的方法所利用的增强是不足以处理大的分布偏移，因此提出了一种新的方法SiSTA（单次目标增强），首先微调生成模型从源域使用单次目标，然后采用新的采样策略策展合成目标数据。使用国家的最先进的领域自适应方法的实验，我们发现，SiSTA产生高达20\%的改进超过现有的基线下，具有挑战性的变化，在面部属性检测，它执行竞争力的Oracle模型通过训练获得一个更大的目标数据集。
2022-10-29 cs.CV cs.LG stat.ML
Learning Collective Variables with Synthetic Data Augmentation through Physics-Inspired Geodesic Interpolation
Massachusetts Institute of Technology（麻省理工学院）；Systems Biology Program（系统生物学项目）；Department of Materials Science and Engineering（材料科学与工程系）
提出一种无模拟的数据增强策略，通过物理启发的测地线插值生成类似蛋白质折叠转变的合成数据，以提升集体变量学习的准确性和采样效率。
2024-07-19 cs.LG physics.chem-ph q-bio.BM
Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation
Chung-Ang University（中央大学）；Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University（中央大学高级影像科学、多媒体与电影研究生院）；Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系）
针对低资源场景下文本数据增强方法受限及鲁棒性不足的问题，提出基于决策边界感知的数据增强策略，通过移近潜在特征、重构生成软标签模糊样本并结合mid-K采样提升多样性，实验证明其有效性与可扩展性。
2024-03-22 cs.AI cs.CL cs.LG
Robust Object Classification Approach using Spherical Harmonics
RMIT University（皇家墨尔本理工大学）；University College London（伦敦大学学院）
在本文中，我们提出了一个强大的球谐函数的点云为基础的对象的分类方法。球谐函数多年来一直用于分类，文献中存在几个框架。这些方法使用各种基于球谐函数的描述符来对对象进行分类。我们首先研究了这些框架对数据增强的鲁棒性，如离群值和噪声，因为以前没有研究过。然后，我们提出了一个球形卷积神经网络框架的鲁棒目标分类。该框架使用同心球的体素网格来学习单位球上的特征。由于所选择的采样策略和设计的卷积操作，我们提出的模型学习对数据增强不太敏感的特征。我们测试了我们提出的模型对几种类型的数据增强，如噪声和离群值。我们的研究结果表明，该模型优于最先进的网络在鲁棒性方面的数据增强。
2020-09-02 cs.CV cs.LG
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning
University of Freiburg（弗莱堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
自监督学习（SSL）已成为深度学习研究中非常活跃的领域，它被大量用作分类和其他任务的预训练方法。然而，这一领域的快速发展是有代价的：不同论文的培训渠道差异很大，这是一个潜在的关键混淆因素。在这里，我们表明，超参数和数据增强策略的选择确实会对性能产生巨大影响。为了揭示这些被忽视的因素并帮助最大限度地发挥SSL的功能，我们对这些组件进行了超参数化，并使用贝叶斯优化对其进行了优化，显示了SimSiam SSL方法在多个数据集上的改进。意识到数据增强对SSL的重要性，我们还引入了一个新的自动化数据增强算法GroupAugment，它考虑了增强组并优化了组间的采样。与为监督学习设计的算法相比，GroupAugment在我们考虑的所有数据集上都实现了一致的高线性评估精度。总体而言，我们的研究结果表明SSL的重要性和可能被低估的数据增强的作用。
2022-07-16 cs.AI cs.CV cs.LG
SafeAug: Safety-Critical Driving Data Augmentation from Naturalistic Datasets
Columbia University（哥伦比亚大学）；Data Science Institute（数据科学研究所）
提出 SafeAug 框架，结合 YOLOv5、深度估计与三维变换从自然驾驶数据生成高真实性安全关键场景，实验证明其优于 SMOGN 和重要性采样。
2025-01-03 cs.CV cs.LG
Music Boomerang: Reusing Diffusion Models for Data Augmentation and Audio Manipulation
Johannes Kepler University Linz（约翰·凯pler大学林茨分校）；Linz Institute of Technology（林茨技术研究所）
本文将图像领域的回旋镖采样引入音频领域，基于 Stable Audio Open 实现数据增强与乐器替换，验证其能保留节奏结构、在有限数据下提升节拍跟踪性能并支持单声道文本乐器替换。
2025-07-07 cs.LG cs.SD eess.AS
Adversarial Augmentation and Active Sampling for Robust Cyber Anomaly Detection
New York University, NYUAD, Division of Science.（纽约大学，NYUAD，科学学院）
针对APT检测中标注数据稀缺的问题，本文提出结合注意力对抗双自动编码器与主动学习的异常检测框架，在多系统真实不平衡数据集上实现了检测率的显著提升，降低了标注成本。
2025-09-05 cs.AI cs.CR cs.CY
Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Maastricht University（马斯特里赫特大学）
序列到序列（S2 S）模型最近开始显示出用于自动语音识别（ASR）的最先进性能。对于这些大而深的模型，过拟合仍然是最大的问题，超过了可以从更好的架构中获得的性能改进。过拟合问题的一个解决方案是在数据增强的帮助下增加可用训练数据的量和训练数据所表现出的多样性。在本文中，我们研究了两个S2 S模型架构的性能上的三种数据增强方法的影响。其中一种数据增强方法来自于文献，而另外两种方法是我们自己开发的-频域时间扰动和子序列采样。我们在Switchboard和Fisher数据上的实验显示了S2 S模型的最新性能，这些模型仅在语音训练数据上进行训练，而不使用额外的文本数据。
2020-02-03 cs.CV cs.LG cs.SD
Enhancing Neural Theorem Proving through Data Augmentation and Dynamic Sampling Method
National Institute of Science Education and Research（国家教育与科学研究院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
本文提出DS-Prover动态采样方法，通过根据剩余时间调整策略数量优化证明搜索，并分解多前提策略增强训练数据，在MiniF2F和ProofNet上取得显著性能提升。
2024-02-15 cs.AI cs.LG cs.LO
SA-SSL-MOS: Self-supervised Learning MOS Prediction with Spectral Augmentation for Generalized Multi-Rate Speech Assessment
KTH Royal Institute of Technology（皇家理工学院）；Google LLC（谷歌公司）
本文提出基于频谱增强的自监督学习方法，通过两步训练提升多速率语音质量评估的准确性。
2026-02-16 cs.LG eess.AS
Evaluating the Impact of Data Augmentation on Predictive Model Performance
Kyushu University（九州大学）；Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
本文针对学习分析中训练数据不足的问题，系统评估21种数据增强技术及其99种链式组合，发现SMOTE-ENN及加噪组合能稳定提升学业成果预测性能并降低训练成本。
2024-12-03 cs.CY cs.LG
WADER at SemEval-2023 Task 9: A Weak-labelling framework for Data augmentation in tExt Regression Tasks
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）；Northeastern University（东北大学）
亲密关系是人际关系的重要组成部分，语言是表达亲密关系的重要手段，文本亲密关系分析可以揭示不同语境下的社会规范，并作为测试计算模型理解社会信息能力的基准。在本文中，我们提出了一种新的弱标记策略，用于文本回归任务中的数据增强，称为WADER。WADER使用数据增强来解决数据不平衡和数据稀缺的问题，并提供了一种跨语言、zero-shot任务的数据增强方法。我们使用WADER对最先进的预训练多语言语言模型的性能进行了基准测试，并分析了抽样技术的使用，以减轻数据中的偏差并最佳地选择增强候选者。我们的研究结果表明，WADER优于基线模型，并为减轻文本回归任务中的数据不平衡和稀缺性提供了方向。
2023-03-05 cs.CL cs.LG
Metropolis-Hastings Data Augmentation for Graph Neural Networks
Korea University（高丽大学）；NAVER CLOVA；NAVER AI LAB（NAVER人工智能实验室）
图神经网络（GNNs）尽管在各种基于图的任务上有很好的效果，但由于稀疏标记的数据，GNNs通常会遭受弱泛化。数据增强是一种普遍的方法来提高模型的泛化能力。然而，由于数据空间的非欧几里得性质和样本之间的依赖性，设计有效的增强图是具有挑战性的。在本文中，我们提出了一个新的框架大都市-黑斯廷斯数据增强（MH-Aug），从一个明确的目标分布半监督学习绘制增强图。MH-Aug从目标分布中生成一系列增强图，可以灵活控制增强的强度和多样性。由于从复杂目标分布中直接采样具有挑战性，我们采用Metropolis-Hastings算法来获得增强样本。我们还提出了一种简单有效的半监督学习策略，使用MH-Aug生成的样本。我们广泛的实验表明，MH-Aug可以根据目标分布生成样本序列，以显着提高GNN的性能。
2022-03-26 cs.LG
Achieving Model Robustness through Discrete Adversarial Training
Tel-Aviv University（特拉维夫大学）；The Allen Institute for AI（艾伦人工智能研究所）
离散对抗攻击是对语言输入的符号扰动，保留输出标签，但导致预测错误。虽然这种攻击已被广泛探讨的目的，评估模型的鲁棒性，其效用，以提高鲁棒性已被限制为离线增强。具体地说，给定一个训练好的模型，攻击被用来生成扰动（对抗）示例，模型只被重新训练一次。在这项工作中，我们解决了这一差距，并利用离散攻击进行在线增强，在每个训练步骤中都生成对抗性示例，以适应模型不断变化的性质。我们提出了（i）一个新的离散攻击，基于最佳优先搜索，和（ii）随机抽样攻击，不像以前的工作是基于昂贵的搜索为基础的程序。令人惊讶的是，我们发现随机采样在鲁棒性方面带来了令人印象深刻的收益，优于常用的离线增强，同时在训练时间上加快了约10倍。此外，基于搜索的攻击的在线增强证明了更高的训练成本，显着提高了三个数据集的鲁棒性。最后，我们证明了我们的新攻击与以前的方法相比大大提高了鲁棒性。
2021-10-31 cs.CL cs.LG
Model-Based Offline Reinforcement Learning with Adversarial Data Augmentation
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；City University of Hong Kong（香港城市大学）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）；Department of Computer Science, University of Liverpool（利物浦大学计算机系）
针对离线强化学习中静态数据导致策略不稳健的问题，提出MORAL方法，利用对抗性数据增强和集成模型交替采样扩展训练数据，并引入差分因子正则化，在D4RL基准上优于现有方法。
2025-03-26 cs.AI cs.LG
Increasing Data Diversity with Iterative Sampling to Improve Performance
OBSS AI
作为以数据为中心的人工智能竞赛的一部分，我们提出了一种以数据为中心的方法，通过迭代采样来提高训练样本的多样性。该方法本身强烈依赖于增强样本的保真度和增强方法的多样性。此外，我们通过为困难的类引入更多的样本来进一步提高性能，特别是提供更接近边缘情况的样本，这些情况可能是手头的模型错误分类的。
2021-11-05 cs.AI cs.LG
Automatic Data Augmentation via Invariance-Constrained Learning
University of Pennsylvania（宾夕法尼亚大学）；University of Stuttgart（斯图加特大学）
本文将数据增强形式化为不变性约束学习问题，并利用MCMC采样自动决定是否、何时及如何施加增强，在CIFAR自动增强基准上取得最先进结果。
2023-09-15 cs.LG
Regularizing Neural Networks with Meta-Learning Generative Models
NTT（日本电报电话公司）；Kyoto University（京都大学）
本文提出元生成正则化（MGR）方法，通过元学习动态选择合成样本用于特征提取器正则化，有效避免生成式数据增强的性能退化，在小数据集上稳定提升分类基线。
2023-10-23 cs.AI cs.CV cs.LG
Data Augmentation for Deep Candlestick Learner
National Taiwan University（国立台湾大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Soochow University（东吴大学）
为了成功构建深度学习模型，它将需要大量的标记数据。然而，在许多用例中，标记数据很难收集。为了解决这个问题，近年来出现了一系列数据增强方法，并在计算机视觉、自然语言等领域取得了成功的结果，但对于金融交易数据，成功的数据增强框架研究还很少。在这里，我们提出了一种改进的本地搜索攻击采样方法来增加烛台数据，这是一个非常重要的工具，为专业交易者。实验结果表明，该方法能够生成高质量的、难以被人分辨的数据，为金融界在数据集较小的情况下使用现有的机器学习技术开辟了一条新的途径。
2020-05-29 cs.LG stat.ML
Pólygamma Data Augmentation to address Non-conjugacy in the Bayesian Estimation of Mixed Multinomial Logit Models
Cornell University（康奈尔大学）；UNSW Australia（新南威尔士大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
混合多项Logit（MMNL）模型的标准Gibbs抽样方法是采用Metropolis-Hastings（MH）算法对效用参数的条件密度进行抽样，但由于Logit核的共轭先验不可用。为了解决这种非共轭问题，我们提出了应用Pólygamma数据增强（PG-DA）技术的MMNL估计。增广和默认吉布斯采样器的后验估计是相似的两个替代方案（二进制选择），但我们遇到的情况下，更多的替代品（$J \geq 3$）的经验识别问题。
2019-04-13 cs.LG econ.EM stat.AP
CONVERT:Contrastive Graph Clustering with Reliable Augmentation
National University of Defense Technology（国防科技大学）；Westlake University（西湖大学）
本文提出CONVERT对比图聚类网络，通过可逆扰动-恢复网络提取可靠语义信息，结合语义损失和标签匹配机制解决增强图语义漂移问题，在七个数据集上验证了有效性。
2023-10-20 cs.LG
Self-Contrastive Graph Diffusion Network
Lanzhou University（兰州大学）
提出自对比图扩散网络SCGDN，通过注意力模块和扩散模块实现无增强的图自对比学习，有效平衡高阶结构信息保留与避免过拟合，性能超越现有对比和经典方法。
2023-07-27 cs.AI cs.LG
RenyiCL: Contrastive Representation Learning with Skew Renyi Divergence
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
对比表征学习试图通过估计数据的多个视图之间的共享信息来获得有用的表征。在这里，数据增强的选择对学习表示的质量很敏感：随着数据增强的应用，视图共享更多的任务相关信息，但也与任务无关，这可能会阻碍表示的泛化能力。基于此，我们提出了一种新的鲁棒对比学习方案，称为RényiCL，它可以通过利用Rényi发散来有效地管理更难的增强。我们的方法是建立在Rényi散度的变分下界上的，但是由于方差很大，变分方法的天真使用是不切实际的。为了应对这一挑战，我们提出了一个新的对比目标，该目标对偏斜Rényi分歧进行变分估计，并为偏斜分歧的变分估计如何导致稳定的训练提供理论保证。我们表明，Rényi对比学习目标执行先天的硬负采样和容易的正采样，同时，它可以选择性地学习有用的功能，忽略讨厌的功能。通过在ImageNet上的实验，我们证明了具有更强增强的Rényi对比学习优于其他自监督方法，而无需额外的正则化或计算开销。此外，我们还验证了我们的方法在其他领域，如图形和表格，显示经验增益比其他对比方法。
2023-01-17 cs.LG stat.ML
Data Augmentation Approaches in Natural Language Processing: A Survey
Harbin Institute of Technology（哈尔滨工业大学）
作为一种有效的策略，数据增强（DA）可以解决深度学习技术可能失败的数据稀缺场景。它在计算机视觉中得到了广泛的应用，然后被引入到自然语言处理中，并在许多方面取得了改进。DA方法的主要重点之一是提高训练数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在这项调查中，我们框架DA方法分为三类的基础上增强数据的多样性，包括释义，噪声和采样。我们的论文开始详细分析DA方法，根据上述类别。此外，我们还介绍了它们在NLP任务中的应用以及面临的挑战。附录中提供了一些有用的资源。
2022-06-27 cs.AI cs.CL cs.LG
Efficient Augmentation for Imbalanced Deep Learning
University of Notre Dame（圣母大学）；National Research Council of Canada（加拿大国家研究委员会）；Virginia Commonwealth University（弗吉尼亚联邦大学）
深度学习模型倾向于记忆训练数据，这会损害它们推广到代表性不足的类的能力。我们实证研究了卷积神经网络对不平衡图像数据的内部表示，并测量了模型在训练集和测试集中的特征嵌入之间的泛化差距，结果表明少数类的差距更大。这种见解使我们能够为不平衡数据设计一个有效的三阶段CNN训练框架。该框架涉及在不平衡数据上训练网络端到端以学习准确的特征嵌入，在学习的嵌入空间中执行数据增强以平衡训练分布，以及在嵌入的平衡训练数据上微调分类器头。我们提出了扩展过采样（EOS）作为一种数据增强技术，用于训练框架。EOS将合成训练实例形成为嵌入空间中少数类样本与其最近敌人之间的凸组合，以减少泛化间隙。所提出的框架提高了领先的成本敏感和rescovery方法中常用的不平衡学习的准确性。此外，它比标准的数据预处理方法（如SMOTE和基于GAN的过采样）更有效，因为它需要更少的参数和更少的训练时间。
2022-10-17 cs.LG
Optimal bounds for $\ell_p$ sensitivity sampling via $\ell_2$ augmentation
TU Dortmund University（多特蒙德工业大学）；Dortmund Data Science Center（多特蒙德数据科学中心）；Lamarr-Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文通过用 $\ell_2$ 敏感度增广 $\ell_p$ 敏感度，将 $p\in[1,2]$ 时的 $\ell_p$ 子空间嵌入采样复杂度改进至最优的线性界限，并应用于逻辑回归问题。
2024-06-01 cs.DS cs.LG stat.ML
