Evolutionary Augmentation Policy Optimization for Self-supervised Learning
Dalhousie University（达尔豪斯大学）；Institute for Big Data Analytics（大数据分析研究所）
本文提出一种进化搜索方法优化自监督学习 pretext task 中的数据增强策略，通过染色体编码增强算子组合寻找最优增强流水线，并验证增强策略选择对 SSL 分类性能具有显著影响。
2023-08-02 cs.AI cs.CV cs.LG
Rethinking Spectral Augmentation for Contrast-based Graph Self-Supervised Learning
University of Waterloo（滑铁卢大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Vector Institute（向量研究院）
针对对比学习图自监督学习中谱增强的悖论，通过实证研究发现节点级随机边删除、图级随机边添加的简单边扰动在性能相当或更优的同时计算效率更高，理论分析也支持这一结论，为该领域提供新见解。
2024-12-04 cs.AI cs.LG
Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style
Max Planck Institute for Intelligent Systems Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））；University of Cambridge（剑桥大学）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；IMPRS for Intelligent Systems（智能系统国际马克斯·普朗克研究学院）；Amazon（亚马逊）
自监督表示学习在许多领域都取得了显着的成功。一种常见的做法是通过手工制作的转换来执行数据扩充，目的是保持数据的语义不变。我们试图从理论的角度来理解这种方法的经验成功。我们制定的增强过程作为一个潜在的变量模型，通过假设一个分区的潜在表示成一个内容组件，这是假设不变的增强，和一个样式组件，这是允许改变。不像以前的工作，解开和独立成分分析，我们允许在潜在空间的非平凡的统计和因果依赖关系。我们研究的可识别性的潜在表示的基础上对意见的意见，并证明了充分的条件，使我们能够确定不变的内容分区可逆的映射生成和歧视设置。我们发现数值模拟与相关的潜变量与我们的理论是一致的。最后，我们介绍了Cause3DIdent，这是一个具有丰富因果依赖关系的高维视觉复杂图像数据集，我们使用它来研究在实践中进行的数据增强的效果。
2022-01-14 cs.AI cs.CV cs.LG
Rethinking Data Augmentation for Tabular Data in Deep Learning
Meiji University（明治大学）
针对表格数据自监督学习中数据增强的难题，提出MTR方法，利用Transformer特性对列嵌入进行增强，在13个数据集上验证了其有效提升模型性能并明确了适用场景。
2023-05-22 cs.AI cs.LG
Self-Supervised Graph Learning via Spectral Bootstrapping and Laplacian-Based Augmentations
Department of Computer Science University of Geneva（日内瓦大学计算机科学系）
提出LaplaceGNN自监督图学习框架，通过谱自举和拉普拉斯增强绕过负采样，结合中心性引导优化与对抗性自举训练，在多个基准上实现了优于SOTA的性能。
2025-06-25 cs.AI cs.DS cs.LG
Explanation-Preserving Augmentation for Semi-Supervised Graph Representation Learning
Florida International University（佛罗里达国际大学）
针对现有图表示学习增强方法仅关注数据扰动、忽略语义保留的问题，提出半监督的EPA-GRL方法，利用图解释生成语义保留增强，经理论与实验验证其性能优于现有SOTA方法。
2025-11-14 cs.LG
Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；Meta AI；University of Cambridge（剑桥大学）
针对自监督学习中丢弃风格特征导致下游任务性能下降的问题，提出通过多个风格嵌入空间解缠而非丢弃风格特征，并证明其可辨识性，在合成和真实数据上验证了有效性。
2024-08-20 cs.AI cs.CV cs.LG
GANSER: A Self-supervised Data Augmentation Framework for EEG-based Emotion Recognition
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学电子计算学系）
基于脑电（EEG）的情感计算中的数据稀缺问题导致难以使用机器学习算法特别是深度学习模型来构建具有高精度和稳定性的有效模型。数据增强最近已经为深度学习模型实现了相当大的性能改进：提高了准确性、稳定性并减少了过度拟合。在本文中，我们提出了一种新的数据增强框架，即基于生成对抗网络的自监督数据增强（GANSER）。作为第一个将对抗训练与自监督学习相结合用于基于EEG的情感识别的框架，所提出的框架可以生成高质量和高多样性的模拟EEG样本。特别是，我们利用对抗训练来学习EEG生成器，并迫使生成的EEG信号近似真实样本的分布，确保增强样本的质量。变换函数被用来屏蔽部分EEG信号，并迫使发生器基于剩余部分来合成潜在的EEG信号，以产生各种各样的样本。在转换过程中的掩蔽可能性被引入作为先验知识，以指导提取可区分的特征的模拟EEG信号和推广的分类器的扩增的样本空间。最后，大量的实验表明，我们提出的方法可以帮助情感识别的性能增益，并取得了最先进的结果。
2021-09-08 cs.AI cs.HC cs.LG
Analysis of Augmentations for Contrastive ECG Representation Learning
Ingenuity Labs Research Institute（Ingenuity Labs研究院）
本文系统地研究了心电图（ECG）信号的对比自监督学习的各种增强的有效性，并确定了最佳参数。我们提出的自监督框架的基线包括两个主要部分：对比学习和下游任务。在第一阶段，我们训练编码器使用一些扩增提取概括的ECG信号表示。然后，我们冻结编码器并微调具有不同量的标记数据的几个线性层，用于下游心律失常检测。然后，我们用各种增强技术进行实验，并探索一系列参数。我们的实验是在PTB-XL上完成的，PTB-XL是一个大型的公开的12导联ECG数据集。结果表明，在特定的复杂度范围内应用增强对于自监督对比学习效果更好。例如，当添加高斯噪声时，0.1到0.2范围内的sigma可以获得更好的结果，而当添加的噪声太小或太大（超出指定范围）时，会出现较差的训练。在其他增强中也观察到类似的趋势，这表明为所添加的增强选择最佳难度水平的重要性，因为太简单的增强不会导致有效的训练，而太困难的增强也会阻止模型有效地学习广义表示。我们的工作可以影响未来的研究自我监督对比学习的生物信号，并帮助选择最佳参数为不同的增强。
2022-05-30 cs.AI cs.LG eess.SP
Supervised Contrastive Prototype Learning: Augmentation Free Robust Neural Network
University of Southern California（南加州大学）
深度神经网络（DNN）的输入空间中的变换导致特征空间中的意外变化。几乎感知上相同的输入，例如对抗性的例子，可能具有非常遥远的特征表示。相反，分布外（OOD）样本可以具有与训练集样本高度相似的特征表示。我们对使用分类头训练的DNN的理论分析表明，受分类问题大小限制的不灵活的logit空间是缺乏$\textit{robustness}$的根本原因之一。我们的第二个观察结果是DNN过度拟合训练增强技术，并且不学习$\textit{nuance invariant}$表示。受到最近成功的原型和对比学习框架的启发，提高鲁棒性和学习细微差别不变表示，我们提出了一个训练框架，$\textbf{Supervised Contrastive Prototype Learning}$（SCPL）。我们使用N对对比损失与原型的相同和相反的类，并取代一个分类头与$\textbf{Prototype Classification Head}$（PCH）。我们的方法是$\textit{sample efficient}$，不需要$\textit{sample mining}$，可以在任何现有的DNN上实现，而无需修改其架构，并与其他训练增强技术相结合。我们经验性地评估了我们的方法在分布外和对抗性样本上的$\textbf{clean}$鲁棒性。我们的框架优于其他国家的最先进的对比和原型学习方法在$\textit…
2022-11-26 cs.AI cs.LG
Boost Self-Supervised Dataset Distillation via Parameterization, Predefined Augmentation, and Approximation
National Yang Ming Chiao Tung University（国家阳明交通大学）；Macronix International Co., Ltd.（宏碁国际公司）
本文提出一种自监督数据集蒸馏方法，通过低维基参数化、预定义增强和轻量网络近似，提升蒸馏效率与跨架构泛化能力。
2025-08-05 cs.AI cs.CV
Self-Supervised Time-Series Anomaly Detection Using Learnable Data Augmentation
Samsung Electronics（三星电子）；Seoul National University（首尔大学）
提出自监督时间序列异常检测技术LATAD，通过对比学习和可学习数据增强生成负样本提取特征，基于潜在特征相似度计算异常分数，性能优于现有方法并能诊断根本原因。
2024-06-18 cs.AI cs.CL cs.LG
Jointly Learnable Data Augmentations for Self-Supervised GNNs
KTH Royal Institute of Technology（瑞典皇家理工学院）；Technical University of Munich（慕尼黑工业大学）
自监督学习（SSL）旨在学习对象的表示，而不依赖于手动标记。最近，许多用于图表示学习的SSL方法已经实现了与SOTA半监督GNN相当的性能。一个连体网络，它依赖于数据增强，是在这些方法中使用的流行架构。然而，这些方法依赖于精确制作的数据增强技术。此外，他们使用对比术语或其他技巧（例如，不对称性），以避免在连体网络中可能出现的琐碎解决方案。在这项研究中，我们提出了GraphSurgeon，一种用于GNNs的新型SSL方法，具有以下特点。首先，我们提出了一种可学习的数据增强方法，它通过利用图中编码的固有信号与嵌入联合学习，而不是传统方法。此外，我们利用可学习的数据增强的灵活性，并引入了一种新的策略，在嵌入空间中增加，称为后增强。该策略具有显著更低的内存开销和运行时成本。其次，由于很难对真正的对比术语进行抽样，我们避免了明确的负抽样。第三，而不是依赖于工程技巧，我们使用一个可扩展的约束优化目标的拉普拉斯特征映射，以避免平凡的解决方案。为了验证GraphSurgeon的实际使用，我们使用14个公共数据集进行了实证评估，这些数据集跨越了多个领域，从小型到大型图形，具有数亿条边。我们的发现表明，GraphSurgeon在节点分类任务中与六个SOTA半监督和五个SOTA自监督基线相当。源代码可在https://github.com/zekarias-tilahun/graph-surgeon上获…
2021-08-23 cs.LG cs.SI
SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay（印度孟买理工学院）；Verisk Analytics（威睿凯分析公司）
时间掩蔽已经成为语音和音频任务的事实上的增强技术，包括自动语音识别（ASR）和音频分类，最显著的是作为SpecAugment的一部分。在这项工作中，我们提出了SpliceOut，一个简单的修改时间掩蔽，使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过（有时甚至超过）SpecAugment，包括使用不同数量的训练数据针对七种不同语言的ASR，以及语音翻译，声音和音乐分类，从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时，SpliceOut还提供了额外的增益。除了全监督设置，我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
Contrastive Self-supervised Sequential Recommendation with Robust Augmentation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究院）；UC San Diego（加州大学圣迭戈分校）
顺序推荐描述了一组对动态用户行为进行建模的技术，以便预测顺序用户数据中的未来交互。这些方法的核心是对序列中项目之间的转移概率进行建模，无论是通过马尔可夫链、递归网络还是最近的Transformers。然而，新老问题仍然存在，包括数据稀疏性和噪声数据;这些问题可能会影响性能，特别是在复杂的，参数饥饿的模型中。在本文中，我们研究应用对比自监督学习（SSL）的顺序推荐，作为一种方式来缓解这些问题。对比SSL从未标记的实例中构建增强，其中正对之间的协议最大化。由于顺序推荐的离散性、项目之间的相关性以及长度分布的偏斜性，设计用于顺序推荐的对比SSL框架具有挑战性。为此，我们提出了一个新的框架，对比自监督学习顺序推荐（CoSeRec）。我们引入了两个信息增强算子，利用项目相关性来创建高质量的对比学习视图。在三个真实数据集上的实验结果表明，该方法在提高模型性能和对稀疏和噪声数据的鲁棒性方面是有效的。我们的实现可在\url{https://github.com/YChen1993/CoSeRec}上在线获得
2021-08-14 cs.AI cs.IR
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）；BAIR（伯克利人工智能研究中心）；Weill Neurosciences Institute（威尔神经科学研究所）；UCSF（加州大学旧金山分校）
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后，该监督评估用于指导训练过程的关键方面，例如选择数据增强策略。然而，通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的（例如，在诸如医学成像的隐私敏感领域中可能是这种情况）。因此，在这项工作中，我们表明，评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价（秩相关$> 0.94$）。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性，并提供了一种算法（SelfAugment）来自动有效地选择增强策略，而无需使用监督评估。尽管没有使用任何标记的数据，学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Exploring Data Augmentations on Self-/Semi-/Fully- Supervised Pre-trained Models
Carnegie Mellon University（卡内基梅隆大学）；Tohoku University（东北大学）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心（AIP））
本文实证研究 Random Erasing、CutOut、CutMix 和 MixUp 四种数据增强对自监督/半监督/全监督预训练模型的影响，揭示遮盖区域降低不变性但提升多样性，而 MixUp 在几乎不损失不变性的情况下显著增强多样性。
2023-10-28 cs.AI cs.CV cs.LG
A Self-Supervised Feature Map Augmentation (FMA) Loss and Combined Augmentations Finetuning to Efficiently Improve the Robustness of CNNs
Volkswagen AG（大众汽车公司）；Technische Universität Braunschweig（布伦瑞克工业大学）
深度神经网络通常对输入中与语义无关的变化不鲁棒。在这项工作中，我们解决了最先进的深度卷积神经网络（CNN）对输入中常见的失真（如光度变化或添加模糊和噪声）的鲁棒性问题。输入中的这些变化通常在训练期间以数据增强的形式被考虑。我们有两个主要贡献：首先，我们提出了一种新的正则化损失，称为特征图增强（FMA）损失，它可以在微调过程中使用，使模型对输入中的几种失真具有鲁棒性。其次，我们提出了一种新的组合增强（CA）微调策略，该策略可以产生一个单一的模型，该模型以数据高效的方式同时对几种增强类型具有鲁棒性。我们使用CA策略来改进现有的最先进的方法，称为稳定性训练（ST）。使用CA，在具有失真图像的图像分类任务上，我们在CIFAR-10上使用FMA和ST绝对值平均提高了8.94%和8.86%，在ImageNet上使用FMA和ST绝对值平均提高了8.04%和8.27%，而使用众所周知的数据增强方法分别提高了1.98%和2.12%，同时保持了干净的基线性能。
2020-12-02 cs.AI cs.CV cs.LG
MAST: Masked Augmentation Subspace Training for Generalizable Self-Supervised Priors
Apple Inc.（苹果公司）
最近的自监督学习（SSL）方法能够学习对不同数据增强不变的特征表示，然后可以将其转移到感兴趣的下游任务。然而，不同的下游任务需要不同的不变性才能获得最佳性能，因此SSL增强的最佳选择取决于目标任务。在本文中，我们的目标是学习自我监督的特征，这些特征在各种下游任务（例如，对象分类、检测和实例分割）而无需预先知道任何任务信息。我们通过掩蔽增强子空间训练（MAST）来实现这一点，以因子分解的方式在单个特征空间中对来自不同数据增强的先验进行编码。具体来说，我们将特征空间分解为单独的子空间，每个子空间由一个可学习的掩码诱导，该掩码选择相关的特征维度来对特定增强的不变性进行建模。我们展示了MAST在联合捕获来自不同扩增的可推广先验方面的成功，使用跨子空间的独特和共享功能。我们进一步表明，MAST受益于不确定性建模重新加权模糊的样本，从强增强，可能会导致相似性不匹配，在每个子空间。实验表明，MAST一致地提高了各种下游任务的泛化能力，同时在SSL期间是任务不可知的和高效的。我们还提供了关于不同的增强是如何相关的，以及不确定性如何反映学习困难的有趣见解。
2023-03-07 cs.CV cs.LG
ViewMix: Augmentation for Robust Representation in Self-Supervised Learning
University of Nebraska at Omaha（内布拉斯加大学奥马哈分校）
针对自监督学习中区域丢弃策略不适于生成正样本对的问题，提出ViewMix增强策略，通过跨视图剪切粘贴图块，提升模型定位能力与表示鲁棒性且无额外计算开销。
2023-09-06 cs.CV cs.LG
AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss
Shanghai Jiao Tong University（上海交通大学）；Haohua Technology Co., Ltd（浩华科技有限公司）
自监督表示学习是一个新兴的研究课题，它具有强大的学习能力与未标记的数据。作为一种主流的自监督学习方法，基于增强的对比学习在各种缺乏人工标注的计算机视觉任务中取得了巨大的成功。尽管目前的进展，现有的方法往往受到额外的内存或存储成本的限制，其性能仍然有很大的改进空间。在这里，我们提出了一种自监督的表示学习方法，即AAG，其特点是辅助增强策略和GNT-Xent损失。辅助增强能够通过增加图像的多样性来提高对比学习的性能。所提出的GNT-Xent损失能够实现稳定和快速的训练过程，并产生有竞争力的准确性。在CIFAR 10、CIFAR 100和SVHN上的实验结果证明了AAG方法的优越性。特别是，AAG在CIFAR 10上达到了94.5%的top-1准确率，批量为64，比Simplified在批量为1024时的最佳结果高出0.5%。
2020-10-20 cs.CV cs.LG
Random Field Augmentations for Self-Supervised Representation Learning
Google Research（谷歌研究院）；Vector Institute（向量研究所）
针对自监督表示学习中数据增强技术探索不足的问题，提出基于高斯随机场的局部图像增强变换，在ImageNet和iNaturalist下游分类任务上取得准确率提升，同时指出需平衡增强的多样性与强度以优化表示泛化性。
2023-11-07 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Multi-Augmentation for Efficient Visual Representation Learning for Self-supervised Pre-training
Hon Hai Research Institute（鸿海研究院）；National Central University（国立中央大学）
近年来，自监督学习被用来解决标签数据集的局限性。在自监督学习的主要组成部分中，数据增强管道是增强结果性能的一个关键因素。然而，大多数研究人员手动设计的增强管道，有限的转换集合可能会导致学习的特征表示缺乏鲁棒性。在这项工作中，我们提出了多增强自我监督表示学习（MA-SSRL），它充分搜索各种增强策略来构建整个管道，以提高学习的特征表示的鲁棒性。MA-SSRL成功地学习了不变特征表示，并为不同分布和域数据集的自监督预训练提供了一个高效，有效和自适应的数据增强管道。MA-SSRL在传输和半监督基准测试上优于以前的最先进方法，同时需要更少的训练时间。
2022-05-24 cs.CV
Tied-Augment: Controlling Representation Similarity Improves Data Augmentation
Stanford University（斯坦福大学）；Cagaloglu Anadolu Lisesi（卡加奥卢阿纳多卢高中）；Google Research（谷歌研究院）
提出Tied-Augment通用框架，通过在损失中添加控制扭曲下表示相似性的项，显著提升数据增强在少轮次训练与微调中的有效性，并在ImageNet等任务上超越RandAugment等先进方法。
2023-05-22 cs.AI cs.CV cs.LG
Fine-Grained AutoAugmentation for Multi-Label Classification
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Alibaba DAMO Academy（阿里巴巴达摩院）
数据增强是提高深度学习模型泛化能力的常用方法。最近的工作表明，学习数据增强政策可以实现更好的泛化比手工制作的。然而，这些工作中的大多数对数据集中的所有样本使用统一的增强策略，这被观察到不一定对多标签分类任务中的所有标签有益，即，有些政策可能对某些标签产生负面影响，而对另一些标签有利。为了解决这个问题，我们提出了一种新的基于标签的自动增强（LB-Aug）方法，用于多标签场景，其中通过增强策略网络生成关于标签的增强策略。通过使用策略梯度方法的强化学习来学习策略，从而提供从实例标签到其最优增强策略的映射。数值实验表明，我们的LB-Aug在图像和视频分类的多个基准测试中的大幅度优于以前的最先进的增强方法。
2021-07-13 cs.CV cs.LG
ScribbleGen: Generative Data Augmentation Improves Scribble-supervised Semantic Segmentation
University of Waterloo（滑铁卢大学）；University of California, Merced（加州大学默塞德分校）；LMU Munich（慕尼黑大学）
该研究首次探索涂鸦监督语义分割的生成式数据增强，提出ScribbleGen方法，通过带约束的ControlNet扩散模型生成训练数据，缩小与全监督方法的性能差距，在小数据集上表现更优。
2024-04-16 cs.CV cs.LG
Self-supervised Augmentation Consistency for Adapting Semantic Segmentation
TU Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来领域自适应的语义分割，这是既实用又高度准确。与以前的工作相比，我们放弃了使用计算涉及的对抗目标，网络合奏和风格转移。相反，我们采用标准的数据增强技术$-$光度噪声，翻转和缩放$-$，并确保这些图像转换的语义预测的一致性。我们在一个轻量级的自监督框架中开发了这个原则，该框架在共同进化的伪标签上进行训练，而不需要繁琐的额外训练轮。从从业者的角度来看，我们的方法很简单，非常有效。我们实现了适应后的最先进的分割精度的显着改善，一致的骨干架构和适应场景的不同选择。
2021-04-30 cs.CV cs.LG
WHERE to Generate Matters: Budget-Aware Synthetic Augmentation for Label Skewed Federated Learning
Chung-Ang University（中央大学）
研究标签倾斜联邦学习问题，提出FedEAS策略，根据客户端本地标签分布分配熵自适应生成预算，决定生成量与样本流向，在大幅减少生成预算的同时恢复准确性提升，性能优于均匀分配。
2026-07-09 cs.AI cs.CV cs.LG
Combined Image Data Augmentations diminish the benefits of Adaptive Label Smoothing
Federal Institute for Occupational Safety and Health (BAuA)（联邦职业安全与健康研究所）
本文研究了自适应标签平滑在不同图像增强下的效果，发现其对随机擦除和噪声注入有效，但在多样化增强组合（如TrivialAugment）中收益消失，且过度平滑会损害鲁棒性。
2025-07-22 cs.CV cs.LG
Augmentation-aware Self-supervised Learning with Conditioned Projector
Jagiellonian University（雅盖隆大学）；IDEAS NCBR；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
本文提出条件增强感知自监督学习 CASSLE，通过向投影器注入增强信息促使特征提取器保留增强特征，从而在多个下游任务中提升多种 SSL 方法并达到最先进性能。
2024-10-19 cs.CV cs.LG
Directional Self-supervised Learning for Heavy Image Augmentations
JD AI Research（京东人工智能研究院）；Peking University（北京大学）
尽管有大量的增强家族，只有少数精选的鲁棒增强策略有利于自监督图像表示学习。在本文中，我们提出了一种定向自监督学习范式（DSSL），它与更多的增强兼容。具体来说，我们适应重增强政策后，轻轻地增加了标准增强的意见，以产生更难的看法（HV）。HV通常比轻度增强的标准视图（SV）与原始图像有更高的偏差。与以往的方法一样，DSSL将同一实例的增强视图视为偏序集合（方向为SV $\leftrightarrow $ SV，SV $\leftarrow$ HV），然后根据视图间的关系构造方向目标函数. DSSL可以用几行代码轻松实现，并且对流行的自监督学习框架（包括Simplified，SimSiam，BYOL）具有高度灵活性。在CIFAR和ImageNet上的大量实验结果表明，DSSL可以稳定地改善各种基线，并兼容更广泛的增强。
2021-11-29 cs.CV
Domain Generalisation with Domain Augmented Supervised Contrastive Learning (Student Abstract)
The University of Adelaide（阿德莱德大学）
域泛化（DG）方法解决了当训练域和目标域的分布不匹配时的域转移问题。数据增强方法已成为DG的一种有前途的替代方案。然而，单独的数据增强不足以实现较低的概括误差。该项目提出了一种新的方法，结合数据增强和域距离最小化，以解决与数据增强相关的问题，并提供一个学习性能的保证，在现有的框架下。从经验上讲，我们的方法优于DG基准的基线结果。
2020-12-27 cs.CV cs.LG
Augmentation Learning for Semi-Supervised Classification
Goethe University Frankfurt（法兰克福歌德大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
近年来，出现了许多新的半监督学习方法。随着ImageNet和类似数据集的准确性随着时间的推移而提高，在自然图像分类之外的任务上的性能还有待探索。大多数半监督学习方法依赖于精心手动设计的数据增强流水线，该流水线不可用于在其他域的图像上学习。在这项工作中，我们提出了一个半监督学习方法，自动选择最有效的数据增强政策的特定数据集。我们建立在Fixmatch方法的基础上，并通过增强的元学习对其进行扩展。在分类训练之前的额外训练中学习增强，并使用双层优化，以优化增强策略并最大化准确性。我们评估我们的方法在两个特定领域的数据集，包含卫星图像和手绘草图，并获得国家的最先进的结果。我们进一步研究了与学习增强策略相关的不同参数，并展示了如何使用策略学习来适应ImageNet之外的数据集的增强。
2022-08-03 cs.CV
Disentangling the Effects of Data Augmentation and Format Transform in Self-Supervised Learning of Image Representations
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
本文通过提出 Fourier Domain Augmentations（FDA）并区分格式变换与数据增强，证明二者结合可提升视觉自监督表征在 ImageNet-1K、少样本及迁移学习任务中的表现。
2023-12-02 cs.CV cs.LG
Self-supervised Multi-view Stereo via Effective Co-Segmentation and Data-Augmentation
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Lab（上海人工智能实验室）；South China University of Technology（华南理工大学）
近年来的研究表明，基于视点合成的自监督方法在多视图立体视觉（MVS）方面取得了明显的进展。然而，现有的方法依赖于不同视图之间的对应点共享相同颜色的假设，这在实践中可能并不总是正确的。这可能导致不可靠的自监督信号，并损害最终的重建性能。为了解决这个问题，我们提出了一个框架，集成了更可靠的监督指导下的语义共分割和数据增强。特别地，我们从多视角图像中挖掘出相互的语义，以指导语义的一致性。设计了有效的数据增强机制，将规则样本的预测值作为伪地面真值，对增强样本的预测值进行规则化处理，保证了变换的鲁棒性。在DTU数据集上的实验结果表明，我们提出的方法达到了无监督方法中最先进的性能，甚至可以与有监督方法相媲美。在Tanks&Temples数据集上的实验表明，该方法具有较好的泛化能力.
2021-04-12 cs.AI cs.CV
Confidence-Guided Data Augmentation for Improved Semi-Supervised Training
University of Louisville（路易斯维尔大学）
我们提出了一种新的策略，以提高图像分类的准确性和鲁棒性。首先，我们训练基线CNN模型。然后，我们通过识别所有错误分类的样本来识别特征空间中具有挑战性的区域，并以低置信度值正确分类样本。这些样本然后用于训练变分自编码器（VAE）。接下来，VAE用于生成合成图像。最后，生成的合成图像与原始标记图像结合使用，以半监督方式训练新模型。在STL 10和CIFAR-100等基准数据集上的实验结果表明，与仅使用可用数据的完全监督基线方法相比，合成生成的样本可以进一步使训练数据多样化，从而改善图像分类。
2023-02-22 cs.CV cs.LG
ClassMix: Segmentation-Based Data Augmentation for Semi-Supervised Learning
Chalmers University of Technology（查尔姆斯理工大学）；Volvo Cars（沃尔沃汽车）
语义分割的最新技术水平在性能上稳步提高，从而在许多不同的应用中实现更精确和可靠的分割。然而，进展受到生成用于训练的标签的成本的限制，这有时需要为单个图像进行数小时的手工劳动。正因为如此，半监督方法已被应用于这项任务，并取得了不同程度的成功。一个关键的挑战是，在半监督分类中使用的常见的增强是不太有效的语义分割。我们提出了一种新的数据增强机制称为ClassMix，它通过混合未标记的样本来生成增强，通过利用网络的预测来尊重对象边界。我们在两个常见的半监督语义分割基准上评估了这种增强技术，表明它达到了最先进的结果。最后，我们还提供了广泛的消融研究，比较不同的设计决策和培训制度。
2020-11-29 cs.CV
Deep Augmentation: Dropout as Augmentation for Self-Supervised Learning
Massachusetts Institute of Technology（麻省理工学院）
本文提出 Deep Augmentation，一种将 dropout 或 PCA 应用于神经网络目标层的模态无关增强方法，发现其在深层结合 stop-gradient 时效果最佳，能有效缓解自监督学习中的层间共适应问题并超越传统输入级增强。
2025-05-30 cs.CL cs.CV cs.LG
Semi-supervised Task-driven Data Augmentation for Medical Image Segmentation
ETH Zurich（苏黎世联邦理工学院）；University Hospital of Zurich（苏黎世大学医院）
基于监督学习的分割方法通常需要大量带注释的训练数据才能在测试时很好地泛化。在医学应用中，管理这样的数据集并不是一个有利的选择，因为从专家那里获取大量带注释的样本既耗时又昂贵。因此，文献中提出了许多方法来使用有限的注释示例进行学习。不幸的是，在文献中提出的方法还没有产生显着的收益超过随机数据增强图像分割，随机增强本身不产生高精度。在这项工作中，我们提出了一种新的任务驱动的数据增强方法，用于使用有限的标记数据进行学习，其中合成数据生成器针对分割任务进行了优化。所提出的方法的生成器模型的强度和形状的变化，使用两组变换，作为添加剂的强度变换和变形场。这两种变换都使用半监督框架中的标记和未标记示例进行优化。我们在三个医学数据集，即心脏，前列腺和胰腺上的实验表明，所提出的方法在有限的注释设置中显着优于标准增强和半监督图像分割方法。该代码在https://github.com/krishnabits001/task $\_$驱动的$\_$数据$\_$增强上公开提供。
2020-11-19 cs.CV cs.LG eess.IV
The Impact of Spatiotemporal Augmentations on Self-Supervised Audiovisual Representation Learning
University of Western Ontario（西安大略大学）
听觉和视觉感知的对比学习在单独研究时非常成功。然而，我们如何整合从这两个领域学到的原则，以实现有效的视听表现，仍然存在重大问题。在本文中，我们提出了一个对比框架，学习视听表示从未标记的视频。在自我监督预训练期间使用的增强的类型和强度对于对比框架充分工作起着至关重要的作用。因此，我们广泛研究适合学习视听表示的时间增强的组成;我们发现不破坏视频的时间一致性的有损时空变换是最有效的。此外，我们表明，这些变换的有效性尺度更高的时间分辨率和更强的变换强度。与仅基于采样的时间增强预训练的自监督模型相比，使用我们的时间增强预训练的自监督模型在AVE数据集上的线性分类器性能上获得了大约6.5%的增益。最后，我们表明，尽管它们很简单，但我们提出的转换在自监督学习框架（SimSiam，MoCoV 3等）和基准视听数据集（AVE）中运行良好。
2021-10-13 cs.CV
For Better or For Worse? Learning Minimum Variance Features With Label Augmentation
Duke University（杜克大学）
本研究分析标签增强（含标签平滑、Mixup）在模型训练中的作用，证明其使模型学习最小方差特征，实验表明该特性既关联图像分类基准的优异性能，也易受训练数据中低方差虚假相关性影响。
2025-02-13 cs.CV cs.LG
Time to augment self-supervised visual representation learning
CNRS（法国国家科学研究中心）；Pascal institute - University Clermont-Ferrand（克莱蒙费朗大学帕斯卡研究所）；Frankfurt Institute for Advanced Studies（法兰克福高等研究所）
生物视觉系统在没有监督的情况下学习视觉表示的能力是无与伦比的。在机器学习中，自监督学习（SSL）在以无监督方式形成对象表示方面取得了重大进展。这样的系统学习对图像上的增强操作（如裁剪或翻转）不变的表示。相比之下，生物视觉系统在与对象的自然交互期间利用视觉体验的时间结构。这样就可以访问SSL中不常用的“增强”，例如从多个视点或不同背景观看同一对象。在这里，我们系统地研究和比较这种基于时间的增强在学习对象类别的自然交互过程中的潜在好处。我们的研究结果表明，基于时间的增强实现大的性能增益超过国家的最先进的图像增强。具体来说，我们的分析表明：1）3-D对象操作大大提高了对象类别的学习; 2）在不断变化的背景下查看对象对于学习从潜在表示中丢弃背景相关信息非常重要。总的来说，我们的结论是，在与物体的自然交互过程中基于时间的增强可以大大提高自监督学习，缩小人工和生物视觉系统之间的差距。
2022-12-21 cs.CV cs.LG
ReSSL: Relational Self-Supervised Learning with Weak Augmentation
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Sydney（悉尼大学）
包括主流对比学习在内的自监督学习（Self-supervised Learning，SSL）在学习不带数据标注的视觉表示方面取得了巨大的成功。然而，大多数方法主要关注实例级信息（\ie，同一实例的不同增强图像应该具有相同的特征或聚类到同一类），而缺乏对不同实例之间关系的关注。在本文中，我们介绍了一种新的SSL范式，我们称之为关系自监督学习（ReSSL）框架，通过建模不同实例之间的关系来学习表示。具体来说，我们提出的方法采用锐化分布的成对相似性不同的实例之间的\textit{relation}度量，从而利用匹配的特征嵌入不同的增强。此外，为了提高性能，我们认为，弱增广问题，以代表一个更可靠的关系，并利用动量策略的实际效率。实验结果表明，我们提出的ReSSL显着优于以前的国家的最先进的算法在性能和训练效率方面。代码可在\url{https://github.com/KyleZheng1997/ReSSL}获得。
2021-07-23 cs.CV cs.LG
Embedding Space Augmentation for Weakly Supervised Learning in Whole-Slide Images
University College London（伦敦大学学院）；Brigham and Women's Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Broad Institute of Harvard and MIT（哈佛-麻省理工博德研究所）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；University of Warwick（华威大学）；University Hospitals Coventry and Warwickshire NHS Trust（考文垂与沃里克郡国民保健服务信托大学医院）；The Alan Turing Institute（艾伦·图灵研究所）
多实例学习（MIL）是一种广泛使用的框架，用于从WSI级别的注释中学习千兆像素的全载玻片图像（WSI）。在用于WSI级分析的大多数基于MIL的分析管道中，WSI通常被划分为补丁和补丁的深度特征（即，补丁嵌入）在训练之前被提取，以降低总体计算成本并应对GPU的有限RAM。为了克服这一限制，我们提出了EmbAugmenter，一个数据增强生成对抗网络（DA-GAN），可以在嵌入空间而不是像素空间中合成数据增强，从而显着降低计算要求。在SICAPv 2数据集上的实验表明，我们的方法在没有增强的情况下优于MIL，并且与传统的MIL训练补丁级增强相当，同时速度更快。
2022-10-31 cs.AI cs.CV
Augmentations vs Algorithms: What Works in Self-Supervised Learning
Google Research（谷歌研究院）；University of Maryland, College Park（马里兰大学帕克分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出统一框架对比自监督学习中数据增强、预训练算法与模型架构的作用，发现增强技术对性能提升更显著，挑战了算法驱动SSL发展的认知。
2024-03-08 cs.CV cs.LG
You Don't Need Domain-Specific Data Augmentations When Scaling Self-Supervised Learning
FAIR at Meta（Meta FAIR研究院）；MICS, Université Paris-Saclay（巴黎萨克雷大学MICS实验室）；CentraleSupélec（中央高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）
针对联合嵌入架构（JEA）自监督学习需手工数据增强的普遍认知，通过DINOv2案例研究表明，只要训练数据足够大，仅用裁剪即可获得强大图像表示，达到SOTA且用最少增强，同时讨论了计算约束对实验结论的影响。
2024-11-29 cs.CV cs.LG
IBMA: An Imputation-Based Mixup Augmentation Using Self-Supervised Learning for Time Series Data
AI VIETNAM（AI越南）
针对时间序列数据增强策略少、Mixup技术应用少的问题，提出IBMA方法，结合插补增强数据与Mixup增强，在多模型多数据集上验证其有效性，24个实例中22个性能提升，10个达最佳。
2025-11-11 cs.CV cs.LG
Label-Decoupled Style Augmentation for Domain Generalization in Multi-Label Remote Sensing Scene Classification
Faculty of Engineering and Natural Sciences, Sabancı University（工程与自然科学学院，萨班哲大学）
研究多标签遥感场景分类中的域泛化问题，提出标签解耦增强框架，将风格扰动限制在特定标签区域，通过特定方法产生六个变体进行评估，该框架提升了泛化精度，增加参数少且推理不变。
2026-07-21 cs.CV cs.LG
ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
我们改进了最近提出的“MixMatch”半监督学习算法，通过引入两个新的技术：分布对齐和增强锚定。分布对齐鼓励未标记数据上的预测的边缘分布接近地面实况标签的边缘分布。增强锚定将输入的多个强增强版本馈送到模型中，并鼓励每个输出接近同一输入的弱增强版本的预测。为了产生强大的增强，我们提出了AutoAugment的一个变体，它在训练模型的同时学习增强策略。我们的新算法，称为ReMixMatch，比以前的工作更有效地利用数据，在$5\times$和$16\times$之间需要更少的数据才能达到相同的精度。例如，在CIFAR-10上，有250个标记的示例，我们达到了$93.73\%$的准确度（与MixMatch的$93.58\%$和$4{,}000$示例的准确度相比）和$84.92\%$的中位准确度，每个类只有四个标签。我们在https://github.com/google-research/remixmatch上开源代码和数据。
2020-02-13 cs.CV cs.LG stat.ML
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich（于利希研究中心）；Jülich Supercomputing Centre (JSC)（于利希超级计算中心）
针对增强式自监督学习偏重不变特征、忽视等变特征的问题，本文引入无额外参数的交叉注意力图像重构辅助任务，在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
LA3: Efficient Label-Aware AutoAugment
University of Alberta（阿尔伯塔大学）；Tencent（腾讯）
本文提出两阶段标签感知自动增强算法 LA3，利用贝叶斯优化与神经预测器按标签筛选并组合互补增强，在低计算成本下于 CIFAR 与 ImageNet 上取得先进性能。
2023-04-20 cs.AI cs.CV
A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation
Alibaba DAMO Academy（阿里巴巴达摩院）；The University of Adelaide（阿德莱德大学）
近年来，语义分割取得了重大进展。然而，监督语义分割的成功通常依赖于大量的标记数据，这是耗时和昂贵的获得。受半监督学习方法在图像分类中的成功启发，本文提出了一种简单有效的用于语义分割的半监督学习框架。我们证明，魔鬼在细节中：一组简单的设计和训练技术可以共同提高半监督语义分割的性能显着。以前的作品[3，27]未能有效地在伪标签学习中使用强增强，因为强增强引起的大分布变化会损害批量归一化统计。我们设计了一个新的批处理规范化，即分布特定的批处理规范化（DSBN）来解决这个问题，并证明了强大的增强语义分割的重要性。此外，我们还设计了一个自校正损耗，它在抗噪声方面是有效的。我们进行了一系列的消融研究，以显示每个组件的有效性。我们的方法在Cityscapes和Pascal VOC数据集的半监督设置中获得了最先进的结果。
2021-08-25 cs.CV
