Learning data augmentation policies using augmented random search
National University of Defense Technology（国防科技大学）；Northeastern University（东北大学）
以前的数据增强尝试是手动设计的，并且增强策略是特定于磁盘集的。最近，提出了一种使用强化学习的自动数据增强方法，称为AutoAugment。AutoAugment在离散搜索空间中搜索增强策略，这可能导致次优解决方案。在本文中，我们采用增强随机搜索方法（ARS），以提高自动增强的性能。我们的主要贡献是将离散的搜索空间转化为连续的空间，这将提高搜索性能并保持子策略之间的差异。使用所提出的方法，在CIFAR-10，CIFAR-100和ImageNet上实现了最先进的精度（没有额外的数据）。我们的代码可在https://github.com/gmy2013/ARS-Aug上获得。
2018-11-12 cs.CV cs.LG
Deep AutoAugment
Michigan State University（密歇根州立大学）；Amazon Web Services（亚马逊云科技）
虽然最近的自动化数据增强方法导致国家的最先进的结果，其设计空间和派生的数据增强策略仍然包含强大的人类先验。在这项工作中，我们提出了一种名为Deep AutoAugment（DeepAA）的全自动数据增强搜索方法，而不是在搜索的数据增强旁边固定一组手工挑选的默认增强。DeepAA从零开始逐步构建多层数据增强管道，每次堆叠一个增强层，直到达到收敛。对于每个增强层，该策略被优化以最大化沿具有低方差的方向的原始数据和增强数据的梯度之间的余弦相似性。我们的实验表明，即使没有默认的增强，我们可以学习的增强策略，实现强大的性能与以前的作品。广泛的消融研究表明，正则化梯度匹配是一种有效的搜索方法的数据增强政策。我们的代码可在https://github.com/MSU-MLSys-Lab/DeepAA上获取。
2022-03-15 cs.AI cs.CV
Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
UC Berkeley（加州大学伯克利分校）
利用数据增强进行神经网络训练的一个关键挑战是从候选操作的大搜索空间中选择有效的增强策略。正确选择的增强策略可以导致显着的泛化改进;然而，AutoAugment等最先进的方法在计算上对于普通用户来说是不可行的。在本文中，我们介绍了一种新的数据增强算法，人口为基础的增强（PBA），它产生非平稳的增强策略调度，而不是一个固定的增强策略。我们表明PBA可以在CIFAR-10，CIFAR-100和SVHN上匹配AutoAugment的性能，整体计算量减少了三个数量级。在CIFAR-10上，我们实现了1.46%的平均测试误差，这是对当前最先进技术的轻微改进。PBA的代码是开源的，可以在https://github.com/arcelien/pba上获得。
2019-05-14 cs.CV cs.LG stat.ML
DADA: Differentiable Automatic Data Augmentation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Anyvision（Anyvision公司）；Queens University of Belfast（贝尔法斯特女王大学）；School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）
数据增强（DA）技术旨在增加数据的可变性，从而训练具有更好泛化能力的深度网络。开创性的AutoAugment通过强化学习自动搜索最佳DA策略。然而，AutoAugment在计算上非常昂贵，限制了其广泛的适用性。后续的工作，如基于人口的增强（PBA）和快速自动增强提高了效率，但它们的优化速度仍然是一个瓶颈。在本文中，我们提出了微分自动数据增强（DADA），大大降低了成本。DADA通过Gumbel-Softmax将离散DA策略选择问题放松为可微优化问题。此外，我们引入了一个无偏梯度估计，RELAX，导致一个高效和有效的一遍优化策略，学习一个高效和准确的DA政策。我们在CIFAR-10、CIFAR-100、SVHN和ImageNet数据集上进行了广泛的实验。此外，我们证明了Auto DA在下游检测问题的预训练中的价值。结果表明，我们的DADA比最先进的DADA至少快一个数量级，同时达到非常相似的精度。该代码可在https://github.com/VDIGPKU/DADA上获得。
2020-07-30 cs.CV cs.LG
Local Patch AutoAugment with Multi-Agent Collaboration
University of Science and Technology of China（中国科学技术大学）
数据增强（DA）在提高深度学习模型的泛化能力方面起着至关重要的作用。最近的作品自动搜索DA政策的数据已经取得了巨大的成功。然而，现有的自动DA方法通常在图像级执行搜索，这限制了局部区域多样性的探索。在本文中，我们提出了一个更细粒度的自动DA方法，被称为补丁AutoAugment，划分成一个网格的补丁图像和搜索的联合最佳增强策略的补丁。我们制定它作为一个多智能体强化学习（MARL）的问题，其中每个代理学习的增强策略，每个补丁的基础上，其内容连同整个图像的语义。智能体相互合作，通过分享团队奖励来实现整个图像的最佳增强效果。我们展示了我们的方法在多个图像分类和细粒度图像识别的基准数据集上的有效性（例如，CIFAR-10、CIFAR-100、ImageNet、CUB-200-2011、Stanford Cars和FGVC-Aircraft）。大量的实验表明，我们的方法优于国家的最先进的DA方法，同时需要更少的计算资源。
2021-10-18 cs.CV
Hypernetwork-Based Augmentation
HTC Research & Healthcare（HTC研究与医疗保健）
数据增强是提高深度神经网络泛化能力的有效技术。最近，AutoAugment提出了一个设计良好的搜索空间和搜索算法，以数据驱动的方式自动查找增强策略。然而，AutoAugment是计算密集型的。在本文中，我们提出了一种高效的基于梯度的搜索算法，称为基于超网络的增强（HBA），它在一次训练中同时学习模型参数和增强超参数。我们的HBA使用超网络来逼近基于种群的训练算法，这使我们能够通过梯度下降来调整增强超参数。此外，我们引入了一个权重共享策略，简化了我们的超网络结构，加快了我们的搜索算法。我们在CIFAR-10、CIFAR-100、SVHN和ImageNet上进行了实验。我们的研究结果表明，HBA是有竞争力的国家的最先进的方法在搜索速度和准确性。
2021-10-07 cs.CV cs.LG
LA3: Efficient Label-Aware AutoAugment
University of Alberta（阿尔伯塔大学）；Tencent（腾讯）
本文提出两阶段标签感知自动增强算法 LA3，利用贝叶斯优化与神经预测器按标签筛选并组合互补增强，在低计算成本下于 CIFAR 与 ImageNet 上取得先进性能。
2023-04-20 cs.AI cs.CV
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab（松下人工智能实验室）；AIoli Labs（AIoli实验室）；Panasonic Technology Division（松下技术部门）
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略，其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展，但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性，我们将AutoAugment重新定义为广义自动数据集优化（AutoDO）任务，该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中，我们显式地估计一组每点超参数，以灵活地改变训练数据的分布。特别是，我们包括用于增强，损失权重和软标签的超参数，这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架，使用Fisher信息，并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示，与之前的方法相比，带有标签噪声的有偏数据集的性能提高了9.3%，重要的是，对于代表性不足的SVHN类，性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
Circumventing Outliers of AutoAugment with Knowledge Distillation
Tongji University（同济大学）；Huawei Inc.（华为公司）
AutoAugment是一种功能强大的算法，可以提高许多视觉任务的准确性，但它对算子空间和超参数敏感，并且不正确的设置可能会使网络优化退化。本文深入研究了AutoAugment的工作机制，并揭示了AutoAugment可能会从训练图像中删除部分判别信息，因此坚持地面真实标签不再是最佳选择。为了减轻监督的不准确性，我们使用知识蒸馏，这是指教师模型的输出，以指导网络训练。在标准的图像分类基准测试中进行了实验，实验结果表明，该方法在抑制数据增强的噪声和稳定训练方面是有效的。在知识蒸馏和AutoAugment的合作下，我们声称ImageNet分类的最新技术水平为85.8%的top-1准确率。
2020-03-25 cs.CV
Your Image is My Video: Reshaping the Receptive Field via Image-To-Video Differentiable AutoAugmentation and Fusion
Free University of Bozen-Bolzano（博岑-博尔扎诺自由大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）
提出可微增强搜索方法（DAS），通过图像到视频的自动数据增强重塑空间感受野，在多个数据集和轻量级视频骨干网络上提升了图像分类与语义分割的准确率。
2024-03-22 cs.CV cs.LG
UniformAugment: A Search-free Probabilistic Data Augmentation Approach
Huawei Technologies（华为技术有限公司）；University of Alberta（阿尔伯塔大学）
增强训练数据集已被证明可以提高几个计算机视觉任务的学习效率。一个好的增广会产生一个增广的数据集，它增加了可变性，同时保留了原始数据集的统计属性。一些技术，如AutoAugment和Fast AutoAugment，引入了搜索阶段，为给定的模型和数据集找到一组合适的增强策略。这是以巨大的计算开销为代价的，总计数千GPU小时。最近，RandAugment被提出来通过用几个超参数近似搜索空间来大大加快搜索阶段，但仍然会产生不可忽略的调整成本。在本文中，我们表明，在增广空间近似分布不变的假设下，在增广变换的连续空间上的均匀采样足以训练高效的模型。基于这一结果，我们提出了UniformAugment，这是一种完全避免搜索阶段的自动数据增强方法。除了讨论支持我们方法的理论基础之外，我们还使用标准数据集以及图像分类的已建立模型来证明UniformAugment的有效性与上述方法相当，同时由于不需要任何搜索而仍然非常高效。
2020-03-31 cs.CV cs.LG
Challenges of Adversarial Image Augmentations
University of Oxford（牛津大学）；Apple（苹果公司）
在训练过程中应用的图像增强对图像分类器的泛化性能至关重要。因此，大量的研究集中在为给定的任务找到最佳的增强策略。然而，RandAugment [2]是一种简单的随机增强策略，最近已被证明优于现有的复杂策略。只有基于对抗训练思想的Adversarial AutoAugment（AdvAA）[11]才比RandAugment更好。在本文中，我们表明，随机增强仍然是有竞争力的最佳对抗方法相比，以及简单的课程，并推测AdvAA的成功是由于随机性的策略控制器网络，它引入了一个温和的形式的课程。
2021-12-03 cs.CV cs.LG
ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
我们改进了最近提出的“MixMatch”半监督学习算法，通过引入两个新的技术：分布对齐和增强锚定。分布对齐鼓励未标记数据上的预测的边缘分布接近地面实况标签的边缘分布。增强锚定将输入的多个强增强版本馈送到模型中，并鼓励每个输出接近同一输入的弱增强版本的预测。为了产生强大的增强，我们提出了AutoAugment的一个变体，它在训练模型的同时学习增强策略。我们的新算法，称为ReMixMatch，比以前的工作更有效地利用数据，在$5\times$和$16\times$之间需要更少的数据才能达到相同的精度。例如，在CIFAR-10上，有250个标记的示例，我们达到了$93.73\%$的准确度（与MixMatch的$93.58\%$和$4{,}000$示例的准确度相比）和$84.92\%$的中位准确度，每个类只有四个标签。我们在https://github.com/google-research/remixmatch上开源代码和数据。
2020-02-13 cs.CV cs.LG stat.ML
Improving Robustness Without Sacrificing Accuracy with Patch Gaussian Augmentation
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
在现实世界中部署机器学习系统既需要对干净数据的高准确性，也需要对自然发生的损坏具有鲁棒性。虽然架构的进步提高了准确性，但构建强大的模型仍然具有挑战性。先前的工作认为，鲁棒性和准确性之间存在固有的权衡，例如标准数据增强技术，如Cutout，它提高了干净的准确性，但没有鲁棒性，以及加性高斯噪声，它提高了鲁棒性，但损害了准确性。为了克服这种权衡，我们引入了补丁高斯，一个简单的增强方案，在输入图像中随机选择的补丁添加噪声。使用Patch Gaussian训练的模型在CIFAR-10和ImageNetCommon Corruptions基准测试中达到了最先进的水平，同时还提高了干净数据的准确性。我们发现，这种增强导致对高频噪声的敏感性降低（类似于高斯），同时保留利用图像中相关高频信息的能力（类似于Cutout）。最后，我们表明，补丁高斯可以与其他正则化方法和数据增强政策，如AutoAugment，并提高性能的COCO目标检测基准。
2019-06-06 cs.CV cs.LG stat.ML
A Fourier Perspective on Model Robustness in Computer Vision
UC Berkeley（加州大学伯克利分校）；Google Research, Brain team（谷歌研究院大脑团队）
实现对分布偏移的鲁棒性是计算机视觉的长期且具有挑战性的目标。数据增强是用于提高鲁棒性的常用方法，然而鲁棒性增益通常跨损坏类型是不一致的。实际上，在存在随机噪声的情况下提高性能通常会遇到在诸如对比度变化的其他破坏上降低的性能。了解何时以及为什么会发生这种权衡是减轻它们的关键一步。为此，我们研究了最近观察到的由高斯数据增强和对抗训练引起的权衡。我们发现，这两种方法都提高了鲁棒性的腐败集中在高频域，而降低了鲁棒性的腐败集中在低频域。这表明，通过数据增强减轻这些权衡的一种方法是使用更多样化的增强集。为此，我们观察到，AutoAugment，最近提出的数据增强政策优化干净的准确性，实现了最先进的CIFAR-10-C基准的鲁棒性。
2020-09-17 cs.CV cs.LG stat.ML
Direct Differentiable Augmentation Search
ETH Zürich（苏黎世联邦理工学院）；TuSimple（图森未来）
数据增强已成为提高深度神经网络性能不可或缺的工具，但数据增强很难在不同任务和数据集之间传递。因此，最近的趋势是采用AutoML技术来学习适当的增强策略，而无需大量的手工调优。在本文中，我们提出了一个有效的可微搜索算法称为直接可微扩增搜索（DDAS）。它利用元学习，一步梯度更新和连续松弛到预期的训练损失，以实现有效的搜索。我们的DDAS可以实现有效的增强搜索，而不依赖于近似，如Gumbel Softmax或二阶梯度近似。为了进一步减少不适当的增广的不利影响，我们将搜索空间组织成一个两级的层次结构，其中我们首先决定是否应用增广，然后确定具体的增广政策。在标准的图像分类基准测试中，我们的DDAS实现了最先进的性能和效率权衡，同时大幅降低了搜索成本，例如CIFAR-10的0.15 GPU小时。此外，我们还使用DDAS来搜索增强目标检测任务，并实现与AutoAugment相当的性能，同时速度快1000倍。
2021-10-12 cs.CV cs.LG
AutoCLINT: The Winning Method in AutoCV Challenge 2019
Kakao Brain（卡考大脑）；UNIST（蔚山科学技术院）
NeurIPS 2019 AutoDL挑战赛是一系列六项自动化机器学习竞赛。特别是，AutoCV的挑战主要集中在视觉领域的分类任务。本文介绍了AutoCLINT竞赛中的获胜方法。所提出的方法实现了自主训练策略，包括有效的代码优化，并应用自动数据增强来实现预训练网络的快速适应。我们实现了一个轻型版本的快速自动增强搜索数据增强政策有效地为任意给定的图像域。我们还根据经验分析了所提出的方法的组成部分，并提供了消融研究，重点是AutoCV数据集。
2020-05-09 cs.CV cs.LG
KeepAugment: A Simple Information-Preserving Data Augmentation Approach
University of Texas Austin（德克萨斯大学奥斯汀分校）；Facebook Inc（脸书公司）
数据增强（DA）是训练最先进的深度学习系统的基本技术。在本文中，我们的经验表明，数据增强可能会引入噪声增强的例子，从而损害在推理过程中的非增强数据的性能。为了缓解这个问题，我们提出了一个简单而高效的方法，被称为\emph{KeepAugment}，以增加增强图像的保真度。首先利用显著图检测原始图像上的重要区域，然后在增强过程中保留这些信息区域。这种信息保存策略使我们能够生成更忠实的训练样本。从经验上讲，我们证明了我们的方法显着改善了一些现有技术的数据增强方案，例如自动增强，剪切，随机擦除，实现有前途的结果图像分类，半监督图像分类，多视图多摄像机跟踪和目标检测。
2020-11-23 cs.CV
Efficient and Effective Augmentation Strategy for Adversarial Training
Indian Institute of Science（印度科学学院）；Indian Institute of Technology (BHU) Varanasi（印度理工学院（瓦拉纳西））
众所周知，与标准训练相比，深度神经网络的对抗性训练对数据的需求更大。此外，复杂的数据增强（如AutoAugment）在图像分类器的标准训练中获得了实质性的收益，但在对抗训练中并不成功。我们首先通过将训练过程中的增强视为领域泛化的问题来解释这种对比行为，并进一步提出了基于多样增强的联合对抗训练（DAJAT），以在对抗训练中有效地使用数据增强。我们的目标是通过在训练过程中使用简单和复杂的增强与单独的批量归一化层的组合来处理增强训练数据集的多样性和使用接近测试分布的数据进行训练的冲突目标。我们进一步利用流行的Jensen-Shannon发散损失来鼓励不同增强的联合学习，从而允许简单的增强来指导复杂增强的学习。最后，为了提高所提出方法的计算效率，我们提出并利用了一种两步防御，即上升约束对抗训练（ACAT），它使用了一个递增的时间表和权重空间平滑来防止梯度掩蔽。与ResNet-18和WideResNet-34-10上RobustBench排行榜上的现有方法相比，所提出的方法DAJAT实现了更好的鲁棒性-准确性权衡。实现DAJAT的代码可以在这里找到：https://github.com/val-iisc/DAJAT。
2022-10-27 cs.CV cs.LG
RangeAugment: Efficient Online Augmentation with Range Learning
Apple（苹果公司）；University of British Columbia（不列颠哥伦比亚大学）
现有技术的自动增强方法（例如，AutoAugment和RandAugment）使用大量增强操作使训练数据多样化。许多增强操作的幅度范围（例如，亮度和对比度）是连续的。因此，为了使搜索在计算上易于处理，这些方法对每个操作使用固定和手动定义的幅度范围，这可能导致次优策略。为了回答关于每个增强操作的幅度范围的重要性的公开问题，我们引入了RangeAugment，它允许我们有效地学习单个以及复合增强操作的幅度范围。RangeAugment使用基于图像相似性的辅助损失作为控制增强操作幅度范围的度量。因此，RangeAugment有一个用于搜索的标量参数，即图像相似度，我们只需通过线性搜索进行优化。RangeAugment可与任何模型无缝集成，并学习特定于模型和任务的增强策略。通过在不同网络的ImageNet数据集上进行广泛的实验，我们证明了RangeAugment与最先进的自动增强方法相比具有竞争力的性能，增强操作减少了4-5倍。在语义分割、目标检测、基础模型和知识蒸馏等方面的实验结果进一步验证了RangeAugment的有效性。
2022-12-20 cs.AI cs.CV cs.LG
Learning Optimal Data Augmentation Policies via Bayesian Optimization for Image Classification Tasks
Jilin University（吉林大学）
近年来，深度学习在计算机视觉、自然语言处理、语音识别等多个领域取得了令人瞩目的成就。充足的训练数据是保证深度模型有效性的关键。然而，获取有效数据需要大量的时间和人力资源。数据增强（DA）是一种有效的替代方法，它可以使用标签保持变换基于现有数据生成新的标签数据。虽然我们可以从DA中受益匪浅，但设计合适的DA策略需要大量的专家经验和时间消耗，并且搜索最优策略的评估是昂贵的。因此，本文提出了一个新的问题：如何以尽可能低的成本实现自动化的数据增强？我们提出了一种方法，名为BO-Aug的自动化过程中，通过使用贝叶斯优化方法找到最佳的DA政策。我们的方法可以以相对较低的搜索代价找到最优策略，并且基于特定数据集的搜索策略可以在不同的神经网络架构甚至不同的数据集之间转移。我们在三个广泛使用的图像分类数据集上验证了BO-Aug，包括CIFAR-10，CIFAR-100和SVHN。实验结果表明，该方法可以达到国家的最先进的或接近先进的分类精度。复制我们实验的代码可在https://github.com/zhangxiaozao/BO-Aug上获得。
2019-05-23 cs.CV cs.LG stat.ML
On the Generalization Effects of Linear Transformations in Data Augmentation
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究在过参数化线性回归中分析了线性变换对岭估计器的泛化效应，发现保留标签和混合数据分别通过扩大张成空间和正则化改善估计，并提出基于模型不确定性的增强方案，在图像和文本数据集上取得优异表现。
2023-07-26 cs.AI cs.CV cs.LG
GridMask Data Augmentation
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
本研究提出名为GridMask的结构化信息丢弃式数据增强方法，通过删除输入图像区域实现增强，在ImageNet、COCO2017、Cityscapes等多个视觉任务上性能优于高计算成本的AutoAugment，验证了其有效性与通用性。
2024-02-01 cs.CV
SelectAugment: Hierarchical Deterministic Sample Selection for Data Augmentation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
数据增强（DA）已被广泛研究，以促进在许多任务中的模型优化。然而，在大多数情况下，数据增强是以一定的概率对每个训练样本随机执行的，这可能导致内容破坏和视觉模糊。为了消除这一点，在本文中，我们提出了一种有效的方法，称为SelectAugment，选择样本，以确定性和在线的方式，根据样本的内容和网络的训练状态进行增强。具体来说，在每批中，我们首先确定增强比例，然后决定是否在此比例下对每个训练样本进行增强。我们将此过程建模为两步马尔可夫决策过程，并采用分层强化学习（HRL）来学习增强策略。这样，可以有效地减轻样本选取的随机性带来的负面影响，提高DA的有效性。大量的实验表明，我们提出的SelectAugment可以适应许多常用的DA方法，例如，Mixup、Cutmix、AutoAugment等，并在图像分类和细粒度图像识别的多个基准数据集上提高其性能。
2021-12-06 cs.CV
Robust and Accurate Object Detection via Adversarial Learning
Google（谷歌公司）；UCLA（加利福尼亚大学洛杉矶分校）；UCSC（加利福尼亚大学圣克鲁兹分校）
数据增强已成为训练高性能深度图像分类器的事实上的组件，但其潜力在目标检测中尚未得到充分开发。注意到大多数最先进的对象检测器受益于微调预训练的分类器，我们首先研究分类器如何从各种数据增强中获得的收益转移到目标检测。结果令人沮丧;在精确度或鲁棒性方面进行微调后，收益会减少。相反，这项工作通过探索对抗性示例来增强对象检测器的微调阶段，这可以被视为依赖于模型的数据增强。我们的方法动态地选择来自检测器的分类和定位分支的更强的对抗图像，并随着检测器的发展而发展，以确保增强策略保持当前和相关。这种依赖于模型的增强比AutoAugment更好地推广到不同的对象检测器，AutoAugment是一种基于一个特定检测器搜索的模型不可知的增强策略。在COCO目标检测基准测试中，我们的方法将最先进的EfficientDets的性能提高了+1.1 mAP。它还将检测器对自然失真的鲁棒性提高了+3.8 mAP，对域偏移的鲁棒性提高了+1.3 mAP。模型可在https://github.com/google/automl/tree/master/efficientdet/Det-AdvProp.md上获得
2021-03-26 cs.CV cs.LG
SuperMix: Supervising the Mixing Data Augmentation
West Virginia University（西弗吉尼亚大学）
本文提出了一种有监督的混合增强方法SuperMix，它利用输入图像中的显著区域来构造混合训练样本。SuperMix旨在获得具有丰富视觉特征并符合真实图像先验的混合图像。为了提高算法的效率，我们开发了一个变种的牛顿迭代法，$65\times$快于梯度下降在这个问题上。我们通过对对象分类和知识蒸馏两项任务的广泛评估和消融研究来验证SuperMix的有效性。在分类任务上，SuperMix提供了与高级增强方法（如AutoAugment和RandAugment）相当的性能。特别是，将SuperMix与RandAugment相结合，在ImageNet与ResNet 50上实现了78.2\%的top-1准确率。在蒸馏任务中，仅使用教师的知识对混合图像进行分类，可以实现与最先进的蒸馏方法相当的性能。此外，平均而言，将混合图像合并到蒸馏目标中，在CIFAR-100和ImageNet上的性能分别提高了3.4%和3.1%。{ \it代码可在https：//github.com/alldbi/SuperMix获得}。
2021-12-10 cs.CV
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley（加州大学伯克利分校）；BAIR（伯克利人工智能研究中心）；Weill Neurosciences Institute（威尔神经科学研究所）；UCSF（加州大学旧金山分校）
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后，该监督评估用于指导训练过程的关键方面，例如选择数据增强策略。然而，通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的（例如，在诸如医学成像的隐私敏感领域中可能是这种情况）。因此，在这项工作中，我们表明，评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价（秩相关$> 0.94$）。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性，并提供了一种算法（SelfAugment）来自动有效地选择增强策略，而无需使用监督评估。尽管没有使用任何标记的数据，学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Joint Search of Data Augmentation Policies and Network Architectures
The University of Tokyo（东京大学）；Preferred Networks inc.（Preferred Networks公司）
训练深度神经网络的常见管道由几个构建块组成，例如数据增强和网络架构选择。AutoML是一个旨在自动设计这些部分的研究领域，但大多数方法都是独立地探索每个部分，因为同时搜索所有部分更具挑战性。本文提出了一种数据增强策略和网络架构的联合优化方法，为训练管道的设计带来更多的自动化。我们方法的核心思想是使整个部分可微。该方法结合了用于增强策略搜索和网络架构搜索的可区分方法，以端到端的方式联合优化它们。实验结果表明，我们的方法取得了竞争力或独立搜索结果的优越性能。
2021-01-12 cs.CV cs.LG
Beyond Cropping and Rotation: Automated Evolution of Powerful Task-Specific Augmentations with Generative Models
Columbia University, New York, NY（哥伦比亚大学）；University of Washington, Seattle, WA（华盛顿大学）；Harvard University, Cambridge, MA（哈佛大学）
本文提出EvoAug，利用生成模型和进化算法自动化学习任务特定增强方法，提升模型鲁棒性和性能。
2026-02-03 cs.AI cs.CV
Greedy Policy Search: A Simple Baseline for Learnable Test-Time Augmentation
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Samsung-HSE Laboratory, National Research University Higher School of Economics（国立研究型大学高等经济学院三星-高等经济学院实验室）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
测试时数据增强$-$跨数据的多个增强样本对机器学习模型的预测进行平均$-$是一种广泛使用的技术，其提高了预测性能。虽然近年来出现了许多先进的可学习数据增强技术，但它们都集中在训练阶段。这种技术不一定是最佳的测试时间增强，可以优于由简单的作物和翻转的政策。本文的主要目标是证明测试时增强策略也可以成功地学习。我们介绍了贪婪策略搜索（GPS），一个简单但高性能的方法来学习测试时增强的政策。我们证明了用GPS学习的增强策略在图像分类问题上实现了卓越的预测性能，提供了更好的域内不确定性估计，并提高了对域偏移的鲁棒性。
2020-06-20 cs.CV cs.LG stat.ML
Improving Model Generalization by Agreement of Learned Representations from Data Augmentation
University of the Philippines（菲律宾大学）
数据增强通过强制模型在给定输入图像的不同变换的情况下学习不变表示来减少泛化误差。在计算机视觉中，除了标准图像处理功能之外，基于区域丢弃的数据增强技术（如CutOut、MixUp和CutMix）和基于策略的选择（如AutoAugment）也展示了最先进的（SOTA）结果。随着越来越多的数据增强算法被提出，焦点总是在优化输入-输出映射，而没有意识到在具有相同标签的变换图像中可能存在未利用的值。我们假设，通过强迫两个变换的表示一致，我们可以进一步减少模型的泛化误差。我们称我们提出的方法为协议最大化或简称为AgMax。通过在训练过程中应用这个简单的约束，经验结果表明，数据增强算法可以进一步提高ImageNet上ResNet 50的分类准确率高达1.5%，CIFAR 10上WideResNet 40 -2高达0.7%，CIFAR 100上WideResNet 40 -2高达1.6%，LeNet 5上语音命令数据集高达1.4%。实验结果进一步表明，与其他正则化项（如标签平滑）不同，AgMax可以利用数据增强来显著提高模型泛化能力。在PascalVOC和COCO上的目标检测和分割等下游任务中，AgMax预训练模型的性能优于其他数据增强方法，分别高达1.0mAP（框）和0.5mAP（掩模）。代码可在https://github.com/roatienza/agmax上获得。
2021-10-20 cs.CV
Improving Auto-Augment via Augmentation-Wise Weight Sharing
SenseTime Research（商汤科技研究院）；Beihang University（北京航空航天大学）；University of Sydney（悉尼大学）
自动搜索增强策略的最新进展大大提高了各种任务的性能。自动增强搜索的一个关键组成部分是对特定增强策略的评估过程，该过程用于返回奖励，通常运行数千次。简单的评估过程，包括完整的模型训练和验证，将是耗时的。为了提高效率，许多人选择牺牲评估的可靠性来换取速度。在本文中，我们深入研究了模型增强训练的动态。这启发我们设计一个基于增强权重共享（AWS）的强大而高效的代理任务，以优雅的方式形成快速而准确的评估过程。综合分析验证了该方法在有效性和效率方面的优越性。与现有的自动增强搜索方法相比，我们的方法发现的增强策略实现了更高的精度。在CIFAR-10上，我们实现了1.24%的top-1出错率，这是目前在没有额外训练数据的情况下表现最好的单一模型。在ImageNet上，我们得到ResNet-50的top-1出错率为20.36%，这使得基线增强的绝对出错率降低了3.34%。
2020-10-22 cs.CV cs.LG stat.ML
Affinity and Diversity: Quantifying Mechanisms of Data Augmentation
Google Brain（谷歌大脑）；Google（谷歌）
虽然数据增强已经成为深度神经网络训练的标准组件，但这些技术有效性背后的潜在机制仍然知之甚少。在实践中，扩增策略通常使用分布偏移或扩增多样性来选择。受此启发，我们试图量化数据增强如何提高模型泛化。为此，我们引入了可解释和易于计算的度量：亲和力和多样性。我们发现，增强性能的预测，而不是由这些单独的，但通过联合优化这两个。
2020-06-04 cs.CV cs.LG stat.ML
DDA: Dimensionality Driven Augmentation Search for Contrastive Learning in Laparoscopic Surgery
the University of Melbourne（墨尔本大学）；St Vincent’s Hospital Melbourne（墨尔本圣文森特医院）
本文提出维度驱动增强搜索方法DDA，利用深度表示局部维度作为代理目标，在对比学习中自动搜索腹腔镜手术图像的合适增强策略，并在三个分类与分割任务上显著优于现有基线。
2024-06-06 cs.CV cs.LG
RandAugment: Practical automated data augmentation with a reduced search space
Google Research（谷歌研究院）
最近的研究表明，数据增强有可能显著提高深度学习模型的泛化能力。最近，自动增强策略已经在图像分类和目标检测中产生了最先进的结果。虽然这些策略被优化以提高验证准确性，但它们也导致了半监督学习的最新结果，并提高了对常见图像损坏的鲁棒性。大规模采用这些方法的一个障碍是单独的搜索阶段，这增加了训练复杂性，并可能大大增加计算成本。此外，由于单独的搜索阶段，这些方法无法根据模型或数据集大小调整正则化强度。自动增强策略通常通过在小数据集上训练小模型来发现，并随后应用于训练更大的模型。在这项工作中，我们消除了这两个障碍。RandAugment具有显著减少的搜索空间，这使得它可以在目标任务上进行训练，而不需要单独的代理任务。此外，由于参数化，正则化强度可以针对不同的模型和数据集大小进行定制。RandAugment可以在不同的任务和数据集上统一使用，并且开箱即用，匹配或超越了CIFAR-10/100，SVHN和ImageNet上所有以前的自动增强方法。在ImageNet数据集上，我们实现了85.0%的准确率，比之前的最先进水平提高了0.6%，比基线增强提高了1.0%。在目标检测方面，RandAugment比基线增强提高了1.0-1.3%，并且在COCO上的AutoAugment的0.3% mAP范围内。最后，由于其可解释的超参数，RandAugment可用于研究具有不同模型和数据集大小的数据增强的作用。…
2019-11-14 cs.CV
Learning to Augment Synthetic Images for Sim2Real Policy Transfer
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；École normale supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
视觉和学习已经取得了重大进展，可以改善复杂任务和环境的机器人策略。然而，学习用于图像理解的深度神经网络需要大量特定于领域的视觉数据。虽然从真实机器人收集这些数据是可能的，但这种方法限制了可扩展性，因为学习策略通常需要数千次试验。在这项工作中，我们试图在模拟环境中学习操纵策略。模拟器支持可扩展性，并在训练期间提供对底层世界状态的访问。然而，由于真实数据和合成数据之间的域差距，在模拟器中学习的策略不能很好地转移到真实场景中。我们遵循最近的工作域随机化和增强合成图像序列的随机变换。我们的主要贡献是优化了sim2real传输的增强策略，并实现了与域无关的策略学习。我们设计了一个有效的搜索深度图像增强使用对象定位作为代理任务。给定随机变换的结果序列，我们在策略学习期间使用它来增强合成深度图像。我们的增强策略是独立于策略的，并且在没有真实图像的情况下实现策略学习。我们展示了我们的方法，以显着提高准确性的三个操作任务评估一个真正的机器人。
2019-07-30 cs.CV cs.LG stat.ML
Meta Approach to Data Augmentation Optimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
数据增强策略可以大幅提高图像识别任务的性能，尤其是当策略针对目标数据和任务进行优化时。在本文中，我们提出了优化图像识别模型和数据增强的政策，同时提高性能使用梯度下降。与以往的方法不同，我们的方法避免了使用代理任务或减少搜索空间，并可以直接提高验证性能。我们的方法实现了有效的和可扩展的训练近似的隐式梯度的政策与诺依曼级数近似的梯度。我们证明了我们的方法可以提高各种图像分类任务的性能，包括ImageNet分类和细粒度识别，而不需要使用特定于机器人的超参数调整。
2020-06-14 cs.CV
DAAS: Differentiable Architecture and Augmentation Policy Search
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
神经结构搜索（NAS）是自动机器学习（Auto-ML）的一个活跃方向，旨在探索高效的网络结构。通过在具有固定数据增强策略的数据集上进行训练来评估所搜索的架构。然而，最近的自动增强工作表明，合适的增强策略可以根据不同的结构而变化。因此，这项工作考虑了可能的耦合之间的神经架构和数据增强，并提出了一种有效的算法联合搜索它们。具体而言，针对NAS任务，采用基于单路径的可微方法和Gumbel-softmax重参数化策略，以提高内存效率;针对自动增强任务，采用基于策略梯度算法的搜索方法，显著降低计算复杂度。我们的方法在CIFAR-10上达到了97.91%的准确率，在ImageNet数据集上达到了76.6%的Top-1准确率，显示了我们搜索算法的出色性能。
2022-01-28 cs.CV cs.LG
ActiveAugment: Online Active Learning for Augmentation Selection in Deep Learning
Pioneer Centre for AI（先锋人工智能中心）；University of Copenhagen（哥本哈根大学）
ActiveAugment是将增强选择视为在线主动学习的统一框架，在多领域基准数据集上，它优于多种现有增强策略，尤其在低标注预算和医学成像场景中表现突出，具备强跨域适应性。
2026-09-01 cs.AI cs.CV
Learning Tree-Structured Composition of Data Augmentation
Northeastern University（东北大学）
提出一种二叉树结构的数据增强组合搜索算法，将复杂度从$O(k^d)$降至$O(2^d k)$，在图和图像数据集上计算成本降低43%且性能提升4.3%，并能解释变换的相对重要性。
2024-08-26 cs.CV cs.DS cs.LG
ExAug: Robot-Conditioned Navigation Policies via Geometric Experience Augmentation
UC Berkeley（加州大学伯克利分校）；Toyota Motor North America（丰田汽车北美公司）
机器学习技术依赖于大型且多样化的数据集进行泛化。计算机视觉、自然语言处理和其他应用程序通常可以重用公共数据集来训练许多不同的模型。然而，由于物理配置的差异，利用公共数据集在新的机器人平台或新的任务上训练机器人控制策略是具有挑战性的。在这项工作中，我们提出了一个新的框架，ExAug，以增强不同环境中多个数据集的不同机器人平台的经验。ExAug利用了一个简单的原则：通过以点云的形式提取3D信息，我们可以创建更复杂和结构化的增强，利用生成合成图像和几何感知惩罚，这将适用于不同机器人的相同情况，具有不同的大小，转弯半径和摄像头放置。在两个新的机器人平台上，三个不同的摄像头在室内和室外环境中的障碍物的训练政策进行评估。
2022-10-14 cs.AI cs.CV cs.LG
AROID: Improving Adversarial Robustness Through Online Instance-Wise Data Augmentation
King’s College London（伦敦国王学院）；Imperial College London（帝国理工学院）；University of Luxembourg（卢森堡大学）
本研究提出首个针对对抗鲁棒性的自动化数据增强方法AROID，通过在线逐实例学习增强策略，大幅降低搜索成本，在多种架构和数据集上优于现有方法，还可与先进对抗训练结合进一步提升鲁棒性。
2024-08-14 cs.AI cs.CV cs.LG
R2RDreamer: 3D-aware Data Augmentation for Spatially-generalized 2D Manipulation Policies
Tsinghua University（清华大学）；BUPT（北京邮电大学）；GigaAI（极佳科技）
提出R2RDreamer框架，通过轻量级3D编辑和2D视频补全，从少量真实演示生成几何一致的增强数据，提升2D操作策略的空间泛化能力。
2026-06-16 cs.CV cs.RO
OnlineAugment: Online Data Augmentation with Less Domain Knowledge
Rutgers University（罗格斯大学）；IBM Research AI（IBM人工智能研究院）
数据增强是训练现代深度神经网络的最重要工具之一。近年来，在图像分类领域中寻找最优增强策略的研究取得了很大进展。然而，与数据增强相关的两个关键点仍然未被当前方法所发现。首先，大多数（如果不是所有的话）现代增强搜索方法都是离线的，学习策略与其使用无关。学习的策略在整个训练过程中大多是恒定的，并且不适应当前的训练模型状态。其次，这些策略依赖于类保持图像处理功能。因此，将当前离线方法应用于新任务可能需要领域知识来指定此类操作。在这项工作中，我们提供了一个正交的在线数据增强计划连同三个新的增强网络，共同训练的目标学习任务。它既更有效，因为它在进入新领域时不需要昂贵的离线训练，也更适应学习者状态。我们的增强网络需要更少的领域知识，并且很容易适用于新任务。大量的实验表明，所提出的方案单独执行与国家的最先进的离线数据增强方法，以及改进后的国家的最先进的结合这些方法。代码可在https://github.com/zhiqiangdon/online-augment上获得。
2020-08-22 cs.CV
CoViews: Adaptive Augmentation Using Cooperative Views for Enhanced Contrastive Learning
Higher National School of Computer Science (ESI ex INI)（高等国家计算机科学学院（原国家信息学院））
针对对比学习中视图增强缺乏协作、依赖监督评估或限制不可微变换的问题，提出含IndepViews和CoViews的自适应增强框架，无需监督即可生成高效样本对，显著提升对比学习性能。
2024-05-12 cs.CV
Learning Data Augmentation Strategies for Object Detection
Google Research（谷歌研究院）
数据增强是训练深度学习模型的关键组成部分。虽然数据增强已被证明可以显着改善图像分类，但其潜力尚未被彻底研究用于目标检测。考虑到为目标检测注释图像的额外成本，数据增强对于该计算机视觉任务可能甚至更重要。在这项工作中，我们研究了数据增强对目标检测的影响。我们首先证明，从图像分类借用的数据增强操作可能有助于训练检测模型，但改进是有限的。因此，我们研究如何学习，专门的数据增强政策提高检测模型的泛化性能。重要的是，这些增强策略只影响训练，并在评估期间保持训练模型不变。COCO数据集上的实验表明，优化的数据增强策略将检测精度提高了+2.3 mAP以上，并允许单个推理模型达到50.7 mAP的最新精度。重要的是，在COCO上找到的最佳策略可以不加改变地转移到其他检测数据集和模型，以提高预测准确性。例如，COCO确定的最佳增强策略将PASCAL-VOC的强基线提高了+2.7 mAP。我们的研究结果还表明，学习增强策略优于最先进的架构正则化方法的目标检测，即使在考虑强基线。使用所学策略进行培训的代码可在https://github.com/tensorflow/tpu/tree/master/models/official/detection上在线获取
2019-06-26 cs.CV cs.LG
Scale-aware Automatic Augmentation for Object Detection
The Chinese University of Hong Kong（香港中文大学）；ByteDance AI Lab（字节跳动人工智能实验室）；SmartMore
我们提出了尺度感知AutoAug学习数据增强策略的目标检测。我们定义了一个新的尺度感知的搜索空间，其中图像和框级增强的目的是保持规模不变性。在这个搜索空间上，我们提出了一个新的搜索度量，称为帕累托尺度平衡，以促进高效率的搜索。在实验中，Scale-aware AutoAug对各种对象检测器（例如，RetinaNet，Faster R-CNN，Mask R-CNN和FCOS），甚至与强大的多尺度训练基线相比。我们搜索的增强策略可转移到目标检测之外的其他数据集和框级任务（例如，实例分割和关键点估计）以提高性能。搜索成本远低于以前的自动增强方法的目标检测。值得注意的是，我们搜索的策略具有有意义的模式，这直观地为人类数据增强设计提供了有价值的见解。代码和模型将在https://github.com/Jia-Research-Lab/SA-AutoAug上提供。
2021-03-31 cs.CV
Efficient Training of Generalizable Visuomotor Policies via Control-Aware Augmentation
Beijing Institute of Technology（北京理工大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
针对具身智能中视觉运动策略泛化难、现有增强易破坏任务信息的问题，提出EAGLE框架，通过控制感知区域增强与专家知识蒸馏实现高效训练，经多基准实验验证有效。
2025-03-21 cs.CV cs.RO
Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning
Tsinghua University（清华大学）；Hongkong University（香港大学）；Standford University（斯坦福大学）
视觉强化学习（RL）的关键挑战之一是学习可以推广到不可见环境的策略。最近，旨在增强数据多样性的数据增强技术在提高学习策略的泛化能力方面已经证明了其性能。然而，由于RL训练的敏感性，天真地应用数据增强（其以任务不可知的方式变换每个像素）可能遭受不稳定性并损害样本效率，从而进一步恶化泛化性能。这种现象的核心是在面对增强图像时的发散动作分布和高方差值估计。为了缓解这个问题，我们提出了任务感知的Lipschitz数据增强（TLDA）的视觉RL，明确识别任务相关的像素与大Lipschitz常数，只增加任务无关的像素。为了验证TLDA的有效性，我们对DeepMind Control套件、CARLA和DeepMind Manipulation任务进行了大量实验，结果表明TLDA在训练时间和测试时间都提高了样本效率。它在3个不同的视觉控制基准测试中优于以前的最先进的方法。
2022-02-22 cs.CV cs.LG
Adaptive Augmentation Policy Optimization with LLM Feedback
本文提出利用大语言模型反馈动态优化数据增强策略，通过迭代调整增强变换，在降低计算成本的同时提升特定领域图像分类的准确性。
2025-08-04 cs.CV
Auto Machine Learning for Medical Image Analysis by Unifying the Search on Data Augmentation and Neural Architecture
Sichuan University（四川大学）
自动数据增强是近年来研究的热点，其目的是自动制定工程增强策略。许多以前的自动增强方法利用密度匹配策略，通过评估测试时增强性能方面的政策。在本文中，我们从理论上和经验证明之间的不一致性的训练和验证集的小规模医学图像数据集，称为域内采样偏差。接下来，我们证明了域内采样偏差可能导致密度匹配的效率低下。针对这一问题，提出了一种改进的增广搜索策略--增广密度匹配（Augmented Density Matching），该策略从先验分布中随机抽取策略进行训练。此外，通过统一数据增强和神经结构的搜索，提出了一种高效的自动机器学习（AutoML）算法。实验结果表明，所提出的方法优于最先进的方法MedMNIST，一个开创性的基准设计的AutoML在医学图像分析。
2022-07-21 cs.CV
A Survey of Automated Data Augmentation Algorithms for Deep Learning-based Image Classification Tasks
The University of Melbourne（墨尔本大学）
近年来，计算机视觉社区中最流行的技术之一是深度学习技术。作为一种数据驱动的技术，深度模型需要大量准确标记的训练数据，这在许多现实世界的应用中通常是不可访问的。数据空间解决方案是数据增强（DA），它可以从原始样本中人工生成新图像。图像增强策略可能因数据集而异，因为不同的数据类型可能需要不同的增强来促进模型训练。然而，DA策略的设计在很大程度上取决于人类专家的领域知识，这被认为是高度主观和容易出错。为了缓解这样的问题，一个新的方向是使用自动数据增强（AutoDA）技术从给定的数据集中自动学习图像增强策略。AutoDA模型的目标是找到最佳的DA策略，可以最大限度地提高模型的性能收益。本综述从图像分类的角度探讨了AutoDA技术出现的深层原因。我们确定了一个标准的AutoDA模型的三个关键组成部分：一个搜索空间，搜索算法和评估功能。基于他们的架构，我们提供了一个系统的分类现有的图像AutoDA方法。本文介绍了AutoDA领域的主要工作，讨论了它们的优点和缺点，并提出了未来改进的几个潜在方向。
2022-10-06 cs.CV
Augmentation Pathways Network for Visual Recognition
JD Explore Academy（京东探索研究院）；Harbin Institute of Technology（哈尔滨工业大学）
数据增强实际上有助于视觉识别，特别是在数据稀缺的时候。然而，这样的成功仅限于相当多的轻度增强（例如，随机裁剪、翻转）。由于原始图像和增强图像之间的巨大差距，重度增强要么不稳定，要么在训练过程中显示出不利影响。本文介绍了一种新的网络设计，称为增强路径（AP），以系统地稳定更广泛的增强策略的训练。值得注意的是，AP驯服各种沉重的数据增强和稳定地提高性能，而无需在增强策略中仔细选择。与传统的单一通路不同，增强图像在不同的神经通路中处理。主要途径处理轻的增强，而其他途径则专注于较重的增强。通过以依赖的方式与多条路径交互，骨干网络鲁棒地从增强之间共享的视觉模式中学习，同时抑制了大量增强的副作用。此外，我们将AP扩展到高阶版本的高阶场景，在实际使用中展示了它的鲁棒性和灵活性。ImageNet上的实验结果证明了在更广泛的增强上的兼容性和有效性，同时在推理时消耗更少的参数和更低的计算成本。
2023-03-16 cs.CV
Directional Self-supervised Learning for Heavy Image Augmentations
JD AI Research（京东人工智能研究院）；Peking University（北京大学）
尽管有大量的增强家族，只有少数精选的鲁棒增强策略有利于自监督图像表示学习。在本文中，我们提出了一种定向自监督学习范式（DSSL），它与更多的增强兼容。具体来说，我们适应重增强政策后，轻轻地增加了标准增强的意见，以产生更难的看法（HV）。HV通常比轻度增强的标准视图（SV）与原始图像有更高的偏差。与以往的方法一样，DSSL将同一实例的增强视图视为偏序集合（方向为SV $\leftrightarrow $ SV，SV $\leftarrow$ HV），然后根据视图间的关系构造方向目标函数. DSSL可以用几行代码轻松实现，并且对流行的自监督学习框架（包括Simplified，SimSiam，BYOL）具有高度灵活性。在CIFAR和ImageNet上的大量实验结果表明，DSSL可以稳定地改善各种基线，并兼容更广泛的增强。
2021-11-29 cs.CV
