Albumentations: fast and flexible image augmentations
MapBox；Level5 Engineering, Lyft Inc（Lyft公司Level5工程部门）；University of Michigan（密歇根大学）
数据增强是一种常用的技术，用于通过利用保留输出标签的输入转换来增加标记训练集的大小和多样性。在计算机视觉领域，图像增强已经成为一种常见的隐式正则化技术，用于对抗深度卷积神经网络中的过拟合，并且被普遍用于提高性能。虽然大多数深度学习框架都实现了基本的图像变换，但该列表通常限于翻转、旋转、缩放和裁剪的一些变化和组合。此外，在现有的图像增强工具中，图像处理速度不同。我们提出了Albumentations，一个快速灵活的图像增强库，具有许多不同的图像变换操作，这也是一个易于使用的包装器周围的其他增强库。我们为不同的计算机视觉任务提供了图像增强的例子，并表明Albumentations在大多数常用的图像变换上比其他常用的图像增强工具更快。Albumentations的源代码可在https://github.com/albu/albumentations上在线公开获取
2018-09-18 cs.CV
Exploring Token-Level Augmentation in Vision Transformer for Semi-Supervised Semantic Segmentation
South China University of Technology（华南理工大学）；Pengcheng Laboratory（鹏城实验室）；China Tobacco Guangdong Industrial Corporation（广东中烟工业有限责任公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出TokenMix令牌级数据增强和双分支框架，解决Vision Transformer在半监督语义分割中的适应性问题，并在多个基准上取得领先精度。
2025-03-10 cs.CV
Dreaming More Data: Class-dependent Distributions over Diffeomorphisms for Learned Data Augmentation
Technical University of Denmark（丹麦技术大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
数据增强是训练高维模型的关键要素。在这种方法中，通过对原始训练数据应用预先指定的变换来合成新的观测;例如，通过旋转旧图像形成新图像。然而，当前的增强方案依赖于所应用的转换的手动规范，使得数据增强成为特征工程的隐式形式。着眼于真正的端到端学习，我们建议在每个类的基础上学习应用的转换。特别是，我们在图像之间的空间变换属于一大类微分同胚的假设下对齐每个类内的图像对。然后，我们学习一个类特定的概率生成模型的变换李群的黎曼子流形的同态。我们证明了在训练深度神经网络方面比手动指定的增强方案有显着的性能改进。我们的代码和增强数据集可在线获取。
2016-06-30 cs.CV
Data Augmentation Vision Transformer for Fine-grained Image Classification
最近，视觉Transformer（ViT）在图像识别方面取得了突破。它的自注意力机制（MSA）可以提取不同像素块的区分性标记信息，以提高图像分类精度。然而，在其深层的分类标记往往忽略层之间的局部特征。此外，嵌入层将是固定大小的像素块。输入网络不可避免地会引入额外的图像噪声。为此，研究了一种基于数据增强的数据增强视觉Transformer（DAVT），提出了一种用于注意力裁剪的数据增强方法，该方法以注意力权重作为裁剪图像的指导，提高了网络学习关键特征的能力。其次，我们还提出了一个层次化的注意力选择（HAS）方法，通过过滤和融合水平之间的标签，提高了区分标记的能力的学习水平。在CUB-200-2011和Stanford Dogs两个通用数据集上的实验结果表明，该方法的准确率优于现有主流方法，比原始ViT分别提高了1.4%和1.6%
2022-11-24 cs.CV
Multiview Detection with Shadow Transformer (and View-Coherent Data Augmentation)
Australian National University（澳大利亚国立大学）
多视点检测结合多个摄像机视点来处理遮挡问题，其核心问题是多视点融合。给定从多个视图到公共地平面上的特征映射投影，最先进的方法通过卷积来解决这个问题，无论对象位置如何，卷积都应用相同的计算。然而，这种投影不变的行为可能不是最好的选择，因为对象特征根据其位置和相机经历各种投影失真。在本文中，我们提出了一种新的多视图检测器，MVDeTr，采用新引入的阴影Transformer聚合多视图信息。与卷积不同，阴影Transformer在不同的位置和相机上以不同的方式参与，以处理各种类似阴影的扭曲。我们提出了一个有效的训练方案，其中包括一个新的视图相干数据增强方法，它适用于随机增强，同时保持多视图的一致性。在两个多视图检测基准，我们报告新的国家的最先进的精度与建议的系统。代码可在https://github.com/hou-yz/MVDeTr上获得。
2021-08-12 cs.CV
Adversarial Learning of General Transformations for Data Augmentation
École de Technologie Supérieure（高等工程技术学院）；Element AI
数据增强（DA）是大型卷积神经网络中防止过拟合的基础，特别是在训练数据集有限的情况下。在图像中，DA通常基于启发式变换，如几何或颜色变换。我们的工作不是使用预定义的变换，而是通过学习使用与空间Transformer网络相结合的编码器-解码器架构来变换图像，直接从训练数据中学习数据增强。变换后的图像仍然属于同一类，但对于分类器来说是新的、更复杂的样本。我们的实验表明，我们的方法是优于以前的生成数据增强方法，并与预定义的变换方法训练图像分类器。
2019-09-21 cs.CV stat.ML
Learning Transferable Object-Centric Diffeomorphic Transformations for Data Augmentation in Medical Image Segmentation
Rochester Institute of Technology（罗切斯特理工学院）；West Virginia University（西弗吉尼亚大学）；Qualcomm Inc（高通公司）
针对医学图像分割数据标注困难，提出以对象为中心的微分同胚变换增强模型，学习形状变化并原位增强，跨数据集迁移有效提升肾脏肿瘤分割。
2023-07-25 cs.CV
ScoreNet: Learning Non-Uniform Attention and Augmentation for Transformer-Based Histopathological Image Classification
EPFL（洛桑联邦理工学院）；CHUV（洛桑大学附属医院）；CIBM（生物医学成像中心）
数字病理学的进展受到高分辨率图像和详尽的本地化注释的高昂成本的阻碍。病理图像分类的常用范例是基于块的处理，其通常结合多实例学习（MIL）来聚合局部块级表示，从而产生图像级预测。尽管如此，诊断相关区域可能只占整个组织的一小部分，并且当前基于MIL的方法通常均匀地处理图像，丢弃斑块间的相互作用。为了缓解这些问题，我们提出了ScoreNet，一个新的高效的Transformer，利用可区分的推荐阶段，提取有区别的图像区域，并相应地专用计算资源。建议的Transformer利用本地和全球的注意力的一些动态推荐的高分辨率区域在一个有效的计算成本。我们进一步引入了一种新的混合数据增强，即ScoreMix，利用图像的语义分布来指导数据混合，并产生连贯的样本标签对。ScoreMix非常简单，并且减轻了以前增强的缺陷，这些缺陷假设了统一的语义分布并冒着错误标记样本的风险。对苏木精和伊红（H&E）的三个乳腺癌组织学数据集的彻底实验和消融研究已经验证了我们的方法相对于现有技术的优越性，包括基于变换器的肿瘤感兴趣区域（TRoI）分类模型。配备了建议的ScoreMix增强的ScoreNet展示了更好的泛化能力，并实现了新的最先进的（SOTA）结果，与其他混合增强变体相比，只有50%的数据。最后，ScoreNet具有高效率，优于SOTA高效Transformers，即TransPath和SwinTransfo…
2022-07-18 cs.CV
Convolutional Neural Network Committees for Melanoma Classification with Classical And Expert Knowledge Based Image Transforms Data Augmentation
Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）；Hospital Universitário Pedro Ernesto（佩德罗·埃内斯托大学医院）；Universidade Estadual do Rio de Janeiro（里约热内卢州立大学）
皮肤癌是一个主要的公共卫生问题，是最常见的癌症类型，占全球癌症诊断的一半以上。早期发现影响疾病的结果，并激励我们的工作。我们调查了CNN委员会的组成和ISBI 2017黑色素瘤分类挑战（名为皮肤病变分析对黑色素瘤检测）的数据增强，面临着处理这样一个小的，不平衡的生物数据库的特殊性。为此，我们探索了在ISBI挑战训练数据集上训练的卷积神经网络的委员会，该训练数据集通过经典图像处理变换和由关于病变轴的专业知识指导的图像扭曲来人工增强，并提高了最终分类器对常见黑色素瘤变化的不变性。
2017-03-15 cs.CV
Global Average Feature Augmentation for Robust Semantic Segmentation with Transformers
Volkswagen AG（大众汽车集团）；NVIDIA（英伟达）
本文提出通道级特征增强（CWFA）技术，通过全局估计扰动提升视觉Transformer在语义分割中的鲁棒性，在Cityscapes和ADE20K上显著增强抗噪能力且不影响干净数据性能。
2024-12-14 cs.CV
Data Augmentation for Skin Lesion Analysis
University of Campinas (Unicamp)（坎皮纳斯大学）；Federal Fluminense University (UFF)（里约热内卢联邦弗鲁米嫩塞大学）
深度学习模型在自动皮肤病变分析中显示出显著的效果。然而，这些模型需要大量的数据，而注释的皮肤病变图像的可用性往往是有限的。数据增强可以通过变换输入图像来扩展训练数据集。在这项工作中，我们研究了13个数据增强场景对在三个CNN（Inception-v4，ResNet和DenseNet）上训练的黑色素瘤分类的影响。场景包括传统的颜色和几何变换，以及更不寻常的增强，如弹性变换，随机擦除和混合不同病变的新型增强。我们还探讨了在测试时使用数据增强以及数据增强对各种数据集大小的影响。我们的研究结果证实了数据增强在训练和测试中的重要性，并表明它可以带来比获得新图像更多的性能增益。在不使用外部数据的情况下，黑色素瘤分类的最佳方案的AUC为0.882，优于ISIC Challenge 2017的顶级提交（0.874），后者使用额外的数据进行训练。
2018-09-05 cs.CV
A Shape Transformation-based Dataset Augmentation Framework for Pedestrian Detection
UBTECH Sydney Artificial Intelligence Centre, The University of Sydney（悉尼大学优必选悉尼人工智能中心）；The University of Sydney（悉尼大学）
基于深度学习的计算机视觉通常需要大量数据。许多研究人员试图用合成数据来增强数据集，以提高模型的鲁棒性。然而，流行的行人数据集（如加州理工学院和Citypersons）的增强可能极具挑战性，因为真实的行人通常质量较低。由于遮挡、模糊和低分辨率等因素，现有的增强方法（通常使用3D引擎或生成对抗网络（GANs）合成数据）很难生成逼真的行人。或者，为了访问更自然的行人，我们建议通过将同一数据集的真实行人转换为不同的形状来增强行人检测数据集。因此，我们提出了基于形状变换的数据集增强（STDA）框架。该框架由两个后续模块组成，即形状引导变形和环境适应。在第一个模块中，我们引入了一个形状引导的扭曲场，以帮助将真实行人的形状变形为不同的形状。然后，在第二阶段，我们提出了一个环境感知的混合地图，以更好地适应变形的行人到周围的环境，获得更真实的行人和更有益的增强结果的行人检测。对不同行人检测基准的广泛实证研究表明，所提出的STDA框架始终产生更好的增强效果比其他行人合成方法使用低质量的行人。通过增强原始数据集，我们提出的框架还将基线行人检测器在评估基准上提高了38%，实现了最先进的性能。
2019-12-15 cs.CV
Soft Augmentation for Image Classification
Argo AI
本文提出软增强方法，使学习目标随图像变换强度非线性软化，从而支持更激进增强并提升准确率、遮挡鲁棒性与校准性。
2024-01-23 cs.CV
Data augmentation using learned transformations for one-shot medical image segmentation
MIT（麻省理工学院）；MGH（麻省总医院）
图像分割是许多医学应用中的重要任务。基于卷积神经网络的方法达到了最先进的精度;然而，它们通常依赖于大型标记数据集的监督训练。标记医学图像需要大量的专业知识和时间，并且用于数据增强的典型的手动调整方法无法捕获这种图像中的复杂变化。我们提出了一个自动化的数据增强方法合成标记的医学图像。我们证明了我们的方法分割磁共振成像（MRI）脑扫描的任务。我们的方法只需要一个分段扫描，并利用其他未标记的扫描在半监督的方法。我们从图像中学习一个变换模型，并使用该模型和标记的示例来合成其他标记的示例。每个变换由空间变形场和强度变化组成，能够合成复杂的效果，例如解剖结构和图像采集过程中的变化。我们表明，用这些新的例子训练一个监督分割器，比最先进的一次性生物医学图像分割方法有了显着的改进。我们的代码可在https://github.com/xamyzhao/brainstorm上获得。
2019-04-06 cs.CV
MGAug: Multimodal Geometric Augmentation in Latent Spaces of Image Deformations
University of Virginia（弗吉尼亚大学）
本文提出MGAug模型，首次在微分同胚潜在空间中用高斯混合先验建模多模态几何变换，并通过VAE采样形变图像进行增强，在2D分类和3D脑MRI分割上优于现有方法。
2025-03-09 cs.CV
Disentangling the Effects of Data Augmentation and Format Transform in Self-Supervised Learning of Image Representations
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
本文通过提出 Fourier Domain Augmentations（FDA）并区分格式变换与数据增强，证明二者结合可提升视觉自监督表征在 ImageNet-1K、少样本及迁移学习任务中的表现。
2023-12-02 cs.CV cs.LG
RLE: A Unified Perspective of Data Augmentation for Cross-Spectral Re-identification
Xiamen University（厦门大学）；Tencent（腾讯）
本文提出统一视角下的随机线性增强（RLE）数据增强策略，含适度与激进两种变换，有效提升跨光谱重识别性能。
2024-11-02 cs.CV
Geometric Data Augmentation Based on Feature Map Ensemble
NTT Corporation（日本电报电话公司）；Tokyo Institute of Technology（东京工业大学）
深度卷积网络已经成为计算机视觉应用的主流。尽管CNN在许多计算机视觉任务中取得了成功，但它也并非没有缺点。CNN的性能会因几何变换（如大旋转）而显著降低。在本文中，我们提出了一种新的CNN架构，可以提高对几何变换的鲁棒性，而无需修改其CNN的现有骨干。关键是用几何变换（以及相应的逆变换）和特征图集成来封装现有的主干。所提出的方法可以继承到目前为止已经提出的现有CNN的优点。此外，所提出的方法可以与最先进的数据增强算法相结合，以提高其性能。我们使用标准数据集，如CIFAR，CUB-200和Mnist-rot-12 k证明了所提出的方法的有效性。
2021-07-22 cs.CV
Data augmentation with Mobius transformations
Stanford University（斯坦福大学）；Chalmers University of Technology（查尔姆斯理工大学）
数据增强已经导致深度模型的性能和泛化方面的实质性改进，并且仍然是一种高度适应不断发展的模型架构和变化的数据量的方法-特别是非常稀缺的可用训练数据。在本文中，我们提出了一种新的方法，在训练过程中应用Mobius变换来增强输入图像。麦比乌斯变换是双射共形映射，其将图像平移推广到在像素空间中的复杂反转上操作。因此，Mobius变换可以在样本级别上操作并保留数据标签。我们表明，在训练过程中包含莫比乌斯变换，可以提高泛化能力，优于先前的样本级数据增强技术，如剪切和标准的裁剪和翻转变换，特别是在低数据状态下。
2020-06-07 cs.CV cs.LG
TeachAugment: Data Augmentation Optimization Using Teacher Knowledge
Denso IT Laboratory, Inc.（电装信息技术实验室有限公司）
已经深入研究了用于数据增强目的的图像变换函数的优化。特别是，对抗性数据增强策略，即搜索增强最大化任务损失，在许多任务的模型泛化方面显示出显着的改进。然而，现有的方法需要仔细的参数调整，以避免过于强烈的变形，带走图像特征的关键获取泛化。在本文中，我们提出了一种基于对抗策略的数据增强优化方法，称为TeachAugment，它可以产生信息转换图像的模型，而不需要仔细调整，通过利用教师模型。具体地，搜索增强，使得增强图像对于目标模型是对抗性的，并且对于教师模型是可识别的。我们还提出了使用神经网络的数据增强，这简化了搜索空间的设计，并允许更新的数据增强使用梯度方法。我们表明，TeachAugment在图像分类，语义分割和无监督表示学习任务的实验中优于现有的方法。
2022-03-28 cs.CV
Hyperspectral data augmentation with transformer-based diffusion models
University of Trento（特伦托大学）
提出一种基于引导扩散模型和轻量级Transformer的高光谱数据增强方法，通过改进损失函数和方差调度器，在PRISMA卫星10类森林分类任务中优于其他增强技术。
2025-10-09 cs.CV
Maximizing Generalization: The Effect of Different Augmentation Techniques on Lightweight Vision Transformer for Bengali Character Classification
Department of Computer Science and Engineering, Islamic University of Technology, Gazipur 1704, Bangladesh（计算机科学与工程系，伊斯兰科技大学，加兹ipur 1704，孟加拉国）
本研究探讨了不同增强技术对轻量视觉变换器在孟加拉字符分类中的影响，发现随机仿射变换与颜色抖动组合效果最佳。
2026-03-03 cs.CV
AdvST: Revisiting Data Augmentations for Single Domain Generalization
University of Virginia（弗吉尼亚大学）；Iowa State University（爱荷华州立大学）
本文提出AdvST方法，将带可学习参数的标准数据增强概念化为语义变换，通过对抗学习优化分布鲁棒目标，在多个数据集上实现了最优的单域泛化性能。
2024-02-14 cs.CV
SKDU at De-Factify 4.0: Vision Transformer with Data Augmentation for AI-Generated Image Detection
Durham University（杜伦大学）；British Car Auctions（英国汽车拍卖公司）
本研究探索结合数据增强的预训练视觉Transformer模型用于AI生成图像检测，在Defactify-4.0数据集上通过微调及多种扰动增强训练，实现了验证集和测试集上的SOTA性能。
2025-03-24 cs.CV
Do CNNs Encode Data Augmentations?
University of Washington（华盛顿大学）；Google Brain（谷歌大脑）
数据增强是训练鲁棒神经网络的重要组成部分，特别是在计算机视觉中。一个基本问题是神经网络特征是否编码数据增强转换。为了回答这个问题，我们引入了一种系统的方法来研究神经网络的哪些层是最具预测性的增强变换。我们的方法使用预先训练的视觉模型中的特征，并进行最少的额外处理，以预测通过增强转换的常见属性（比例，长宽比，色调，饱和度，对比度和亮度）。令人惊讶的是，神经网络特征不仅预测数据增强转换，而且它们以高精度预测许多转换。在验证了神经网络对与增强变换相对应的特征进行编码之后，我们证明了这些特征是在现代CNN的早期层中进行编码的，尽管增强信号在更深层中会消失。
2021-10-27 cs.CV cs.LG eess.IV
Cross-modal Orthogonal High-rank Augmentation for RGB-Event Transformer-trackers
City University of Hong Kong（香港城市大学）
本文提出即插即用的掩码建模与正交高秩损失增强方法，利用预训练ViT弥合RGB与事件数据分布差距，显著提升跨模态跟踪精度与成功率。
2023-09-05 cs.CV
Feature transforms for image data augmentation
University of Padua（帕多瓦大学）；Tampere University（坦佩雷大学）；Missouri State University（密苏里州立大学）；Università di Bologna（博洛尼亚大学）
卷积神经网络（CNN）的一个问题是，它们需要大数据集才能获得足够的鲁棒性;在小数据集上，它们容易过拟合。已经提出了许多方法来克服CNN的这个缺点。在无法轻易收集更多样本的情况下，一种常见的方法是使用增强技术从现有数据中生成更多数据点。在图像分类中，许多增强方法利用简单的图像操作算法。在这项工作中，我们通过添加由14种增强方法（其中3种是首次提出的）组合生成的图像，在数据层面上构建了集成。这些新的方法是基于傅立叶变换（FT），拉冬变换（RT）和离散余弦变换（DCT）。预训练的ResNet 50网络在训练集上进行微调，这些训练集包括来自每种增强方法的图像。这些网络和几个融合在11个基准进行评估和比较。结果表明，通过结合不同的数据增强方法在数据层面上构建集成，产生的分类器不仅与最先进的方法竞争，而且往往超过文献中报道的最佳方法。
2022-08-23 cs.AI cs.CV
Transformer Networks for Data Augmentation of Human Physical Activity Recognition
University of Siegen（锡根大学）
数据增强是分类中广泛使用的技术，以增加用于训练的数据。它提高了泛化能力，减少了训练所需的注释人类活动数据量，从而减少了数据集所需的劳动力和时间。与图像不同，传感器时间序列数据不能通过计算简单的变换算法来增强。最先进的模型，如递归生成对抗网络（RGAN），用于生成真实的合成数据。在本文中，Transformer为基础的生成对抗网络，具有全局关注的数据，PAMAP 2和真实世界的人类活动识别数据集与RGAN进行了比较。较新的方法提供了改进的时间和节省计算资源所需的数据增强比以前的方法。
2021-09-04 cs.CV cs.LG
Detection Transformer for Teeth Detection, Segmentation, and Numbering in Oral Rare Diseases: Focus on Data Augmentation and Inpainting Techniques
Capgemini Engineering（凯捷工程）；Université Rouen Normandie（诺曼底鲁昂大学）；Hôpitaux Universitaires de Strasbourg（斯特拉斯堡大学医院）；IT University of Copenhagen（哥本哈根信息技术大学）；Université de Strasbourg（斯特拉斯堡大学）；Institut de Génétique et de Biologie Moléculaire et Cellulaire (IGBMC)（遗传学与分子细胞生物学研究所）
本文针对口腔罕见病数据稀缺问题，采用 DETR 在 156 张专家标注全景 X 线片上完成牙齿检测、分割与 52 类编号，并结合几何增强与 stable diffusion 修复生成图像，将 mAP 从 0.69 提升至 0.82。
2024-02-06 cs.CV
Random Field Augmentations for Self-Supervised Representation Learning
Google Research（谷歌研究院）；Vector Institute（向量研究所）
针对自监督表示学习中数据增强技术探索不足的问题，提出基于高斯随机场的局部图像增强变换，在ImageNet和iNaturalist下游分类任务上取得准确率提升，同时指出需平衡增强的多样性与强度以优化表示泛化性。
2023-11-07 cs.CV cs.LG
Understanding data augmentation for classification: when to warp?
Defence Science and Technology（国防科学与技术组织）；Australian Defence Force（澳大利亚国防军）；University of South Australia（南澳大利亚大学）
在本文中，我们调查的好处，增加数据与合成创建的样本时，训练机器学习分类器。创建额外训练样本的两种方法是数据扭曲，它通过在数据空间中应用的变换生成额外的样本，以及合成过采样，它在特征空间中创建额外的样本。我们使用标准MNIST手写数字数据集，通过实验评估了数据增强对卷积反向传播训练的神经网络、卷积支持向量机和卷积极端学习机分类器的好处。我们发现，虽然可以在特征空间中执行通用增强，但如果数据的合理变换是已知的，则数据空间中的增强为提高性能和减少过拟合提供了更大的好处。
2016-11-26 cs.CV
Why do deep convolutional networks generalize so poorly to small image transformations?
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
卷积神经网络（CNN）通常被认为对小的图像变换是不变的：要么是因为卷积架构，要么是因为它们是使用数据增强训练的。最近，几位作者已经证明情况并非如此：输入图像的小平移或重新缩放可以大大改变网络的预测。在本文中，我们量化了这种现象，并询问为什么卷积架构和数据增强都不足以实现所需的不变性。具体来说，我们证明了卷积架构不具有不变性，因为架构忽略了经典的采样定理，并且数据增强不具有不变性，因为CNN只学习对与训练集中的典型图像非常相似的图像的变换保持不变。我们讨论了这个问题的两种可能的解决方案：（1）抗锯齿的中间表示和（2）增加数据增强，并表明，他们最多只能提供一个部分的解决方案。总之，我们的研究结果表明，在神经网络中，在保持高精度的同时确保对小图像变换的不变性的问题仍然没有解决。
2019-12-31 cs.CV
Consistency Learning via Decoding Path Augmentation for Transformers in Human Object Interaction Detection
Korea University（高丽大学）；Kakao Brain
人机交互检测是一个整体的视觉识别任务，需要目标检测以及交互分类。HOI检测的先前工作已经通过子集预测的各种组合来解决，例如，图像-> HO -> I，图像-> HI -> O。最近，已经出现了用于HOI的基于Transformer的架构，其以端到端的方式直接预测HOI三元组（Image -> HOI）。受HOI检测的各种推理路径的启发，我们提出了交叉路径一致性学习（CPC），这是一种新的端到端学习策略，通过利用增强的解码路径来提高Transformers的HOI检测。CPC学习强制来自置换推理序列的所有可能的预测是一致的。这个简单的方案使模型学习一致的表示，从而在不增加模型容量的情况下提高泛化能力。我们的实验证明了我们的方法的有效性，我们取得了显着改善V-COCO和HICO-DET相比，基线模型。我们的代码可在https://github.com/mlvlab/CPChoi上获得。
2022-04-11 cs.CV
Local Magnification for Data and Feature Augmentation
School of Computer Science and Technology（计算机科学与技术学院）；Microsoft Research Asia（微软亚洲研究院）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
近年来，已经提出了许多数据增强技术来增加输入数据的多样性并降低深度神经网络上的过拟合风险。在这项工作中，我们提出了一个易于实现和无模型的数据增强方法称为局部放大（LOMA）。与其他对图像进行全局变换的几何数据增强方法不同，LOMA通过随机放大图像的局部区域来生成额外的训练数据。这种局部放大导致几何变化，显著拓宽了增强范围，同时保持了对象的可识别性。此外，我们将LOMA和随机裁剪的思想扩展到特征空间，以增加特征图，这进一步大大提高了分类精度。实验表明，我们提出的LOMA，虽然简单，可以与标准的数据增强相结合，显着提高性能的图像分类和目标检测。进一步结合我们的特征增强技术，称为LOMA_IF&FO，可以继续加强模型，并优于数据增强的高级强度转换方法。
2022-11-15 cs.CV
Faster AutoAugment: Learning Augmentation Strategies using Backpropagation
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
数据增强方法是提升深度神经网络性能的不可或缺的方法，特别是在图像识别任务中。最近，一些研究表明，搜索算法发现的增强策略优于手工制作的策略。这些方法在具有连续或离散参数的图像变换上采用黑盒搜索算法，并且需要很长时间来获得更好的策略。在本文中，我们提出了一个可微分的政策搜索管道的数据增强，这是比以前的方法快得多。我们介绍了几个离散参数的变换操作的近似梯度以及选择操作的可微机制。作为训练的目标，我们最小化增强数据的分布与原始数据之间的距离，这可以区分。我们表明，我们的方法，更快的AutoAugment，实现了显着更快的搜索比以前的工作，而没有性能下降。
2019-11-16 cs.CV
Improving Model Generalization by Agreement of Learned Representations from Data Augmentation
University of the Philippines（菲律宾大学）
数据增强通过强制模型在给定输入图像的不同变换的情况下学习不变表示来减少泛化误差。在计算机视觉中，除了标准图像处理功能之外，基于区域丢弃的数据增强技术（如CutOut、MixUp和CutMix）和基于策略的选择（如AutoAugment）也展示了最先进的（SOTA）结果。随着越来越多的数据增强算法被提出，焦点总是在优化输入-输出映射，而没有意识到在具有相同标签的变换图像中可能存在未利用的值。我们假设，通过强迫两个变换的表示一致，我们可以进一步减少模型的泛化误差。我们称我们提出的方法为协议最大化或简称为AgMax。通过在训练过程中应用这个简单的约束，经验结果表明，数据增强算法可以进一步提高ImageNet上ResNet 50的分类准确率高达1.5%，CIFAR 10上WideResNet 40 -2高达0.7%，CIFAR 100上WideResNet 40 -2高达1.6%，LeNet 5上语音命令数据集高达1.4%。实验结果进一步表明，与其他正则化项（如标签平滑）不同，AgMax可以利用数据增强来显著提高模型泛化能力。在PascalVOC和COCO上的目标检测和分割等下游任务中，AgMax预训练模型的性能优于其他数据增强方法，分别高达1.0mAP（框）和0.5mAP（掩模）。代码可在https://github.com/roatienza/agmax上获得。
2021-10-20 cs.CV
TokenMix: Rethinking Image Mixing for Data Augmentation in Vision Transformers
CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
本文提出TokenMix数据增强方法，通过在token级别分区混合图像并利用教师模型激活图生成更准确的学习目标，有效提升视觉Transformer的ImageNet分类精度和抗遮挡鲁棒性。
2023-04-19 cs.CV
Data augmentation with mixtures of max-entropy transformations for filling-level classification
EPFL（洛桑联邦理工学院）；Queen Mary University of London（伦敦玛丽女王大学）
我们解决的问题，在测试时的数据与原则的数据增强计划的任务，内容级分类的分布偏移。在这样的任务中，诸如测试时容器（杯子或饮用玻璃杯）的形状或透明度之类的属性可能不同于训练数据中表示的那些属性。使用标准增强方案处理这种分布偏移是具有挑战性的，并且变换训练图像以覆盖测试时间实例的属性需要复杂的图像操作。因此，我们使用一系列最大熵变换来生成不同的增强，这些最大熵变换可以创建具有新形状、颜色和光谱特性的样本。我们表明，这样一个原则性的增强方案，单独，可以取代目前的方法，使用迁移学习或可以与迁移学习结合使用，以提高其性能。
2022-03-08 cs.CV cs.LG cs.RO
Adaptive Augmentation Policy Optimization with LLM Feedback
本文提出利用大语言模型反馈动态优化数据增强策略，通过迭代调整增强变换，在降低计算成本的同时提升特定领域图像分类的准确性。
2025-08-04 cs.CV
Feature-level augmentation to improve robustness of deep neural networks to affine transformations
University of Bucharest（布加勒斯特大学）；SecurifAI；Romanian Young Academy（罗马尼亚青年科学院）
最近的研究表明，卷积神经网络不能很好地推广到小的图像变换，例如旋转几度或平移几个像素。为了提高这种变换的鲁棒性，我们建议在神经架构的中间层引入数据增强，除了在输入图像上应用的常见数据增强之外。通过在不同层次上对激活图（特征）引入小的扰动，我们开发了神经网络应对这种转换的能力。我们在三个图像分类基准（Tiny ImageNet，Caltech-256和Food-101）上进行实验，考虑两种不同的卷积架构（ResNet-18和DenseNet-121）。当与两个国家的最先进的稳定方法相比，实证结果表明，我们的方法始终达到准确性和平均翻转率之间的最佳权衡。
2022-08-20 cs.CV cs.LG
Understanding and Improving Robustness of Vision Transformers through Patch-based Negative Augmentation
Google Research（谷歌研究院）
我们研究了视觉Transformer（ViTs）的鲁棒性，通过他们特殊的基于补丁的架构结构，即，它们将图像处理为图像块的序列。我们发现，ViTs是令人惊讶的不敏感补丁为基础的转换，即使在很大程度上破坏了原始的语义，使人类无法识别的图像。这表明ViTs大量使用在这种转换中幸存下来的特征，但通常不指示人类的语义类。进一步的研究表明，这些特征是有用的，但不稳健，因为在它们上训练的ViT可以实现高的分布内准确性，但在分布偏移下会崩溃。基于这种理解，我们会问：训练模型以减少对这些特征的依赖，是否可以提高ViT的鲁棒性和分布外性能？我们使用基于补丁的操作转换的图像作为负增强视图，并提供损失来正则化训练，避免使用非鲁棒特征。这是对现有研究的补充，现有研究主要集中在用语义保持转换来增强输入以增强模型的不变性。我们表明，基于补丁的负增强在广泛的基于ImageNet的鲁棒性基准测试中始终提高了ViTs的鲁棒性。此外，我们发现我们的补丁为基础的负增强传统的（正）数据增强的补充，并一起进一步提高性能。
2023-02-22 cs.CV cs.LG
Learning Loss for Test-Time Augmentation
Kakao Brain；Sungshin Women’s University（诚信女子大学）
数据增强已经被积极地研究用于鲁棒神经网络。大多数最近的数据增强方法集中于在训练阶段增强数据集。在测试阶段，简单的转换仍然被广泛用于测试时增强。本文提出了一种新的实例级测试时增强，有效地选择合适的转换测试输入。我们提出的方法涉及一个辅助模块来预测给定输入的每个可能的变换的损失。然后，将具有较低预测损失的变换应用于输入。该网络通过对增广输入的预测结果进行平均来获得结果。在几个图像分类基准上的实验结果表明，所提出的实例感知测试时增强提高了模型对各种损坏的鲁棒性。
2020-10-22 cs.AI cs.CV cs.LG
Few-shot Learning using Data Augmentation and Time-Frequency Transformation for Time Series Classification
针对时间序列分类中深度神经网络数据不足的问题，提出结合时频变换、随机擦除数据增强的序列-语谱图神经网络小样本学习框架，在两类数据集上均取得优异分类效果。
2023-11-06 cs.CV
CoViews: Adaptive Augmentation Using Cooperative Views for Enhanced Contrastive Learning
Higher National School of Computer Science (ESI ex INI)（高等国家计算机科学学院（原国家信息学院））
针对对比学习中视图增强缺乏协作、依赖监督评估或限制不可微变换的问题，提出含IndepViews和CoViews的自适应增强框架，无需监督即可生成高效样本对，显著提升对比学习性能。
2024-05-12 cs.CV
Image augmentation with conformal mappings for a convolutional neural network
University of Turku（图尔库大学）；Turku University Hospital（图尔库大学医院）；Wichita State University（威奇托州立大学）
提出一种基于共形映射的CNN图像增强新方法，通过圆盘映射与Möbius变换避免边缘信息丢失，实验证明该方法能显著降低模型预测误差。
2023-11-21 cs.CV
RobustPointSet: A Dataset for Benchmarking Robustness of Point Cloud Classifiers
Autodesk AI Lab（Autodesk AI 实验室）；Autodesk Research（Autodesk 研究院）；Mila, Université de Montréal（蒙特利尔大学 Mila 研究所）
3D深度学习社区在过去几年中在点云处理方面取得了重大进展。然而，训练深度模型的数据集在很大程度上保持不变。大多数数据集包括干净，无杂波的点云规范化的姿势。在这些数据集上训练的模型在呈现包含在训练时“看不见”的转换的数据时以不可解释和不直观的方式失败。虽然数据增强使模型对“以前见过的”输入变换具有鲁棒性，但1）我们表明，这不适用于推理过程中看不见的变换，2）数据增强使分析模型对变换的固有鲁棒性变得困难。为此，我们创建了一个公开可用的数据集，用于点云分类模型（独立于数据增强）对输入转换的鲁棒性分析，称为RobustPointSet。我们的实验表明，尽管在点云分类的所有进展，有没有一个单一的体系结构，一贯表现更好-几个彻底失败-在转换后的测试集上进行评估。我们还发现，鲁棒性看不见的转换不能带来的只是广泛的数据增强。RobustPointSet可以通过https://github.com/AutodeskAILab/RobustPointSet访问。
2021-04-16 cs.CV
The Effectiveness of Data Augmentation in Image Classification using Deep Learning
Stanford University（斯坦福大学）
在本文中，我们探讨和比较多个解决方案的问题，数据增强图像分类。以前的工作已经证明了数据增强的有效性，通过简单的技术，如裁剪，旋转和翻转输入图像。我们人为地将我们对数据的访问限制在ImageNet数据集的一个小子集，并依次比较每种数据增强技术。上述传统转换是较为成功的数据增强策略之一。我们还尝试使用GANs来生成不同风格的图像。最后，我们提出了一种方法，允许神经网络学习最好地改进分类器的增强，我们称之为神经增强。我们讨论了这种方法在各种数据集上的成功和缺点。
2017-12-13 cs.CV
AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation
UCLA（加利福尼亚大学洛杉矶分校）；Yale（耶鲁大学）
提出AugUndo方法，通过撤销几何变换使无监督深度补全与估计能使用广泛增强，提升室内外数据集性能。
2024-07-20 cs.CV
Learning to Compose Domain-Specific Transformations for Data Augmentation
Stanford University（斯坦福大学）
数据增强是一种普遍存在的技术，通过利用保留类标签的特定于任务的数据转换来增加标记训练集的大小。虽然领域专家通常很容易指定各个转换，但在实践中，构造和调优通常需要实现最先进结果的更复杂的组合是一项耗时的手动任务。我们提出了一种方法，通过使用生成对抗方法在用户指定的转换函数上学习生成序列模型来自动化这个过程。我们的方法可以利用任意的，非确定性的转换函数，对错误指定的用户输入具有鲁棒性，并且在未标记的数据上进行训练。然后，学习的变换模型可以用于为任何最终判别模型执行数据增强。在我们的实验中，我们展示了我们的方法在图像和文本数据集上的有效性，与标准启发式增强方法相比，在CIFAR-10上实现了4.0个准确点的改进，在ACE关系提取任务上实现了1.4个F1点的改进，在医学成像数据集上使用特定于域的变换操作时实现了3.4个准确点的改进。
2017-09-30 cs.CV cs.LG stat.ML
Adaptive Attention Link-based Regularization for Vision Transformers
Chung-Ang University（中央大学）
虽然Transformer网络最近被用于各种视觉任务中，具有出色的性能，但需要大量的训练数据和漫长的训练时间来训练模型以忽略感应偏差。利用预训练卷积神经网络（CNN）的通道方向空间注意力与视觉Transformer（ViT）的注意力头之间的可训练联系，提出了一种正则化技术来提高ViT的训练效率。可训练的链接被称为注意力增强模块，它与ViT同时训练，提高了ViT的训练，并使其能够避免由于缺乏数据而导致的过拟合问题。从经过训练的注意力增强模块中，我们可以提取每个CNN激活图与每个ViT注意力头之间的相关关系，并在此基础上，我们还提出了一个高级注意力增强模块。因此，即使数据量很小，所建议的方法也大大提高了ViT的性能，同时在训练过程中实现了更快的收敛。
2022-11-25 cs.CV
Controllable Latent Space Augmentation for Digital Pathology
MICS, CentraleSupélec – Université Paris-Saclay（MICS，中央圣艾尔布兰理工大学——巴黎-萨克雷大学）；Bioptimus, Inc.（Bioptimus公司）；VitaDX International（VitaDX国际）
针对数字病理学中WSI分析的高分辨率、监督信号稀缺及现有增强方法的不足，提出可控潜空间增强模型HistAug，通过显式patch变换条件生成逼真嵌入，高效处理大量patch并提升MIL性能，低数据场景下优于现有方法。
2025-08-20 cs.CV
Learning Test-time Augmentation for Content-based Image Retrieval
Queensland University of Technology（昆士兰科技大学）
现成的卷积神经网络特征在许多图像检索任务中取得了出色的效果。然而，它们对目标数据的不变性是由网络架构和训练数据预定义的。现有的图像检索方法需要微调或修改预训练的网络，以适应目标数据的独特变化。相比之下，我们的方法通过聚合从测试时增强的图像中提取的特征来增强现成特征的不变性，增强由通过强化学习学习的策略指导。所学习的策略将不同的幅度和权重分配给从图像变换列表中选择的所选变换。使用度量学习协议来评估策略以学习最优策略。该模型收敛速度快，每次策略迭代的成本是最小的，因为我们提出了一个离线缓存技术，大大降低了从增强图像中提取特征的计算成本。在大型商标检索（METU商标数据集）和地标检索（ROxford5k和RParis6k场景数据集）任务上的实验结果表明，学习的变换集成对提高性能非常有效，并且具有实用性和可移植性。
2022-07-05 cs.CV
Robustness of Visual Explanations to Common Data Augmentation
Technical University of Denmark（丹麦技术大学）
研究事后视觉解释对常见数据增强变换的鲁棒性，发现不同可解释性方法的稳定性存在显著差异，且解释的鲁棒性通常低于分类性能。
2023-04-18 cs.CV cs.LG
Configuring Data Augmentations to Reduce Variance Shift in Positional Embedding of Vision Transformers
POSTECH（浦项科技大学）
针对ViT训练中数据增强导致位置编码方差偏移的问题，提出正确配置数据增强以消除副作用，实验证明该方法提升ViT性能。
2024-05-23 cs.AI cs.CV cs.LG
