T-CGAN: Conditional Generative Adversarial Network for Data Augmentation in Noisy Time Series with Irregular Sampling
Politecnico Milano（米兰理工大学）；Harvard University（哈佛大学）
本文提出了一种适用于不规则采样时间序列的数据增强方法--时间条件生成对抗网络（T-CGAN）。我们的方法是基于条件生成对抗网络（CGAN），其中生成步骤是由一个去卷积神经网络和卷积神经网络的判别步骤。生成器和时间序列生成器都以采样时间戳为条件，学习数据和时间戳之间的隐藏关系，从而生成新的时间序列。我们用合成和真实世界的数据集来评估我们的模型。对于合成数据，我们比较了用T-CGAN生成的数据训练的分类器的性能，以及用原始数据训练的相同分类器的性能。结果表明，在T-CGAN生成的数据上训练的分类器与在真实数据上训练的分类器的性能相同，即使是非常短的时间序列和小的训练集。对于现实世界的数据集，我们比较我们的方法与其他技术的数据增强的时间序列，如时间分片和时间扭曲，在分类问题与不平衡的数据集。结果表明，我们的方法总是优于其他方法，在规则采样和不规则采样的时间序列的情况下。我们实现了特别好的性能的情况下，一个小的训练集和短，噪声，不规则采样的时间序列。
2019-02-01 cs.LG stat.ML
Data Augmentation with Variational Autoencoders and Manifold Sampling
Université de Paris（巴黎大学）；INRIA（法国国家信息与自动化研究所）；Centre de recherche des Cordeliers（科德利埃研究中心）；INSERM（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）
我们提出了一种新的有效的方法来采样从可变自动编码器在具有挑战性的低样本量设置。这种方法特别适合在这样一个低数据制度进行数据增强，并在各种标准和现实生活中的数据集进行验证。特别是，该方案可以大大提高OASIS数据库上的分类结果，其中平衡准确度从使用原始数据训练的分类器的80.7%跃升至仅使用我们的方法生成的合成数据训练时的88.6%。在3个标准数据集和其他分类器上也观察到这样的结果。代码可在https://github.com/clementchadebec/Data_Augmentation_with_VAE-DALI上获得。
2021-09-28 cs.LG stat.ML
Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
针对少样本下细粒度视觉分类数据稀缺、现有扩散增强方法难以满足细节要求的问题，提出含判别性语义重组和空间知识参考的细节增强扩散模型，利用大模型知识增强数据，提升分类性能。
2024-05-15 cs.CV
Diffusion-based Data Augmentation for Skin Disease Classification: Impact Across Original Medical Datasets to Fully Synthetic Images
AIP Labs（AIP实验室）；Semmelweis University（塞麦尔维斯大学）
尽管近年来不断进步，但深度神经网络仍然依赖于大量的训练数据来避免过拟合。然而，由于长期的隐私和严格的数据共享策略，用于诸如医疗保健的真实世界应用的标记的训练数据是有限的并且难以访问。通过在像素或特征空间中操作图像数据集，现有的数据增强技术代表了提高训练数据的数量和多样性的有效途径之一。在这里，我们希望通过建立在文本到图像扩散概率模型在增强我们的宏观皮肤病数据集的训练样本方面的新兴成功来推进增强技术。我们通过输入文本提示来实现对图像生成过程的细粒度控制。我们证明了这种生成数据增强方法即使在完全合成的皮肤病数据集上训练时，也成功地保持了视觉分类器的类似分类精度。与生成模型的最新应用类似，我们的研究表明，扩散模型在生成不牺牲分类器性能的高质量皮肤图像方面确实有效，并且可以在策展后改善训练数据集的增强。
2023-01-12 cs.CV cs.LG eess.IV
Data augmentation using generative networks to identify dementia
Department of Computer Science（计算机科学系）；Sheffield Institute for Translational Neuroscience (SITraN)（谢菲尔德转化神经科学研究所（SITraN））；Department of Human Communication Sciences（人类传播科学系）；Department of Neuroscience（神经科学系）；Royal Hallamshire Hospital（皇家哈勒姆郡医院）；Academic Neurology Unit, Royal Hallamshire Hospital（皇家哈勒姆郡医院学术神经科）
数据限制是训练用于医疗应用的机器学习分类器时最常见的问题之一。由于伦理问题和数据隐私，可以招募到此类实验的人数通常小于参与非医疗数据集的参与者人数。最近的研究表明，生成模型可以作为一种有效的方法来增加数据，这最终可以帮助训练更强大的分类器稀疏数据域。许多研究证明，这种数据增强技术适用于图像和音频数据集。在本文中，我们研究了一种类似的方法，以不同类型的语音和音频为基础的功能提取的互动记录与我们的自动痴呆症检测系统的应用。使用两个生成模型，我们展示了生成的合成样本如何提高基于DNN的分类器的性能。变分自动编码器将四路分类器的F分数从58%提高到74%左右，提高了16
2020-04-13 cs.CL cs.LG cs.SD
Evaluation and Comparison of Emotionally Evocative Image Augmentation Methods
Jagiellonian University（雅盖隆大学）
针对情感计算刺激数据集传统制备方法成本高、耗时长的问题，本文结合数据增强与迁移学习，评估对比多种GAN架构生成情绪唤起合成图像的效果，证实该方向具备良好研究与改进潜力。
2024-06-23 cs.CV cs.LG
CovidGAN: Data Augmentation Using Auxiliary Classifier GAN for Improved Covid-19 Detection
Maharaja Agrasen Institute of Technology（马哈拉贾·阿格拉森技术学院）；Near East University（近东大学）；State University of Ceará（塞阿拉州立大学）；University of Fortaleza（福塔莱萨大学）
冠状病毒（COVID-19）是由严重急性呼吸道综合征冠状病毒2（SARS-CoV-2）引起的病毒性疾病。COVID-19的传播似乎对全球经济和健康产生了不利影响。感染患者的胸部X光检查呈阳性是抗击COVID-19的关键一步。早期结果表明，提示COVID-19患者的胸部X光检查存在异常。这导致了各种深度学习系统的引入，研究表明，通过使用胸部X光检测COVID-19患者的准确性非常乐观。像卷积神经网络（CNN）这样的深度学习网络需要大量的训练数据。由于爆发是最近的，很难在这么短的时间内收集大量的放射图像。因此，在这项研究中，我们提出了一种方法来生成合成胸部X射线（CXR）图像，通过开发一个辅助分类生成对抗网络（ACGAN）的模型称为CovidGAN。此外，我们证明了CovidGAN生成的合成图像可用于增强CNN检测COVID-19的性能。单独使用CNN的分类产生了85%的准确率。通过添加CovidGAN生成的合成图像，准确率提高到95%。我们希望这种方法能加快COVID-19的检测速度，并带来更强大的放射学系统。
2021-03-08 cs.CV cs.LG eess.IV
Not Just Pretty Pictures: Toward Interventional Data Augmentation Using Text-to-Image Generators
University of Oxford（牛津大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究如何利用文本到图像生成器进行干预性数据增强，通过在单域泛化和减少虚假特征依赖等基准上的实验，证明现代 T2I 生成器能显著提升下游分类器的鲁棒性并超越现有增强技术。
2024-06-03 cs.CV
Generative AI-Based Data Augmentation for Oral Lesion Classification: The PhotoMOCI Dataset and Benchmark
Aalborg University（奥尔堡大学）；University of Pisa（比萨大学）；University of Salerno（萨莱诺大学）
针对口腔病变分类中数据稀缺问题，提出PhotoMOCI数据集及合成图像过滤器（SIF），通过筛选高质量生成样本，在多个数据集和分类器上较传统增强提升准确率。\n
2026-09-29 cs.AI cs.CV
Towards Fine-grained Image Classification with Generative Adversarial Networks and Facial Landmark Detection
University of Mohaghegh Ardabili（莫哈格·阿尔达比勒大学）
细粒度分类仍然是一项具有挑战性的任务，因为区分类别需要学习复杂性和局部差异。图像中对象的姿态、比例和位置的多样性使得问题变得更加困难。虽然最新的视觉Transformer型号实现了高性能，但它们需要大量的输入数据。为了解决这个问题，我们充分利用了基于GAN的数据增强来生成额外的数据集实例。Oxford-IIIT Pets是我们选择用于该实验的数据集。它由37种猫和狗组成，在规模，姿势和照明方面存在差异，这加剧了分类任务的难度。此外，我们增强了最近的生成对抗网络（GAN）StyleGAN 2-ADA模型的性能，以生成更逼真的图像，同时防止过度拟合训练集。我们通过训练定制版本的MobileNetV 2来预测动物面部标志，然后相应地裁剪图像。最后，我们将合成图像与原始数据集相结合，并将我们提出的方法与标准GANs增强和没有增强的训练数据的不同子集进行了比较。我们通过评估最近的视觉Transformer（ViT）模型上的细粒度图像分类的准确性来验证我们的工作。
2021-08-28 cs.CV
Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation
Scuola Normale Superiore（比萨高等师范学院）；Istituto di Scienza e Tecnologie dell’Informazione, Consiglio Nazionale delle Ricerche（国家研究委员会信息科学与技术研究所）
该研究探索用模仿目标作者风格的合成负样本扩充训练集以提升对抗场景下作者身份验证性能，实验多种生成器、训练策略与分类器后发现方法效果零散不实用。
2024-10-29 cs.AI cs.CL cs.LG
Ensemble Augmentation for Deep Neural Networks Using 1-D Time Series Vibration Data
时间序列数据是数据驱动技术中使用的原始数据表示的基本类型之一。在机器状态监测中，时间序列振动数据被过度用于深度神经网络的数据采掘。通常，振动数据被转换成图像，用于使用深度神经网络（DNN）进行分类，并且尺度图是最有效的图像表示形式。然而，DNN分类器需要大量的标记训练样本才能达到最佳性能。因此，许多形式的数据增强技术被应用于分类器，以弥补训练样本的不足。然而，尺度图是图形表示，其中现有的增强技术受到影响，因为它们要么改变图形含义，要么在改变物理含义的样本中具有太多的噪声。在这项研究中，一个数据增强技术命名为集成增强，以克服这一限制。这种增强方法使用在集合中添加到原始样本中的白噪声的功率来生成类实数样本。在用系综平均信号之后，获得包含原始信号的特征的新信号。使用模拟信号验证用于系综增强的参数。所提出的方法进行评估，使用10类轴承振动数据，使用三个国家的最先进的迁移学习（TL）模型，即Inception-V3，MobileNet-V2和ResNet 50。增强样本以两个增量生成：第一个增量生成与训练样本相同数量的假样本，而在第二个增量中，样本数量逐渐增加。将所提出的方法的输出与无增强、使用深度卷积生成对抗网络（DCGAN）的增强以及几种基于几何变换的增强进行比较。
2022-01-13 cs.AI cs.LG
Image Augmentations for GAN Training
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
数据增强已被广泛研究，以提高分类器的准确性和鲁棒性。然而，在以前的研究中，图像增强在改进用于图像合成的GAN模型中的潜力还没有被彻底研究。在这项工作中，我们系统地研究了各种现有的增强技术的有效性，在各种设置的GAN培训。我们提供了关于如何为普通GANs和具有正则化的GANs增强图像的见解和指导方针，大大提高了生成图像的保真度。令人惊讶的是，我们发现，如果我们在真实图像和生成图像上使用增强，香草GANs的生成质量与最近的最先进的结果相当。当这种GAN训练与其他基于增强的正则化技术（例如对比度损失和一致性正则化）相结合时，增强进一步提高了生成图像的质量。我们为CIFAR-10的条件生成提供了新的最先进的结果，其中一致性损失和对比损失作为额外的正则化。
2020-06-04 cs.CV cs.LG eess.IV
Synthetic Image Augmentation for Improved Classification using Generative Adversarial Networks
University of South Florida（南佛罗里达大学）
目标检测与识别一直是计算机视觉领域中一个持续研究的课题。即使在机器人技术中，由机器人检测物体的状态仍然是一项具有挑战性的任务。此外，收集每个可能状态的数据也不可行。在这篇文献中，我们使用带有SVM的深度卷积神经网络作为分类器来帮助识别烹饪对象的状态。我们还研究了如何将生成对抗网络用于合成数据增强和提高分类精度。这项工作背后的主要动机是估计机器人能够识别物体当前状态的程度
2019-07-31 cs.CV
Confidence-Guided Diffusion Augmentation for Enhanced Bangla Compound Character Recognition
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出一种置信度引导的扩散增强框架，通过结合分类引导和改进的U-Net结构，提升低分辨率孟加拉语复合字符识别性能，实验表明在AIBangla数据集上多个模型的分类准确率显著提高。
2026-05-12 cs.AI cs.CV
DiffAug: A Diffuse-and-Denoise Augmentation for Training Robust Classifiers
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究所）
DiffAug通过单步前向与反向扩散增强图像，提升分类器对协变量偏移、对抗攻击和分布外检测的鲁棒性，并可与现有增强方法结合，无需额外数据。
2024-05-29 cs.CV cs.LG
An Auxiliary Classifier Generative Adversarial Framework for Relation Extraction
University of California, Santa Barbara（加州大学圣巴巴拉分校）
关系抽取模型受到有限的合格训练数据的影响。使用人类注释器来标记句子太昂贵，并且不能很好地扩展，特别是在处理大型数据集时。在本文中，我们使用辅助分类器生成对抗网络（AC-GANs）来生成高质量的关系语句，并提高端到端模型中关系分类器的性能。在AC-GAN中，递归不仅给出了真实源的概率分布，而且给出了关系标签的概率分布。这有助于生成有意义的关系句子。实验结果表明，我们提出的数据增强方法显着提高性能的关系抽取相比，国家的最先进的方法
2019-09-06 cs.CL cs.LG stat.ML
Augmentation by Counterfactual Explanation -- Fixing an Overconfident Classifier
University of Pittsburgh（匹兹堡大学）；Meta AI；University of Crete（克里特大学）
高度准确但过于自信的模型不适合部署在医疗保健和自动驾驶等关键应用中。分类结果应反映接近决策边界的模糊分布内样本的高度不确定性。模型还应该避免对远离其训练分布、远离分布（far-OOD）的样本或来自靠近其训练分布（near-OOD）的新类别的未见过样本做出过度自信的决策。本文提出了反事实解释在确定一个过于自信的分类器中的应用。具体来说，我们建议使用反事实解释器（ACE）的增强来微调给定的预训练分类器，以修复其不确定性特征，同时保留其预测性能。我们进行了大量的实验，检测远OOD，近OOD，和模糊的样本。我们的实证结果表明，修正后的模型有改进的不确定性措施，其性能是有竞争力的国家的最先进的方法。
2022-10-21 cs.CV cs.LG
Augmentation of base classifier performance via HMMs on a handwritten character data set
FEUP（波尔图大学工程学院）
本文介绍了几个基本分类器的性能的研究结果，用于识别手写字符的现代拉丁字母。通过确定维特比序列利用维特比纠错进一步增强基本分类性能。隐马尔可夫模型（Hidden Markov Models，简称HMF）利用单词中字母之间的关系来确定最可能的字符序列。研究了四个基本分类器以及从手写数据集中提取的八个特征集。校正后的最佳分类性能为89.8%，平均为68.1%
2021-11-17 cs.AI cs.CV cs.LG
Shuffle Augmentation of Features from Unlabeled Data for Unsupervised Domain Adaptation
Xpeng motors（小鹏汽车）；Nanyang Technological University（南洋理工大学）；University of Pennsylvania（宾夕法尼亚大学）；Microsoft（微软）
无监督领域自适应（UDA）是迁移学习的一个分支，在目标样本的标签不可用的情况下，近年来在对抗训练模型的帮助下得到了广泛的研究和发展。虽然现有的UDA算法能够引导神经网络提取可转移的和有区别的特征，但分类器仅仅是在标记的源数据的监督下训练的。由于源域和目标域之间不可避免的差异，分类器很难知道目标分类边界。在本文中，洗牌增强功能（SAF），一种新的UDA框架，提出了解决这个问题，通过提供监督信号的分类器从目标特征表示。SAF从目标样本中学习，自适应地提取类别感知的目标特征，并隐式引导分类器找到全面的类别边界。大量实验表明，SAF模块可以集成到任何现有的对抗UDA模型，以实现性能改进。
2022-01-28 cs.CV cs.LG
Test-time augmentation improves efficiency in conformal prediction
Massachusetts Institute of Technology（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
本研究表明测试时增强（TTA）能有效减小共形分类器生成的预测集大小，该方法无需重训模型，可结合任意共形分数，平均将预测集减小10%-14%。
2025-05-28 cs.CV cs.LG
Fine-Grained AutoAugmentation for Multi-Label Classification
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Alibaba DAMO Academy（阿里巴巴达摩院）
数据增强是提高深度学习模型泛化能力的常用方法。最近的工作表明，学习数据增强政策可以实现更好的泛化比手工制作的。然而，这些工作中的大多数对数据集中的所有样本使用统一的增强策略，这被观察到不一定对多标签分类任务中的所有标签有益，即，有些政策可能对某些标签产生负面影响，而对另一些标签有利。为了解决这个问题，我们提出了一种新的基于标签的自动增强（LB-Aug）方法，用于多标签场景，其中通过增强策略网络生成关于标签的增强策略。通过使用策略梯度方法的强化学习来学习策略，从而提供从实例标签到其最优增强策略的映射。数值实验表明，我们的LB-Aug在图像和视频分类的多个基准测试中的大幅度优于以前的最先进的增强方法。
2021-07-13 cs.CV cs.LG
InAugment: Improving Classifiers via Internal Augmentation
Tel-Aviv University（特拉维夫大学）；The Interdisciplinary Center Herzliya（赫兹利亚跨学科研究中心）
图像增强技术在输入图像上应用诸如旋转、剪切或颜色失真之类的变换函数。这些增强被证明是有用的，以提高神经网络的泛化能力。在本文中，我们提出了一种新的增强操作，InAugment，利用图像的内部统计。关键思想是从图像本身复制补丁，对它们应用增强操作，并将它们粘贴回同一图像上的随机位置。该方法简单，易于实现，可以与现有的增强技术相结合。我们在两个流行的数据集上测试了InAugment-- CIFAR和ImageNet。我们展示了对最先进的增强技术的改进。使用自动增强来简化InAugment产生了比其他增强技术（例如，比在CIFAR数据集上训练的多个架构提高了1%）。我们还证明了与以前的增强方法相比，ResNet 50和EfficientNet-B3 top-1在ImageNet数据集上的准确性有所提高。最后，我们的实验表明，使用InAugment训练卷积神经网络不仅提高了模型的准确性和置信度，而且提高了其在分布外图像上的性能。
2021-04-08 cs.CV
A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers
Australian National University（澳大利亚国立大学）；Data61-Commonwealth Scientific Industrial Research Organization（Data61-联邦科学与工业研究组织）；Commonwealth Scientific Industrial Research Organization（联邦科学与工业研究组织）；The University of Technology Sydney（悉尼科技大学）
为了最好地利用潜在的微小和微妙的差异，细粒度分类器收集有关类间变化的信息。由于同一类实体中颜色、视点和结构之间的微小差异，该任务非常具有挑战性。由于与其他类别的观点差异之间的相似性和与自身的差异性，分类变得更加困难。在这项工作中，我们研究了具有里程碑意义的一般CNN分类器的性能，这些分类器在大规模分类数据集上表现出一流的结果，在细粒度数据集上，并将其与最先进的细粒度分类器进行比较。在本文中，我们提出了两个具体的问题：（i）一般的CNN分类器实现细粒度分类器的结果？(ii)一般的CNN分类器需要任何特定的信息来改进细粒度的分类器吗？在整个工作过程中，我们训练了通用的CNN分类器，而没有引入任何特定于细粒度数据集的方面。我们对六个数据集进行了广泛的评估，以确定细粒度分类器是否能够在实验中提高基线。
2021-11-03 cs.CV cs.LG eess.IV
Combining Fine- and Coarse-Grained Classifiers for Diabetic Retinopathy Detection
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence GmbH (DFKI)（德国人工智能研究中心（DFKI））；Osaka Prefecture University（大阪府立大学）；National University of Science and Technology (NUST)（国立科技大学（NUST））；Opthalmology Clinic（眼科诊所）
早期糖尿病视网膜病变眼底图像中的视觉伪影通常体积较小，不明显，分散在视网膜各处。检测糖尿病视网膜病变需要医生查看整个图像并关注某些特定区域以定位疾病的潜在生物标志物。因此，从眼科医生的启发，我们建议结合粗粒度分类器，从整个图像中检测区别特征，与最近品种的细粒度分类器，发现并特别注意病理显著区域。为了评估这个提议的集成的性能，我们使用了公开可用的EyePACS和Messidor数据集。针对二进制、三进制和四进制分类的广泛实验表明，这种集成在很大程度上优于单个图像分类器，以及大多数糖尿病视网膜病变检测训练设置中的大多数已发表作品。此外，细粒度的分类器的性能被发现明显优于粗粒度的图像分类器，鼓励开发面向任务的细粒度的分类器建模专家眼科医生。
2020-05-28 cs.CV cs.LG eess.IV
Test-Time Augmentation for Tabular-to-Image Classifiers under Distribution Shifts
该研究针对表向图像分类器，评估了25种TTA技术在分布偏移下的效果，发现复合与光度类TTA可提升分布外性能，频域变换则会降低性能，为相关分类器鲁棒性提升提供了新方向。
2026-08-05 cs.CV cs.LG
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
PointAugment: an Auto-Augmentation Framework for Point Cloud Classification
The Chinese University of Hong Kong（香港中文大学）
我们提出了PointAugment，一个新的自动增强框架，自动优化和增强点云样本，以丰富数据的多样性，当我们训练分类网络。与现有的2D图像自动增强方法不同，PointAugment是样本感知的，并采用对抗学习策略来联合优化增强器网络和分类器网络，使得增强器可以学习产生最适合分类器的增强样本。此外，我们制定了一个可学习的点增广函数与形状的变换和逐点位移，并仔细设计损失函数，以采用基于分类器的学习进度的增强样本。大量的实验也证实了PointAugment的有效性和鲁棒性，以提高各种网络的形状分类和检索的性能。
2020-03-20 cs.CV
Robust and Accurate Object Detection via Adversarial Learning
Google（谷歌公司）；UCLA（加利福尼亚大学洛杉矶分校）；UCSC（加利福尼亚大学圣克鲁兹分校）
数据增强已成为训练高性能深度图像分类器的事实上的组件，但其潜力在目标检测中尚未得到充分开发。注意到大多数最先进的对象检测器受益于微调预训练的分类器，我们首先研究分类器如何从各种数据增强中获得的收益转移到目标检测。结果令人沮丧;在精确度或鲁棒性方面进行微调后，收益会减少。相反，这项工作通过探索对抗性示例来增强对象检测器的微调阶段，这可以被视为依赖于模型的数据增强。我们的方法动态地选择来自检测器的分类和定位分支的更强的对抗图像，并随着检测器的发展而发展，以确保增强策略保持当前和相关。这种依赖于模型的增强比AutoAugment更好地推广到不同的对象检测器，AutoAugment是一种基于一个特定检测器搜索的模型不可知的增强策略。在COCO目标检测基准测试中，我们的方法将最先进的EfficientDets的性能提高了+1.1 mAP。它还将检测器对自然失真的鲁棒性提高了+3.8 mAP，对域偏移的鲁棒性提高了+1.3 mAP。模型可在https://github.com/google/automl/tree/master/efficientdet/Det-AdvProp.md上获得
2021-03-26 cs.CV cs.LG
Data Augmentation with norm-VAE for Unsupervised Domain Adaptation
Durham University（杜伦大学）；University of Essex（埃塞克斯大学）
从一个新的角度研究了图像分类中的无监督领域自适应问题。与大多数现有的对齐数据分布或学习域不变特征的方法相比，我们直接在高维均匀特征空间内学习统一的分类器，而无需显式的领域自适应。为此，我们采用有效的选择性伪标记（SPL）技术，以利用目标域中的未标记的样品。令人惊讶的是，计算简单的分类器可以很好地处理源域和目标域之间的数据分布差异（例如，浅层多层感知器）在原始特征空间中训练。此外，我们提出了一种新的生成模型norm-VAE生成合成特征的目标域作为一个数据增强策略，以加强分类器的训练。在几个基准数据集上的实验结果表明，伪标签策略本身可以导致与许多最先进的方法相当的性能，而使用norm-VAE进行特征增强可以进一步提高性能在大多数情况下。因此，我们提出的方法（即naive-SPL和norm-VAE-SPL）可以实现新的最先进的性能，在Digits-Caltech和ImageCLEF-DA数据集上的平均准确率分别为93.4%和90.4%，在Digits，Digit 31和Digit-Home数据集上的性能相当，平均准确率分别为97.2%，87.6%和67.9%。
2020-12-01 cs.CV cs.LG
IPMix: Label-Preserving Data Augmentation Method for Training Robust Classifiers
Yamaguchi University（山口大学）；University of Science and Technology of China（中国科学技术大学）
IPMix是一种标签保持的数据增强方法，通过整合图像级、补丁级和像素级增强及多尺度融合，在不降低干净精度的情况下提升分类器对分布变化、对抗扰动等鲁棒性，并在多个基准上达到最优。
2024-03-13 cs.CV
See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification
University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
通常采用数据增强来增加训练数据的量，防止过拟合，提高深度模型的性能。然而，在实践中，随机数据增强（诸如随机图像裁剪）是低效率的，并且可能引入许多不受控制的背景噪声。在本文中，我们提出了弱监督数据增强网络（WS-DAN），以探索数据增强的潜力。具体来说，对于每一个训练图像，我们首先生成的注意力地图表示对象的歧视性部分的弱监督学习。接下来，我们在这些注意力地图的指导下增强图像，包括注意力裁剪和注意力丢弃。所提出的WS-DAN在两个方面提高了分类精度。在第一阶段中，图像可以被更好地看到，因为更多的区分部分的特征将被提取。在第二阶段，注意区域提供了准确的目标位置，这保证了我们的模型更近距离地观察目标，进一步提高了性能。在常见的细粒度视觉分类数据集上的综合实验表明，我们的WS-DAN超越了最先进的方法，这证明了它的有效性。
2019-03-23 cs.CV
Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding
Leiden University（莱顿大学）
本文提出零样本分类器编辑方法，通过细粒度视频理解提升分类精度，优于视觉-语言基线。
2026-02-18 cs.CV cs.LG
VideoMix: Rethinking Data Augmentation for Video Classification
NAVER AI LAB（NAVER人工智能实验室）；KAIST（韩国科学技术院）
最先进的视频动作分类器经常遭受过拟合。它们往往偏向于特定的对象和场景线索，而不是前景动作内容，导致次优的泛化性能。最近的数据增强策略已经被报道用于解决静态图像分类器中的过拟合问题。尽管静态图像分类器的有效性，数据增强很少被研究的视频。在该领域中，我们首次系统地分析了各种数据增强策略对视频分类任务的有效性。然后，我们提出了一个强大的增强策略VideoMix。VideoMix通过将视频长方体插入到另一个视频中来创建新的训练视频。地面实况标签与来自每个视频的体素的数量成比例地混合。我们表明，VideoMix让模型学习超越对象和场景偏见，并提取更强大的动作识别线索。VideoMix在Kinetics和具有挑战性的Something-Something-V2基准测试中始终优于其他增强基线。它还改善了THUMOS'14上的弱监督动作定位性能。VideoMix预训练模型在视频检测任务（AVA）上表现出更高的准确性。
2020-12-07 cs.CV
Generative Robust Classification
University of Virginia（弗吉尼亚大学）
训练对抗性强的判别（即，softmax）分类器已经成为鲁棒分类的主要方法。基于最近在基于对抗训练（AT）的生成模型方面的工作，我们研究了使用AT来学习非规范化的类条件密度模型，然后执行生成鲁棒分类。结果表明，在模型容量相近的情况下，当测试数据干净或测试扰动大小有限时，生成式鲁棒分类器的性能与基线softmax鲁棒分类器相当，而当测试扰动大小超过训练扰动大小时，生成式鲁棒分类器的性能要优于基线softmax鲁棒分类器.生成分类器还能够生成更接近于训练数据的样本或反事实，这表明生成分类器可以更好地捕获类条件分布。与标准的判别对抗训练相比，高级数据增强技术只有在与权重平均相结合时才有效，我们发现应用高级数据增强来实现更好的鲁棒性是很简单的。我们的研究结果表明，生成分类器是一个有竞争力的替代强大的分类，特别是对有限数量的类的问题。
2022-12-14 cs.CV cs.LG
Adversarial Augmentation for Enhancing Classification of Mammography Images
ETH Zürich（苏黎世联邦理工学院）；University Hospital Zürich（苏黎世大学医院）
监督式深度学习依赖于有足够的训练数据可用的假设，这给它在医学成像等多个领域的应用带来了问题。在一个二进制图像分类任务（乳腺癌识别）的例子中，我们表明，预训练生成模型有意义的图像增强有助于提高所得分类器的性能。通过增加数据，即使使用相对较小的训练集，也可以提高下游分类任务的性能。我们表明，这种“对抗增强”产生有前途的结果相比，经典的图像增强的例子乳腺癌分类。
2019-02-20 cs.CV cs.LG
Cross-Class Feature Augmentation for Class Incremental Learning
Seoul National University（首尔大学）
本文提出一种基于对抗攻击的跨类特征增强方法，利用旧分类器为旧类别生成补充特征样本，缓解类增量学习中的样本不足和决策边界崩溃问题，无需修改架构即可显著提升性能。
2024-02-26 cs.CV cs.LG
CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）；Clova AI Research, LINE Plus Corp.（LINE Plus公司Clova AI研究中心）；Yonsei University（延世大学）
为了提高卷积神经网络分类器的性能，提出了区域丢弃策略。事实证明，它们可以有效地引导模型关注对象的区分度较低的部分（例如，与人的头部相对的腿），从而使网络更好地泛化并具有更好的对象定位能力。另一方面，目前的区域丢弃方法通过覆盖一片黑色像素或随机噪声来去除训练图像上的信息像素。这种移除是不期望的，因为它导致训练期间的信息丢失和低效率。因此，我们提出了CutMix增强策略：在训练图像中剪切和粘贴补丁，其中地面真实标签也与补丁的面积成比例混合。通过有效利用训练像素并保留区域丢弃的正则化效果，CutMix在CIFAR和ImageNet分类任务以及ImageNet弱监督定位任务上始终优于最先进的增强策略。此外，与以前的增强方法不同，我们的CutMix训练的ImageNet分类器在用作预训练模型时，在Pascal检测和MS-COCO图像描述基准测试中获得了一致的性能增益。我们还表明，CutMix提高了对输入腐败和分布外检测性能的模型鲁棒性。源代码和预训练模型可在https://github.com/clovaai/CutMix-PyTorch上获得。
2019-08-07 cs.CV cs.LG
Fine-Grained Visual Classification using Self Assessment Classifier
AIOZ；University of Liverpool（利物浦大学）
在细粒度的视觉分类任务中，识别特征的提取起着至关重要的作用。现有的大多数方法都侧重于发展注意力或增强机制，以实现这一目标。然而，解决前k个预测类中的模糊性并没有得到充分的研究。在本文中，我们引入了一个自评估分类器，它同时利用图像和前k个预测类的表示来重新评估分类结果。我们的方法的灵感来自于持续学习的粗粒度和细粒度分类器，以增加骨干中的特征的区分度，并产生图像上信息区域的注意力图。在实践中，我们的方法作为一个辅助分支，可以很容易地集成到不同的架构。我们表明，通过有效地解决前k个预测类中的模糊性，我们的方法在CUB 200 -2011，Stanford Dog和FGVC Aircraft数据集上实现了新的最先进的结果。此外，我们的方法还一致地提高了具有统一设置的不同现有细粒度分类器的准确性。
2022-05-21 cs.CV
On Counterfactual Data Augmentation Under Confounding
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Microsoft Research（微软研究院）
本文从因果视角分析混杂偏差对下游分类器的影响，提出一种简单有效的反事实图像生成算法以消除混杂效应，帮助模型学习不变特征并提升泛化能力。
2023-11-21 cs.CV cs.LG stat.ML
FenceMask: A Data Augmentation Approach for Pre-extracted Image Features
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
我们提出了一种新的数据增强方法，名为“栅栏”，在各种计算机视觉任务中表现出出色的性能。该算法基于“模拟对象遮挡”策略，旨在实现对象遮挡与输入数据信息保持之间的平衡。通过增强遮挡块的稀疏性和规则性，我们的增强方法克服了小对象增强的困难，并显着提高性能超过基线。大量的实验证明，该方法的性能优于其他模拟物体遮挡方法。我们在CIFAR10，CIFAR100和ImageNet数据集上进行了测试，用于粗粒度分类，COCO2017和VisDrone数据集用于检测，Oxford Flowers，Cornel Leaf和Stanford Dogs数据集用于细粒度视觉分类。我们的方法在细粒度视觉分类任务和VisDrone数据集上取得了显着的性能改进。
2020-06-14 cs.CV
Generating Attention from Classifier Activations for Fine-grained Recognition
Fujitsu Research & Development Center（富士通研究开发中心）
细粒度识别的最新进展利用注意力地图来定位感兴趣的对象。虽然有很多方法可以生成注意力地图，但大多数都依赖于复杂的损失函数或复杂的训练过程。在这项工作中，我们提出了一个简单而直接的注意力生成模型的基础上输出激活的分类器。我们的模型的优点是，它可以很容易地用图像级标签和softmax损失函数进行训练。更具体地，首先采用多个线性局部分类器在高级CNN特征图的每个位置处执行细粒度分类。通过聚合和最大池化输出激活来生成注意力地图。然后将注意力图作为替代目标对象掩码来训练这些局部分类器，类似于用于语义分割的训练模型。我们的模型在三个经过严格基准测试的数据集上取得了最先进的结果，即CUB-200-2011数据集上的87.9%、斯坦福汽车数据集上的94.1%和FGVC-Aircraft数据集上的92.1%，证明了其在细粒度识别任务上的有效性。
2018-11-27 cs.CV
Domain Adaptive Transfer Learning on Visual Attention Aware Data Augmentation for Fine-grained Visual Categorization
Department of Computer Science and Engineering University of Texas at Arlington（德克萨斯大学阿灵顿分校计算机科学与工程系）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Department of Computer Science and Engineering（计算机科学与工程系）；University of Texas at Arlington, Arlington, TX, USA（德克萨斯大学阿灵顿分校，阿灵顿，德克萨斯州，美国）；UTA（德克萨斯大学阿灵顿分校（UTA））
细粒度视觉分类（FGVC）是计算机视觉中一个具有挑战性的课题。这是一个以类内差异大和类间差异小为特征的问题。在本文中，我们以弱监督的方式解决这个问题，其中神经网络模型通过视觉注意力机制使用数据增强技术获得额外的数据。我们通过对基础网络模型进行微调来实现领域自适应知识转移。我们在六个具有挑战性和常用的FGVC数据集上进行了实验，通过使用注意力感知数据增强技术，并使用来自深度学习模型InceptionV 3的特征，在大规模数据集上进行了预训练，我们在准确性上取得了有竞争力的提高。我们的方法在多个FGVC数据集上的性能优于竞争对手的方法，并在其他数据集上显示出具有竞争力的结果。实验研究表明，基于视觉注意的数据增强可以有效地利用大规模数据集的迁移学习，在多个FGVC数据集上都能获得最新的结果。我们提出了一个全面的分析我们的实验。我们的方法在多个细粒度分类数据集上取得了最先进的结果，包括具有挑战性的CUB 200 -2011鸟类，花卉-102和FGVC-Aircraft数据集。
2020-10-06 cs.CV
Test-Time Amendment with a Coarse Classifier for Fine-Grained Classification
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Tübingen（蒂宾根大学）
本文提出事后校正方法 HiE，利用标签层次和粗粒度预测在测试时修正细粒度分类，在 iNaturalist-19 和 tieredImageNet-H 上同时降低错误严重程度并提升 top-1 准确率，且适用于半监督场景。
2023-10-30 cs.CV cs.LG
Data Augmentation Vision Transformer for Fine-grained Image Classification
最近，视觉Transformer（ViT）在图像识别方面取得了突破。它的自注意力机制（MSA）可以提取不同像素块的区分性标记信息，以提高图像分类精度。然而，在其深层的分类标记往往忽略层之间的局部特征。此外，嵌入层将是固定大小的像素块。输入网络不可避免地会引入额外的图像噪声。为此，研究了一种基于数据增强的数据增强视觉Transformer（DAVT），提出了一种用于注意力裁剪的数据增强方法，该方法以注意力权重作为裁剪图像的指导，提高了网络学习关键特征的能力。其次，我们还提出了一个层次化的注意力选择（HAS）方法，通过过滤和融合水平之间的标签，提高了区分标记的能力的学习水平。在CUB-200-2011和Stanford Dogs两个通用数据集上的实验结果表明，该方法的准确率优于现有主流方法，比原始ViT分别提高了1.4%和1.6%
2022-11-24 cs.CV
Adversarial Learning of General Transformations for Data Augmentation
École de Technologie Supérieure（高等工程技术学院）；Element AI
数据增强（DA）是大型卷积神经网络中防止过拟合的基础，特别是在训练数据集有限的情况下。在图像中，DA通常基于启发式变换，如几何或颜色变换。我们的工作不是使用预定义的变换，而是通过学习使用与空间Transformer网络相结合的编码器-解码器架构来变换图像，直接从训练数据中学习数据增强。变换后的图像仍然属于同一类，但对于分类器来说是新的、更复杂的样本。我们的实验表明，我们的方法是优于以前的生成数据增强方法，并与预定义的变换方法训练图像分类器。
2019-09-21 cs.CV stat.ML
Challenges of Adversarial Image Augmentations
University of Oxford（牛津大学）；Apple（苹果公司）
在训练过程中应用的图像增强对图像分类器的泛化性能至关重要。因此，大量的研究集中在为给定的任务找到最佳的增强策略。然而，RandAugment [2]是一种简单的随机增强策略，最近已被证明优于现有的复杂策略。只有基于对抗训练思想的Adversarial AutoAugment（AdvAA）[11]才比RandAugment更好。在本文中，我们表明，随机增强仍然是有竞争力的最佳对抗方法相比，以及简单的课程，并推测AdvAA的成功是由于随机性的策略控制器网络，它引入了一个温和的形式的课程。
2021-12-03 cs.CV cs.LG
Understanding data augmentation for classification: when to warp?
Defence Science and Technology（国防科学与技术组织）；Australian Defence Force（澳大利亚国防军）；University of South Australia（南澳大利亚大学）
在本文中，我们调查的好处，增加数据与合成创建的样本时，训练机器学习分类器。创建额外训练样本的两种方法是数据扭曲，它通过在数据空间中应用的变换生成额外的样本，以及合成过采样，它在特征空间中创建额外的样本。我们使用标准MNIST手写数字数据集，通过实验评估了数据增强对卷积反向传播训练的神经网络、卷积支持向量机和卷积极端学习机分类器的好处。我们发现，虽然可以在特征空间中执行通用增强，但如果数据的合理变换是已知的，则数据空间中的增强为提高性能和减少过拟合提供了更大的好处。
2016-11-26 cs.CV
Piecewise classifier mappings: Learning fine-grained learners for novel categories with few examples
Megvii Research Nanjing, Megvii Technology（旷视南京研究院，旷视科技）；University of Wollongong（伍伦贡大学）；University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）
人类能够在很少的监督下学习一个新的细粒度概念，\emph{e.g.}，一种鸟类的几个示例图像，但我们最好的深度学习系统需要数百或数千个标记的示例。在本文中，我们试图通过研究细粒度图像识别问题，在一个具有挑战性的少样本学习设置，称为Few-Shot细粒度识别（FSFG），以减少这一差距。FSFG的任务要求学习系统从很少的例子（只有一个或少于五个）中为新的细粒度类别构建分类器。为了解决这个问题，我们提出了一个端到端的可训练深度网络，它受到最先进的细粒度识别模型的启发，并为FSFG任务量身定制。具体来说，我们的网络由一个双线性特征学习模块和一个分类器映射模块组成：前者将样本图像的判别信息编码为特征向量，后者将中间特征映射到新类别的决策边界。我们的模型的关键新颖之处在于分类器映射模块中的“分段映射”功能，该功能通过以更参数经济的方式学习一组更可达到的子分类器来生成决策边界。我们以元学习的方式学习基于辅助数据集的样本到分类器的映射，期望能够推广到新的类别。通过在三个细粒度数据集上进行综合实验，我们证明了所提出的方法比竞争基线具有更好的性能。
2019-06-21 cs.CV
Fine-grain Inference on Out-of-Distribution Data with Hierarchical Classification
Duke University（杜克大学）；Air Force Research Laboratory（美国空军研究实验室）
必须信任机器学习方法，以便在现实环境中做出适当的决策，即使面对分发外（OOD）样本也是如此。许多当前的方法只是旨在检测OOD示例，并在给出未识别的输入时提醒用户。然而，当OOD样本与训练数据显著重叠时，二进制异常检测是不可解释的或不可解释的，并且向用户提供很少的信息。我们提出了一种新的OOD检测模型，该模型在不同的粒度级别上进行预测，因为输入变得更加模糊，模型预测变得更粗糙，更保守。考虑一个动物分类器，它遇到了一个未知的鸟类和一辆汽车。这两种情况都是OOD，但是如果分类器认识到它对特定物种的不确定性太大，并且预测鸟类而不是将其检测为OOD，则用户可以获得更多的信息。此外，我们诊断分类器的性能在每个层次结构的层次结构，提高模型预测的可解释性和可解释性。我们证明了分层分类器的细粒度和粗粒度的OOD任务的有效性。
2022-09-09 cs.CV cs.LG
Classification Confidence Estimation with Test-Time Data-Augmentation
Technion - Israel Institute of Technology（以色列理工学院）；Toyoyta Technological Institute at Chicago（丰田工业大学芝加哥分校）
机器学习在我们生活的许多方面（包括医疗、交通、安全、司法和其他领域）发挥着越来越重要的作用，使得错误预测的潜在后果越来越具有破坏性。如果我们能够自动标记这些错误的预测，并可能将它们分配给替代的，更可靠的机制，这些后果可能会减轻，这些机制可能会更昂贵，并涉及人类的注意力。这表明了检测错误的任务，我们在本文中处理的视觉分类的情况下。为此，我们提出了一种新的分类置信度估计方法。我们应用一组语义保持图像变换的输入图像，并显示如何得到的图像集可以用来估计分类器的预测的信心。我们通过在各种分类器架构和数据集（包括ResNext/ImageNet）上进行广泛评估，展示了我们方法的潜力，实现了最先进的性能。本文构成了我们在这个方向上的早期工作的重大修订（Bahat & Shakhnarovich，2018）。
2020-06-30 cs.CV cs.LG
Paired Cross-Modal Data Augmentation for Fine-Grained Image-to-Text Retrieval
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（赛富时亚洲研究院）
本文研究了一个开放的研究问题，生成文本图像对，以改善训练的细粒度图像到文本的跨模态检索任务，并提出了一种新的框架，成对的数据增强通过揭示隐藏的语义信息的StyleGAN 2模型。具体来说，我们首先在给定的数据集上训练StyleGAN 2模型。然后，我们将真实图像投影回StyleGAN 2的潜在空间以获得潜在代码。为了使生成的图像可操作，我们进一步引入了一个潜在空间对齐模块来学习StyleGAN 2潜在代码和相应的文本标题特征之间的对齐。当我们在线进行配对数据增强时，我们首先通过随机令牌替换生成增强文本，然后将增强文本传递到潜在空间对齐模块输出潜在代码，最终将其馈送到StyleGAN 2以生成增强图像。我们在两个公共跨模态检索数据集上评估了我们的增强数据方法的有效性，其中有希望的实验结果表明，增强的文本-图像对数据可以与原始数据一起训练，以提高图像到文本的跨模态检索性能。
2022-07-29 cs.CV
Fine-grained Recognition with Learnable Semantic Data Augmentation
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）
本文提出一种可学习的语义数据增强方法，通过在特征层面沿语义方向平移图像特征来生成多样化样本，以解决细粒度识别中判别性区域丢失问题，并在多个基准上显著提升分类网络的泛化性能。
2023-09-01 cs.CV
