Progressive Augmentation of GANs
Bosch Center for Artificial Intelligence（博世人工智能中心）
生成对抗网络（GANs）的训练是众所周知的脆弱，需要在生成器和神经网络之间保持谨慎的平衡，以便表现良好。为了缓解这个问题，我们引入了一种新的正则化技术-GANs的渐进增强（PA-GAN）。其关键思想是通过逐步增加其输入或特征空间来逐渐增加任务难度，从而使生成器能够持续学习。我们表明，建议的渐进增强保留了原来的GAN目标，不妥协的最优性，并鼓励发电机和发电机之间的健康竞争，导致性能更好的发电机。我们通过实验证明了PA-GAN在不同架构和图像合成任务的多个基准上的有效性，平均实现了FID分数的~3点改进。
2019-10-28 cs.CV
Image Augmentations for GAN Training
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
数据增强已被广泛研究，以提高分类器的准确性和鲁棒性。然而，在以前的研究中，图像增强在改进用于图像合成的GAN模型中的潜力还没有被彻底研究。在这项工作中，我们系统地研究了各种现有的增强技术的有效性，在各种设置的GAN培训。我们提供了关于如何为普通GANs和具有正则化的GANs增强图像的见解和指导方针，大大提高了生成图像的保真度。令人惊讶的是，我们发现，如果我们在真实图像和生成图像上使用增强，香草GANs的生成质量与最近的最先进的结果相当。当这种GAN训练与其他基于增强的正则化技术（例如对比度损失和一致性正则化）相结合时，增强进一步提高了生成图像的质量。我们为CIFAR-10的条件生成提供了新的最先进的结果，其中一致性损失和对比损失作为额外的正则化。
2020-06-04 cs.CV cs.LG eess.IV
Data Augmentation Using GANs
University of Sao Paulo（圣保罗大学）；University of Tsukuba（筑波大学）
在本文中，我们提出使用生成对抗网络（GAN）来生成用于机器学习任务的人工训练数据。人工训练数据的生成在不平衡数据集等情况下非常有用，其作用类似于SMOTE或ADASYN。当数据包含敏感信息时也很有用，并且希望尽可能避免使用原始数据集（例如：医疗数据）。我们使用不同的网络架构在基准数据集上测试了我们的建议，并表明使用GAN生成的训练数据训练的决策树（DT）分类器与在原始数据集上训练的DT相比达到了相同的（有时甚至更好）准确性和召回率。
2019-04-19 cs.LG stat.ML
Overcoming challenges in leveraging GANs for few-shot data augmentation
ServiceNow Research（ServiceNow研究院）；Mila（米拉人工智能研究院）；Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
在本文中，我们探索使用基于GAN的Few-Shot数据增强作为提高Few-Shot分类性能的方法。我们进行了一个探索，如何GAN可以微调这样的任务（其中之一是在类增量的方式），以及严格的实证调查，以及如何以及这些模型可以执行，以提高Few-Shot分类。我们确定的问题，在一个纯粹的监督制度下，很少的例子，以及有关现有作品的评估协议的问题，训练这种生成模型的难度。我们还发现，在这种情况下，分类精度对数据集的类别如何随机划分非常敏感。因此，我们提出了一种半监督微调方法，作为解决这些问题的一种更务实的方法。
2022-08-08 cs.LG stat.ML
Are you wearing a mask? Improving mask detection from speech using augmentation by cycle-consistent GANs
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
从语音中检测一个人是否戴着口罩的任务在法医调查、外科医生或保护自己免受COVID-19等传染病感染的人之间的交流中对语音建模非常有用。在本文中，我们提出了一种新的数据增强方法从语音中检测掩码。我们的方法是基于（i）训练具有周期一致性损失的生成对抗网络（GANs）来翻译两个类别（有掩码和没有掩码）之间的未配对话语，以及（ii）使用周期一致性GANs生成新的训练话语，为每个翻译的话语分配相反的标签。原始和翻译的话语被转换成频谱图，这些频谱图作为输入提供给一组具有不同深度的ResNet神经网络。通过支持向量机（SVM）分类器将网络组合成一个整体。凭借该系统，我们参加了INTERSPEECH 2020计算副语言学挑战赛的面具子挑战赛（MSC），超过主办方提出的基线2.8%。我们的数据增强技术在私有测试集上提供了0.9%的性能提升。此外，我们表明，我们的数据增强方法比其他基线和最先进的增强方法产生更好的结果。
2020-07-25 cs.CV cs.SD eess.AS
LiDAR Sensor modeling and Data augmentation with GANs for Autonomous driving
Valeo Egypt（法雷奥埃及）
在自动驾驶领域，从真实车辆进行数据汇集和注释是昂贵的，有时还不安全。仿真器通常用于数据增强，这需要难以以封闭形式制定和建模的真实传感器模型。相反，传感器模型可以从真实数据中学习。主要的挑战是缺乏成对的数据集，这使得传统的监督学习技术不适用。在这项工作中，我们将问题表述为从未配对数据的图像转换，并使用CycleGAN来解决LiDAR的传感器建模问题，从模拟LiDAR（sim2real）生成逼真的LiDAR。此外，我们从较低分辨率的激光雷达（real2real）生成高分辨率，逼真的激光雷达。LiDAR 3D点云以鸟瞰视图和极坐标2D表示进行处理。实验结果表明，所提出的方法具有很高的潜力。
2019-05-17 cs.CV cs.LG cs.RO
Conditional Infilling GANs for Data Augmentation in Mammogram Classification
Harvard University（哈佛大学）；DeepHealth, Inc.（DeepHealth公司）
深度学习方法在乳房X线照片中检测乳腺癌最近显示出有希望的结果。然而，这种模型受到公开可用的乳房X射线摄影数据集的有限大小的限制，这在很大程度上是由于隐私问题和生成专家注释的高成本。有限的数据集大小进一步加剧了大量的类不平衡，因为“正常”的图像大大超过那些发现。鉴于生成模型在合成逼真图像方面的快速进展，以及简单数据增强技术（例如水平翻转）的已知有效性，我们询问是否有可能使用生成对抗网络（GANs）来合成增强乳房X线照片数据集。我们训练一个类条件GAN来执行上下文填充，然后我们使用它来将病变合成到健康的筛查乳房X线照片上。首先，我们证明了GANs能够生成高分辨率的合成乳房X光片。接下来，我们通过实验评估使用增强数据集来提高乳腺癌分类性能。我们观察到，与仅在传统增强数据上训练的相同模型相比，使用GAN增强的训练数据训练的ResNet-50分类器产生了更高的AUROC，证明了我们方法的潜力。
2018-08-24 cs.CV
Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
生成对抗网络（GANs）通常需要大量的数据进行训练，以便合成高保真图像。最近的研究表明，由于过度拟合，用有限的数据训练GANs仍然很难，这是阻碍生成器收敛的根本原因。本文介绍了一种新的策略，称为自适应伪增强（APA），以鼓励健康的竞争之间的发电机和发电机。作为依赖于标准数据增强或模型正则化的现有方法的替代方法，APA通过使用生成器本身来用生成的图像来增强真实数据分布来消除过拟合，这自适应地欺骗了过拟合。大量的实验证明了APA在提高低数据区合成质量方面的有效性。我们提供了一个理论分析，以检查我们的新的培训策略的收敛性和合理性。APA简单有效。它可以无缝地添加到强大的当代GANs中，例如StyleGAN 2，计算成本可以忽略不计。
2021-11-12 cs.CV cs.LG
Cross-Domain Adversarial Augmentation: Stabilizing GANs for Medical and Handwriting Data Scarcity
University of Asia Pacific（亚太平洋大学）
本文探讨了在低资源领域中使用生成数据增强技术，通过DCGAN模型生成合成样本，并评估其在医学影像和手写识别中的有效性，提升了有限数据下的分类性能。
2026-05-17 cs.CV
ScoreMix: A Scalable Augmentation Strategy for Training GANs with Limited Data
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Merced（加州大学默塞德分校）
生成对抗网络（GANs）通常会在有限的训练数据可用时遭受过拟合。为了便于GAN训练，当前方法提出使用数据特定的增强技术。尽管有效，但这些方法很难扩展到实际应用中。在这项工作中，我们提出了ScoreMix，一种新颖的和可扩展的数据增强方法，用于各种图像合成任务。我们首先使用真实样本的凸组合产生增强样本。然后，我们通过最小化数据得分的范数来优化增强样本，即，对数密度函数的梯度。该过程强制扩增样本靠近数据流形。为了估计分数，我们训练一个具有多尺度分数匹配的深度估计网络。对于不同的图像合成任务，我们使用不同的数据训练分数估计网络。我们不需要调整超参数或修改网络架构。ScoreMix方法有效地增加了数据的多样性，减少了过拟合问题。此外，它可以很容易地合并到现有的GAN模型与微小的修改。大量任务的实验结果表明，配备了ScoreMix方法的GAN模型实现了显着的改善。
2022-11-04 cs.CV
AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
本文提出一种基于CNN的儿科肺炎分类系统，结合数据增强和GANs生成合成图像以缓解数据不足与类别不平衡，并通过Flask部署实现实时诊断，在资源有限场景下提升诊断准确率与效率。
2025-07-13 cs.AI cs.CV eess.IV
Training End-to-end Single Image Generators without GANs
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了AugurOne，一种用于训练单图像生成模型的新方法。我们的方法使用（单个）输入图像的非仿射增强来训练放大神经网络，特别是包括非刚性薄板样条图像扭曲。广泛的增强显著增加了上采样网络的样本内分布，从而能够放大高度可变的输入。一个紧凑的潜在空间联合学习，允许受控的图像合成。与单图像GAN不同，我们的方法不需要GAN训练，并且以端到端的方式进行，从而允许快速和稳定的训练。我们的实验评估我们的方法，并表明它获得了引人注目的新颖的动画的单一图像，以及最先进的性能条件生成任务，如油漆到图像和边缘到图像。
2020-04-07 cs.CV cs.LG eess.IV
FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
数据高效GANs（DE-GANs）旨在利用有限的训练数据学习生成模型，在生成高质量样本方面遇到了一些挑战。由于数据增强策略在很大程度上缓解了训练的不稳定性，如何进一步提高DE-GAN的生成性能成为研究热点。近年来，对比学习在提高DE-GAN的综合质量方面显示出巨大的潜力，但相关的原理还没有得到很好的探索。本文回顾和比较了DE-GAN中不同的对比学习策略，发现（i）当前生成性能的瓶颈是潜在空间的不连续性;（ii）与其他对比学习策略相比，实例扰动法更倾向于潜在空间的连续性，这给DE-GAN带来了重大改进。基于这些观察，我们提出了FakeObserver，它只对扰动的假样本进行对比学习，并设计了三种相关的训练技术：噪声相关的潜在增强，多样性感知队列和队列的遗忘因子。我们的实验结果表明，新的艺术状态的Few-Shot生成和有限的数据生成。在多个数据集上，与现有的DE-GAN相比，Faketown获得了超过15%的FID改进。代码可在https://github.com/iceli1007/FakeCLR上获得。
2022-07-19 cs.AI cs.CV cs.LG
Statistical Guarantees of Group-Invariant GANs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文首次为群不变GAN提供统计性能保证，证明利用群对称性可按群大小比例降低样本复杂度并减小判别器逼近误差，且该收益无法仅靠数据增强实现。
2025-03-11 cs.LG stat.ML
Image Augmentation for Satellite Images
Carnegie Mellon University（卡内基梅隆大学）
本研究提出了使用生成模型（GANs）来增强EuroSAT数据集的土地利用和土地覆盖（LULC）分类任务。我们使用DCGAN和WGAN-GP为数据集中的每个类生成图像。然后，我们探讨了在每种情况下将原始数据集增加约10%对模型性能的影响。GAN架构的选择似乎对模型性能没有明显的影响。然而，几何增强和GAN生成的图像的组合改善了基线结果。我们的研究表明，GANs增强可以提高卫星图像深度分类模型的泛化能力。
2022-07-29 cs.AI cs.CV cs.LG
Symbolic Music Genre Transfer with CycleGAN
ETH Zürich（苏黎世联邦理工学院）
深度生成模型，如变分自编码器（VAE）和生成对抗网络（GANs），最近已被应用于图像的风格和域转移，在VAE的情况下，音乐。基于GAN的模型采用多个生成器和某种形式的周期一致性损失，是图像域传输中最成功的模型之一。在本文中，我们应用这样一个模型，象征性的音乐，并显示我们的方法的可行性，音乐体裁转移。使用单独的体裁分类器的评估表明，风格转移效果良好。为了提高转换后的音乐的保真度，我们添加了额外的鉴别器，使生成器保持原始音乐的结构基本不变，同时仍然实现了强大的流派转移。视觉和听觉结果进一步显示了我们方法的潜力。据我们所知，本文代表了GANs在符号音乐域转移中的首次应用。
2018-09-20 cs.LG cs.SD eess.AS
GANsemble for Small and Imbalanced Data Sets: A Baseline for Synthetic Microplastics Data
Vector Institute（向量研究所）；Toronto Metropolitan University（多伦多都会大学）
本文提出GANsemble双模块框架，结合数据增强与条件生成对抗网络，针对小样本不平衡微塑料数据生成合成数据，并建立SYMP基线及过滤算法，首次将生成式AI应用于微塑料数据合成。
2024-04-30 cs.AI cs.CV cs.LG
Automated Augmentation with Reinforcement Learning and GANs for Robust Identification of Traffic Signs using Front Camera Images
Volvo Cars USA（沃尔沃汽车美国公司）；U. Washington（华盛顿大学）；VolvoCars（沃尔沃汽车）；Chalmers University of Technology（查尔姆斯理工大学）；Fung Institute, University of California, Berkeley（加州大学伯克利分校冯氏研究所）
利用车辆摄像头图像识别交通标志在自动驾驶和路径规划中起着关键作用。然而，前置摄像头图像可能由于模糊、光照变化和故意破坏而失真，这可能导致检测性能下降。作为一种解决方案，机器学习模型必须使用来自多个领域的数据进行训练，并且在每个新领域中收集和标记更多数据既耗时又昂贵。在这项工作中，我们提出了一个端到端的框架，以增强交通标志训练数据，使用最佳的强化学习策略和各种生成对抗网络（GAN）模型，然后可以用来训练交通标志检测器模块。我们的自动增强器可以使用LISA交通标志和BDD-Nexar数据集从转换的夜间，光线不足和不同程度的遮挡中学习。所提出的方法能够将训练数据从一个域映射到另一个域，从而将夜间图像的交通标志检测精度/召回率从0.70/0.66提高到0.83/0.71。
2019-11-15 cs.AI cs.CV cs.LG
Augmentation-Aware Self-Supervision for Data-Efficient GAN Training
University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
提出增强感知的自监督判别器，通过预测增强参数缓解判别器对增强的不变性，提升数据高效GAN训练性能，在多个数据集上超越SOTA方法。
2023-12-28 cs.AI cs.CV cs.LG
Generative Adversarial Networks for Bitcoin Data Augmentation
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA）维康特克基金会）；Institute of Smart Cities, Public University of Navarre（纳瓦拉公立大学智慧城市学院）
在比特币实体分类中，结果受到地面实况数据集的强烈影响，特别是在应用监督机器学习方法时。然而，这些地面实况数据集经常受到严重的类别不平衡的影响，因为它们通常包含更多关于法律服务（交易所，赌博）的信息，而不是可能与非法活动有关的服务（混合器，服务）。类别不平衡增加了应用机器学习技术的复杂性，并降低了分类结果的质量，特别是对于代表性不足但关键的类别。在本文中，我们建议通过使用生成对抗网络（GANs）来解决这个问题，因为GANs最近在图像分类领域显示出了有希望的结果。然而，没有适用于每种场景的“一刀切”GAN解决方案。事实上，设置GAN训练参数是不平凡的，并且严重影响所生成的合成数据的质量。因此，我们评估了GAN参数，如优化函数，数据集的大小和所选的批量大小如何影响GAN实现一个代表性不足的实体类（矿池），并演示了如何获得一个“好”的GAN配置，实现合成生成的和真实的比特币地址数据之间的高相似性。据我们所知，这是第一项将GANs作为有效工具的研究，用于生成比特币实体分类中数据增强的合成地址数据。
2020-05-27 cs.LG stat.ML
Differentiable Augmentation for Data-Efficient GAN Training
Tsinghua University（清华大学）；MIT（麻省理工学院）；Adobe（奥多比）；CMU（卡内基梅隆大学）
生成对抗网络（GANs）的性能在有限的训练数据下严重恶化。这主要是因为机器人记住了确切的训练集。为了解决这个问题，我们提出了微分增强（DiffAugment），这是一种简单的方法，通过对真实和虚假样本施加各种类型的微分增强来提高GANs的数据效率。以前的尝试直接增加训练数据操纵真实图像的分布，产生的好处很少; DiffAugment使我们能够采用可微增强生成的样本，有效地稳定训练，并导致更好的收敛。实验表明，我们的方法在各种GAN架构和损失函数的无条件和类条件生成一致的收益。使用DiffAugment，我们在ImageNet 128 x128上实现了最先进的FID 6.80，IS 100.8，并在FFHQ和LSUN上减少了2- 4倍的FID。此外，仅用20%的训练数据，我们就可以在CIFAR-10和CIFAR-100上达到最高性能。最后，我们的方法可以生成高保真图像，只使用100张图像，而无需预训练，同时与现有的迁移学习算法。代码可在https://github.com/mit-han-lab/data-efficient-gans上获得。
2020-12-07 cs.CV cs.GR cs.LG
Leveraging GANs for data scarcity of COVID-19: Beyond the hype
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）；Umea University（于默奥大学）
本文分析了43篇关于使用GANs生成COVID-19合成医学图像数据的研究，指出其存在数据偏差、可重复性差及缺乏临床反馈等问题，并提出了改进建议以指导未来研究。
2023-04-07 cs.CV cs.LG eess.IV
Locality-preserving Directions for Interpreting the Latent Space of Satellite Image GANs
针对基于小波的卫星图像 GAN，本文提出局部性保持的权重空间分解方法，以发现语义可解释的潜空间方向，并在场景分类数据增强中优于几何增强与 PCA 方法。
2023-09-26 cs.CV cs.LG
Pathology-Aware Generative Adversarial Networks for Medical Image Augmentation
The University of Tokyo（东京大学）；National Center for Global Health and Medicine（国立国际医疗研究中心）；Kyushu Medical Center（九州医疗中心）
卷积神经网络（CNN）可以在大规模注释数据集下的医学图像分析中发挥关键作用。然而，准备如此庞大的数据集是非常困难的。在这种情况下，生成对抗网络（GANs）可以生成真实但新颖的样本，从而有效地覆盖真实的图像分布。在插值方面，基于GAN的医学图像增强是可靠的，因为医疗模态可以在固定位置显示人体的强解剖一致性，同时清楚地反映受试者间的变异性;因此，我们建议使用噪声到图像GANs（例如，随机噪声样本到不同的病理图像），用于（i）医学数据增强（DA）和（ii）医师培训。关于DA，GAN生成的图像可以改善基于监督学习的计算机辅助诊断。对于医师培训，GANs可以显示新颖的期望病理图像，并帮助训练医疗受训者，而不管基础设施/法律限制。本论文包含四个GAN项目，旨在与医生合作，展示此类新应用的临床相关性。虽然这些方法更普遍适用，但本文仅探讨了一些肿瘤学应用。
2021-06-03 cs.CV cs.LG eess.IV
Combining Noise-to-Image and Image-to-Image GANs: Brain MR Image Augmentation for Tumor Detection
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Cambridge（剑桥大学）；Cancer Research UK Cambridge Institute（英国癌症研究院剑桥研究所）；University of Milano-Bicocca（米兰比可卡大学）；Chubu University（中部大学）；Jikei University School of Medicine（东京慈惠会医科大学）；Kyushu University（九州大学）
卷积神经网络（CNN）通过足够的注释训练数据实现了出色的计算机辅助诊断。然而，大多数医学成像数据集都很小且分散。在这种情况下，生成对抗网络（GANs）可以合成真实/多样化的额外训练图像，以填补真实图像分布中的数据不足;研究人员通过用噪声到图像（例如，随机噪声样本到不同病理图像）或图像到图像GANs（例如，良性图像到恶性图像）。然而，没有研究报告将噪声到图像和图像到图像GANs结合起来以进一步提高性能的结果。因此，为了最大化使用GAN组合的DA效果，我们提出了两步基于GAN的DA，其分别生成和细化有/无肿瘤的脑磁共振（MR）图像：（i）GANs的渐进生长（PGGAN），用于高分辨率MR图像生成的多级噪声到图像GAN，首先生成逼真/多样化的256 X 256图像;（ii）多模态无监督图像到图像转换（MUNIT），其组合了GANs/变分自动编码器或使用DA聚焦的GAN损失的SimGAN，进一步细化了PGGAN生成的图像的纹理/形状，类似于真实图像。我们彻底研究了基于CNN的肿瘤分类结果，同时考虑了预训练对ImageNet的影响，并丢弃了看起来奇怪的GAN生成的图像。结果表明，当与经典DA相结合时，我们的基于GAN的两步DA在肿瘤检测中可以显著优于单独的经典DA（即，将灵敏度提高93.67%至97.48%），并且还用于其他医学成像任务。
2019-10-09 cs.AI cs.CV eess.IV
Conditional Generative Adversarial Networks for Data Augmentation and Adaptation in Remotely Sensed Imagery
NVIDIA（英伟达）；CACI；NGA Research（NGA研究院）
获取与给定任务相关的标记数据的困难是将深度学习技术应用于新的或甚至稍微修改的领域的最常见和众所周知的实际障碍之一。当前一代监督学习算法所需的数据量通常远远超过人类学习和完成给定任务所需的数据量。我们研究如何使用生成对抗网络（GANs）将给定的标记遥感图像语料库扩展为更大的语料库。然后，我们测量这些额外的合成数据如何影响目标检测任务上的监督机器学习性能。我们的数据驱动策略是训练GANs以（1）生成合成分割掩模和（2）生成与这些分割掩模对应的合理合成遥感图像。这些GANs按顺序运行，可以生成带有分割标签的合成遥感图像。我们将此策略应用于ISPRS的2D语义标注大赛-波茨坦的数据集，并进行了车辆检测任务。我们发现，在有限的训练数据的情况下，增加可用的数据与这样的综合生成的数据可以提高检测器的性能。
2019-08-10 cs.CV cs.LG eess.IV
Data Augmentation and Resolution Enhancement using GANs and Diffusion Models for Tree Segmentation
Federal University of Mato Grosso do Sul（巴西马托格罗索大州联邦大学）；São Paulo State University（巴西圣保罗州大学）
针对树木分割中低分辨率图像效果差、标注数据稀缺的问题，提出结合域适应、GAN与扩散模型的新流程，生成合成样本扩充数据集并统一尺度，低分辨率图像IoU提升超50%。
2025-05-21 cs.AI cs.CV cs.LG
Adversarial Semantic Augmentation for Training Generative Adversarial Networks under Limited Data
East China University of Science and Technology（华东理工大学）
针对有限数据下GANs性能下降问题，提出对抗语义增强（ASA）技术，在语义层面估计协方差矩阵寻找变换方向并优化对抗损失上界，隐式实现数据增强，有效提升了合成质量与计算效率。
2025-02-02 cs.CV eess.IV
The (de)biasing effect of GAN-based augmentation methods on skin lesion images
Gdańsk University of Technology（格但斯克工业大学）；Sahlgrenska University Hospital（萨尔格伦斯卡大学医院）；AI Sweden（瑞典人工智能研究院）
新的医学数据集现在对公众更加开放，允许更好和更广泛的研究。尽管准备得非常小心，但新的数据集仍然可能是影响学习过程的虚假相关性的来源。此外，收集的数据通常不够大，而且往往不平衡。缓解数据不平衡的一种方法是使用生成对抗网络（GANs）的数据增强来扩展具有高质量图像的数据集。GANs通常在与目标数据相同的偏差数据集上进行训练，从而导致更多的偏差实例。这项工作探索了无条件和有条件的GANs，以比较它们的偏差遗传以及合成数据如何影响模型。我们提供了广泛的手动数据注释的可能偏置伪影的著名的ISIC数据集与皮肤病变。此外，我们还检查了在真实和合成数据上训练的分类模型，以及反事实偏见解释。我们的实验表明，GANs继承了偏见，有时甚至放大了偏见，导致更强的虚假相关性。手动数据注释和合成图像可公开用于可重复的科学研究。
2022-06-30 cs.CV eess.IV
Sequential IoT Data Augmentation using Generative Adversarial Networks
University of Applied Sciences（应用科学大学）；Information Technologies Institute（信息技术研究所）
工业应用中的顺序数据可用于训练和评估机器学习模型（例如分类器）。由于收集有代表性的数据量是困难和耗时的，因此有动机从一个小的地面事实中生成它。数据增强是一种通过先验知识生成更多数据的常用方法，其中一种特定方法称为生成对抗网络（GANs），可以从噪声中生成数据。本文研究了使用GANs来增强连续物联网（IoT）数据的可能性，并通过一个示例实现来生成有游泳池和没有游泳池的家庭能耗数据。示例实现的结果在主观上似乎与原始数据相似。除了这种主观评价之外，如果提供标签，本文还介绍了GANs的定量评价技术。评估的积极结果支持了最初的假设，即从小的地面实况生成连续数据是可能的。这意味着可以缩短连续数据的繁琐的数据采集。在未来，本文的结果可能会作为机器学习的工具，解决小数据的挑战。
2021-01-13 cs.LG
A Self-Training Method for Semi-Supervised GANs
Huawei Technologies Co. Ltd.（华为技术有限公司）
自生成对抗网络（GANs）创建以来，人们已经做了很多工作来提高其训练稳定性，生成的图像质量，应用范围，但几乎没有一个探索其自我训练潜力。在深度学习出现之前，自我训练已经被使用，以便在有限的标记训练数据上进行训练，并且在半监督学习中显示出令人印象深刻的结果。在这项工作中，我们结合了这两个想法，并通过利用其无限的数据生成潜力，使GANs可自训练用于半监督学习任务。结果表明，即使使用最简单的自我训练形式也会产生改进。我们还显示了一个更复杂的自我训练计划，执行至少以及基本的自我训练计划，但显着减少数据增强的结果。
2017-10-27 cs.LG stat.ML
On the Fairness of Generative Adversarial Networks (GANs)
Innopolis University（因诺波利斯大学）
生成对抗网络（GANs）是近年来人工智能领域最大的进步之一。凭借其直接学习数据概率分布的能力，然后对合成的真实数据进行采样。已经出现了许多应用，使用GANs来解决机器学习中的经典问题，例如数据增强，类不平衡问题和公平表示学习。在本文中，我们分析和突出的公平性关注的GANs模型。在这方面，我们根据经验表明，GANs模型在训练过程中可能固有地偏好某些组，因此它们无法在测试阶段从不同的组中均匀地生成数据。此外，我们提出了解决这个问题的解决方案，通过将GAN模型调节为样本组或使用集成方法（提升）来允许GAN模型在训练阶段利用数据的分布式结构，并在测试阶段以相等的速率生成组。
2021-05-21 cs.CV cs.LG
Max-Sliced Wasserstein Distance and its use for GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Dupage Medical Group（杜佩奇医疗集团）
针对高维分布建模中GAN训练受距离度量样本复杂度影响的问题，分析切片Wasserstein距离的投影复杂度，提出兼具优异样本复杂度与更低投影复杂度的最大切片Wasserstein距离，可高效训练256x256分辨率的高维图像GAN。
2025-09-30 cs.CV cs.LG stat.ML
Adversarial synthesis based data-augmentation for code-switched spoken language identification
College of Engineering, Pune（浦那工程学院）；Samsung Research and Development（三星研发中心）
针对语码转换语音数据稀缺问题，本文提出基于GAN和梅尔频谱图的数据增强方法，在印地语-英语语码混合口语语言识别任务上使无权重平均召回率较CRNN基线提升3.5%。
2022-06-01 cs.CV cs.LG eess.AS
LatentAugment: Data Augmentation via Guided Manipulation of GAN's Latent Space
University Campus-Biomedico of Rome（罗马生物医学大学校园）；Umeå University（于默奥大学）
针对标准数据增强多样性有限、GAN模式覆盖差难以用于数据增强的问题，提出无监督的LatentAugment策略，通过引导操纵GAN潜向量提升合成样本的多样性与保真度，在MRI转CT任务中效果优于现有方法。
2023-07-21 cs.CV cs.LG eess.IV
xAI-GAN: Enhancing Generative Adversarial Networks via Explainable AI Systems
University of Waterloo（滑铁卢大学）
生成对抗网络（GANs）是一类革命性的深度神经网络（DNN），已成功用于生成逼真的图像，音乐，文本和其他数据。然而，GAN培训提出了许多挑战，特别是它可能非常资源密集型。GANs的一个潜在弱点是，它需要大量的数据来进行成功的训练，而数据汇集可能是一个昂贵的过程。通常情况下，从DNN到生成器DNN的校正反馈（即，DNN对生成的示例的评估）仅使用一个实数值（损失）来计算。相比之下，我们提出了一类新的GAN，我们称之为xAI-GAN，它利用可解释AI（xAI）系统的最新进展，从鉴别器到生成器提供“更丰富”形式的纠正反馈。具体来说，我们使用xAI系统修改了梯度下降过程，该系统指定了为什么分类器进行分类的原因，从而提供了“更丰富”的纠正反馈，帮助生成器更好地欺骗分类器。使用我们的方法，我们观察到xAI-GANs在MNIST和FMNIST数据集上生成的图像质量比标准GANs提高了23.18%，如Frechet Inception Distance（FID）所测量的。我们进一步比较了在20%的数据上训练的xAI-GAN与在CIFAR 10数据集上100%的数据上训练的标准GAN，发现xAI-GAN仍然显示出FID分数的改善。此外，我们将我们的工作与微分增强进行比较-这已被证明可以使GANs数据高效-并表明xAI-GANs优于在微分增强上训练的GANs。此外，这两种技术可以结合起来，以产生更好的结…
2022-03-29 cs.LG stat.ML
PMC-GANs: Generating Multi-Scale High-Quality Pedestrian with Multimodal Cascaded GANs
University of Electronic Science and Technology of China（电子科技大学）
最近，生成对抗网络（GANs）在合成图像方面表现出了巨大的优势，从而推动了使用伪造图像来增强数据的探索。本文提出了一种多模态级联生成对抗网络（PMC-GANs）来生成真实多样的行人图像并增强行人检测数据。我们的模型的生成器采用了残差U网结构，多尺度残差块编码的功能，并注意残差块，以帮助解码和重建行人图像。该模型采用由粗到细的方式构造，并采用级联结构，有利于产生高分辨率的行人。PMC-GAN的性能优于基线，当用于数据增强时，它可以改善行人检测结果。
2019-12-30 cs.CV
Capturing Variabilities from Computed Tomography Images with Generative Adversarial Networks
Université Catholique de Louvain - ICTEAM（天主教鲁汶大学ICTEAM研究所）；Université Catholique de Louvain - IREC/MIRO（天主教鲁汶大学IREC/MIRO研究所）
随着深度学习（DL）技术的出现，特别是生成对抗网络（GANs），数据增强和生成是最近引起人们极大兴趣的快速发展的领域。然而，DL技术对数据要求很高，并且由于医疗数据不容易获得，因此它们遭受数据不足。为了解决这一限制，使用了不同的数据增强技术。在这里，我们提出了一种新的无监督的数据驱动的数据增强方法，可以使用简单的GAN生成2D计算机断层扫描（CT）图像。所生成的CT图像具有真实CT图像的良好的全局和局部特征，并且可以用于增强训练数据集以进行有效的学习。在这个概念验证研究中，我们证明了我们提出的使用GANs的解决方案能够捕获一些全局和局部CT变量。我们的网络能够生成视觉上逼真的CT图像，我们的目标是通过将其扩展到更高的分辨率并可能从2D扩展到3D来进一步增强其输出。
2018-05-29 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Image Augmentation in Agriculture: A Systematic Review
Mississippi State University（密西西比州立大学）；Michigan State University（密歇根州立大学）；United States Department of Agriculture, Agricultural Research Service（美国农业部农业研究局）
在农业图像分析中，为了更好地完成视觉识别任务（例如，图像分类、分割、目标检测和定位）。然而，大规模、平衡和地面真实的图像数据集往往难以获得，难以推动先进、高性能模型的开发。由于深度学习的人工智能正在影响农业图像的分析和建模，因此数据增强在提高模型性能方面发挥着至关重要的作用，同时通过算法扩展训练数据集来减少数据准备的手动工作。除了传统的数据增强技术，生成对抗网络（GAN）于2014年在计算机视觉社区发明，提供了一套新的方法，可以学习良好的数据表示并生成高度真实的样本。自2017年以来，对用于农业图像增强或合成的GANs的研究有所增长，以提高模型性能。本文概述了GAN架构的演变，然后对其在农业中的应用进行了系统的回顾（https：//github.com/Derekabc/GANs-Agriculture），涉及植物健康，杂草，水果，水产养殖，动物养殖，植物表型以及水果缺陷的采后检测的各种视觉任务。讨论了GANs的挑战和机遇，为未来的研究。
2022-04-12 cs.CV eess.IV
Functional Magnetic Resonance Imaging data augmentation through conditional ICA
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎萨克雷大学）
计算认知神经成像研究的进展与大量标记的脑成像数据的可用性有关，但这些数据稀缺且生成成本高。虽然强大的数据生成机制，如生成对抗网络（GANs），在过去的十年中已经被设计用于计算机视觉，但这种改进尚未应用于大脑成像。一个可能的原因是，GANs训练不适合功能神经成像中的噪声，高维和小样本数据。在本文中，我们介绍了条件独立成分分析（条件ICA）：一种快速的功能性磁共振成像（fMRI）数据增强技术，利用丰富的静息状态数据创建图像的ICA分解采样。然后，我们提出了一种机制，条件生成器上观察到的类与几个样本。我们首先表明，生成机制是成功的合成数据无法区分的意见，它产生收益的分类精度在大脑解码问题。特别是，它的性能优于GANs，同时更容易优化和解释。最后，条件ICA提高了八个数据集的分类精度，而无需进一步的参数调整。
2021-07-14 cs.LG eess.IV
Generative Adversarial Networks
Tel Aviv University（特拉维夫大学）
生成对抗网络（GANs）是用于生成高质量数据的非常流行的框架，并且在许多领域的学术界和工业界都得到了广泛的应用。可以说，它们最大的影响是在计算机视觉领域，在那里它们实现了最先进的图像生成。本章介绍了GANs，讨论了它们的原理机制，并提出了它们在训练和评估过程中的一些固有问题。我们集中在这三个问题：（1）模式坍塌，（2）消失的梯度，（3）低质量的图像的生成。然后，我们列出了一些架构变体和丢失变体GANs，它们可以解决上述挑战。最后，我们给出了GANs在实际应用中的两个应用示例：数据增强和人脸图像生成。
2022-03-01 cs.CV cs.LG
Tabular GANs for uneven distribution
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文综述了三种主要范式下的表格数据生成方法，提出统一框架支持GAN、扩散模型和大语言模型，并通过实验验证框架在分布偏移下的有效性。
2026-04-08 cs.CV cs.LG
Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Corporation（微软公司）；Tsinghua University（清华大学）
用有限的真实图像数据训练生成对抗网络（GANs）通常会导致性能恶化和模型崩溃。为了克服这一挑战，我们受到最新观察的启发，人们可以发现独立可训练和高度稀疏的子网络（又名，彩票）。将其视为归纳先验，我们提出了一个全新的角度来进行数据高效的GAN训练：首先使用真实图像的小训练集从原始GAN中识别彩票;然后通过重用相同的集合来专注于训练稀疏子网络。我们发现我们的协调框架提供正交增益现有的真实图像数据增强方法，我们还提出了一个新的特征级增强，可以与他们一起应用。综合实验证实了我们提出的框架的有效性，在各种GAN架构（SNGAN，BigGAN和StyleGAN-V2）和不同的数据集（CIFAR-10，CIFAR-100，Tiny-ImageNet，ImageNet和多个Few-Shot生成数据集）。代码可在https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training上获得。
2021-10-22 cs.AI cs.CV cs.LG
GANs 'N Lungs: improving pneumonia prediction
Intellogic Limited Liability Company (Intellogic LLC)（Intellogic有限责任公司（Intellogic LLC））；ITMO University（圣彼得堡国立信息技术机械与光学大学）
我们提出了一种新的方法来提高深度学习模型在高度不平衡任务上的性能。该方法基于CycleGAN来实现平衡数据集。我们表明，使用GAN的数据增强有助于提高肺炎二元分类任务的准确性，即使生成网络是在相同的训练数据集上训练的。
2019-08-01 cs.CV eess.IV
GANsfer Learning: Combining labelled and unlabelled data for GAN based data augmentation
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；Imanova Ltd.（Imanova有限公司）
医学成像是一个缺乏用于学习算法训练的人工标注数据的领域。在像素级手动描绘病理区域是一个耗时的过程，特别是在3D图像中，并且通常需要训练有素的专家的时间。因此，有监督的机器学习解决方案必须处理少量的标记数据，尽管通常还有额外的未标记数据可用。虽然这些未标记图像的价值低于标记图像，但它们可能包含有用的信息。在本文中，我们建议在GAN框架内结合标记和未标记的数据，然后使用生成的网络生成图像，以供训练分割网络时使用。我们探讨了AD数据集中的深灰色物质多类分割的任务，并表明所提出的方法导致分割结果的显着改善，特别是在标记数据量受限的情况下。我们表明，这种改善在很大程度上是由更大的能力，以分割已知的结构是最受AD，从而证明了暴露系统的好处，更多的病理解剖变异的例子。我们还展示了训练数据的域从年轻和健康向老年人和更多病理的例子的转变如何导致后者的情况下，更好的分割，这导致显着改善的能力计算分割分层的情况下AD。
2018-11-26 cs.CV
Infinite Brain MR Images: PGGAN-based Data Augmentation for Tumor Detection
The University of Tokyo（东京大学）；University of Milano-Bicocca（米兰比可卡大学）；Italian National Research Council (CNR)（意大利国家研究委员会）；Chubu University（中部大学）；Kanto Rosai Hospital（关东劳灾医院）；Kyushu University（九州大学）
由于缺乏可用的注释医学图像，准确的计算机辅助诊断需要密集的数据增强（DA）技术，例如原始图像的几何/强度变换;然而，这些变换后的图像本质上具有与原始图像相似的分布，导致性能改进有限。为了填补真实图像分布中的数据不足，我们使用生成对抗网络（GANs）合成大脑对比度增强的磁共振（MR）图像--逼真但与原始图像完全不同。本研究利用GANs的渐进式生长（PGGANs）（一种多阶段生成训练方法）来生成原始大小的256 X 256 MR图像，用于基于卷积神经网络的脑肿瘤检测，这通过传统的GANs是具有挑战性的;由于具有高分辨率的不稳定的GAN训练以及各种大小、位置、形状和对比度的肿瘤而出现困难。我们的初步结果表明，这种新的PGGAN为基础的DA方法可以实现有前途的性能改善，当与经典DA，在肿瘤检测，也在其他医学成像任务。
2019-03-29 cs.AI cs.CV
General-to-Detailed GAN for Infrequent Class Medical Images
RIKEN（理化学研究所）；University of Tsukuba（筑波大学）
深度学习在医学成像方面具有巨大的潜力。然而，由于每种疾病的发病率变化很大，医学图像数据集中的类的频率是不平衡的，导致这种不频繁的类的准确性差。一种可能的解决方案是使用生成对抗网络（GANs）创建的合成图像对不常见的类别进行数据增强，但传统的GANs也需要一定数量的图像来学习。为了克服这一限制，在这里我们提出了一般到详细的GAN（GD GAN），串联连接两个GANs，一个用于一般标签，另一个用于详细标签。GDGAN生成了各种医学图像，并且使用增强数据集训练的网络在受试者工作特征（ROC）曲线的曲线下面积（AUC）方面优于使用现有方法的其他网络。
2018-11-28 cs.CV cs.LG stat.ML
InvGAN: Invertible GANs
MPI for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根）；Amazon.com, Inc.（亚马逊公司）
真实感图像的生成、语义编辑和表示学习是高分辨率生成模型的许多潜在应用中的几个。GANs的最新进展使其成为此类任务的绝佳选择。然而，由于它们不提供推理模型，因此无法使用GAN潜在空间在真实图像上进行图像编辑或下游任务，例如分类。尽管进行了大量努力来训练推理模型或设计迭代法以反转预训练的生成器，但先前的方法是数据集（例如人脸图像）和架构（例如StyleGAN）特定的。这些方法对于扩展到新的数据集或架构是非常重要的。我们提出了一个通用的框架，是不可知的架构和数据集。我们的关键见解是，通过一起训练推理和生成模型，我们允许它们相互适应，并收敛到一个更好的质量模型。我们的\textbf{InvGAN}是Invertible GAN的缩写，它成功地将真实图像嵌入到高质量生成模型的潜在空间中。这使我们能够执行图像修补，合并，插值和在线数据增强。我们证明了这一点与广泛的定性和定量实验。
2021-12-10 cs.CV cs.LG stat.ML
Snore-GANs: Improving Automatic Snore Sound Classification with Synthesized Data
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；audEERING GmbH（audEERING公司）
严重阻碍自动打鼾声音分类（ASSC）发展的前沿问题之一与缺乏足够的监督训练数据有关。为了解决这个问题，我们提出了一种新的基于半监督条件生成对抗网络（scGANs）的数据增强方法，其目的是自动学习从随机噪声空间到原始数据分布的映射策略。所提出的方法具有很好的合成“现实”的高维数据的能力，而不需要额外的注释过程。为了处理GANs的模式坍塌问题，我们进一步引入集成策略来增强生成数据的多样性。在广泛使用的Munich-Passau打鼾声音语料库上进行的系统实验表明，基于scGANs的系统可以显着优于其他经典的数据增强系统，并且与最近报道的ASSC系统相比也具有竞争力。
2019-03-29 cs.LG cs.SD eess.AS
Latent Space is Feature Space: Regularization Term for GANs Training on Limited Dataset
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）
生成对抗网络（GAN）是目前广泛使用的一种无监督图像生成方法。目前最先进的GANs可以生成具有高分辨率的照片级逼真图像。然而，需要大量的数据，否则模型将容易生成具有相似模式（模式坍塌）和质量差的图像。我为GANs提出了一个额外的结构和损失函数，称为LFM，经过训练可以最大化潜在空间不同维度之间的特征多样性，以避免模式坍塌而不影响图像质量。构造正交特征向量对，并对特征向量对进行点积检验，使特征向量对与生成元之间形成一种新的对抗关系。在实验中，该系统已建立在DCGAN和证明有从零开始的CelebA数据集上的Frechet初始距离（FID）训练的改进。该系统需要适度的额外性能，并且可以与数据增强方法一起工作。该代码可在github.com/penway/LFM上获得。
2022-11-15 cs.CV cs.LG
The Effect of Data Augmentation on Classification of Atrial Fibrillation in Short Single-Lead ECG Signals Using Deep Neural Networks
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University of Leeds（利兹大学）
心血管疾病是全世界最常见的死亡原因。在无症状阶段检测心房颤动（AF）有助于预防中风。它还通过及时提供适当的治疗（如抗凝治疗）来改善临床决策。近年来，心电图（ECG）信号中AF的早期检测的临床意义激发了许多研究，其中许多研究旨在通过利用机器学习算法来解决这一任务。然而，包含AF样本的ECG数据集通常遭受严重的类不平衡，如果不考虑，会影响分类算法的性能。数据增强是解决这个问题的一个流行的解决方案。在这项研究中，我们调查了各种数据增强算法的影响，例如，过采样，高斯混合模型（GANs）和生成对抗网络（GANs），解决类不平衡问题。这些算法进行了定量和定性的评价，比较和详细讨论。结果表明，基于深度学习的AF信号分类方法比过采样更受益于使用GANs和GARCH的数据增强。此外，GAN导致平均约$3\%$更好的AF分类准确度，同时在f1分数方面执行GMM的验证。
2020-02-13 cs.LG eess.SP stat.ML
BAGAN: Data Augmentation with Balancing GAN
图像分类数据集通常是不平衡的，这一特征会对深度学习分类器的准确性产生负面影响。在这项工作中，我们提出平衡GAN（BAGAN）作为增强工具，以恢复不平衡数据集的平衡。这是具有挑战性的，因为少数民族类图像可能不足以训练GAN。我们通过在对抗训练期间包括多数和少数类的所有可用图像来克服这个问题。生成模型从多数类中学习有用的特征，并使用这些特征为少数类生成图像。我们在潜在空间中应用类条件作用来驱动生成过程朝向目标类。GAN中的生成器使用自动编码器的编码器模块进行初始化，使我们能够在潜在空间中学习准确的类调节。我们将所提出的方法与最先进的GANs进行了比较，并证明了BAGAN在使用不平衡数据集进行训练时会生成质量优异的图像。
2018-06-05 cs.CV cs.LG stat.ML
Few-Shot Learning with Adaptive Weight Masking in Conditional GANs
Tulane University（杜兰大学）；Northeastern University（东北大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对少样本场景下标注数据不足与过拟合问题，本文提出RWM-CGAN，通过残差生成器和权重掩码判别器进行受控数据增强，显著提升公开数据集上的检测与分类性能。
2024-12-04 cs.CV cs.LG
Pairwise Augmented GANs with Adversarial Reconstruction Loss
Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Federal Research Center "Informatics and Management" of the Russian Academy of Sciences（俄罗斯科学院联邦研究中心“信息学与管理学”）
我们提出了一种新型的自动编码模型，称为成对增强的GANs。我们训练一个生成器和一个编码器联合和对抗的方式。生成器网络学习对真实对象进行采样。反过来，编码器网络同时被训练以将真实数据分布映射到潜在空间中的先验。为了确保良好的重建，我们引入了增强的对抗重建损失。在这里，我们训练一个机器人来区分两种类型的对：一个对象与它的增强和一个与它的重建。我们表明，这种对抗性损失比较对象的内容，而不是在完全匹配。我们通过实验证明，我们的模型在数据集MNIST，CIFAR10，CelebA上生成的样本和重建质量与最先进的数据集具有竞争力，并在CIFAR10上取得了良好的定量结果。
2018-10-11 cs.LG stat.ML
