On Pre-Trained Image Features and Synthetic Images for Deep Learning
Université de Bordeaux（波尔多大学）
深度学习方法通常需要大量的训练数据才能充分发挥其潜力，并且通常需要昂贵的手动标记。因此，使用合成图像对于训练对象检测器是非常有吸引力的，因为标记是免费的，并且已经提出了几种方法来组合合成图像和真实图像用于训练。在本文中，我们表明，一个简单的技巧是足够的训练非常有效的现代目标检测器与合成图像：我们冻结层负责特征提取的通用层预训练的真实图像，和训练只有其余的层与平原OpenGL渲染。我们对最近用于对象识别的深度架构（Faster-RCNN，R-FCN，Mask-RCNN）和图像特征提取器（InceptionResnet和Resnet）的实验表明，这种简单的方法表现得非常好。
2017-11-16 cs.CV
The Good, the Bad and the Ugly: Evaluating Convolutional Neural Networks for Prohibited Item Detection Using Real and Synthetically Composited X-ray Imagery
Durham University（杜伦大学）；Cranfield University（克兰菲尔德大学）
在X光安全图像中检测违禁物品对于维护边境和运输安全以应对各种威胁至关重要。具有大量数据支持的卷积神经网络（CNN）已经在这种自动化禁止目标检测和分类中带来了进步。然而，整理如此大量的X射线安全图像仍然是一个重大挑战。这项工作开辟了使用合成合成图像的可能性，避免了整理大量手工注释的真实世界图像的需要。在这里，我们研究了使用真实和合成的X射线训练图像用于CNN架构的检测性能的差异，该架构在杂乱和复杂的X射线安全行李图像中检测三种典型的违禁物品，{枪支，枪支零件，手枪}。我们使用更快的R-CNN和ResNet-101 CNN架构实现了0.88的平均精度（mAP），用于使用真实X射线图像的3类目标检测。虽然性能与合成合成X射线图像（0.78 mAP）相当，但我们的扩展评估表明了使用合成合成图像来多样化X射线安全训练图像以进行自动检测算法训练的挑战和前景。
2019-09-25 cs.CV cs.LG eess.IV
Learning color space adaptation from synthetic to real images of cirrus clouds
Zhejiang University（浙江大学）
云分割在气候建模的图像分析中起着至关重要的作用。手动标记用于云分割的训练数据是耗时且容易出错的。由于像素级标签的自然获取，我们探索用合成数据来训练分割网络。然而，合成图像和真实图像之间的域差距显着降低了训练模型的性能。我们提出了一种颜色空间自适应方法来弥补这一差距，通过训练一个颜色敏感的生成器和训练器，使合成数据适应颜色空间中的真实图像。我们采用一组封闭形式的操作来进行颜色空间调整，同时保留标签，而不是通过一般的卷积核来转换图像。我们还构建了一个合成到真实的卷云数据集SynCloud，并展示了卷云语义分割任务的适应效果。利用我们自适应的合成数据来训练语义分割，当应用于真实图像时，我们实现了6：59%的改进，优于其他方法。
2020-11-17 cs.CV
Synthetic Data for Text Localisation in Natural Images
University of Oxford（牛津大学）
在本文中，我们介绍了一种新的方法，在自然图像中的文本检测。该方法包括两个贡献：第一，一个快速和可扩展的引擎，以生成杂波中的文本合成图像。该引擎以自然的方式将合成文本覆盖到现有的背景图像上，考虑到本地3D场景几何形状。其次，我们使用合成图像来训练全卷积回归网络（FCRN），该网络在图像中的所有位置和多个尺度上有效地执行文本检测和边界框回归。我们讨论了FCRN与最近推出的YOLO检测器以及其他基于深度学习的端到端目标检测系统的关系。由此产生的检测网络在自然图像中的文本检测方面明显优于当前的方法，在标准ICDAR 2013基准上实现了84.2%的F测量。此外，它可以在GPU上每秒处理15张图像。
2016-04-22 cs.CV
SIMPL: Generating Synthetic Overhead Imagery to Address Zero-shot and Few-Shot Detection Problems
Duke University（杜克大学）
最近，深度神经网络（DNN）在目标检测的开销（例如，卫星）图像。然而，一个持续的挑战是收购的训练数据，由于获得卫星图像和注释的对象在it. In这项工作中，我们提出了一个简单的方法-称为合成对象IMPLantation（SIMPL）-轻松，快速地生成大量的合成开销训练数据的自定义目标对象的成本高。我们证明了使用SIMPL合成图像在没有真实图像的zero-shot场景中训练DNN的有效性;以及少样本学习场景，其中有限的真实世界图像可用。我们还进行了实验，研究SIMPL的有效性的敏感性，一些关键的设计参数，为用户提供的见解时，设计自定义对象的合成图像。我们发布了SIMPL方法的软件实现，以便其他人可以在其基础上构建，或将其用于自己的定制问题。
2021-06-29 cs.CV
Can Synthetic Data Improve Object Detection Results for Remote Sensing Images?
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）
深度学习方法需要足够的训练样本才能表现良好，但收集足够多的真实训练数据并手动标记它们是一个挑战。在这封信中，我们建议使用现实的合成数据与广泛的分布，以提高遥感图像飞机检测的性能。具体来说，为了增加合成数据的可变性，我们在渲染过程中随机设置参数，例如实例的大小和背景图像的类别。为了使合成图像更加逼真，我们使用CycleGAN在像素级上对真实的未标记图像进行优化。我们还用少量的实际数据对模型进行了微调，以获得更高的精度。在NWPU VHR-10、UCAS-AOD和DIOR数据集上的实验表明，该方法可以用于增强不充分的真实数据。
2020-06-09 cs.CV
E3: Ensemble of Expert Embedders for Adapting Synthetic Image Detectors to New Generators Using Limited Data
Drexel University（德雷塞尔大学）
针对新生成器取证痕迹变化且数据有限的问题，本文提出持续学习框架 E3，通过迁移学习构建专家嵌入器并由专家知识融合网络联合判别，提升合成图像检测性能。
2024-04-16 cs.AI cs.CV cs.LG
Object Detection Using Deep CNNs Trained on Synthetic Images
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Innit Inc.（Innit公司）
训练卷积神经网络（CNN）需要大的带注释的图像数据集，这一直是它们在计算机视觉应用中采用的重大障碍。我们表明，通过迁移学习，有效的对象检测器几乎可以完全在合成渲染的数据集上进行训练。我们将此策略应用于检测聚集在冰箱场景中的包装食品。我们的CNN只训练了4000张合成图像，在测试集上实现了24的平均精度（mAP），其中55个不同的产品作为感兴趣的对象和17个干扰对象。通过仅将400个真实图像添加到训练集中的这4000个合成图像中，获得了mAP的进一步增加12%。合成图像中的高度照片写实主义对于实现这种性能并不是必不可少的。我们分析了训练数据集大小和三维模型字典大小等因素对检测性能的影响。此外，训练策略，如微调与选定的层和早期停止，影响迁移学习从合成场景到真实场景的探索。使用合成数据集训练CNN是高性能计算的一种新应用，也是缺乏大型注释图像数据的领域中目标检测应用的一种有前途的方法。
2017-09-18 cs.CV
Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation
LY Corporation（LY公司）
针对扩散合成语义分割训练方法DiffuMask的局限，提出可靠性感知鲁棒训练、提示增强、LoRA适配三种技术，有效缩小了真实与合成训练的性能差距。
2024-04-15 cs.CV
Label-Free Synthetic Pretraining of Object Detectors
Princeton University（普林斯顿大学）
我们提出了一种新的方法，合成优化布局与实例检测（SOLID），用合成图像预训练对象检测器。我们的“SOLID”方法包括两个主要部分：（1）使用具有优化场景布置的未标记3D模型集合生成合成图像;（2）在“实例检测”任务上预训练对象检测器-给定描绘对象的查询图像，检测目标图像中完全相同对象的所有实例。我们的方法不需要任何语义标签进行预训练，并允许使用任意，多样化的3D模型。COCO上的实验表明，通过优化数据生成和适当的预训练任务，合成数据可以成为预训练目标检测器的高效数据。特别是，在渲染图像上进行预训练可以在使用更少的计算资源的同时，实现与真实图像上的预训练相竞争的性能。代码可在https://github.com/princeton-vl/SOLID上获得。
2022-08-08 cs.CV
On Rendering Synthetic Images for Training an Object Detector
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Graz University of Technology（格拉茨工业大学）
我们提出了一种新的方法来合成图像，是有效的训练对象检测器。从一个小的真实图像集开始，我们的算法估计所需的渲染参数，以合成类似的图像给定一个粗糙的3D模型的目标对象。然后，这些参数可以被重用以生成任意3D姿态的感兴趣对象的无限数量的训练图像，然后可以用于提高分类性能。我们的方法的一个关键见解是，合成生成的图像应该与真实图像相似，不是在图像质量方面，而是在检测器训练期间使用的特征方面。我们表明，在无人机，飞机和汽车检测的背景下，使用这种合成生成的图像产生显着更好的性能比简单地扰动真实图像，甚至合成图像的方式，他们看起来非常逼真，因为往往是这样做时，只有有限的训练数据可用。
2014-11-28 cs.CV
Dataset Augmentation with Synthetic Images Improves Semantic Segmentation
Indian Institute of Technology (BHU) Varanasi（印度理工学院（BHU）瓦拉纳西分校）；Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）；Innit Inc.（Innit公司）
尽管使用强像素级注释训练的深度卷积神经网络显著提升了语义分割的性能，但创建训练数据所需的注释工作仍然是进一步改进的障碍。我们表明，用合成图像增强弱注释的训练数据集可以最大限度地减少注释工作，也可以最大限度地减少捕获具有足够多样性的图像的成本。对PASCAL 2012验证数据集的评估显示，通过每个对象类添加100个合成图像，平均IOU从52.80%增加到55.47%。因此，我们的方法是一个很有前途的解决方案的注释和数据集收集的问题。
2018-06-26 cs.CV
Enabling Plant Phenotyping in Weedy Environments using Multi-Modal Imagery via Synthetic and Generated Training Data
本文提出利用合成RGB图像、少量真实标注和CycleGAN-turbo跨模态转换来增强热红外图像中的植物分割，实验表明该方法在杂草和植物类别上分别实现22%和17%的最大相对提升。
2025-09-23 cs.CV
Synthetic imagery for fuzzy object detection: A comparative study
Aalto University（阿尔托大学）；Tulane University（杜兰大学）
本文提出基于3D模型生成并自动标注全合成火焰图像的方法，并通过与真实、混合图像训练对比，证明混合训练可提升广泛火灾检测性能并降低建模成本。
2024-10-01 cs.CV
SRA-Seg: Synthetic to Real Alignment for Semi-Supervised Medical Image Segmentation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
SRA-Seg通过合成到现实的特征对齐，利用SA损失和软边缘融合技术，在仅用10%真实标注数据和90%合成数据的情况下，显著提升了医学图像分割性能。
2026-02-03 cs.CV
Effective Use of Synthetic Data for Urban Scene Semantic Segmentation
ANU（澳大利亚国立大学）；Data61-CSIRO（联邦科学与工业研究组织Data61）；EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
训练深度网络以执行语义分割需要大量的标记数据。为了减轻人工注释真实图像的工作，研究人员已经研究了可以自动标记的合成数据的使用。不幸的是，在合成数据上训练的网络在真实图像上的表现相对较差。虽然这可以通过领域自适应来解决，但现有方法都需要在训练期间访问真实图像。在本文中，我们介绍了一种完全不同的方法来处理合成图像，不需要在训练时看到任何真实图像。我们的方法建立在观察的基础上，前景和背景类不会以相同的方式受到域转移的影响，因此应该区别对待。特别是，前者应该以基于检测的方式处理，以更好地考虑这样一个事实，即虽然它们在合成图像中的纹理不是照片般逼真，但它们的形状看起来很自然。我们的实验证明了我们的方法在Cityscapes和CamVid上的有效性，模型只在合成数据上训练。
2018-07-16 cs.CV
Synthetic Data for Semantic Image Segmentation of Imagery of Unmanned Spacecraft
Stanford Center for Professional Development（斯坦福专业发展中心）；Stanford University（斯坦福大学）
从在外层空间运行的其他航天器拍摄的航天器图像很难获得，特别是在深度学习任务通常需要的规模下。语义图像分割、目标检测和定位以及姿态估计是研究得很好的领域，在许多应用中具有强大的结果，并且在自主航天器操作和交会中非常有用。然而，最近的研究表明，这些在广泛和常见领域的强有力的结果可能推广到地球上的特定工业应用。为了解决这个问题，我们提出了一种方法，用于生成标记为语义分割，可推广到其他任务的合成图像数据，并提供了一个原型的合成图像数据集组成的2D单目图像的无人驾驶航天器，为了使在该地区的自主航天器交会的进一步研究。我们还提出了一个强大的基准测试结果（Sørensen-Dice系数0.8723）对这些合成数据，这表明它是可行的训练性能良好的图像分割模型，这项任务，特别是如果目标航天器及其配置是已知的。
2022-11-22 cs.AI cs.CV
Training Deep Learning Algorithms on Synthetic Forest Images for Tree Detection
Laval University（拉瓦尔大学）
森林环境中基于视觉的分割是自主林业操作（如树木砍伐和转发）的关键功能。深度学习算法在执行目标检测等视觉任务方面表现出了良好的效果。然而，这些算法的监督学习过程需要来自大量多样性图像的注释。在这项工作中，我们建议使用模拟森林环境自动生成具有像素级注释的43 k逼真合成图像，并使用它来训练用于树木检测的深度学习算法。这使我们能够解决以下问题：i）在恶劣的合成森林环境中，我们应该期望深度学习有什么样的性能，ii）哪些注释对于训练最重要，iii）RGB和深度之间应该使用什么模式。我们还报告了通过直接预测真实图像上的限界框、分割掩模和关键点，在我们的合成数据集上学习的特征的有前途的迁移学习能力。代码可在GitHub上获取（https：//github.com/norlab-ulaval/PercepTreeV1）。
2022-10-08 cs.AI cs.CV
Training Object Detectors on Synthetic Images Containing Reflecting Materials
深度学习的一个重大挑战是需要获得大的标记训练数据集。虽然合成数据集可用于克服这一挑战，但重要的是这些数据集要缩小现实差距，即，在合成图像数据上训练的模型能够推广到真实图像。然而，现实的差距可以被认为是在几个应用场景中弥合，包含反射材料的合成图像的训练需要进一步的研究。由于具有反射材料的对象的外观由周围环境支配，因此在训练数据生成期间需要考虑这种相互作用。因此，在本文中，我们研究的背景下，合成图像生成训练对象检测器的反射材料的效果。我们调查的影响，渲染方法用于图像合成，域随机化的效果，以及所使用的训练数据的量。为了能够将我们的结果与最先进的结果进行比较，我们专注于室内场景，因为它们已经被广泛研究。在这种情况下，浴室家具是具有反射材料的物体的自然选择，我们报告了我们对真实和合成测试数据的发现。
2019-03-29 cs.CV cs.GR stat.ML
Deep Learning Based Assessment of Synthetic Speech Naturalness
本文提出了一种新的合成语音自然度客观预测模型。它可用于评估文本到语音或语音转换系统和工作语言独立。该模型是端到端训练的，并且基于CNN-LSTM网络，该网络先前已被证明可以为语音质量估计提供良好的结果。我们在16个不同的数据集上训练和测试了这个模型，比如暴雪挑战赛和语音转换挑战赛。此外，我们表明，基于深度学习的自然度预测的可靠性可以通过迁移学习从基于客观POLQA分数训练的语音质量预测模型中得到提高。所提出的模型是公开的，可以，例如，用于评估不同的TTS系统配置。
2021-04-23 cs.AI cs.CL cs.LG
Mask Conditional Synthetic Satellite Imagery
Institute for Applied Computational Science, Harvard University（哈佛大学应用计算科学研究所）；Microsoft AI for Good Research Lab（微软人工智能向善研究实验室）
在本文中，我们提出了一个掩模条件下的合成图像生成模型，用于创建合成卫星图像数据集。给定一个真实的高分辨率图像和伴随的土地覆盖掩模的数据集，我们表明，这是可能的训练上游条件合成图像生成器，使用该生成器创建合成图像与土地覆盖掩模，然后训练合成图像和土地覆盖掩模，实现类似的测试性能的模型，与真实的图像训练的下游模型。此外，我们发现，将真实图像和合成图像的混合物作为一种数据增强方法，产生比仅使用真实图像更好的模型（0.5834与0.5235 mIoU）。最后，我们发现，鼓励多样性的上游模型的输出是一个必要的组成部分，以提高下游任务的性能。我们已经在GitHub上发布了复制我们工作的代码，请参阅https://github.com/ms-synthetic-satellite-image/synthetic-satellite-imagery。
2023-02-08 cs.CV cs.LG
Detect Fake with Fake: Leveraging Synthetic Data-driven Representation for Synthetic Image Detection
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田理工学研究院）
本研究探索合成数据训练的视觉表征用于假图像检测的效果，发现用合成数据预训练的vision transformer可区分真假图像，以SynCLR为骨干的检测方法在未见过的GAN测试集上性能显著优于CLIP。
2024-09-13 cs.CV cs.LG
Evaluating a Synthetic Image Dataset Generated with Stable Diffusion
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
我们使用Wordnet分类法及其包含的概念定义，使用“稳定扩散”图像生成模型生成合成图像。该合成图像数据库可用作机器学习应用中数据增强的训练数据，并用于研究稳定扩散模型的能力。分析表明，稳定扩散可以为大量概念生成正确的图像，但也可以为各种不同的表示生成正确的图像。结果显示差异取决于所考虑的测试概念和非常具体的概念的问题。这些评估是使用用于图像分类的视觉Transformer模型进行的。
2022-11-04 cs.CV cs.LG
Synthetic Glacier SAR Image Generation from Arbitrary Masks Using Pix2Pix Algorithm
Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
有监督的机器学习需要大量的标记数据来实现适当的测试结果。然而，在遥感图像（包括合成孔径雷达（SAR）图像）上生成准确标记的分割图是繁琐且高度主观的。在这项工作中，我们建议，以减轻有限的训练数据的问题，通过生成合成SAR图像的pix2pix算法。该算法使用条件生成对抗网络（cGAN）来生成人工图像，同时保留输入的结构。在我们的情况下，输入是一个分割掩模，从其中生成相应的合成SAR图像。我们提出了不同的模型，进行了比较研究，并表明，这种方法合成令人信服的冰川在SAR图像有前途的定性和定量的结果。
2021-01-14 cs.CV cs.LG
Conditional Synthetic Food Image Generation
The Ohio State University（俄亥俄州立大学）；Purdue University（普渡大学）
生成对抗网络（GAN）以其强大的表示学习能力在图像合成中得到了广泛的研究。在这项工作中，我们探索了StyleGAN及其在合成食品图像生成中的应用。尽管GAN在自然图像生成方面的性能令人印象深刻，但食物图像存在很高的类内多样性和类间相似性，导致合成图像的过拟合和视觉伪影。因此，我们的目标是探索的能力，并提高食品图像生成的GAN方法的性能。具体来说，我们首先选择StyleGAN 3作为基线方法来生成合成食物图像并分析性能。然后，我们确定了在训练阶段可能导致食物图像性能下降的两个问题：（1）多食物类训练期间的类间特征纠缠和（2）图像下采样期间的高分辨率细节丢失。为了解决这两个问题，我们建议一次训练一个食物类别，以避免特征纠缠，并利用从高分辨率数据集裁剪的图像块来保留细节。我们在Food-101数据集上评估了我们的方法，与基线相比，生成的合成食物图像质量有所提高。最后，我们展示了提高下游任务性能的巨大潜力，例如通过在数据增强中包含高质量的合成训练样本来进行食品图像分类。
2023-03-16 cs.CV cs.LG
Synthetic Sample Selection via Reinforcement Learning
College of Information Sciences and Technology, The Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）；College of Medicine, The Pennsylvania State University（宾夕法尼亚州立大学医学院）
合成逼真的医学图像为解决基于深度学习的医学图像识别系统中训练数据不足的问题提供了一种可行的解决方案。然而，用于数据增强目的的合成图像的质量控制研究不足，并且一些生成的图像不真实，并且可能包含误导性特征，这些特征在与真实图像混合时使数据分布失真。因此，当这些合成图像在没有质量保证的情况下被随机添加时，这些合成图像在医学图像识别系统中的有效性不能得到保证。在这项工作中，我们提出了一个基于强化学习（RL）的合成样本选择方法，学习选择包含可靠和信息丰富的特征的合成图像。使用验证分类准确性作为奖励，通过近端策略优化（PPO）来训练基于Transformer的控制器。将所选择的图像与原始训练数据混合，以改进图像识别系统的训练。为了验证我们的方法，我们以病理图像识别为例，并进行了广泛的实验上的两个组织病理学图像数据集。在宫颈数据集和淋巴结数据集上的实验中，当利用我们的RL框架选择的高质量合成图像时，图像分类性能分别提高了8.1%和2.3%。我们提出的综合样本选择方法是通用的，有很大的潜力，以提高各种医学图像识别系统的性能有限的注释。
2020-08-26 cs.CV cs.LG
Fake it till you make it: Learning transferable representations from synthetic ImageNet clones
NAVER LABS Europe（NAVER欧洲实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最近的图像生成模型，如稳定扩散已经展示了令人印象深刻的能力，从一个简单的文本提示开始生成相当逼真的图像。这样的模型是否会使真实图像变得过时，无法用于训练图像预测模型？在本文中，我们通过调查在训练ImageNet分类模型时对真实图像的需求来回答这个挑衅性问题的一部分。仅提供用于构建数据集的类名，我们探索了Stable Diffusion生成ImageNet合成克隆的能力，并测量了这些克隆对于从头开始训练分类模型的有用性。我们表明，通过最小和类不可知的提示工程，ImageNet克隆能够缩小合成图像生成的模型与使用真实图像训练的模型之间的大部分差距，对于我们在本研究中考虑的几个标准分类基准。更重要的是，我们证明了在合成图像上训练的模型具有很强的泛化特性，并且与在真实数据上训练的模型表现相当。项目页面：https://europe.naverlabs.com/imagenet-sd/
2023-03-28 cs.CV cs.LG
Importance of realism in procedurally-generated synthetic images for deep learning: case studies in maize and canola
University of Saskatchewan（萨斯喀彻温大学）；University of Calgary（卡尔加里大学）
针对作物表型分析训练数据获取成本高的问题，研究通过调整玉米、油菜训练中真实与L-系统生成的合成图像占比，验证了合成图像真实感提升可显著改善预测效果，且神经网络预测可反哺L-系统校准形成反馈循环。
2024-05-15 cs.CV cs.LG
DermGAN: Synthetic Generation of Clinical Skin Images with Pathology
Stanford（斯坦福大学）；Google Health（谷歌健康）
尽管最近在将监督式深度学习应用于医学成像任务方面取得了成功，但获得开发高性能模型所需的大型且多样化的专家注释数据集的问题仍然特别具有挑战性。在这项工作中，我们探讨了使用生成串行网络（GAN）来合成具有皮肤状况的临床图像的可能性。我们提出了DermGAN，一个流行的Pix2Pix架构的适应，为预先指定的皮肤状况创建合成图像，同时能够改变其大小，位置和底层皮肤颜色。我们证明，所生成的图像是高保真度使用客观的GAN评价指标。在人类图灵测试中，我们注意到合成图像不仅在视觉上与真实图像相似，而且还体现了皮肤科医生眼中的相应皮肤状况。最后，当使用合成图像作为用于训练皮肤状况分类器的数据增强技术时，我们观察到该模型总体上执行基线模型，同时改善罕见但恶性的状况。
2019-11-20 cs.CV cs.LG
Railway Anomaly detection model using synthetic defect images generated by CycleGAN
JR East Information Systems（东日本旅客铁道信息系统）；PARC, A Xerox Company（施乐帕克研究中心）
虽然训练数据对于机器学习至关重要，但由于铁路公司主动更换有缺陷的设备，因此在收集有缺陷设备的足够图像方面面临困难。不过，为确保公共交通的安全及不受干扰的运作，主动更换车辆是不可或缺的。在这项研究中，我们开发了一个模型，使用CycleGAN来生成缺陷设备的人工图像，而不是真实图像。通过采用这些生成的图像作为训练数据，我们验证了这些图像与真实图像是不可区分的，它们在提高缺陷检测模型的准确性方面起着至关重要的作用。
2021-02-24 cs.CV cs.LG
Walnut Detection Through Deep Learning Enhanced by Multispectral Synthetic Images
University of California, Davis（加州大学戴维斯分校）
本研究提出利用包含真实与合成RGB及NIR图像的增强数据集训练YOLOv5模型，有效克服了核桃与叶子外观相似导致的识别困难，显著提升了果园核桃检测效率。
2023-11-01 cs.CV cs.LG
Synthetic Lung Nodule 3D Image Generation Using Autoencoders
Colorado State University（科罗拉多州立大学）
将机器学习技术与医疗数据一起使用的挑战之一是经常缺乏用于训练的源图像数据。一个代表性的例子是自动肺癌诊断，其中结节图像需要被分类为可疑或良性。在这项工作中，我们提出了一个自动合成肺结节图像生成器。我们的3D形状生成器旨在增加3D图像的多样性。我们提出的系统扎根于自动编码器技术，我们提供了广泛的实验表征，证明了它的能力，以产生高质量的合成图像。
2019-09-09 cs.CV cs.LG stat.ML
Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with Synthetic Images
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Meta
本文提出一种无需生成式微调的新框架，利用现成生成模型、LLM和CLIP解决类别歧义、多样性和领域偏移，通过上下文与风格多样化方法，将合成数据扩展至ImageNet的6倍，持续提升识别性能并增强域外泛化。
2025-01-21 cs.AI cs.CV cs.LG
An Image-based Generator Architecture for Synthetic Image Refinement
提出了边界平衡生成对抗网络的替代生成器架构，其动机是通过对抗训练从模拟和无监督图像中学习。它解开了对基于噪声的潜在空间的需求。该生成器将主要作为一个细化网络来运行，以获得给定合成图像的照片般逼真的呈现。它还试图通过消除噪声注入的需要并将其替换为基于图像的概念来解决潜在空间的知之甚少的属性。新的灵活和简单的生成器架构也将提供控制限制性细化和表达能力之间的权衡的能力。与其他可用的方法相反，该架构将不需要用于训练阶段的真实图像和合成图像的配对或未配对的数据集。只有相对较小的一组真实图像就足够了。
2021-08-10 cs.CV cs.LG eess.IV
Synthetic Data for Deep Learning
Steklov Institute of Mathematics at St. Petersburg（圣彼得堡斯捷克洛夫数学研究所）
合成数据是训练深度学习模型的一种越来越受欢迎的工具，特别是在计算机视觉以及其他领域。在这项工作中，我们试图提供一个全面的调查的各种方向的发展和应用的合成数据。首先，我们讨论基本计算机视觉问题的合成数据集，无论是低级（例如，光流估计）和高级（例如，语义分割），室外和城市场景的合成环境和数据集（自动驾驶），室内场景（室内导航），空中导航，机器人模拟环境，计算机视觉之外的合成数据应用（神经编程，生物信息学，NLP等）;我们还调查了改进合成数据开发的工作以及产生它的替代方法，如GANs。其次，我们详细讨论了在合成数据的应用中不可避免地出现的合成到真实域的自适应问题，包括使用基于GAN的模型的合成到真实域的细化，以及在没有显式数据转换的情况下在特征/模型级别的领域自适应。第三，我们转向隐私相关的应用程序的合成数据和审查的工作生成合成数据集与差分隐私的保证。最后，我们强调了最有前途的方向，进一步的工作在合成数据研究。
2019-09-25 cs.CR cs.CV cs.LG
A Frequency Domain Constraint for Synthetic and Real X-ray Image Super Resolution
University of Ottawa（渥太华大学）；Korea University Anam Hospital（高丽大学安岩医院）
合成X射线图像是从CT数据投影的模拟X射线图像。高质量的合成X射线图像可以促进各种应用，如手术图像引导系统和VR训练模拟。然而，由于CT层厚不同，计算成本高，算法复杂，难以实时生成高质量的任意视角合成X射线图像。我们的目标是通过使用基于深度学习的超分辨率方法对低分辨率图像进行上采样，实时生成高分辨率合成X射线图像。基于参考的超分辨率（RefSR）近年来得到了很好的研究，并显示出比传统的单图像超分辨率（SISR）更高的性能。它可以利用参考图像产生精细的细节，但仍然不可避免地产生一些伪影和噪声。在本文中，我们引入频域损失作为约束，以进一步提高RefSR结果的质量，具有精细的细节，没有明显的伪影。据我们所知，这是第一篇利用频域的超分辨率领域的损失函数。我们取得了良好的效果，在评估我们的方法在合成和真实的X射线图像数据集。
2021-08-10 cs.CV cs.LG eess.IV
Improved visible to IR image transformation using synthetic data augmentation with cycle-consistent adversarial networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
红外（IR）图像对于提高黑暗或隐藏物体的可见度至关重要。基于神经网络的目标识别和分割使用红外图像提供比彩色可见光图像更高的准确性和洞察力。但瓶颈是用于训练的相关红外图像的数量。为了特殊的目的，包括空间探索、军事和消防应用，很难采集真实世界的红外图像。为了解决这个问题，我们使用基于Unity的3D游戏编辑器创建了彩色可见光和红外图像。这些合成生成的彩色可见光和红外图像用于训练周期一致对抗网络（CycleGAN）以将可见光图像转换为红外图像。CycleGAN的优点是它不需要精确匹配可见光和IR对进行转换训练。在这项研究中，我们发现额外的合成数据可以帮助提高CycleGAN的性能。使用真实数据（N = 20）的神经网络训练比使用真实（N = 10）和合成（N = 10）数据组合的训练执行更准确的转换。结果表明，合成数据的质量不能超过真实数据的质量。使用真实（N = 10）和合成（N = 100）数据组合的神经网络训练显示出与使用真实数据（N = 20）训练几乎相同的性能。至少需要比真实数据多10倍的合成数据才能实现相同的性能。总之，CycleGAN与合成数据一起使用，以提高可见光图像的IR图像转换性能。
2019-04-25 cs.CV cs.LG eess.IV
Deep-BrownConrady: Prediction of Camera Calibration and Distortion Parameters Using Deep Learning and Synthetic Data
AILiveSim Ltd.（AILiveSim有限公司）；Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通讯科学学院，塔尔基耶大学）
本文提出使用深度学习和合成数据预测相机校准和畸变参数，基于ResNet架构的模型在合成数据集上训练，以提升真实场景下的校准性能。
2025-01-24 cs.CV cs.GR cs.LG
Harnessing the Power of Large Vision Language Models for Synthetic Image Detection
Univ. Polytechnique Hauts-de-France（上法兰西理工大学）；Technology Innovation Institute（技术创新研究院）；Sorbonne Center for Artificial Intelligence（索邦人工智能中心）；Sorbonne University Abu Dhabi（阿布扎比索邦大学）
本文提出通过微调BLIP-2、ViTGPT2等视觉语言图像描述模型来检测扩散模型生成图像，实验表明其优于传统图像检测方法。
2024-04-03 cs.CR cs.CV cs.LG
VIPPrint: A Large Scale Dataset of Printed and Scanned Images for Synthetic Face Images Detection and Source Linking
University of Siena（锡耶纳大学）
对打印和扫描图像进行有意义的取证分析的可能性在许多应用中起着重要作用。首先，打印的文件往往与犯罪活动有关，如恐怖主义计划，儿童色情图片，甚至是假包裹。此外，打印和扫描可用于隐藏图像操作的痕迹或图像的合成性质，因为在操作和合成图像中常见的伪影在图像被打印和扫描之后消失。阻碍这一领域研究的一个问题是缺乏用于算法开发和基准测试的大规模参考数据集。出于这个问题，我们提出了一个新的数据集，由大量的合成和自然打印的人脸图像。为了突出与数据集图像分析相关的困难，我们进行了一系列广泛的实验，比较了几种打印机属性方法。我们还验证了区分自然和合成人脸图像的最先进方法在应用于打印和扫描图像时失败。我们设想，新数据集的可用性和我们进行的初步实验将激励和促进这一领域的进一步研究。
2021-02-01 cs.CR cs.CV cs.LG
Generating Synthetic Multispectral Satellite Imagery from Sentinel-2
Radiant Earth Foundation（Radiant Earth基金会）；Benson Hill（Benson Hill公司）；Sunbird AI（Sunbird AI公司）
多谱段卫星图像为许多环境和社会经济应用提供了全球范围的宝贵数据。然而，基于这些图像构建监督机器学习模型可能需要在全球范围内不可用的地面参考标签。在这里，我们提出了一个生成模型，以产生多分辨率多光谱图像的基础上哨兵-2数据。由此产生的合成图像与人类的真实图像无法区分。该技术为未来的工作铺平了道路，以产生标记的合成图像，可用于数据增强在数据稀缺的地区和应用。
2020-12-05 cs.CV cs.LG eess.IV
Improved Part Segmentation Performance by Optimising Realism of Synthetic Images using Cycle Generative Adversarial Networks
Wageningen University & Research（瓦赫宁根大学及研究中心）
在本文中，我们使用卷积神经网络，以减少对大量的手动注释的经验图像的依赖，提高了部分分割性能的报告。这是通过优化合成农业images.In第一部分的视觉现实主义，一个周期一致的生成对抗网络应用于合成和经验图像的目标，以生成更逼真的合成图像，通过将它们转换到经验域。我们首先假设并确认，植物部分图像的特征，如颜色和纹理变得更相似的经验域后的合成images.Results翻译证实了这一点与改进的平均颜色分布相关的经验数据前0.62和翻译后的0.90。此外，平均图像特征的对比度，均匀性，能量和熵移动更接近的经验平均值，翻译后。在第二部分中，使用卷积神经网络进行了7个实验，这些网络具有合成、合成翻译为经验和经验图像的不同组合。我们假设翻译后的图像可以用于（i）改进经验图像的学习，以及（ii）通过翻译后的图像自举而不是合成图像自举来改进没有任何微调经验图像的学习。结果证实了我们的第二和第三个假设。首先，当使用翻译图像进行自举并使用经验图像进行微调时，最大的交集性能达到0.52;与仅使用合成图像相比，增加了8%。其次，在没有任何经验微调的情况下进行训练，平均IOU为0.31;比以前只使用合成图像的方法性能提高了55%。
2018-03-16 cs.CV
ArtiFact: A Large-Scale Dataset with Artificial and Factual Images for Generalizable and Robust Synthetic Image Detection
BUET（孟加拉工程技术大学）
合成图像生成开辟了新的机遇，但也带来了隐私、真实性和安全性方面的威胁。检测虚假图像对于防止非法活动至关重要，以前的研究表明，生成模型在其合成图像中留下了独特的模式，可以用来检测它们。然而，泛化的基本问题仍然存在，因为即使是最先进的检测器在面对训练期间从未见过的生成器时也会遇到困难。为了评估合成图像检测器在面对现实世界损伤时的通用性和鲁棒性，本文提出了一个名为ArtiFact的大规模数据集，包括不同的生成器，对象类别和现实世界的挑战。此外，所提出的多类分类方案与过滤器步幅减少策略相结合，解决了社交平台的障碍，并有效地检测来自可见和不可见生成器的合成图像。在ICIP 2022的IEEE VIP杯挑战赛中，所提出的解决方案在测试1、测试2和测试3中分别以8.34%、1.26%和15.08%的成绩显著优于其他顶级团队。
2023-02-24 cs.AI cs.CV cs.LG
Deepfake Style Transfer Mixture: a First Forensic Ballistics Study on Synthetic Images
University of Catania（卡塔尼亚大学）；iCTLab Spinoff of University of Catania（卡塔尼亚大学iCTLab衍生公司）；Banca d’Italia（意大利银行）
最近基于生成架构的风格转移技术能够获得合成多媒体内容，或通常称为deepfakes，几乎没有伪影。研究人员已经证明，合成图像包含的模式不仅可以确定它是否是deepfake，还可以确定用于创建图像数据本身的生成架构。这些痕迹可以用来研究在deepfakes背景下从未解决过的问题。为此，本文提出了第一种方法来研究受风格转移操作影响的深度伪造图像的图像弹道学。具体来说，本文描述了一种研究，检测多少次的数字图像已处理的生成架构的风格转移。此外，为了准确地解决和研究deepfake图像上的法医弹道学，研究了样式转移操作的一些数学性质。
2022-03-18 cs.CV cs.LG eess.IV
Is synthetic data from generative models ready for image recognition?
The University of Hong Kong（香港大学）；University of Oxford（牛津大学）；ByteDance（字节跳动）
最近的文本到图像生成模型已经显示出有前途的结果，在生成高保真照片逼真的图像。虽然结果对人眼来说是惊人的，但这些生成的图像在识别任务中的适用性仍然没有得到充分的探索。在这项工作中，我们广泛研究了是否以及如何从最先进的文本到图像生成模型生成的合成图像可以用于图像识别任务，并集中在两个方面：合成数据，以改善分类模型在数据稀缺的设置（即zero-shot和Few-Shot），和合成数据的大规模模型预训练迁移学习。我们展示了现有生成模型的合成数据的强大功能和缺点，并提出了更好地将合成数据应用于识别任务的策略。代码：https://github.com/CVMI-Lab/SyntheticData.
2023-02-15 cs.CV
T2Net: Synthetic-to-Realistic Translation for Solving Single-Image Depth Estimation Tasks
Nanyang Technological University（南洋理工大学）
当前的单图像深度估计方法使用具有真实图像-深度对或立体对的训练数据集，这不容易获得。我们提出了一个框架，在合成图像深度对和未配对的真实图像上训练，该框架包括用于增强输入图像的真实感的图像翻译网络，然后是深度预测网络。一个关键的想法是让第一个网络充当宽谱输入翻译器，接收合成或真实图像，并理想地产生最小修改的逼真图像。当训练输入是真实的时，这是通过重建损失来完成的，而当合成时，这是通过GAN损失来完成的，从而消除了对启发式自正则化的需要。第二个网络在合成图像深度对的任务损失上进行训练，具有额外的GAN损失以统一真实和合成特征分布。重要的是，该框架可以进行端到端的训练，从而获得良好的结果，甚至超过了使用真实配对数据的早期深度学习方法。
2018-08-04 cs.CV
Between Generating Noise and Generating Images: Noise in the Correct Frequency Improves the Quality of Synthetic Histopathology Images for Digital Pathology
Technion - IIT（以色列理工学院）；Rambam Health Care Campus（兰巴姆医疗中心）
人工智能和机器学习技术有望彻底改变数字病理学领域。然而，这些模型需要大量的数据，而无偏训练数据的可用性是有限的。合成图像可以增强现有的数据集，以改进和验证AI算法。然而，控制细胞特征在其中的精确分布仍然具有挑战性。其中一个解决方案是利用条件生成对抗网络，该网络将语义掩码作为输入，而不是随机噪声。与其他领域不同，勾勒出组织的确切细胞结构是困难的，大多数输入掩码都描绘了细胞类型的区域。然而，使用基于网格的掩模会在合成图像中引入固有的伪影-这是由于多边形大小和单个单元大小之间的不匹配。在这项工作中，我们表明，引入随机单像素噪声与适当的空间频率到多边形语义掩模可以显着提高合成图像的质量。我们使用我们的平台来生成化学治疗肺活检的合成图像。我们使用三重验证程序测试图像的质量。首先，我们表明，添加适当的噪声频率产生87%的相似性度量的改善，通过添加实际的单细胞功能。其次，我们证明了合成图像通过图灵测试。最后，我们表明，将这些合成图像添加到训练集可以提高PD-L1语义分割性能方面的AI性能。我们的工作提出了一种简单而强大的方法，用于按需生成合成数据，以消除有限数据集的偏差，从而提高算法的准确性并验证其鲁棒性。
2023-02-13 cs.CV cs.LG eess.IV
Synthetic COVID-19 Chest X-ray Dataset for Computer-Aided Diagnosis
Concordia University（康考迪亚大学）
我们引入了一个名为合成COVID-19胸部X射线数据集的新数据集，用于训练机器学习模型。该数据集由21，295张用于计算机辅助诊断的合成COVID-19胸部X射线图像组成。这些图像是通过无监督域自适应方法生成的，具有高质量。我们发现，在严重不平衡的条件下，合成图像不仅可以提高各种深度学习架构的性能，而且可以以高置信度检测目标类。我们还发现，当仅在合成图像上训练时，也可以实现相当的性能。此外，合成COVID-19图像的显著特征表明分布与非COVID-19类别显著不同，从而实现适当的决策边界。我们希望COVID-19的高保真胸部X光图像的可用性将鼓励诊断和/或管理工具的发展。
2021-06-17 cs.CV cs.LG eess.IV
A synthetic dataset for deep learning
University of Delaware（特拉华大学）
在本文中，我们提出了一种新的方法来产生一个合成的数据集服从高斯分布。与通常使用的具有未知分布的基准数据集相比，合成数据集具有显式分布，即，高斯分布同时，它具有与基准数据集MNIST相同的特征。因此，我们可以很容易地在合成数据集上应用深度神经网络（DNN）。该合成数据集提供了一种新的实验工具来验证所提出的深度学习理论。
2019-06-01 cs.CV stat.AP stat.ML
Assessing Intra-class Diversity and Quality of Synthetically Generated Images in a Biomedical and Non-biomedical Setting
Munster Technological University（芒斯特理工大学）
本文通过多尺度结构相似性、余弦距离和弗雷歇初始距离等指标，实证评估了深度卷积GAN在生物医学与非生物医学环境下合成图像的类内多样性与质量差异。
2023-07-23 cs.CV cs.LG eess.IV
Echo from noise: synthetic ultrasound image generation using diffusion models for real image segmentation
King’s College London（伦敦国王学院）；Ultromics Ltd.（Ultromics有限公司）
提出由心脏标签图引导的 DDPM 合成超声心动图生成流水线，仅凭合成数据训练即可提升左心室和左心房真实图像分割性能。
2023-08-15 cs.CV cs.LG eess.IV
Hand-Assisted Expression Recognition Method from Synthetic Images at the Fourth ABAW Challenge
University of Science and Technology of China（中国科学技术大学）
在人脸表情识别任务中，从合成图像中进行学习是一个重要的任务，因为真实图像的标注非常困难，而且合成图像与真实图像之间存在一定的差距。第四届野外情感行为分析竞赛提出了挑战，并提供了从Aff-Wild 2数据集生成的合成图像。在本文中，我们提出了一种手辅助的表情识别方法，以减少之间的差距，合成数据和真实数据。我们的方法包括两个部分：表情识别模块和手部预测模块。表情识别模块提取表情信息，手部预测模块预测图像中是否包含手部。决策模式用于合并两个模块的结果，后剪枝用于改善结果。F1得分被用来验证我们的方法的有效性。
2022-07-20 cs.CV
FSID: Fully Synthetic Image Denoising via Procedural Scene Generation
Meta Reality Labs（元宇宙现实实验室）
对于低级计算机视觉和图像处理ML任务，在大型数据集上进行训练对于泛化至关重要。然而，依赖于主要来自互联网的真实世界图像的标准实践带来了图像质量、可扩展性和隐私问题，特别是在商业环境中。为了解决这个问题，我们已经开发了一个程序化的合成数据生成管道和数据集，为低级视觉任务量身定制。我们基于Unreal引擎的合成数据管道通过随机3D对象、材质和几何变换的组合以算法方式填充大型场景。然后，我们校准的相机噪声配置文件合成的噪声图像。从这个管道中，我们生成了一个完全合成的图像去噪数据集（FSID），其中包含175，000个噪声/干净图像对。然后，我们训练并验证了一个基于CNN的去噪模型，并证明了在智能手机摄像头捕获的真实噪声图像上进行评估时，仅在此合成数据上训练的模型可以实现有竞争力的去噪结果。
2022-12-07 cs.CV
Evaluating Utility of Memory Efficient Medical Image Generation: A Study on Lung Nodule Segmentation
提出一种内存高效的逐块DDPM生成带肺结节分割的合成CT图像，实验表明仅用合成数据训练或用于增强真实数据均能提升分割性能，有效缓解医学影像数据稀缺问题。
2024-10-16 cs.CV cs.LG eess.IV
