A Data Efficiency Study of Synthetic Fog for Object Detection Using the Clear2Fog Pipeline
Waymo Open Dataset（Waymo开放数据集）
本文提出Clear2Fog管道，通过物理模拟生成雾数据，研究环境多样性对模型鲁棒性的影响，发现混合密度数据训练模型优于固定密度数据，且通过调整学习率可克服合成偏见。
2026-08-14 cs.CV
Effective Use of Synthetic Data for Urban Scene Semantic Segmentation
ANU（澳大利亚国立大学）；Data61-CSIRO（联邦科学与工业研究组织Data61）；EPFL（洛桑联邦理工学院）；NVIDIA（英伟达）
训练深度网络以执行语义分割需要大量的标记数据。为了减轻人工注释真实图像的工作，研究人员已经研究了可以自动标记的合成数据的使用。不幸的是，在合成数据上训练的网络在真实图像上的表现相对较差。虽然这可以通过领域自适应来解决，但现有方法都需要在训练期间访问真实图像。在本文中，我们介绍了一种完全不同的方法来处理合成图像，不需要在训练时看到任何真实图像。我们的方法建立在观察的基础上，前景和背景类不会以相同的方式受到域转移的影响，因此应该区别对待。特别是，前者应该以基于检测的方式处理，以更好地考虑这样一个事实，即虽然它们在合成图像中的纹理不是照片般逼真，但它们的形状看起来很自然。我们的实验证明了我们的方法在Cityscapes和CamVid上的有效性，模型只在合成数据上训练。
2018-07-16 cs.CV
SinGAN-Seg: Synthetic training data generation for medical image segmentation
SimulaMet；Oslo Metropolitan University（奥斯陆城市大学）；Sahlgrenska University Hospital（萨尔格伦斯卡大学医院）；University of Gothenburg（哥德堡大学）；Augere Medical（Augere医疗）；Swedish Medical Group（瑞典医疗集团）
分析医疗数据以发现异常是一项耗时且昂贵的任务，特别是对于罕见的异常，需要医学专家付出巨大的努力。人工智能已成为自动处理医疗数据的流行工具，成为医生的支持工具。然而，用于构建这些工具的机器学习模型高度依赖于用于训练它们的数据。由于隐私、昂贵且耗时的注释以及罕见病变的数据样本普遍缺乏，在医学中难以获得大量数据。在这里，我们提出了一种新的合成数据生成管道，称为SinGAN-Seg，使用单个训练图像生成具有相应掩模的合成医学图像。我们的方法与传统的GANs不同，因为我们的模型只需要一张图像和相应的地面实况来进行训练。当真实数据集不允许共享时，我们的方法会产生具有地面真实掩码的替代人工分割数据集。使用真实数据和合成数据之间的定性和定量比较对管道进行评估，以表明我们管道中使用的样式传输技术显着提高了生成数据的质量，并且当训练数据集的大小有限时，我们的方法优于其他最先进的GANs来准备合成图像。通过使用SinGAN-Seg管道生成的真实数据和合成数据来训练UNet++，我们表明，当数据集具有大量数据时，使用合成数据训练的模型与使用真实数据训练的模型具有非常接近的性能。相比之下，当训练数据集没有大量数据时，从SinGAN-Seg管道生成的合成数据可以提高分割模型的性能。代码可以在GitHub上找到。
2022-04-25 cs.CV cs.LG eess.IV
On Rendering Synthetic Images for Training an Object Detector
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Graz University of Technology（格拉茨工业大学）
我们提出了一种新的方法来合成图像，是有效的训练对象检测器。从一个小的真实图像集开始，我们的算法估计所需的渲染参数，以合成类似的图像给定一个粗糙的3D模型的目标对象。然后，这些参数可以被重用以生成任意3D姿态的感兴趣对象的无限数量的训练图像，然后可以用于提高分类性能。我们的方法的一个关键见解是，合成生成的图像应该与真实图像相似，不是在图像质量方面，而是在检测器训练期间使用的特征方面。我们表明，在无人机，飞机和汽车检测的背景下，使用这种合成生成的图像产生显着更好的性能比简单地扰动真实图像，甚至合成图像的方式，他们看起来非常逼真，因为往往是这样做时，只有有限的训练数据可用。
2014-11-28 cs.CV
Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization
NVIDIA（英伟达）；University of Toronto（多伦多大学）
我们提出了一种使用合成图像训练深度神经网络进行目标检测的系统。为了处理真实世界数据的可变性，该系统依赖于域随机化技术，其中模拟器$-$的参数，如照明，姿态，对象纹理等$-$以非现实的方式随机化，以迫使神经网络学习感兴趣对象的基本特征。我们探讨了这些参数的重要性，表明它是可能的，以产生一个网络具有令人信服的性能，只使用非艺术生成的合成数据。通过对真实数据进行额外的微调，网络比单独使用真实数据产生更好的性能。这一结果开辟了使用廉价的合成数据来训练神经网络的可能性，同时避免了收集大量手动注释的真实世界数据或生成高保真合成世界$-$的需要，这两者仍然是许多应用的瓶颈。在KITTI数据集上对汽车的限界框检测进行了评估。
2018-04-23 cs.CV
Synthetic Data Generation for Bridging Sim2Real Gap in a Production Environment
Fraunhofer Institute for Manufacturing Technology and Advanced Materials (IFAM)（弗劳恩霍夫制造技术与先进材料研究所（IFAM））
针对复杂生产装配中合成数据泛化不足的问题，本文评估零件与装配的合成数据生成流程及其组合，证明融入领域知识的组合方法可在真实生产图像上最高提升15%，从而缩小Sim2Real差距。
2024-05-10 cs.AI cs.CV cs.RO
Synthetic Image Data for Deep Learning
BMW IT Research Center（宝马IT研究中心）；Clemson University（克莱姆森大学）
从3D模型渲染的真实合成图像数据可用于增强图像集和训练图像分类语义分割模型。在这项工作中，我们将探讨如何高质量的基于物理的渲染和域随机化可以有效地创建一个大型的合成数据集的基础上生产的三维CAD模型的真实车辆。我们使用这个数据集来量化使用U网和双U网模型的合成增强的有效性。我们发现，在这个领域，合成图像是一种有效的技术，用于增强有限的真实训练数据集。我们观察到，在纯合成图像上训练的模型在真实验证图像上的平均预测IoU非常低。我们还观察到，即使在合成数据集中添加非常少量的真实图像，也会大大提高准确性，并且在使用合成图像增强的数据集上训练的模型比仅在真实图像上训练的模型更准确。最后，我们发现，在受益于增量训练或模型专业化的用例中，在合成图像上预训练基础模型可以大大降低迁移学习的训练成本，允许高达90%的模型训练被预先加载。
2022-12-12 cs.CV cs.LG
DASNet: Reducing Pixel-level Annotations for Instance and Semantic Segmentation
Xidian University（西安电子科技大学）
像素级注释需要昂贵的人工努力，并限制了通常受益于更多此类训练数据的深度网络的性能。在这项工作中，我们的目标是实现高质量的实例和语义分割的结果在一个小的像素级掩模注释和一个大的框注释集。其基本思想是探索检测模型，以简化像素级监督学习任务，从而减少所需的掩码注释量。我们的架构，名为DASNet，由三个模块组成：检测，注意和分割。检测模块检测所有类别的对象，注意力模块生成多尺度类特定的功能，和分割模块恢复的二进制掩码。与PASCAL VOC 2012数据集上现有的半监督方法相比，我们的方法表现出显着提高的性能。
2020-01-31 cs.CV eess.IV
Unbiasing Semantic Segmentation For Robot Perception using Synthetic Data Feature Transfer
Georgia Institute of Technology（佐治亚理工学院）
机器人感知系统需要对有噪声的原始感知数据实时执行可靠的图像分割。最先进的分割方法使用大型CNN模型和精心构建的数据集;然而，这些模型以实时推理为代价专注于准确性。此外，标准的语义分割数据集不足以在没有增强的情况下训练CNN，并且不代表有噪声的、未经策划的机器人感知数据。我们建议通过传输从合成分割数据中学习的特征来提高机器人感知数据的实时分割框架的性能。我们表明，使用合成分割数据而不是ImageNet预训练实时分割架构，通过减少预训练中学习到的偏差并关闭\textit{transfer gap}来提高微调性能。我们的实验表明，我们在合成数据上预训练的实时机器人感知模型在每一个尺度的微调数据上都优于在ImageNet上预训练的模型。此外，随着机器人数据可用性的降低，合成预训练优于ImageNet预训练的程度也在增加，这使得我们的方法对于数据集收集困难和/或昂贵的机器人领域具有吸引力。
2018-09-11 cs.CV cs.RO
Pallet Detection from Synthetic Data Using Game Engines
Centre for Automation and Robotic Engineering Science（自动化与机器人工程科学中心）；The University of Auckland（奥克兰大学）
本研究提出利用游戏引擎自动生成3D模型的合成训练数据用于托盘分割，并使用Mask R-CNN流水线实现了86%的AP50，验证了合成数据在自主仓储机器视觉中的有效性。
2023-04-07 cs.AI cs.CV
UnrealROX: An eXtremely Photorealistic Virtual Reality Environment for Robotics Simulations and Synthetic Data Generation
University of Alicante（阿利坎特大学）
在机器人视觉问题中，数据驱动算法几乎在各个方面都超过了传统技术。这些算法需要大量的高质量数据才能在训练过程后正常工作。在现实世界中收集和注释如此大量的数据是一项耗时且容易出错的任务。这些问题限制了规模和质量。合成数据生成已经变得越来越流行，因为它生成更快并且自动注释。然而，当前的大多数数据集和环境缺乏真实感、交互性和来自真实世界的细节。UnrealROX是一个建立在虚幻引擎4之上的环境，旨在通过利用机器人代理探索的超现实室内场景来减少现实差距，机器人代理还在模拟世界中以视觉上逼真的方式与对象进行交互。照片级真实感场景和机器人由虚幻引擎渲染到虚拟现实头戴设备中，头戴设备可捕获视线，以便操作人员可以移动机器人并使用机器人手的控制器;场景信息按帧转储，以便可以离线再现，以生成原始数据和地面实况注释。这种虚拟现实环境使机器人视觉研究人员能够为各种各样的问题生成逼真的和视觉上合理的数据，如类和实例语义分割，目标检测，深度估计，视觉抓取和导航。
2019-11-08 cs.CV cs.MM cs.RO
Reducing the gap between general purpose data and aerial images in concentrated solar power plants
organization= Department of Applied Mathematics II, University of Seville , city= Seville , country= Spain；organization= Multi-robot \& Control Systems group, University of Seville , city= Seville , country= Spain
针对聚光太阳能电站航空图像标注数据不足、通用模型泛化性差的问题，研究构建了合成数据集AerialCSP用于模型预训练，建立了相关视觉任务基准，有效提升了真实场景尤其是罕见小型缺陷的检测效果。
2025-08-01 cs.AI cs.CV cs.RO
UnrealROX+: An Improved Tool for Acquiring Synthetic Data from Virtual 3D Environments
University of Alicante（阿利坎特大学）；Institute of Space Sciences (ICE-CSIC)（空间科学研究所（ICE-CSIC））；TU Wien（维也纳工业大学）
合成数据生成在过去几年中已经成为数据驱动算法的关键，数据驱动算法在几乎所有计算机视觉问题中的性能都超过了传统技术。在现实世界中，收集和标记这些数据饥渴模型所需的数据量可能变得不可行且容易出错，而合成数据使我们有可能生成具有像素完美注释的大量数据。然而，大多数合成数据集在其渲染图像中缺乏足够的真实感。在此背景下，UnrealROX生成工具于2019年推出，允许以高分辨率和帧速率生成高度逼真的数据，并基于尖端的视频游戏引擎虚幻引擎建立高效的管道。UnrealROX使机器人视觉研究人员能够为各种各样的问题生成逼真和视觉上合理的数据，如类和实例语义分割，目标检测，深度估计，视觉抓取和导航。然而，它的工作流程非常依赖于从机器人机载相机生成图像序列，因此很难生成用于其他目的的数据。在这项工作中，我们提出了UnrealROX+，UnrealROX的改进版本，其解耦和易于使用的数据采集系统允许快速设计和生成数据，在一个更灵活和可定制的方式。此外，它被打包为Unreal插件，这使得它更适合与现有的Unreal项目一起使用，并且它还包括新功能，例如从深度学习框架中生成用于与虚拟环境交互的Python API。
2021-04-23 cs.AI cs.CV cs.GR
Applying Domain Randomization to Synthetic Data for Object Category Detection
Instituto Superior Técnico（高等技术学院）
基于深度学习的目标检测技术的最新进展已经彻底改变了它们在若干领域中的适用性。然而，由于这些方法依赖于庞大且大量的数据，因此通常的做法是下载在标准数据集上预先训练的模型，并使用一小组领域相关图像对特定应用领域进行微调。在这项工作中，我们证明了使用不一定具有照片真实感的合成数据集可以成为简单微调预训练网络的更好替代方案。具体来说，我们的结果显示了一个令人印象深刻的25%的改进mAP指标超过微调基线时，只有约200个标记的图像可用于训练。最后，我们的研究结果的消融研究，描绘在随机化管道中的不同组件的个人贡献。
2018-07-16 cs.CV cs.LG stat.ML
Synthetic dual image generation for reduction of labeling efforts in semantic segmentation of micrographs with a customized metric function
本文提出利用VQ-VAE与PixelCNN生成合成显微照片及掩膜以扩充训练数据，并设计改进的mIoU定制度量，从而在减少标注和制备工作的同时提升语义分割模型性能。
2024-08-01 cs.CE cs.CV cs.LG
If It's Not Enough, Make It So: Reducing Authentic Data Demand in Face Recognition through Synthetic Faces
University of Cagliari（卡利亚里大学）；Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文研究利用合成人脸数据训练人脸识别模型以减少对真实数据的依赖，通过对比实验分析合成与真实数据组合及数据增强技术的效果，发现组合数据集并配合适当增强技术能显著提升验证准确率。
2024-04-26 cs.CV
Reducing Annotating Load: Active Learning with Synthetic Images in Surgical Instrument Segmentation
University of Washington（华盛顿大学）；Mount Holyoke College（蒙特霍利约克学院）
本文提出一种可嵌入的主动学习方法，通过基于主动学习选出的真实图像生成合成图像，减少手术器械分割中的标注负担，并在多个手术数据集上验证了其在小标注预算下的显著性能提升。
2021-08-07 cs.CV
Synthetic Data for Object Classification in Industrial Applications
HMS Industrial Networks AB（HMS工业网络公司）
机器学习最大的挑战之一是数据汇集。训练数据是一个重要的部分，因为它决定了模型的行为。在对象分类中，在不同条件下捕获每个对象的大量图像并不总是可能的，并且可能非常耗时和繁琐。因此，这项工作探索了使用游戏引擎来创建人工图像，以应对训练数据集中的有限数据。我们结合真实数据和合成数据来训练对象分类引擎，这一策略已被证明有利于提高分类器决策的信心，这在工业设置中往往至关重要。为了结合真实数据和合成数据，我们首先在大量合成数据上训练分类器，然后在真实图像上对其进行微调。另一个重要的结果是，微调所需的真实图像数量不是很高，达到最高精度时，每个类别只有12或24张图像。这大大降低了捕获大量真实数据的要求。
2022-12-09 cs.CV
OCR Synthetic Benchmark Dataset for Indic Languages
EkStep Foundation（EkStep基金会）；Tarento Technologies（Tarento科技公司）
我们为印度语言提供了最大的公开合成OCR基准数据集。该集合包含总共9万张图像及其23种印度语言的地面实况。印度语中的OCR模型验证需要处理大量不同的数据，以创建一个强大而可靠的模型。生成如此大量的数据将是困难的，否则，但与合成数据，它变得容易得多。它对计算机视觉或图像处理等领域非常重要，一旦开发出初始合成数据，模型创建就变得更加容易。生成合成数据具有灵活性，可以在需要时调整其性质和环境，以提高模型的性能。标记的实时数据的准确性有时是相当昂贵的，而合成数据的准确性可以很容易地达到一个很好的分数。
2022-05-05 cs.CV
Training Deep Face Recognition Systems with Synthetic Data
University of Basel（巴塞尔大学）；Department of Mathematics and Computer Science（数学与计算机科学系）
深度学习的最新进展显著提高了人脸识别系统的性能。这些模型的性能和可靠性在很大程度上取决于训练数据的数量和质量。然而，带注释的大型数据集的集合不能很好地扩展，并且对数据质量的控制随着数据集的大小而降低。在这项工作中，我们将探索如何使用综合生成的数据来减少训练深度人脸识别系统所需的真实世界图像的数量。特别是，我们利用3D可变形人脸模型来生成具有任意数量面部身份的图像，并完全控制图像变化，例如姿势、照明和背景。在我们使用现成的人脸识别软件的实验中，我们观察到以下现象：1）训练有竞争力的深度人脸识别系统所需的真实训练数据量可以显着减少。2)将大规模真实数据与合成数据相结合可提高性能。3)仅在姿态、光照和背景变化很大的合成数据上训练的模型在不同的数据集上表现非常好，即使没有数据集自适应。4)使用合成数据进行预训练，然后使用真实世界的图像进行微调，可以缩小真实与虚拟的性能差距。5)使用合成数据进行预训练没有可观察到的负面影响。因此，我们实验中的任何人脸识别系统都受益于使用合成人脸图像。合成数据生成器以及所有实验都是公开的。
2018-02-16 cs.CV
A Dataless FaceSwap Detection Approach Using Synthetic Images
New York University（纽约大学）
用于创建“Deepfakes”的面部交换技术在过去几年中取得了显着进步，现在使我们能够创建逼真的面部操作。目前用于检测deepfakes的深度学习算法已经显示出有希望的结果，但是，它们需要大量的训练数据，并且正如我们所展示的那样，它们偏向于特定的种族。我们提出了一种deepfake检测方法，通过使用StyleGAN3合成生成的数据来消除对任何真实数据的需求。这不仅与使用真实数据的传统训练方法表现相当，而且当使用少量真实数据进行微调时，它显示出更好的泛化能力。此外，这也减少了可能具有来自特定种族的稀疏数据的面部图像数据集所产生的偏见。
2022-12-05 cs.CV
Reducing Domain Gap with Diffusion-Based Domain Adaptation for Cell Counting
Computer Science Department , Iowa State University, IA, USA（计算机科学系，爱荷华州立大学，IA，USA）
本研究通过基于InST的风格迁移方法，有效减少合成与真实显微镜数据间的领域差距，提升细胞计数性能，同时减少人工标注工作量。
2025-12-12 cs.CV
SpoofGAN: Synthetic Fingerprint Spoof Images
Michigan State University（密歇根州立大学）
指纹欺骗检测进展的一个主要限制是缺乏公开可用的大规模指纹欺骗数据集，这一问题因对生物特征数据的隐私和安全性的日益关注而变得更加复杂。此外，大多数最先进的欺骗检测算法依赖于在存在大量训练数据的情况下表现最佳的深度网络。这项工作的目的是证明合成（活的和欺骗）指纹的效用，为这些算法提供足够的数据，以提高指纹欺骗检测算法的性能，超越在有限数量的公开可用的真实数据集上训练时的能力。首先，我们提供了我们的方法的细节，在修改一个国家的最先进的生成架构，合成高品质的活和欺骗指纹。然后，我们提供定量和定性分析，以验证我们的合成指纹的质量，在模仿真实数据样本的分布。我们展示了我们的合成实时和欺骗指纹在训练深度网络进行指纹欺骗检测方面的实用性，与仅在真实数据上训练的相同模型相比，这大大提高了三个不同评估数据集的性能。最后，我们证明，只有25%的原始（真实）数据集是需要获得类似的检测性能时，增加训练数据集与合成数据。
2022-04-15 cs.CV
GMM-Based Synthetic Samples for Classification of Hyperspectral Images With Limited Training Data
Friedrich-Alexander University Erlangen-Nuernberg（弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校）；Gebze Technical University（盖布泽技术大学）；Sabanci University（萨班哲大学）
训练分类器所需的训练数据量与特征数据的维度成比例。在高光谱遥感中，特征数据可能变得非常高维。然而，训练数据的量通常是有限的。因此，高光谱遥感的核心挑战之一是如何使用相对较少的训练数据点进行多类分类。在这项工作中，我们解决这个问题，丰富的特征矩阵与综合生成的样本点。该合成数据是从拟合到有限训练数据的每个类别的GMM中采样的。虽然，真正的分布特征可能不会完美地拟合GMM模型，我们证明，适度的扩增这些合成样本可以有效地取代一部分缺失的训练样本。我们在两个高光谱数据集上显示了所提出的方法的有效性。分类性能的中值增益为$5\%$。同样令人鼓舞的是，这种性能增益对于添加的样本数量的大变化是非常稳定的，这使得将这种方法应用于现实世界的应用更加容易。
2017-12-13 cs.CV
Semi-synthesis: A fast way to produce effective datasets for stereo matching
SenseTime Research（商汤科技研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
立体匹配是计算机视觉中的一个重要问题，几十年来一直受到人们的关注。近年来，利用卷积神经网络（CNN）的数据驱动方法不断将立体匹配推向新的高度。然而，数据驱动的方法需要大量的训练数据，这是不容易的任务，真正的立体数据，由于注释的困难，每像素的地面实况视差。虽然合成数据集被提出来填补大数据需求的空白，但由于合成数据与真实数据之间的域差异，仍然需要对真实数据集进行微调。在本文中，我们发现，在合成数据集，接近真实场景的纹理渲染是一个关键因素，以提高立体匹配性能，而接近真实场景的三维建模是次要的。然后，我们提出了半合成，一个有效的和快速的方法来合成大量的数据与接近真实场景的纹理，以尽量减少之间的差距合成数据和真实数据。大量的实验表明，与我们提出的半合成数据集训练的模型实现了显着更好的性能比一般的合成数据集，特别是在真实数据基准有限的训练数据。通过对真实数据集的进一步微调，我们还在Middlebury上实现了SOTA性能，并在KITTI和ETH3D数据集上取得了竞争性结果。
2021-01-26 cs.CV
Analysis of Classifier Training on Synthetic Data for Cross-Domain Datasets
Vicomtech（维科技术中心）；Universidad del País Vasco (UPV)（巴斯克大学）
本研究针对深度学习训练数据获取成本高的问题，提出含新型增强处理的合成数据训练方案与半监督误差引导合成方法，在跨域交通标志识别任务中精度提升10%，增强模型泛化性并降低数据成本。
2024-10-30 cs.CV
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
单目深度估计的目的是估计单个图像的逐像素深度图，其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据，这些数据通常很难获得，而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而，合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中，我们建议使用立体匹配网络作为代理，从合成数据中学习深度，并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略，以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明，国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
Synthetic 3D Data Generation Pipeline for Geometric Deep Learning in Architecture
Politecnico di Milano（米兰理工大学）；Computational Design Institute（计算设计研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；KAUST（阿卜杜拉国王科技大学）
随着建筑领域对深度学习算法和计算设计的兴趣日益浓厚，对大型、可访问且多样化的建筑数据集的需求也在增加。我们决定通过构建特定于现场的合成数据生成管道来解决这个问题，该管道生成任意数量的3D数据以及相关的2D和3D注释。注释的多样性、自定义生成的建筑物和数据集参数的灵活性使该框架适用于多个深度学习任务，包括需要直接3D监督的几何深度学习。在创建建筑数据生成管道时，我们利用了专家的架构知识，以构建一个模块化、可扩展的框架，并提供足够数量的类平衡数据样本。此外，我们有目的地让研究人员参与数据集定制，允许引入额外的建筑组件，材料纹理，建筑类，注释的数量和类型以及每个3D模型样本的视图数量。这样，该框架将满足不同的研究要求，并将适用于各种各样的任务。所有代码和数据都是公开的。
2021-04-26 cs.CV
MURAUER: Mapping Unlabeled Real Data for Label AUstERity
Institute for Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨工业大学）
用于学习3D手部姿势估计模型的数据标记是一项巨大的工作。容易获得的、准确标记的合成数据有可能减少工作量。然而，为了成功地利用合成数据，当前最先进的方法仍然需要大量的标记的真实数据。在这项工作中，我们通过学习从真实数据的特征映射到合成数据的特征，主要使用大量的合成和未标记的真实数据，消除了这一要求。我们利用未标记的数据使用两个辅助目标，这强制（i）映射表示是姿势特定的，（ii）在同一时间，真实和合成数据的分布对齐。虽然姿势特异性由自我监督信号强制执行，要求表示对来自不同视图的外观具有预测性，但分布由对抗性术语对齐。通过这种方式，我们可以显着改善基线系统的结果，该系统不使用未标记的数据，并且在使用约1%的标记真实数据的情况下优于许多最近的方法。这向更快地部署基于学习的手部姿势估计迈出了一步，使其可用于更大范围的应用。
2018-12-05 cs.CV
PennSyn2Real: Training Object Recognition Models without Human Labeling
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）
可扩展的训练数据生成是深度学习中的关键问题。我们提出了PennSyn 2 Real-一个照片般逼真的合成数据集，由20多种微型飞行器（MAVs）的100，000多张4K图像组成。该数据集可用于生成任意数量的训练图像，用于高级计算机视觉任务，如MAV检测和分类。我们的数据生成框架引导了色度键控，这是一种成熟的电影摄影技术，具有运动跟踪系统，提供无伪影和精心策划的注释图像，其中对象方向和照明受到控制。该框架易于设置，可应用于广泛的对象，减少了合成数据和真实数据之间的差距。我们表明，使用该框架生成的合成数据可以直接用于训练CNN模型，用于常见的对象识别任务，如检测和分割。我们展示了竞争力的表现与训练相比，只使用真实的图像。此外，在少样本学习中自举生成的合成数据可以显著提高整体性能，减少实现期望精度所需的训练数据样本的数量。
2020-10-16 cs.CV
ParGANDA: Making Synthetic Pedestrians A Reality For Object Detection
Stanford University（斯坦福大学）；Google LLC（谷歌有限责任公司）
针对行人检测标注成本高、涉隐私及合成数据存在域偏移的问题，提出基于GAN的无配对图像域转换方法，在保留合成标注的同时提升数据真实感，经多数据集验证有效且无需真实域标注，可适配多种下游任务。
2023-07-21 cs.CV
Automatic Generation of Synthetic Colonoscopy Videos for Domain Randomization
University of Lübeck（吕贝克大学）
越来越多的结肠镜引导和辅助系统依赖于需要大量高质量训练数据的机器学习算法。为了确保高性能，后者必须类似于可能配置的大部分。这特别解决了可能因运动模糊和照明不足而恶化的不同解剖结构、粘膜外观和图像传感器特性。容易获得的训练数据的有限数量阻碍了考虑所有这些可能的配置，这导致机器学习模型的泛化能力降低。我们提出了一种用于合成具有大量外观和解剖变化的结肠镜检查视频的示例性解决方案，该解决方案能够在模仿真实世界设置的同时学习内部结肠的区分域随机化表示。
2022-05-20 cs.CV eess.IV
Traditional Chinese Synthetic Datasets Verified with Labeled Data for Scene Text Recognition
E.SUN Financial Holding CO., LTD.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（高雄师范大学）
场景文本识别（STR）在学术界和工业界都得到了广泛的研究。训练文本识别模型通常需要大量的标记数据，但数据标记可能很困难，昂贵或耗时，特别是对于繁体中文文本识别。据我们所知，缺乏用于繁体中文文本识别的公共数据集。本文提出了一个繁体中文合成数据引擎的框架，旨在提高文本识别模型的性能。我们生成了超过2000万个合成数据，并收集了超过7,000个手动标记的数据TC-STR 7 k-word作为基准。实验结果表明，文本识别模型可以通过使用我们生成的合成数据从头开始训练或通过进一步微调TC-STR 7 k-word来实现更好的准确性。
2022-08-07 cs.CV
Generation of Synthetic Fingerphotos with GANs
Clarkson University（克拉克森大学）；UNC Charlotte（北卡罗来纳大学夏洛特分校）
该研究针对非接触式指纹数据不足与真实数据安全风险问题，用StyleGAN2-ADA和StyleGAN3生成合成指纹照片并评估其真实性、隐私性与多样性，为后续评估提供定量基准。
2026-08-18 cs.CV
SynthCity: A large scale synthetic point cloud
University College London（伦敦大学学院）
随着深度学习成为三维点云数据自动分类的一种更加突出的方法，一个关键的瓶颈是高质量训练数据的数量，特别是与二维图像相比。一个潜在的解决方案是使用合成数据进行预训练网络，然而，对于点云，模型从合成数据推广到真实世界数据的能力研究得很差。尽管如此，存在大量的3D虚拟环境，如果被证明是有效的，可以利用。因此，我们认为，在这一领域的研究将是重要的用途。在本文中，我们提出了一个开放的数据集，以帮助援助研究。SynthCity是一个367.9M点的合成全色移动激光扫描点云。每个点都被分配了一个来自九个类别之一的标签。我们使用Blender的Blensor插件在典型的城市/郊区环境中生成点云。
2019-07-10 cs.CV
Egocentric Human-Object Interaction Detection Exploiting Synthetic Data
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision有限公司）
我们认为，在工业环境中检测自我中心的人机交互（EHOI）的问题。由于收集和标记大量的真实图像是具有挑战性的，我们提出了一个管道和一个工具来生成逼真的合成第一人称视觉（FPV）图像自动标记为EHOI检测在特定的工业场景。为了解决EHOI检测的问题，我们提出了一种方法，检测手，在场景中的对象，并确定哪些对象是目前参与的互动。我们将我们的方法的性能与一组最先进的基线进行比较。结果表明，使用合成数据集提高了EHOI检测系统的性能，特别是当很少有真实数据可用时。为了鼓励对这一主题的研究，我们在以下网址公开发布了建议的数据集：https://iplab.dmi.unict.it/EHOI_SYNTH/。
2022-04-14 cs.CV
Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）；Georgia Institute of Technology（佐治亚理工学院）；University of Maryland（马里兰大学）；Army Research Lab（陆军研究实验室）
本文提出RoCoG-v2数据集，包含七个手势类别的真实与合成视频，聚焦人机协作手势，并支持地面与空中视角下的合成到真实域偏移研究，同时给出基于先进动作识别与域适应算法的基线结果。
2024-08-01 cs.CV
Mixing Real and Synthetic Data to Enhance Neural Network Training -- A Review of Current Approaches
Motec GmbH（Motec有限公司）
深度神经网络在许多计算机视觉任务中具有巨大的重要性。然而，它们的强大是以监督训练所需的大量注释数据为代价的。在这项工作中，我们回顾和比较了文献中的不同技术，以改善训练结果，而无需获取额外的注释真实世界的数据。这个目标主要是通过对现有数据应用注释保留转换或通过综合创建更多数据来实现的。
2020-07-17 cs.CV cs.LG
Data Safety: Synthetic Data Quality Analysis Using CIFAKE Dataset
School of Digital and Physical Science, University of Hull（数字与物理科学学院，赫尔大学）；Faculty of Electrical Engineering, University of Sarajevo（电气工程学院，萨拉热窝大学）
研究针对高性能图像分类模型训练数据不足问题，利用合成数据补充。从多视角分析不同合成图像与真实图像差异，通过实验验证并提出评估应用策略，以提高基于合成图像的分类模型可靠性与安全性。
2026-07-15 cs.CV
Deep traffic light detection by overlaying synthetic context on arbitrary natural images
Universidade Federal do Espírito Santo（圣埃斯皮里图联邦大学）；Instituto Federal do Espírito Santo（圣埃斯皮里图联邦学院）；University of Trento（特伦托大学）
深度神经网络是自动驾驶相关许多问题的有效解决方案。通过向网络提供具有交通背景的真实图像样本，该模型可以学习检测和分类感兴趣的元素，例如行人，交通标志和交通灯。然而，获取和注释真实数据在时间和精力方面可能是极其昂贵的。在这种情况下，我们提出了一种方法来生成人工交通相关的训练数据的深度交通灯检测器。这些数据是使用基本的非现实计算机图形生成的，以在与交通领域无关的任意图像背景上混合虚假的交通场景。因此，无需注释即可生成大量训练数据。此外，它还解决了交通信号灯数据集中固有的数据不平衡问题，主要是由于黄色状态的样本量较低。实验表明，有可能实现与利用来自问题域的真实训练数据获得的结果相当的结果，产生平均mAP和平均F1分数，其各自比利用真实世界参考模型获得的相应度量高近4p.p.。
2020-12-10 cs.CV
Can Synthetic Faces Undo the Damage of Dataset Bias to Face Recognition and Facial Landmark Detection?
University of Basel（巴塞尔大学）
众所周知，用于人脸识别和人脸地标检测的深度学习方法在现代训练数据集中存在偏差。在这项工作中，我们建议使用合成人脸图像来减少数据集偏差对这些任务的负面影响。使用3D变形人脸模型，我们生成大量的合成人脸图像，完全控制面部形状和颜色，姿势，照明和背景。通过一系列实验，我们通过使用合成面孔进行预训练，广泛测试了引发深度网络的效果。我们观察到人脸识别和面部地标检测任务的以下积极影响：1）使用合成人脸图像的启动在所有基准测试中一致地提高了性能，因为它减少了训练数据中偏差的负面影响。2)减少数据集偏差损害的传统方法，如数据增强和迁移学习，不如使用合成人脸进行训练有效。3)使用合成数据，我们可以将真实世界数据集的大小减少75%用于人脸识别，并将其减少50%用于面部地标检测，同时保持性能。因此，提供了一种手段，将数据汇集过程集中在数量较少但质量较高的数据上。
2019-06-23 cs.CV
Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition
University of Oxford（牛津大学）
在这项工作中，我们提出了一个自然场景文本识别的框架。我们的框架不需要任何人类标记的数据，并在整个图像上进行文字识别，从过去的基于字符的识别系统出发。这个框架中心的深度神经网络模型只在合成文本生成引擎产生的数据上进行训练--合成数据高度真实，足以取代真实数据，为我们提供无限数量的训练数据。这种过量的数据暴露了单词识别模型的新可能性，在这里我们考虑三种模型，每种模型都以不同的方式“阅读”单词：通过90 k路字典编码，字符序列编码和N元语法袋编码。在基于语言和完全不受约束的文本识别场景中，我们大大提高了标准数据集的最先进性能，使用我们快速，简单的机器，并要求零数据采集成本。
2014-12-09 cs.CV
Generation of Synthetic Images for Pedestrian Detection Using a Sequence of GANs
Motec GmbH（莫泰克有限公司）；University of Koblenz（科布伦茨大学）
本文提出一种由三个GAN新颖组合而成的图像生成流水线，用于扩充行人检测数据集，实验表明其检测结果大幅超越基线。
2024-01-14 cs.CV
Selective Synthetic Augmentation with Quality Assurance
The Pennsylvania State University（宾夕法尼亚州立大学）；National Institutes of Health（美国国立卫生研究院）
自动化医学图像分析系统的监督训练通常需要大量难以收集的专家注释，并且对于罕见疾病，不同类别的可用数据比例可能高度不平衡。为了缓解这些问题，我们研究了一种新的数据增强管道，该管道选择性地添加由条件对抗网络（cGAN）生成的新合成图像，而不是直接使用合成图像扩展训练集。我们引入合成增强流水线的选择机制的动机是观察到，尽管cGAN生成的图像在视觉上很吸引人，但它们不能保证包含分类性能改进的基本特征。通过基于其分配的标签的置信度及其与真实标记图像的特征相似性选择合成图像，我们的框架通过确保将选定的合成图像添加到训练集中将提高性能来为合成增强提供质量保证。我们评估我们的模型上的医学组织病理学数据集，和两个自然的图像分类基准，CIFAR10和SVHN。这些数据集上的结果显示，通过利用cGAN生成的图像进行选择性增强，分类性能得到了显著且一致的改善（准确率分别提高了6.8%，3.9%，1.6%）。
2019-12-09 cs.CV
Style-transfer GANs for bridging the domain gap in synthetic pose estimator training
Fraunhofer IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
考虑到当前CNN架构对大型训练集的依赖性，使用合成数据的可能性是诱人的，因为它允许生成几乎无限数量的标记训练数据。然而，产生这样的数据是一项重要的任务，因为当前的CNN架构对真实数据和合成数据之间的域间隙敏感。我们建议采用通用GAN模型进行像素级图像翻译，允许将域间隙本身制定为学习问题。然后在训练或推理期间使用所获得的模型来弥合域间隙。在这里，我们专注于仅在合成CAD几何上训练单阶段YOLO6D对象姿态估计器，其中甚至没有近似的表面信息可用。当采用成对的GAN模型时，我们使用基于边缘的中间域并引入不同的映射来表示未知的表面属性。我们的评估显示，与使用相同程度的域随机化训练的模型相比，模型性能有了相当大的提高，同时只需要很少的额外努力。
2020-12-16 cs.CV
Online Sparse Synthetic Aperture Radar Imaging
本文提出在线快速迭代收缩阈值算法（Online FISTA）用于在线稀疏编码重建雷达图像，减少内存需求并提升下游任务如自动目标识别的效率。
2026-03-15 cs.CV
SqueezeSegV2: Improved Model Structure and Unsupervised Domain Adaptation for Road-Object Segmentation from a LiDAR Point Cloud
UC Berkeley（加州大学伯克利分校）
早期的工作证明了基于深度学习的点云分割方法的前景;然而，这些方法需要改进才能实用。为此，我们引入了一个新的模型SqueezeSegV 2，它对LiDAR点云中的丢失噪声更具鲁棒性。通过改进模型结构、训练损失、批量归一化和额外的输入通道，SqueezeSegV 2在真实数据上训练时实现了显著的准确性提高。用于点云分割的训练模型需要大量标记的点云数据，这是昂贵的获得。为了避免收集和注释的成本，可以使用GTA-V等模拟器来创建无限量的标记合成数据。然而，由于域转移，在合成数据上训练的模型通常不能很好地推广到现实世界。我们通过一个域自适应训练管道来解决这个问题，该管道由三个主要部分组成：1）学习的强度渲染，2）测地线相关对齐，以及3）渐进域校准。当在真实数据上进行训练时，我们的新模型比原始SqueezeSeg的分割精度提高了6.0-8.6%。当使用所提出的领域自适应管道在合成数据上训练我们的新模型时，我们在真实数据上的测试准确率几乎翻了一番，从29.0%提高到57.4%。我们的源代码和合成数据集将是开源的。
2018-09-22 cs.CV
Domain Decluttering: Simplifying Images to Mitigate Synthetic-Real Domain Shift and Improve Depth Estimation
UC Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）
利用合成渲染的数据提供了改进单目深度估计和其他几何估计任务的巨大潜力，但是关闭合成-真实域间隙是一项重要的任务。虽然最近的工作主要集中在无监督的领域自适应，我们认为一个更现实的情况下，大量的合成训练数据补充了一小部分的真实图像与地面真相。在这种情况下，我们发现，现有的域转换方法是难以训练，并提供了一个简单的基线，使用混合的真实和合成数据的优势不大。一个关键的故障模式是真实世界的图像包含合成训练中不存在的新对象和杂波。现有的图像翻译模型无法处理这种高级域转换。基于这些观察，我们开发了一个注意力模块，该模块学习识别和去除真实图像中的困难域外区域，以提高主要基于合成数据训练的模型的深度预测。我们进行了大量的实验，以验证我们的参与删除完整的方法（ARC），并发现它显着优于国家的最先进的深度预测的领域自适应方法。可视化移除的区域提供了对合成-真实域间隙的可解释的见解。
2020-06-25 cs.CV
Digi2Real: Bridging the Realism Gap in Synthetic Data Face Recognition via Foundation Models
Idiap Research Institute（伊迪亚普研究所）
针对合成人脸数据真实感不足导致人脸识别模型性能差的问题，提出Digi2Real框架，结合图形管线的可控性与人脸基础模型的真实感增强技术，生成高质量合成数据，显著提升人脸识别性能。
2025-01-14 cs.CV
Feed-Forward On-Edge Fine-tuning Using Static Synthetic Gradient Modules
KU Leuven（鲁汶大学）
通常避免在嵌入式设备上训练深度学习模型，因为这需要更多的内存、计算和推理能力。在这项工作中，我们专注于降低存储所有激活所需的内存量，这些激活在向后传递过程中需要计算梯度。相反，在向前传递期间，静态合成梯度模块（SGM）预测每层的梯度。这允许以前馈方式训练模型，而不必存储所有激活。我们测试了我们的方法在机器人抓取的情况下，机器人需要学习掌握新的对象，只有一个单一的演示。通过首先在一组常见对象上以元学习的方式训练SGM，在微调期间，SGM为模型提供了准确的梯度，以成功地学习掌握新对象。我们已经表明，我们的方法具有可比的结果，使用标准的反向传播。
2020-09-21 cs.CV
Watermark retrieval from 3D printed objects via synthetic data training
Durham University（杜伦大学）
我们提出了一种基于深度神经网络的方法，用于从3D打印对象的图像中检索水印。为了应对所有可能的3D打印和图像采集设置的可变性，我们使用合成数据训练网络。主要的模拟器参数，如纹理，照明和摄像机位置以非现实的方式动态随机化，迫使神经网络学习3D打印水印的内在特征。在流水线的末端，通过对由神经网络生成的置信度图应用一系列简单的图像处理和统计操作来检索二维位阵列形式的水印。结果表明，在训练集中包含合成DR数据可以提高网络的泛化能力，从而在以前看不见的3D打印物体的图像上表现更好。我们的结论是，在我们的应用领域的信息检索从3D打印对象，其中可以访问打印对象的确切的CAD文件，可以使用廉价的合成数据，以增强神经网络的训练，减少劳动密集型的过程中创建大量的手工标记的真实数据或需要生成逼真的合成数据的需要。
2019-05-23 cs.CV
Synthetic Privileged Information Enhances Medical Image Representation Learning
University of Glasgow（格拉斯哥大学）；Cancer Research UK Scotland Institute（英国癌症研究苏格兰研究所）；University College London（伦敦大学学院）
针对多模态自监督医学图像表示学习依赖大规模配对数据的问题，提出利用图像生成方法合成配对特权信息，显著提升表示学习性能，效果优于单模态及真实多模态配对数据训练。
2024-03-08 cs.AI cs.CV cs.LG
Synthetic Dataset Generation for Autonomous Mobile Robots Using 3D Gaussian Splatting for Vision Training
Robotics Section in the Department of Mechanical Engineering（机械工程系机器人部分）；Software Engineering and Technology in the Department of Mathematics and Computer Science（数学与计算机科学系软件工程与技术）
本文提出在Unreal Engine中利用3D高斯泼溅自动生成机器人足球场景的标注合成数据，证明合成数据训练的目标检测性能与真实数据相当，且混合训练可进一步提升性能。
2025-06-05 cs.CV cs.RO
Evaluating Synthetic Data for Baggage Trolley Detection in Airport Logistics
Information Systems and Development Department, Algiers Airport（阿尔及利亚阿尔及尔机场信息系统与开发部门）
本文提出基于数字孪生的合成数据生成方法，通过混合训练策略提升机场推车检测性能，减少注释工作量25-35%。
2026-03-08 cs.AI cs.CV cs.LG
