VP-NTK: Exploring the Benefits of Visual Prompting in Differentially Private Data Synthesis
National Yang Ming Chiao Tung University(国立阳明交通大学);IBM Research(IBM研究院)
针对差分隐私生成模型合成高分辨率图像效用低的问题,本研究将视觉提示与基于神经切线核的DP-NTK生成器结合,显著提升了高分辨率图像数据集的合成准确率,并通过消融实验验证了参数影响,为提升DP合成数据效用提供了新方向。
2025-03-20 cs.CV cs.LG
Sequential PatchCore: Anomaly Detection for Surface Inspection using Synthetic Impurities
Fraunhofer ITWM(弗劳恩霍夫信息技术与微系统研究所);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道莱茵-普法尔茨理工大学)
针对表面检测中的水渍等杂质与高分辨率训练内存瓶颈,提出合成水渍数据生成方法和 Sequential PatchCore 顺序核心集训练框架,验证合成预训练与真实数据微调的性能收益。
2025-01-16 cs.CV cs.GR cs.LG
Synthetic Image Data for Deep Learning
BMW IT Research Center(宝马IT研究中心);Clemson University(克莱姆森大学)
从3D模型渲染的真实合成图像数据可用于增强图像集和训练图像分类语义分割模型。在这项工作中,我们将探讨如何高质量的基于物理的渲染和域随机化可以有效地创建一个大型的合成数据集的基础上生产的三维CAD模型的真实车辆。我们使用这个数据集来量化使用U网和双U网模型的合成增强的有效性。我们发现,在这个领域,合成图像是一种有效的技术,用于增强有限的真实训练数据集。我们观察到,在纯合成图像上训练的模型在真实验证图像上的平均预测IoU非常低。我们还观察到,即使在合成数据集中添加非常少量的真实图像,也会大大提高准确性,并且在使用合成图像增强的数据集上训练的模型比仅在真实图像上训练的模型更准确。最后,我们发现,在受益于增量训练或模型专业化的用例中,在合成图像上预训练基础模型可以大大降低迁移学习的训练成本,允许高达90%的模型训练被预先加载。
2022-12-12 cs.CV cs.LG
HandCraft: Dynamic Sign Generation for Synthetic Data Augmentation
本文提出基于CMLPe的轻量级手语生成模型HandCraft,结合合成数据预训练提升手语识别性能,并在LSFB和DiSPLaY数据集上取得新SOTA结果。
2025-08-22 cs.CV cs.LG
VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
本文提出大规模合成视觉逻辑推理数据集VisualSphinx及规则到图像的合成流水线,通过GRPO训练显著提升VLM在逻辑推理及其他相关推理任务上的性能。
2026-11-02 cs.AI cs.CV cs.LG
Position Paper: Building Trust in Synthetic Data for Clinical AI
Indian Institute of Technology Madras(马德拉斯印度理工学院);All India Institute of Medical Sciences(全印度医学科学研究院)
本文论证建立对合成医学数据的信任是其临床采用的关键,并通过脑肿瘤分割实验证明合成数据的质量、多样性和比例会直接影响临床AI模型的可信度。
2025-02-04 cs.CV cs.LG
Drone Detection using Deep Neural Networks Trained on Pure Synthetic Data
Cranfield University(克兰菲尔德大学);Prince Mohammad Bin Fahd University(穆罕默德·本·法赫德王子大学);Department for Transport(运输部);Thales UK(泰雷兹英国公司)
提出一种在纯合成数据集上训练的无人机检测 Faster-RCNN 模型,其在真实数据集上达到 97.0% 的 AP_50,证明合成数据能有效降低成本并实现优异的 sim-to-real 迁移性能。
2024-11-13 cs.AI cs.CV cs.LG
Understanding data augmentation for classification: when to warp?
Defence Science and Technology(国防科学与技术组织);Australian Defence Force(澳大利亚国防军);University of South Australia(南澳大利亚大学)
在本文中,我们调查的好处,增加数据与合成创建的样本时,训练机器学习分类器。创建额外训练样本的两种方法是数据扭曲,它通过在数据空间中应用的变换生成额外的样本,以及合成过采样,它在特征空间中创建额外的样本。我们使用标准MNIST手写数字数据集,通过实验评估了数据增强对卷积反向传播训练的神经网络、卷积支持向量机和卷积极端学习机分类器的好处。我们发现,虽然可以在特征空间中执行通用增强,但如果数据的合理变换是已知的,则数据空间中的增强为提高性能和减少过拟合提供了更大的好处。
2016-11-26 cs.CV
Synthetic Data Augmentation for Multi-Task Chinese Porcelain Classification: A Stable Diffusion Approach
本研究利用稳定扩散与LoRA生成合成数据,提升多任务中国瓷器分类的性能,验证了合成数据在增强真实数据集中的有效性及任务特定的改进效果。
2026-01-21 cs.CV cs.LG
Exploring the Impact of Synthetic Data for Aerial-view Human Detection
BlueHalo(蓝 halo 公司);University of Maryland, College Park(马里兰大学帕克分校);DEVCOM Army Research Laboratory(DEVCOM 陆军研究实验室)
本文研究影响航拍行人检测中合成数据有效性的三个因素,提出基于马氏距离的分布差距度量,并发现重要结论以指导合成数据的合理使用。
2024-05-27 cs.CV
Procedural Humans for Computer Vision
Mesh Labs Cambridge, Microsoft(微软剑桥网格实验室)
最近的工作已经显示了合成数据用于计算机视觉的好处,其应用范围从自动驾驶到人脸地标检测和重建。使用合成数据有许多好处,从隐私保护和偏见消除到注释的质量和可行性。生成以人为中心的合成数据在现实主义和领域差距方面是一个特别的挑战,尽管最近的工作表明,有效的机器学习模型可以单独使用合成人脸数据进行训练。我们表明,这可以通过建立在Wood等人的管道上来扩展到包括整个身体,以生成完整的人类合成图像,并为计算机视觉应用提供地面实况注释。在本报告中,我们描述了如何构建面部和身体的参数化模型,包括关节手;我们的渲染管道,以基于此身体模型生成逼真的人类图像;一种训练DNN回归覆盖整个身体的密集地标集的方法;以及一种将我们的身体模型拟合到从多个视图预测的密集地标的方法。
2023-01-03 cs.CV cs.GR
Generation of Non-Deterministic Synthetic Face Datasets Guided by Identity Priors
NBL - Norwegian Biometrics Laboratory, NTNU(挪威生物特征实验室,挪威科技大学)
通过人脸识别实现高度安全的应用(如过境)需要通过大规模数据进行广泛的生物识别性能测试。然而,使用真实的面部图像引起了对隐私的担忧,因为法律不允许图像用于最初意图之外的其他目的。使用人脸数据的代表性和子集也会导致不必要的人口统计偏见,并导致数据集的不平衡。克服这些问题的一个可能的解决方案是用合成生成的样本替换真实的人脸图像。虽然生成合成图像已经受益于计算机视觉的最新进展,但是生成类似于真实世界变化的相同合成身份的多个样本仍然没有解决,即,交配样本。本文提出了一种利用StyleGAN的结构良好的潜在空间生成匹配人脸图像的非确定性方法。匹配样本是通过操作潜在向量生成的,更准确地说,我们利用主成分分析(PCA)来定义潜在空间中有语义意义的方向,并使用预训练的人脸识别系统控制原始样本和匹配样本之间的相似性。我们创建了一个新的合成人脸图像数据集(SymFace),由77,034个样本组成,其中包括25,919个合成ID。通过我们的分析,使用完善的人脸图像质量指标,我们展示了模仿真实生物特征数据特征的合成样本的生物特征质量的差异。其分析和结果表明使用所提出的方法创建的合成样本作为替代真实生物特征数据的可行替代方案。
2021-12-07 cs.CV cs.LG
Attribute analysis with synthetic dataset for person re-identification
Shanghai Jiao Tong University(上海交通大学)
人员身份再识别在公共安全、视频监控等应用中发挥着重要作用。近年来,得益于合成数据引擎的普及,从合成数据中学习取得了显著的成绩。然而,现有的合成数据集规模小,缺乏多样性,这阻碍了在现实世界中的人re-ID的发展。针对这一问题,我们首先开发了一个大规模的合成数据引擎,该引擎的突出特点是可控性。在此基础上,我们建立了一个大规模的合成数据集,它是多样化的,从不同的属性,如光照和视点定制。其次,我们定量分析了数据集属性对re-ID系统的影响。据我们所知,这是第一次尝试从合成数据集的属性方面明确剖析人的重新ID。全面的实验有助于我们更深入地了解人的身份识别中的基本问题,我们的研究也为数据集的构建和未来的实际应用提供了有用的见解。
2020-08-05 cs.CV
Automated Synthetic-to-Real Generalization
Texas A&M University(德克萨斯农工大学);NVIDIA(英伟达)
在合成图像上训练的模型通常面临对真实数据的退化泛化。作为惯例,这些模型通常使用ImageNet预训练的表示进行初始化。然而,ImageNet知识的作用很少被讨论,尽管通常的做法是利用这些知识来保持泛化能力。一个例子是提前停止和逐层学习率的仔细手动调整,这被证明可以改善合成到真实的泛化,但也是费力和启发式的。在这项工作中,我们明确鼓励综合训练模型与ImageNet预训练模型保持相似的表示,并提出了一种\textit{learning-to-optimize (L2O)}策略来自动选择逐层学习率。我们证明了所提出的框架可以显着提高合成到真实的泛化性能,而无需查看和训练真实数据,同时也有利于下游任务,如领域自适应。代码可在:https://github.com/NVlabs/ASG.
2020-07-14 cs.CV cs.LG cs.RO
ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
Imperial College London(帝国理工学院)
本研究提出ViTAMINS方法,将合成难负样本用于视觉Transformer预训练,经多任务基准测试,该方法性能优于竞争模型且资源效率更高,推动对比学习成为主流生成式与自蒸馏方法的替代方案。
2026-09-02 cs.AI cs.CV cs.LG
SynthTIGER: Synthetic Text Image GEneratoR Towards Better Text Recognition Models
CLOVA AI Research, NAVER Corporation(NAVER公司CLOVA人工智能研究院);Upstage AI Research(Upstage人工智能研究院)
对于成功的场景文本识别(STR)模型,合成文本图像生成器已经缓解了现实世界中注释文本图像的缺乏。具体来说,它们生成具有不同背景、字体样式和文本形状的多个文本图像,并使STR模型能够学习可能无法从手动注释的数据中访问的视觉模式。本文通过对文本图像合成技术的分析,并在一个算法下集成了有效的文本图像合成技术,提出了一种新的合成文本图像生成器SynthTIGER。此外,我们提出了两种技术,减轻长尾问题的长度和字符分布的训练数据。在我们的实验中,SynthTIGER比合成数据集MJSynth(MJ)和SynthText(ST)的组合实现了更好的STR性能。我们的消融研究证明了使用SynthTIGER的子组件和为STR模型生成合成文本图像的指南的好处。我们的实现可以在https://github.com/clovaai/synthtiger上公开获得。
2021-07-20 cs.CV
What Makes Good Synthetic Training Data for Zero-Shot Stereo Matching?
Princeton University(普林斯顿大学)
本文研究了合成数据集对零样本立体匹配性能的影响,通过参数调整和大规模数据集验证,发现其性能优于混合数据集并具有开源代码支持。
2026-02-27 cs.CV
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Microsoft(微软)
我们证明了在野外单独使用合成数据进行与面部相关的计算机视觉是可能的。社区长期以来一直享受着将训练数据与图形合成的好处,但真实数据和合成数据之间的领域差距仍然是一个问题,特别是对于人脸。研究人员试图通过数据混合、领域自适应和领域对抗训练来弥合这一差距,但我们证明了有可能以最小的领域差距合成数据,因此在合成数据上训练的模型可以推广到真实的野外数据集。我们描述了如何将程序生成的参数化3D人脸模型与全面的手工制作资源库相结合,以前所未有的真实感和多样性呈现训练图像。我们训练机器学习系统来完成与人脸相关的任务,如地标定位和人脸解析,这表明合成数据既可以在准确性上与真实数据相匹配,也可以开辟新的方法,使人工标记成为不可能。
2021-10-05 cs.CV
How Noise Benefits AI-generated Image Detection
Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology(南京信息工程大学数字取证教育部工程研究中心);University of Macau(澳门大学);University of Siena(锡耶纳大学)
本文提出PiN-CLIP方法,通过生成噪声和检测网络的联合训练,提升AI生成图像检测的鲁棒性与泛化能力,在开放数据集上取得新的SOTA性能。
2026-04-10 cs.CV
Synthetic Data in Human Analysis: A Survey
Inria(法国国家信息与自动化研究所);Université Côte d’Azur(蔚蓝海岸大学);Norwegian University of Science and Technology(挪威科技大学);Hochschule Darstadt(达姆施塔特应用科学大学)
深度神经网络在人体分析中已变得普遍,从而提高了生物识别、动作识别以及人员重新识别等应用程序的性能。然而,这种网络的性能与可用的训练数据成比例。在人类分析中,对大规模数据集的需求构成了严峻的挑战,因为数据汇集繁琐,时间昂贵,成本高昂,并且必须遵守数据保护法律。目前的研究调查生成的\textit{synthetic data}作为一个有效的和隐私保护的替代收集在现场的真实数据。本调查介绍了基本定义和方法,在生成和使用合成数据进行人类分析时至关重要。我们进行了一项调查,总结了当前最先进的方法和使用合成数据的主要好处。我们还概述了公开可用的合成数据集和生成模型。最后,我们讨论了在这一领域的局限性,以及开放的研究问题。本调查面向人体分析领域的研究人员和从业人员。
2022-08-19 cs.CV
Deflating Dataset Bias Using Synthetic Data Augmentation
Ford Greenfield Labs(福特格林菲尔德实验室)
自大规模对象识别数据集的发布和可扩展计算硬件的引入以来,深度学习在视觉应用中的增长前所未有。用于自动驾驶车辆(AV)的大多数视觉任务的最先进方法依赖于监督学习,并且通常无法推广到域偏移和/或离群值。因此,数据集多样性是成功部署的关键。无论数据集的大小有多大,捕获与特定任务环境因素有关的分布的长尾是不切实际的。本文的目标是研究使用有针对性的合成数据增强-结合游戏引擎模拟和sim 2 real风格传输技术的优势-填补视觉任务的真实数据集的空白。对自动驾驶汽车实际使用的三种不同计算机视觉任务-停车位检测,车道检测和单目深度估计-的实证研究一致表明,与仅对真实数据进行训练相比,在训练集大小相同的情况下,在训练组合中使用合成数据可以显着提高跨数据集的泛化性能。
2020-04-28 cs.CV cs.LG eess.IV
Less is More: Learning from Synthetic Data with Fine-grained Attributes for Person Re-Identification
Shanghai Jiao Tong University(上海交通大学);National University of Defense Technology(国防科技大学)
人员身份再识别在公共安全、视频监控等应用中发挥着重要作用。最近,得益于合成数据引擎的普及,从合成数据中学习受到了公众的高度关注。然而,现有的数据集在数量、多样性和真实性方面都有局限性,不能有效地用于重新识别问题。为了解决这一挑战,我们手动构建了一个名为FineGPR的大规模个人数据集,并带有细粒度的属性注释。此外,为了充分挖掘FineGPR的潜力,促进数百万合成数据的高效训练,我们提出了一种称为AOST的属性分析管道,它动态学习真实域中的属性分布,从而消除合成数据和真实世界数据之间的差距,从而可以自由地部署到新的场景中。在基准测试上进行的实验表明,FineGPR与AOST优于(或相当于)现有的真实和合成数据集,这表明它的re-ID任务的可行性,并证明了谚语少即是多的原则。我们的合成FineGPR数据集可在https://github.com/JeremyXSC/FineGPR上公开获取。
2021-12-07 cs.CV
From Real to Synthetic and Back: Synthesizing Training Data for Multi-Person Scene Understanding
Amazon Go(亚马逊Go)
我们提出了一种方法,用于合成多个人在特定场景中交互的自然图像。这些图像受益于合成数据的优势:完全可控,并使用任何类型的标准或自定义地面实况进行充分注释。为了减少合成域到实域的差距,我们引入了一个由以下步骤组成的流水线:1)我们在模仿真实世界的上下文中渲染场景,2)我们在合成图像上训练人类解析模型,3)我们使用该模型来估计真实图像的分割图,4)我们训练一个条件生成对抗网络(cGAN)来学习逆映射--从分割图到真实图像,以及5)给定新的合成分割图,我们使用cGAN来生成逼真的图像。我们的管道的图示如图2所示。我们使用生成的数据来训练一个多任务模型,以完成UV映射和密集深度估计等具有挑战性的任务。我们在CMU Panoptic数据集上定量和定性地展示了数据生成和训练模型的价值。
2020-06-03 cs.CV
Evaluation of Color Anomaly Detection in Multispectral Images For Synthetic Aperture Sensing
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
在这篇文章中,我们评估无监督的异常检测方法在多光谱图像中获得的波长无关的合成孔径传感技术,称为机载光学切片(AOS)。重点是搜索和救援任务,应用无人机在茂密的森林中定位失踪或受伤人员,并需要实时操作,我们评估这些方法的运行时间与质量。此外,我们表明,通常在视觉范围内工作的颜色异常检测方法总是受益于一个额外的远红外(热)通道。我们还表明,即使没有额外的热带,在视觉范围内的颜色空间的选择已经对检测结果的影响。像HSV和HLS这样的颜色空间有可能优于广泛使用的RGB颜色空间,特别是当颜色异常检测用于森林环境时。
2022-11-08 cs.CV
DPD-fVAE: Synthetic Data Generation Using Federated Variational Autoencoders With Differentially-Private Decoder
Hasso Plattner Institute(哈索·普拉特纳研究所)
联邦学习(FL)在处理医疗保健等领域常见的敏感分布式数据集方面越来越受到关注。而不是直接在这些数据集上训练分类模型,最近的工作已经考虑了训练数据生成器能够合成一个新的数据集,这是不受任何隐私限制。因此,任何人都可以使用合成数据,这使得能够进一步评估机器学习架构和研究问题。作为隐私保护的附加层,可以将差分隐私引入训练过程。我们提出了DPD-fVAE,一个联邦变分自编码器与差分私有解码器,合成一个新的,标记的数据集,为后续的机器学习任务。通过仅将解码器组件与FL同步,我们可以降低每个时期的隐私成本,从而实现更好的数据生成器。在我们对MNIST,Fashion-MNIST和CelebA的评估中,我们展示了DPD-fVAE的好处,并在Fréchet Inception Distance和在合成数据集上训练的分类器的准确性方面报告了相关工作的竞争性能。
2022-11-21 cs.CR cs.CV cs.LG
Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving
Robert Bosch Corporate Research(博世企业研究院);KLA(科磊);Birla Institute of Technology and Science, Pilani(皮拉尼比特拉技术与科学学院)
在开发基于感知的深度学习模型时,合成数据的好处是巨大的。然而,由于它们之间的域差距,在对真实世界数据进行测试时,针对某些计算机视觉任务使用合成数据训练的网络的性能显着下降。在弥合合成数据和实际世界数据之间的差距方面,一个流行的解决方案是将其框定为领域自适应任务。在本文中,我们提出并评估新的方法来改善这种方法。特别是,我们建立在团结的方法。在域转换任务的正常GAN训练中,随机完成来自两个域(即真实域和合成域)的图像配对。我们提出了一种新的方法来有效地将语义监督纳入到这种对选择中,这有助于提高模型的性能,同时提高这种转换图像的视觉质量。我们说明了我们的实证研究结果城市景观\cite{cityscapes}和具有挑战性的合成数据集Synscapes。虽然这些调查结果是在全球联盟的基础网络上报告的,但它们可以很容易地扩展到任何其他类似的网络。
2023-02-08 cs.CV
What Makes Synthetic Data Effective in Image Segmentation
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);Beihang University(北京航空航天大学);School of Computer Science and Engineering(计算机科学与工程学院)
本文研究了合成数据在图像分割中的有效性,通过分析最先进的扩散模型生成的合成图像,发现密集场景构成和精细实例保真度是关键因素,并提出了一种统一框架SENSE,以提升分割性能。
2026-05-19 cs.CV
Exploring Limits of Diffusion-Synthetic Training with Weakly Supervised Semantic Segmentation
LY Corporation(LY公司)
针对扩散合成语义分割训练方法DiffuMask的局限,提出可靠性感知鲁棒训练、提示增强、LoRA适配三种技术,有效缩小了真实与合成训练的性能差距。
2024-04-15 cs.CV
Rethinking Driving World Model as Synthetic Data Generator for Perception Tasks
Peking University(北京大学);Xiaomi EV(小米电动车);Huazhong University of Science and Technology(华中科技大学);Beijing Key Laboratory of Data Intelligence and Security (Peking University)(北京数据智能与安全重点实验室(北京大学));Zhongguancun Academy(中关村学院)
Dream4Drive通过生成高质量的合成数据提升自动驾驶感知任务性能
2026-03-07 cs.AI cs.CV
Real Time Monocular Vehicle Velocity Estimation using Synthetic Data
University of Oxford(牛津大学)
视觉是自动驾驶中的主要感知方式之一。在本文中,我们看看从安装在一个移动的汽车上的摄像头估计的道路车辆的速度的问题。与之前训练从视频像素估计车辆速度的端到端深度网络的方法相反,我们提出了一种两步方法,其中首先使用现成的跟踪器来提取车辆边界框,然后使用小型神经网络来从跟踪的边界框回归车辆速度。令人惊讶的是,我们发现,这仍然实现了最先进的估计性能,具有通过干净,可解释和可验证的接口将感知与动态估计分离的显著好处,该接口允许我们提取对速度估计至关重要的统计数据。我们表明,后者可以很容易地生成合成的训练数据的空间中的边界框,并使用它来进一步提高我们的方法的性能。
2021-09-16 cs.CV
TruPercept: Trust Modelling for Autonomous Vehicle Cooperative Perception from Synthetic Data
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
自动驾驶车辆(AV)的车辆间通信在感知鲁棒性方面具有显著的优势。我们提出了一种新的方法,AV通信感知的观察,锻炼的同行提供报告的信任建模。基于如本地验证的所报告的目标检测的准确性,可以融合所传送的消息以增强视线之外以及距本车辆很远距离处的感知性能。还提出了一种新的合成数据集,可用于测试合作感知。TruPercept数据集包括不可靠和恶意的行为场景,以试验合作感知带来的一些挑战。TruPercept运行时和评估框架允许模块化组件更换,以促进消融研究以及创建我们能够展示的新信任场景。
2019-09-17 cs.CV cs.MA cs.RO
Pallet Detection from Synthetic Data Using Game Engines
Centre for Automation and Robotic Engineering Science(自动化与机器人工程科学中心);The University of Auckland(奥克兰大学)
本研究提出利用游戏引擎自动生成3D模型的合成训练数据用于托盘分割,并使用Mask R-CNN流水线实现了86%的AP50,验证了合成数据在自主仓储机器视觉中的有效性。
2023-04-07 cs.AI cs.CV
SyntheticDoc: A Large Synthetic Dataset for Document Unwarping and Illumination Correction
ETH Zurich(苏黎世联邦理工学院)
针对现有文档展开数据集规模和质量不足的问题,本文提出大规模合成数据集SyntheticDoc,含百万级高分辨率样本及精确标注,通过物理模拟和路径追踪生成,实验证明其能提升基线模型性能。
2026-09-15 cs.CV cs.GR
Controlled Automatic Task-Specific Synthetic Data Generation for Hallucination Detection
Amazon(亚马逊)
本文提出了一种受控的自动任务特定合成数据生成方法,通过两步流程和数据混合策略提升幻觉检测的泛化能力和鲁棒性,实验表明其在幻觉检测任务中优于基于上下文学习的检测器。
2026-01-09 cs.AI cs.CL cs.CV