Learning Semantic Segmentation from Synthetic Data: A Geometrically Guided Input-Output Adaptation Approach
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
最近,越来越多的注意力已经被吸引到使用合成数据和计算机生成的注释来训练语义分割模型。然而,领域差距仍然是一个主要的障碍,并阻止从合成数据学习的模型推广到现实世界的应用。在这项工作中,我们利用额外的几何信息,从合成数据,一个强大的,但在很大程度上被忽视的线索,弥合域的差距。这种几何信息可以很容易地从合成数据中生成,并且被证明与语义信息紧密耦合。利用几何信息,我们提出了一个模型,在两个层面上减少域移位:在输入层面上,我们用额外的几何信息增强传统的图像翻译网络,将合成图像翻译成逼真的风格;在输出层面上,我们建立了一个任务网络,它同时对合成数据进行深度估计和语义分割。同时,我们鼓励网络通过输出空间上的对抗训练来保持深度和语义之间的相关性。然后,我们在两对合成到真实的数据集上验证了我们的方法:虚拟KITTI到KITTI,以及SYNTHIA到Cityscapes,与非适应基线和仅使用语义标签的方法相比,我们实现了显着的性能提升。这证明了来自合成数据的几何信息对于跨域语义分割的有用性。
2019-01-13 cs.CV
Synthetic Data Matters: Re-training with Geo-typical Synthetic Labels for Building Detection
The Ohio State University(俄亥俄州立大学)
本文提出在测试时利用基于 OpenStreetMap 生成的地理典型合成数据重训练模型,并结合对抗域适应框架,以低成本显著提升遥感建筑物分割的跨区域泛化能力。
2025-07-22 cs.CV
Geometry of the Hough transforms with applications to synthetic data
Università degli Studi di Genova(热那亚大学);Università degli Studi di Padova(帕多瓦大学)
在Hough变换技术的框架中检测图像中的曲线,我们提供了一个界限的Hough变换的数量被认为是一个成功的优化的累加器函数的识别算法。这样一个界限是几何论证的结果。我们还显示了鲁棒性的结果时,应用到合成数据集强烈干扰噪声。附录中讨论的一种代数方法,在确切的情况下,导致了更好的理论界。
2019-04-04 cs.CV
Generating Synthetic X-ray Images of a Person from the Surface Geometry
Medical Imaging Technologies, Siemens Healthineers(西门子医疗保健公司医学影像技术部门);Temple University(天普大学);Princeton University(普林斯顿大学)
我们提出了一个新的框架,学习预测人体解剖从身体表面。具体来说,我们的方法只从人的表面几何形状生成一个人的合成X射线图像。此外,合成X射线图像被参数化,并且可以通过调整也在X射线图像预测期间生成的身体标记的集合来操纵。与所提出的框架,多个合成X射线图像可以很容易地产生不同的表面几何形状。通过扰动参数,可以从相同的表面几何形状生成几个附加的合成X射线图像。因此,我们的方法提供了一个潜在的,以克服在医学领域的训练数据障碍。这种能力是通过学习一对网络来实现的-一个学习从部分图像和一组参数生成完整图像,另一个学习估计给定完整图像的参数。在训练期间,两个网络被迭代地训练,使得它们将收敛到预测参数和完整图像彼此一致的解决方案。除了医学数据丰富,我们的框架还可以用于图像完成以及异常检测。
2018-05-14 cs.CV
SharinGAN: Combining Synthetic and Real Data for Unsupervised Geometry Estimation
University of Maryland(马里兰大学);Amazon AWS(亚马逊云科技)
我们提出了一种新的方法,用于在训练网络时将合成图像和真实图像相结合,以从单个图像中确定几何信息。我们提出了一种方法,将这两种图像类型映射到一个单一的,共享的域。这是连接到一个主要的网络进行端到端的培训。理想情况下,这会导致来自两个域的映像向主网络提供共享信息。我们的实验表明,显着的改进,在两个重要的领域,表面正常估计的人脸和单眼深度估计的户外场景,无论是在无监督的设置的最先进的。
2020-06-07 cs.CV
Multi Modal Semantic Segmentation using Synthetic Data
Bosch(博世)
对三维空间(3D)中场景的语义理解是面向机器人的应用(如自动驾驶)的一个典型部分,因为它提供了几何线索,如物体的大小、方向和真实分离距离,这对于做出关键任务决策至关重要。作为第一步,在这项工作中,我们研究的可能性,语义分类的不同部分,一个给定的场景在3D中,除了纹理线索,但在没有标记的真实世界的数据集学习的基础几何上下文。为此,我们使用CARLA软件框架生成大量的合成场景,它们的像素标签和相应的3D表示。然后,我们建立了一个深度神经网络,学习潜在的类别特定的3D表示和纹理线索,从渲染的合成场景的颜色信息。进一步,我们将学习的模型应用于不同的真实世界数据集,以评估其性能。我们的初步调查结果表明,神经网络是能够学习的几何上下文从合成场景,并有效地应用这些知识来分类的3D表示的场景在现实世界中的每个点。
2019-10-30 cs.AI cs.CV
SynthRAR: Ring Artifacts Reduction in CT with Unrolled Network and Synthetic Data Training
Science&Technology Organization, GE HealthCare(科学与技术组织,通用电气医疗)
SynthRAR通过展开网络和合成数据训练,有效减少CT环状伪影,无需真实临床数据即可提升重建图像质量。
2026-02-12 cs.AI cs.CV
Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions
University of Southern California(南加州大学);Tsinghua University(清华大学)
针对多模态大语言模型低级几何视觉感知能力不足的问题,提出Geoperception基准,通过实证研究找到高保真合成数据、数据课程多阶段训练等优化策略,开发的Euclid模型系列在基准上性能显著优于闭源模型。
2024-12-11 cs.AI cs.CL cs.CV
Synthetic Defect Geometries of Cast Metal Objects Modeled via 2d Voronoi Tessellations
RPTU University Kaiserslautern-Landau(科隆-兰道大学);Fraunhofer Institute for Industrial Mathematics ITWM(弗劳恩霍夫工业数学研究所)
本文提出基于二维Voronoi镶嵌的参数方法,用于建模铸造成型物体的合成缺陷几何,以生成高质量合成数据用于缺陷检测研究。
2026-02-05 cs.CV
Text-guided Synthetic Geometric Augmentation for Zero-shot 3D Understanding
Keio University(庆应义塾大学);National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所);University of Tsukuba(筑波大学);University of Technology Nuremberg(纽伦堡工业大学);University of Oxford(牛津大学)
针对零样本3D分类中3D数据收集成本高、数据量有限的问题,提出文本引导几何增强方法TeGA,通过文本生成3D模型合成数据并经一致性过滤扩充数据集,在多个基准上提升了零样本3D分类性能。
2025-01-17 cs.CV
HumanGenesis: Agent-Based Geometric and Generative Modeling for Synthetic Human Dynamics
提出HumanGenesis框架,通过Reconstructor、Critique Agent、Pose Guider和Video Harmonizer四个协作智能体整合几何与生成建模,解决合成人类动力学中的几何不一致和动作泛化限制问题,在多项任务上实现最先进性能。
2025-08-13 cs.CV
ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning
Peking University(北京大学);Huawei(华为);National University of Singapore(新加坡国立大学)
针对合成到真实新视角合成中合成数据导致体积密度不准确的问题,提出几何感知对比学习和跨视图注意力,提升泛化NeRF的渲染质量,在PSNR、SSIM和LPIPS上优于现有方法。
2023-06-23 cs.CV
Auditing Metrics for Synthetic Data Utility: A Cross-Domain Study of Appearance and Geometry
Adam Mickiewicz University(亚当·密茨凯维奇大学);ArtCollect(艺术收藏);KAUST(卡塔尔科技大学);Kiel University(基尔大学)
本文提出SADGE,一种定量相似性度量指标,用于预测合成图像数据集在常见计算机视觉任务上的性能,而无需下游模型训练。研究发现,现有评估指标(如PSNR、FID、CLIP)主要衡量真实与合成图像之间的语义对齐(外观相似性分数),而结构相似性则用于评估领域差距(几何相似性分数)。本文通过多种合成数据集和下游任务证明,单一的外观或几何相似性无法可靠预测下游性能,而是它们的非线性交互决定了合成数据的效用。SADGE在五个公开的合成到真实基准家族和15个数据集变体(79k图像对)中,达到了线性和排名标准下最强的下游转移性能关联性。
2026-10-16 cs.CV
Automated rock joint trace mapping using a supervised learning model trained on synthetic data generated by parametric modelling
Norwegian Geotechnical Engineering(挪威地质工程)
本文提出一种基于参数建模生成合成数据的监督学习方法,用于解决岩体节理迹映射中真实数据不足和类别不平衡的问题,通过混合训练和微调提升模型鲁棒性,实现更准确的地质映射。
2026-02-07 cs.AI cs.CV cs.LG
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)(丰田研究所)
模拟器可以有效地生成大量带标签的合成数据,并对难以标记的任务(如语义分割)进行完美的监督。然而,它们引入了一个域间隙,严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距,并提高模拟到真实的无监督领域自适应(UDA)。我们的几何无监督领域自适应方法(GUDA)通过多任务目标学习域不变表示,该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准,优于使用领域对抗学习,自我训练或其他自我监督代理任务的方法。此外,我们表明,我们的方法规模以及质量和数量的合成数据,同时也提高了深度预测。
2021-08-18 cs.CV
Synthetic 3D Data Generation Pipeline for Geometric Deep Learning in Architecture
Politecnico di Milano(米兰理工大学);Computational Design Institute(计算设计研究所);IIIT Hyderabad(印度海得拉巴国际信息技术学院);KAUST(阿卜杜拉国王科技大学)
随着建筑领域对深度学习算法和计算设计的兴趣日益浓厚,对大型、可访问且多样化的建筑数据集的需求也在增加。我们决定通过构建特定于现场的合成数据生成管道来解决这个问题,该管道生成任意数量的3D数据以及相关的2D和3D注释。注释的多样性、自定义生成的建筑物和数据集参数的灵活性使该框架适用于多个深度学习任务,包括需要直接3D监督的几何深度学习。在创建建筑数据生成管道时,我们利用了专家的架构知识,以构建一个模块化、可扩展的框架,并提供足够数量的类平衡数据样本。此外,我们有目的地让研究人员参与数据集定制,允许引入额外的建筑组件,材料纹理,建筑类,注释的数量和类型以及每个3D模型样本的视图数量。这样,该框架将满足不同的研究要求,并将适用于各种各样的任务。所有代码和数据都是公开的。
2021-04-26 cs.CV
Eliminating Registration Bias in Synthetic CT Generation: A Physics-Based Simulation Framework
organization= Medical University of Vienna, Department of Radiation Oncology , city= Vienna , country= Austria;organization= Christian Doppler Laboratory for Image;Knowledge Driven Precision Radiation Oncology, Medical University of Vienna , city= Vienna , country= Austria;organization= University of Applied Sciences Wiener Neustadt, Competence Center for Preclinical Imaging \& Biomedical Engineering , city= Wiener Neustadt , country= Austria
本文提出基于物理的CBCT模拟框架,通过构造几何对齐的训练对,解决合成CT生成中的注册偏差问题,证明几何保真度优于传统强度评分。
2026-02-02 cs.CV
CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic Data
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
我们提出了一个视觉定位系统,学习估计相机在现实世界中的姿态与合成数据的帮助。尽管近年来取得了重大进展,但大多数基于学习的视觉定位方法都针对单个领域,需要密集的地理标记图像数据库才能正常工作。为了缓解数据稀缺问题并提高神经定位模型的可扩展性,我们引入了TOPO-DataGen,这是一种多功能的合成数据生成工具,可以在现实和虚拟世界之间平滑地遍历,取决于地理相机的视角。提出了新的大规模模拟到真实基准数据集,以展示和评估所述合成数据的效用。我们的实验表明,合成数据一般提高神经网络的性能对真实数据。此外,我们引入CrossLoc,一种跨模态视觉表示学习方法,通过自我监督,充分利用场景坐标地面实况来进行姿态估计。在没有任何额外数据的情况下,CrossLoc的性能明显优于最先进的方法,并实现了更高的实际数据样本效率。我们的代码和数据集都可以在https://crossloc.github.io/上找到。
2022-03-30 cs.AI cs.CV cs.RO
SPHINX: A Synthetic Environment for Visual Perception and Reasoning
Rochester Institute of Technology(罗彻斯特理工学院);University of Washington(华盛顿大学)
SPHINX通过生成具有可验证解的谜题,评估视觉感知与推理能力,发现大模型表现不足,RLVR方法显著提升性能。
2026-04-05 cs.AI cs.CV cs.LG
$S^3$Net: Semantic-Aware Self-supervised Depth Estimation with Monocular Videos and Synthetic Data
Rutgers University(罗格斯大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);Blue River Technology(蓝河科技)
用单目相机解决深度估计使得相机作为低成本深度估计传感器在诸如自动驾驶和机器人之类的应用中广泛使用成为可能。然而,学习这种可扩展的深度估计模型需要大量标记数据,收集成本很高。有两种流行的现有方法不需要注释深度图:(i)在对抗框架中使用标记的合成和未标记的真实数据来预测更准确的深度,以及(ii)利用单目视频帧中跨空间和时间的几何结构的无监督模型。理想情况下,我们希望利用这两种方法提供的功能,因为它们相互补充;然而,现有的方法没有充分利用这些附加的好处。我们提出了$S^3$ Net,这是一个结合了这些互补功能的自监督框架:我们使用合成和真实世界的图像进行训练,同时利用几何,时间和语义约束。我们新颖的整合架构提供了使用单目视频进行自监督深度估计的新的最先进技术。我们提出了一种独特的方式来训练这个自我监督的框架,并实现(i)超过$15\%$改进以前的合成监督的方法,使用领域自适应适应和(ii)超过$10\%$改进以前的自我监督的方法,利用几何约束的真实数据。
2020-07-28 cs.CV
SynthCam3D: Semantic Understanding With Synthetic Indoor Scenes
University of Cambridge(剑桥大学)
我们感兴趣的是自动场景理解的几何线索。为此,我们的目标是把语义分割的实时重建的循环。我们的语义分割建立在一个深度自动编码器堆栈上,该堆栈专门基于我们新颖的3D场景库SynthCam3D生成的合成深度数据进行训练。重要的是,我们的网络能够在没有任何噪声建模的情况下分割真实世界的场景。我们提出了令人鼓舞的初步结果。
2015-05-01 cs.CV
Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth
当前基于几何的单目3D目标检测模型可以通过利用透视几何来有效地检测对象,但是由于缺乏准确的深度信息,它们的性能受到限制。虽然这个问题可以在基于深度的模型中得到缓解,其中在3D框推理之前插入深度估计模块以预测深度信息,但是这种模块的引入显著地降低了检测速度。而不是训练一个昂贵的深度估计,我们提出了一个渲染模块,以增加训练数据合成图像与虚拟深度。渲染模块以RGB图像及其对应的稀疏深度图像作为输入,输出各种真实感的合成图像,检测模型可以从中学习更多有区别的特征,以适应物体的深度变化。此外,我们引入了一个辅助模块,通过深度估计任务联合优化检测模型来改进检测模型。这两个模块都在训练时间内工作,不会向检测模型引入额外的计算。实验表明,通过使用我们提出的模块,基于几何的模型可以代表KITTI 3D检测基准的领先精度。
2021-07-28 cs.CV
HarmonicNeRF: Geometry-Informed Synthetic View Augmentation for 3D Scene Reconstruction in Driving Scenarios
Taiyuan University of Technology(太原理工大学);University of Washington(华盛顿大学);Jilin University(吉林大学);Central South University(中南大学)
本文提出HarmonicNeRF方法,通过球谐函数生成几何信息合成视图并利用代理几何管理遮挡,有效解决了自动驾驶场景中视点稀疏导致的NeRF重建精度不足问题。
2024-07-25 cs.CV
3D Face Reconstruction by Learning from Synthetic Data
Technion - Israel Institute of Technology(以色列理工学院)
从单幅图像中快速、鲁棒地重建人脸的三维几何结构是一项具有挑战性的任务,有着广泛的应用前景。在这里,我们介绍了一种基于学习的方法,用于从单个图像重建三维人脸。最近的人脸恢复方法依赖于关键特征点的精确定位。相比之下,所提出的方法是基于卷积神经网络(CNN),直接从其图像中提取的面部几何形状。尽管这种深度架构在复杂的计算机视觉问题中优于其他模型,但正确训练它们需要大量注释示例数据集。在三维人脸的情况下,目前还没有大量的数据集,而获取这样的大数据是一项繁琐的任务。作为一种替代方案,我们建议生成随机的,但几乎照片般逼真,面部图像的几何形状是已知的。该模型成功地从真实图像中恢复了面部形状,即使是极端表情和各种光照条件下的面部。
2016-09-26 cs.CV
Anatomy-Grounded Synthetic Coronary Angiography for Geometry-Informed Multi-View Matching
Medipixel, Inc.(Medipixel公司);University of California San Diego(加州大学圣地亚哥分校)
提出物理基础数据生成框架,从3D CCTA合成高保真DRR,结合几何信息匹配模块GIMM,实现无人工标注的2D对应点学习。
2026-06-26 cs.CV eess.IV
Quasi-Synthetic Riemannian Data Generation for Writer-Independent Offline Signature Verification
University of West Attica(西阿提卡大学);Université Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学)
提出一种基于SPD黎曼几何的准合成数据生成框架,通过黎曼高斯混合采样生成合成签名样本,结合度量学习,在真实数据集上实现低错误率的与书写者无关的离线签名验证。
2025-09-24 cs.CV
FOUND: Foot Optimization with Uncertain Normals for Surface Deformation Using Synthetic Data
University of Cambridge(剑桥大学)
提出FOUND方法解决人体脚部少视图三维重建问题,通过构建合成数据集SynFoot、训练不确定性感知法线预测器及脚部模型优化方案,在少视图设置下显著优于现有方法。
2024-08-22 cs.CV
Formula-Supervised Visual-Geometric Pre-training
AIST;University of Tsukuba(筑波大学);Tokyo Institute of Technology(东京工业大学)
提出FSVGP,一种从数学公式自动生成对齐的合成图像和点云进行跨模态监督预训练的方法,在统一Transformer上实现视觉-几何表示学习,并在图像和3D物体分类、检测、分割六个任务上优于现有方法。
2024-09-20 cs.CV
Probabilistic road classification in historical maps using synthetic data and deep learning
Institute of Cartography and Geoinformation(制图与地理信息研究所);ETH Zürich(苏黎世联邦理工学院);Heitzler Geoinformatik(海茨勒地理信息公司)
本文提出一种结合深度学习与地理信息及图像处理的方法,仅利用道路几何形状和合成数据即可从历史地图中提取并分类道路,无需类别标签,在瑞士历史地图上取得超过94%完整性和92%正确性。
2024-10-03 cs.CV cs.LG
Learning Rope Manipulation Policies Using Dense Object Descriptors Trained on Synthetic Depth Data
AUTOLAB at the University of California, Berkeley(加利福尼亚大学伯克利分校AUTOLAB);Toyota Research Institute(丰田研究院)
由于缺乏高保真度的分析模型和大的配置空间,机器人操作可变形的1D物体,如绳索,电缆和软管是具有挑战性的。此外,直接从图像和物理交互中学习端到端的操作策略需要机器人花费大量时间,并且可能无法跨任务进行泛化。我们解决这些挑战,使用可解释的深度视觉表示绳,扩展最近的工作密集的对象描述符的机器人操作。这有助于设计建立在学习表示之上的可解释和可转移的几何策略,解耦视觉推理和控制。我们提出了一种方法,学习初始和目标绳配置之间的点对对应关系,隐式编码的几何结构,完全在模拟合成深度图像。我们证明了学习的表示-密集深度对象描述符(DDODs)-可以用来操纵一个真正的绳子成各种不同的安排,无论是通过示教学习或使用可解释的几何政策。在使用ABB YuMi机器人进行的50次打结任务试验中,该系统实现了66%的打结成功率。有关补充材料和视频,请访问https://tinyurl.com/rope-learning。
2020-03-03 cs.CV cs.LG cs.RO
Generation of synthetic gait data: application to multiple sclerosis patients' gait patterns
Nantes Université(南特大学);Université Bretagne Sud(南布列塔尼大学);CHU de Nantes(南特大学医院);CNRS(法国国家科学研究中心);Inserm(法国国家健康与医学研究院)
本文针对多发性硬化症步态数据小样本问题,提出基于最近邻加权的高保真合成QTS数据生成方法及保留几何特性的数据转换框架,并在MS步态数据上验证了其保真度和几何保持能力。
2024-11-20 cs.CV stat.AP