Predicting Depth from Semantic Segmentation using Game Engine Dataset
Faculty of Electrical Engineering(电气工程学院)
深度感知是机器人理解周围环境的基础。根据认知神经科学的观点,视觉深度感知方法分为三大类,即双眼视觉、主动视觉和图像视觉。前两类已经被详细研究了几十年。然而,对第三类的探索研究仍处于起步阶段,近年来随着深度学习方法的出现而获得了动力。在认知神经科学中,已知图像深度感知机制依赖于对所看到的物体的感知。受此启发,本文研究了物体感知与深度估计卷积神经网络的关系。为此,我们开发了新的网络结构的基础上,一个简单的深度估计网络,只使用一个单一的图像在其输入。我们提出的结构使用图像和图像的语义标签作为它们的输入。我们使用语义标签作为对象感知的输出。实验结果表明,新结构可以使深度估计的性能提高52%.大多数实验研究都是在游戏引擎生成的合成数据集上进行的,以将性能比较与非合成数据集的不准确深度和语义标签的影响隔离开来。它表明,特定的合成数据集可以用于训练的深度网络的情况下,适当的数据集是不可用的。此外,我们表明,在这些情况下,语义标签的使用提高了网络对从合成训练数据到非合成测试数据的域转换的鲁棒性。
2021-06-12 cs.CV cs.LG cs.RO
Challenges of YOLO Series for Object Detection in Extremely Heavy Rain: CALRA Simulator based Synthetic Evaluation Dataset
DGIST(大邱庆北科学技术院)
针对恶劣天气下传感器目标检测稳定性不足的问题,本研究基于实验雨滴数据通过CARLA模拟器构建新型降水场景测试数据集,并用YOLO系列定量验证不同降水强度下目标检测的性能下降程度。
2023-12-14 cs.CV
Deep Active Perception for Object Detection using Navigation Proposals
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
针对现有深度学习目标检测依赖静态推理范式、主动感知改动训练流程的问题,提出可结合现成检测器与仿真环境的通用有监督主动感知流水线,通过额外网络估算低置信度下的更优视角,在合成数据集上验证了两类场景的有效性。
2023-12-15 cs.CV
Granularity-Aware Transfer for Tree Instance Segmentation in Synthetic and Real Forests
Robotics Research Lab, University of Kaiserslautern-Landau, Kaiserslautern, Germany(机器人研究实验室,卡塞尔鲁特-兰道大学,卡塞尔鲁特,德国)
本文提出MGTD混合粒度数据集及四阶段协议,通过粒度感知蒸馏将细粒度合成数据结构先验迁移到粗粒度真实数据,提升小距离树的分割性能。
2026-04-15 cs.CV
Small Object Detection for Near Real-Time Egocentric Perception in a Manual Assembly Scenario
SmartFactory-KL(凯泽斯劳滕智能工厂);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
近实时的【形】检测头戴式增强现实设备的视频流中的小对象是一个巨大的挑战:训练数据通常是稀缺的,输入视频流的质量可能是有限的,并且小对象是众所周知的难以检测。然而,在工业场景中,通常可以利用上下文知识来检测小物体。此外,对象的CAD数据通常是可用的,并且可以用于生成合成训练数据。我们描述了一个近实时的【形】的小型目标检测管道,用于手动装配场景中的自我中心感知:我们基于Unity中的CAD数据和现实背景生成训练数据集。然后,我们训练一个YOLOv4模型进行两阶段的检测过程:首先,识别上下文,然后检测感兴趣的小对象。我们在增强现实设备Microsoft Hololens 2上评估我们的管道。
2021-06-11 cs.AI cs.CV cs.HC
Vehicle Perception from Satellite
本文提出从卫星视频进行车辆感知的新任务,构建了包含真实与合成视频的大规模基准,支持微小目标检测、计数与密度估计,并评估多种传统计算机视觉方法以分析挑战与前景。
2024-02-01 cs.CV
AnySynth: Harnessing the Power of Image Synthetic Data Generation for Generalized Vision-Language Tasks
Zhejiang University(浙江大学)
本文提出统一合成框架 AnySynth,通过任务布局生成、统一可控图像生成和面向任务标注,自动产生多类型视觉数据,并在检测、检索和多模态感知等任务中验证其有效性。
2024-12-02 cs.CV
From Unity Simulation to Diffusion-Based Augmentation: Quantifying Dataset Balance for Robust Object Detection
Université de Mons(蒙斯大学);Université Polytechnique Hauts-de-France(上法兰西理工大学)
本文系统比较Unity仿真与扩散生成两种数据增强范式,发现混合少量合成数据(90%真实+10%合成)能显著提升目标检测性能,最佳mAP@0.5达62.68%,而过量替代会导致域漂移。
2026-09-30 cs.AI cs.CV
CERBERUS: Crack Evaluation & Recognition Benchmark for Engineering Reliability & Urban Stability
Palisades Charter High School(帕利萨德 charter 高中);Mechanical and Aerospace Engineering, UCLA(航空航天工程,加州大学洛杉矶分校)
本文提出合成基准CERBERUS,通过图像生成器和Unity 3D场景训练评估AI裂缝检测模型,实验证明结合合成与真实数据能提升YOLO在真实图像上的检测性能,支持自动化基础设施检查研究。
2025-06-27 cs.CV
UAV-Sim: NeRF-based Synthetic Data Generation for UAV-based Perception
DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);University of Maryland(马里兰大学)
针对无人机感知模型训练数据缺乏的问题,提出基于NeRF的合成数据生成方法UAV-Sim,改进静态和动态新视角图像合成,并证明在真实与合成混合数据上优化检测模型可显著提升性能。
2023-10-25 cs.CV
ISC-Perception: A Hybrid Computer Vision Dataset for Object Detection in Novel Steel Assembly
School of Natural and Built Environment, Queen’s University Belfast(女王大学贝尔法斯特自然与建筑环境学院);School of Civil & Environmental Engineering, and Construction Management, University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校土木与环境工程学院及建设管理学院);School of Electronics, Electrical Engineering, and Computer Science, Queen’s University Belfast(女王大学贝尔法斯特电子、电气工程及计算机科学学院);Department of Civil and Urban Engineering, New York University(纽约大学土木与城市工程系)
为解决互锁钢连接系统机器人感知缺乏专用图像数据集的问题,提出混合数据集ISC-Perception,融合CAD渲染、游戏引擎场景与真实照片,实现自动标注并大幅降低人工耗时,训练的检测器在基准测试中取得0.943的mAP@0.50,显著优于单一数据源模型。
2025-11-05 cs.CV eess.IV
Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation
Valeo Egypt AI Research(法雷奥埃及人工智能研究院);Cairo University(开罗大学)
数据稀缺是基于机器学习的感知模块的瓶颈,通常通过使用来自模拟器的合成数据来增强真实数据来解决。车辆感知传感器的现实模型很难以封闭的形式表达,同时,它们需要存在待学习的成对数据。在这项工作中,我们提出了两个无监督的神经传感器模型的基础上不成对的域转换与CycleGAN和神经风格转移技术。我们采用CARLA作为模拟环境来获得模拟的LiDAR点云,以及它们的注释用于数据增强,并且我们使用KITTI数据集作为真实的LiDAR数据集,从中我们学习现实的传感器模型映射。此外,我们提供了一个框架,用于数据增强和评估开发的传感器模型,通过外部对象检测任务评估使用YOLO网络适应于提供定向的边界框激光雷达鸟瞰投影点云。对来自KITTI数据集的看不见的真实LiDAR帧进行评估,使用两种方法进行了不同数量的模拟数据增强,显示出目标检测任务的6%mAP的改进,有利于增强LiDAR点云,该点云与原始模拟LiDAR相比采用了建议的神经传感器模型。
2019-11-24 cs.CV cs.LG eess.IV
SCOPE: A Synthetic Multi-Modal Dataset for Collective Perception Including Physical-Correct Weather Conditions
University of Tübingen(蒂宾根大学);Forschungszentrum Informatik (FZI) Karlsruhe(卡尔斯鲁厄弗劳恩霍夫信息技术研究中心(FZI))
SCOPE是首个合成多模态集体感知数据集,融合真实相机与LiDAR模型及物理精确天气模拟,包含17,600帧、40多个场景和最多24个协作智能体,并附带卡尔斯鲁厄与图宾根的数字孪生地图记录。
2024-08-06 cs.CV
A Study of the Human Perception of Synthetic Faces
University of Notre Dame(圣母大学);Kitware, Inc.(Kitware公司);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
人脸合成技术的进步已经引起了人们对虚假使用合成人脸的警惕。合成身份能有效地用来愚弄人类观察者吗?在本文中,我们介绍了人类对使用不同策略生成的合成人脸的感知的研究,包括最先进的基于深度学习的GAN模型。这是第一次严格研究基于心理学实验技术的合成人脸生成技术的有效性。我们回答了一些重要的问题,比如基于GAN和更传统的基于图像处理的技术多久会让人类观察者感到困惑,以及合成人脸图像中是否存在微妙的线索,使人类在无需寻找明显线索的情况下将其视为假货?为了回答这些问题,我们用不同来源的人脸图像进行了一系列大规模的众包行为实验。结果表明,在几种不同的情况下,人类无法区分合成人脸和真实人脸。这一发现对许多不同的应用程序有着重要的意义,这些应用程序将人脸图像呈现给人类用户。
2021-11-08 cs.CV
WHU-Synthetic: A Synthetic Perception Dataset for 3-D Multitask Model Research
Wuhan University(武汉大学)
本文提出WHU-Synthetic,一个大规模3D合成感知数据集,支持从数据增强到场景理解及宏观任务的多任务学习,通过内在对齐和新型设置促进多任务模型的构建与互惠研究。
2025-03-29 cs.CV
AmodalSynthDrive: A Synthetic Amodal Perception Dataset for Autonomous Driving
IAV GmbH(IAV有限公司);University of Freiburg(弗赖堡大学)
针对自动驾驶领域非模态感知研究缺乏合适数据集的问题,研究团队推出合成多任务多模态数据集AmodalSynthDrive,提供多类数据与超百万标注,支持多种相关任务并搭建公开基准。
2024-03-11 cs.CV
UAV-MM3D: A Large-Scale Synthetic Benchmark for 3D Perception of Unmanned Aerial Vehicles with Multi-Modal Data
Pengcheng Laboratory(鹏城实验室);University of Southern California(南加州大学)
UAV-MM3D通过多模态合成数据提升无人机三维感知能力,提供高保真数据集和多任务基线模型。
2025-11-27 cs.CV
ForestSim: A Synthetic Benchmark for Intelligent Vehicle Perception in Unstructured Forest Environments
Luddy School of Informatics, Computing, and Engineering, Indiana University(印第安纳大学卢迪信息学、计算与工程学院)
本文提出ForestSim,一个高保真合成数据集,用于训练和评估智能车辆在森林环境中的语义分割模型,涵盖25种不同环境,支持自主导航。
2026-03-30 cs.CV
A Synthetic Dataset for Manometry Recognition in Robotic Applications
University of São Paulo(圣保罗大学)
本文提出了一种混合数据合成方法,通过结合过程渲染和AI驱动视频生成,提升机器人应用中测压识别的训练效果和可靠性。
2025-10-11 cs.AI cs.CV cs.LG
More Real than Real: A Study on Human Visual Perception of Synthetic Faces
University of Trento(特伦托大学);University of Innsbruck(因斯布鲁克大学);Université Catholique de Louvain(鲁汶天主教大学)
深度假货在过去几年变得非常流行,这也要归功于它们越来越逼真。因此,有必要衡量人类的能力,区分真实和合成的人脸图像时,面对尖端的创作技术。我们描述了我们进行的感知实验的设计和结果,其中广泛而多样化的志愿者群体暴露于由最先进的生成对抗网络(即PG-GAN,StyleGAN,StyleGAN 2)生成的合成人脸图像。实验结果揭示了我们应该如何强烈地质疑我们人类区分真实面孔与通过现代人工智能生成的合成面孔的能力。
2021-10-20 cs.CV cs.CY
Curating Synthetic Data for Task-Specific Visual Perception
Fraunhofer IGD(弗劳恩霍夫计算机图形研究所);Delft University of Technology(代尔夫特理工大学)
本文探讨为专用视觉系统策划合成数据,提出程序化渲染、物理模拟和生成式AI三种范式,并论证混合流程是实现可靠模拟到现实迁移的关键。
2026-10-01 cs.CV
ShapeCodeBench: A Renewable Benchmark for Perception-to-Program Reconstruction of Synthetic Shape Scenes
Independent Researcher(独立研究者)
ShapeCodeBench是一个合成基准,用于测试从渲染图像生成可执行程序的能力。该基准包含不同难度层级的样本,评估了多种模型在精确匹配、像素精度和执行成功率上的表现。
2026-05-12 cs.CV
SKoPe3D: A Synthetic Dataset for Vehicle Keypoint Perception in 3D from Traffic Monitoring Cameras
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);Rider University(莱德大学)
针对现有交通监控关键点数据集前视局限,提出CARLA生成的SKoPe3D路侧视角合成数据集,含25k图像、150k实例与33关键点,验证关键点R-CNN基线并展示合成到真实的迁移潜力。
2024-03-13 cs.CV
Generative Texture Diversification of 3D Pedestrians for Robust Autonomous Driving Perception
BIT Technology Solutions GmbH(比特技术解决方案 GmbH);Mannheim University of Applied Sciences(曼海姆应用科学大学)
本文提出一种简单有效的方法,通过StyleGAN2生成多样化的3D行人资产,用于合成场景生成,提升自动驾驶感知的鲁棒性。
2026-05-13 cs.CV
Rethinking Driving World Model as Synthetic Data Generator for Perception Tasks
Peking University(北京大学);Xiaomi EV(小米电动车);Huazhong University of Science and Technology(华中科技大学);Beijing Key Laboratory of Data Intelligence and Security (Peking University)(北京数据智能与安全重点实验室(北京大学));Zhongguancun Academy(中关村学院)
Dream4Drive通过生成高质量的合成数据提升自动驾驶感知任务性能
2026-03-07 cs.AI cs.CV
SynPlay: Large-Scale Synthetic Human Data with Real-World Diversity for Aerial-View Perception
University of Maryland College Park(马里兰大学学院市分校);DEVCOM Army Research Laboratory(陆军研究实验室)
SynPlay通过大规模合成数据集提升航拍视角下的人类定位性能,采用规则引导的运动生成框架,涵盖广泛自发行为,支持长距离人类分析模型开发。
2025-11-28 cs.CV
VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
Princeton University(普林斯顿大学);New York University(纽约大学)
本文提出VisionFoundry,通过任务关键词生成合成数据,提升VLMs在空间理解和视角识别等视觉感知任务上的性能,构建了包含10k图像-问题-答案三元组的VQA数据集,并在多个基准测试中取得显著提升。
2026-10-01 cs.AI cs.CL cs.CV
Towards Scaling Marine Perception with Synthetic Data
University of Michigan(密歇根大学)
本文扩展OceanSim模拟器,提出合成数据生成流水线,用于训练水下感知模型,并在真实海胆检测任务上验证其有效性,探讨了模拟到真实泛化的关键因素。
2026-09-18 cs.CV cs.RO
SynBody: Synthetic Dataset with Layered Human Models for 3D Human Perception and Modeling
SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出合成数据集 SynBody,通过穿衣参数化人体模型、分层人体表示和可扩展系统,提供 1.2M 张图像及高质量3D标注,显著提升了 SMPL 和 SMPL-X 估计效果,并为研究 Human NeRF 提供了宝贵训练资源。
2023-09-11 cs.CV
SPHINX: A Synthetic Environment for Visual Perception and Reasoning
Rochester Institute of Technology(罗彻斯特理工学院);University of Washington(华盛顿大学)
SPHINX通过生成具有可验证解的谜题,评估视觉感知与推理能力,发现大模型表现不足,RLVR方法显著提升性能。
2026-04-05 cs.AI cs.CV cs.LG
UrbanTwin: Building High-Fidelity Digital Twins for Sim2Real LiDAR Perception and Evaluation
Department of Civil, Environmental and Construction Engineering, University of Central Florida(土木、环境与建设工程系,中央佛罗里达大学)
针对激光雷达感知数据标注昂贵的问题,本文提出构建高保真数字孪生的可复现工作流程,并发布三个合成数据集,在感知任务上优于真实数据训练的基线。
2025-10-14 cs.CV
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校)
FogDrive是用于分级雾天感知的多模态合成驾驶数据集,基于CARLA模拟器构建,含多种传感器数据,模拟不同密度雾。通过跨两种范式建立基线基准,得出训练中混合多密度雾可收紧3D边界框几何形状等见解,将开源加速多模态研究。
2026-11-10 cs.CV
Beyond Pixel Similarity: Task-Aware Evaluation of GAN-Based Synthetic Sonar Data for Robotic Perception
XITASO GmbH IT & Software Solutions(XITASO信息技术与软件解决方案有限公司);National University of Sciences and Technology (NUST)(国立科技大学);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
本研究针对GAN合成声纳数据,发现像素级图像保真度指标(SSIM、PSNR、MSE)不能充分反映下游目标检测性能,提出并验证了任务感知评估的必要性,表明PatchGAN配置虽像素相似性较低但检测效果更优。
2026-09-17 cs.CV cs.LG cs.RO
SEVD: Synthetic Event-based Vision Dataset for Ego and Fixed Traffic Perception
Arizona State University(亚利桑那州立大学)
针对事件视觉数据集匮乏问题,提出首个基于CARLA的多视角自车与固定感知合成事件数据集SEVD,涵盖多光照天气条件及多类场景,并提供多模态数据与基线评估。
2024-04-19 cs.CV cs.LG
Ship classification from overhead imagery using synthetic data and domain adaptation
Space and Naval Warfare Systems Center, Pacific(太平洋空间与海战系统中心)
在本文中,我们重新审视的问题,分类船舶(海上船只)从开销图像检测。尽管过去十年对这一非常重要和相关的问题进行了研究,但它在很大程度上仍未得到解决。在海洋领域中对船舶和其他物体进行检测和分类的主要问题之一是缺乏训练最先进的机器学习算法所需的大量地面实况数据。我们通过使用Unity游戏引擎和3D船舶模型构建大型(200k)合成图像数据集来解决这个问题。我们证明,使用合成数据,分类性能显着提高,特别是当有很少的注释图像用于训练。
2019-05-10 cs.CV
DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出DocLayout-YOLO,通过DocSynth-300K数据集预训练和Global-to-Local可控感受模块优化,在保持速度的同时提升文档布局分析的准确性,并在新基准DocStructBench上验证了其卓越性能。
2024-10-16 cs.CV
DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models
Zhejiang University(浙江大学);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团)
本文提出DatasetDM,利用预训练扩散模型的潜在编码解码生成合成图像及其感知标注,仅需少量人工标注即可训练解码器,生成无限数据集,在分割和深度估计等任务上达到最先进性能。
2023-10-10 cs.CV
Synthetic Perception: Can Generated Images Unlock Latent Visual Prior for Text-Centric Reasoning?
本文探讨生成图像能否解锁潜在视觉先验以提升文本中心推理,通过多模态融合架构和提示工程策略实现性能提升。
2026-03-03 cs.CV cs.MM
SynthRender and I-AsSET: Open-Source Framework and Dataset for Bidirectional Sim-Real Transfer in Industrial Object Perception
Technical University Berlin, Industrial Automation Technology(柏林技术大学,工业自动化技术);Mercedes-Benz AG, Future Manufacturing Technologies(梅赛德斯-奔驰公司,未来制造技术);Technical University Braunschweig, Institute for Cognitive Robotics(不伦瑞克技术大学,认知机器人研究所)
本文提出SynthRender和IRIS,通过合成数据生成与结构化评估,系统研究双向仿真-现实迁移,提供32类数据集和CAD模型,实现高效合成训练与工业应用。
2026-08-10 cs.CV
SimBEV: A Synthetic Multi-Task Multi-Sensor Driving Data Generation Tool and Dataset
Virginia Commonwealth University(弗吉尼亚联邦大学);Virginia Tech(弗吉尼亚理工大学)
针对BEV感知数据集缺乏且创建耗时的问题,本文提出SimBEV,一种可配置、可扩展的随机合成数据生成工具,支持多传感器和多任务,并生成公开的SimBEV数据集,以支持BEV分割和3D目标检测等任务。
2025-03-26 cs.CV cs.LG cs.RO
Synthetica: Large Scale Synthetic Data for Robot Perception
NVIDIA(英伟达);University of Toronto(多伦多大学)
本文提出Synthetica大规模合成数据生成方法,利用照片级光线追踪渲染270万张图像及随机化、增强技术训练实时检测transformer,在目标检测上达到SOTA且速度提升9倍。
2024-10-28 cs.CV cs.RO
MITO: A Millimeter-Wave Dataset and Simulator for Non-Line-of-Sight Perception
Massachusetts Institute of Technology(麻省理工学院);Adobe Research(奥多比研究中心);Cartesian Systems(笛卡尔系统公司)
MITO提出首个毫米波日常物体数据集与开源模拟器,利用机器人合成孔径融合实现高分辨率非视距感知,并构建分割与分类基准以推动NLOS研究。
2026-11-06 cs.CV
Content Disentanglement for Semantically Consistent Synthetic-to-Real Domain Adaptation
TUM(慕尼黑工业大学);BMW AG(宝马股份公司);Google(谷歌)
合成数据生成是自动驾驶中生成新交通场景的一种有吸引力的方法。然而,仅在合成数据上训练的深度学习感知算法在真实数据上进行测试时会遇到严重的性能下降。这种性能下降通常归因于真实数据和合成数据之间的域间隙。已经应用于减轻上述领域差距的领域自适应方法实现了视觉上吸引人的结果,但是通常将语义不一致引入到翻译样本中。在这项工作中,我们提出了一种新的,无监督的,端到端的领域自适应网络架构,使语义一致的\textit{sim2real}图像传输。我们的方法通过采用共享内容编码器和固定样式的代码来执行内容解纠缠。
2021-08-03 cs.CV
ASTAD: Asymmetric Style Transfer for Synthetic-to-Real Adaptation in Autonomous Driving
Department of Automation, Tsinghua University(自动化系,清华大学)
提出ASTAD任务,针对合成数据有标注而真实数据无标注的不对称性,设计无训练两阶段框架ASTModel,通过粗语义先验提取和动态精炼实现类一致风格迁移,显著提升下游感知性能并加速推理。
2026-06-28 cs.CV
On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training
University of California, Los Angeles(加州大学洛杉矶分校)
通过合成任务诊断发现,后训练中推理提升显著优于感知,SFT源于感知token少导致训练信号弱,RL源于奖励耦合,提出动态重加权损失和感知奖励可缓解不平衡并提升端到端性能。
2026-09-03 cs.CL cs.CV
Augmented Reality based Simulated Data (ARSim) with multi-view consistency for AV perception networks
NVIDIA(英伟达);University of Toronto(多伦多大学)
提出ARSim框架,通过整合领域自适应和随机化策略,利用真实数据构建虚拟场景并放置3D合成物体,生成多视角一致性增强数据集,有效提升自动驾驶感知网络性能。
2024-03-22 cs.CV cs.LG cs.RO
Perception Datasets for Anomaly Detection in Autonomous Driving: A Survey
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Wuppertal(伍珀塔尔大学);Interdisciplinary Center for Machine Learning and Data Analytics(机器学习与数据分析跨学科中心)
本综述全面比较了自动驾驶异常检测的感知数据集,将其分为真实、合成增强及完全合成三类,并分析了现有数据集的弱点与差距。
2023-03-31 cs.CV cs.RO
Data generation using simulation technology to improve perception mechanism of autonomous vehicles
University of California, Los Angeles(加州大学洛杉矶分校)
计算机图形技术的最新进展允许更真实地呈现汽车驾驶环境。他们使DeepGTA-V和CARLA(汽车学习行动)等自动驾驶汽车模拟器能够生成大量合成数据,这些数据可以补充现有的真实数据集,以训练自动驾驶汽车感知。此外,由于自动驾驶汽车模拟器允许完全控制环境,它们可以生成现实世界数据集缺乏的危险驾驶场景,例如恶劣天气和事故场景。在本文中,我们将证明从现实世界中收集的数据与在模拟世界中产生的数据相结合的有效性,训练感知系统的目标检测和定位任务。我们还将提出一个多层次的深度学习感知框架,旨在模仿人类的学习经验,在这种经验中,在某个领域中学习一系列从简单到更困难的任务。自动驾驶汽车感知器可以从易于驾驶的场景学习到由模拟软件定制的更具挑战性的场景。
2022-07-01 cs.CV
MVP-Bench: Can Large Vision--Language Models Conduct Multi-level Visual Perception Like Humans?
National University of Singapore(新加坡国立大学)
本研究推出首个评估大型视觉-语言模型多层次视觉感知的基准MVP-Bench,通过自然与合成图像测试12款LVLM,发现现有模型高层级感知能力薄弱,且对合成图像语义理解的泛化性不足。
2024-10-06 cs.AI cs.CV
VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos
UC, Santa Barbara(加州大学圣芭芭拉分校);Adobe Research(Adobe研究院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
针对文本生成视频模型难以学习非常规相机运动的问题,提出VividCam训练范式,通过解耦策略从简单虚拟合成视频中让扩散模型学习复杂相机运动,缓解域偏移,实现精确可控的多样相机运动合成。
2026-09-22 cs.CV
Sparse 3D Perception for Rose Harvesting Robots: A Two-Stage Approach Bridging Simulation and Real-World Applications
School of Computer Engineering, Iran University of Science and Technology(伊朗科学技术大学计算机工程学院);George Mason University Department of Computer Science(乔治·梅奥大学计算机科学系)
针对玫瑰采摘机器人,提出两阶段稀疏3D感知流程,结合2D检测与轻量级深度估计,利用Blender合成数据弥合领域差距,实现高精度且高效的定位。
2025-07-28 cs.AI cs.CV cs.RO
SHIFT: A Synthetic Driving Dataset for Continuous Multi-Task Domain Adaptation
ETH Zürich(苏黎世联邦理工学院);MPI Informatics(马克斯·普朗克信息学研究所);Google(谷歌);Technical University of Munich(慕尼黑工业大学)
适应不断变化的环境是所有自动驾驶系统都不可避免地面临的安全关键挑战。然而,现有的图像和视频驱动数据集无法捕捉真实世界的可变性质。在本文中,我们介绍了最大的自动驾驶多任务合成数据集,它呈现了云量、雨雾强度、一天中的时间以及车辆和行人密度的离散和连续变化。具有全面的传感器套件和注释的几个主流的感知任务,ESTA允许调查的感知系统性能的退化,在不断增加的域转移水平,促进发展的持续适应策略,以减轻这个问题,并评估模型的鲁棒性和通用性。我们的数据集和基准工具包可在www.vis.xyz/shift上公开获取。
2022-06-16 cs.CV cs.LG
Rendering-Refined Stable Diffusion for Privacy Compliant Synthetic Data
University of California, Davis(加利福尼亚大学戴维斯分校);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Australian National University(澳大利亚国立大学);Sony AI, Sony Research(索尼人工智能,索尼研究院)
针对图像数据隐私保护需求,提出结合3D渲染与Stable Diffusion的RefSD流水线,可在保留人体姿态的同时可控生成假名化图像,配套HumanGenAI评估框架,实验证明其生成数据能提升检测与分类任务性能。
2024-12-09 cs.CV
A Synthetic Benchmark for Collaborative 3D Semantic Occupancy Prediction in V2X-Enabled Autonomous Driving
The School of Information Science and Technology, The University of Tokyo(信息科学与技术学系,东京大学);National Institute of Informatics(信息机构)
本文提出用于V2X赋能自动驾驶的协作3D语义占用预测合成基准,通过高分辨率传感器和基线模型提升预测性能。
2026-01-16 cs.CV