Stillleben: Realistic Scene Synthesis for Deep Learning in Robotics
University of Bonn(波恩大学)
训练数据是深度学习方法的关键成分,但对于机器人技术中经常遇到的专业领域来说,很难获得。我们描述了一个合成流水线,能够产生训练数据的杂乱的场景感知任务,如语义分割,目标检测,和对应或姿态估计。我们的方法安排对象网格在物理上逼真的,密集的场景,使用物理模拟。排列的场景使用高质量的光栅化和随机的外观和材质参数来渲染。模拟由相机传感器引入的噪声和其他变换。我们的管道可以在深度神经网络的训练过程中在线运行,从而在终身学习和迭代渲染和比较方法中产生应用。我们通过在具有挑战性的YCB视频数据集上学习语义分割来展示可用性,而实际上不使用任何训练帧,其中我们的方法实现了与传统训练模型相当的性能。此外,我们成功地应用在一个现实世界的regrasping系统。
2020-05-12 cs.CV
Lane detection in complex scenes based on end-to-end neural network
车道线检测是解决无人驾驶中可导出区域划分的关键问题,车道线检测的准确性对车辆行驶决策起着重要作用。车辆在日常行驶中所面临的场景相对复杂。光线明亮、光线不足、车辆拥挤都会给车道检测带来不同程度的困难。因此,本文结合空间卷积在空间信息处理中的优势和ERFNet在语义分割中的高效性,提出了一种端到端的网络来实现各种复杂场景下的车道线检测。并结合空间卷积和扩张卷积设计了信息交换模块,对细节信息的理解起到了很大的作用。最后,我们的网络进行了测试,在CULANE数据库和它的F1-测量IOU阈值为0.5可以达到71.9%。
2020-10-26 cs.CV
Realizing Pixel-Level Semantic Learning in Complex Driving Scenes based on Only One Annotated Pixel per Class
Tsinghua University(清华大学);University of Science and Technology, Beijing(北京科技大学)
提出了基于弱监督条件的语义分割任务,实现了轻量级的标注过程。对于只包含少数类别的简单图像,基于图像级注释的研究已经取得了可以接受的性能。然而,当面对复杂的场景,由于图像包含大量的类,它变得难以学习视觉外观的基础上的图像标签。在这种情况下,图像级注释不能有效地提供信息。因此,我们建立了一个新的任务,其中每个类别只提供一个带注释的像素。基于更轻量级和信息的条件下,伪标签生成的三个步骤的过程中,逐步实现最佳的特征表示为每个类别,图像推理和基于上下文位置的细化。特别地,由于高层语义和低层成像特征对驾驶场景下的每个类别具有不同的区分能力,因此我们将每个类别划分为“对象”或“场景”,然后分别为这两种类型提供不同的操作。此外,建立了一种交替迭代结构,以逐步提高分割性能,该结构结合了基于CNN的图像间公共语义学习和基于成像先验的图像内修改过程。在Cityscapes数据集上的实验表明,该方法为解决复杂驾驶场景下的弱监督语义分割任务提供了一种可行的方法。
2020-03-10 cs.CV
Learning to Look around Objects for Top-View Representations of Outdoor Scenes
NEC-Labs, Computer Science(NEC实验室,计算机科学);University of Kentucky(肯塔基大学);UC San Diego(加州大学圣地亚哥分校)
给定一个单一的RGB图像的一个复杂的室外道路场景的透视图,我们解决了新的问题,估计遮挡原因的语义场景布局的顶视图。这个具有挑战性的问题,不仅需要一个准确的理解的3D几何形状和语义的可见场景,但也闭塞的地区。我们提出了一个卷积神经网络,它通过环顾前景对象(如汽车或行人)来学习预测场景布局的遮挡部分。但是,而不是幻觉的RGB值,我们表明,直接预测的语义和深度的闭塞地区,使一个更好的转换到顶视图。我们进一步表明,这种初始的俯视图表示可以显着增强通过学习先验和规则的典型道路布局从模拟或,如果可用的话,地图数据。至关重要的是,训练我们的模型不需要昂贵的或主观的人类注释遮挡区域或顶视图,而是使用现成的注释标准语义分割。我们对KITTI和Cityscapes数据集进行了广泛的评估和分析。
2018-03-28 cs.CV
U4D: Unsupervised 4D Dynamic Scene Understanding
University of Surrey(萨里大学)
我们介绍了第一种方法来解决具有挑战性的问题,无监督的4D视觉场景理解的复杂动态场景与多个交互的人从多视角视频。我们的方法同时估计一个详细的模型,其中包括每像素的语义和时间相干重建,以及利用照片的一致性,语义和运动信息的实例级分割。我们进一步利用最近的进展,在三维姿态估计约束联合语义实例分割和四维时间相干重建。这使得在复杂的动态场景中的多个交互的人的每个人的语义实例分割成为可能。对具有挑战性的室内和室外序列的最先进的方法的联合视觉场景理解框架的广泛评估表明,在语义分割,重建和场景流的准确性显着(约40%)的改善。
2019-07-23 cs.CV
AG-Fusion: adaptive gated multimodal fusion for 3d object detection in complex scenes
Yaowu Technology Co., Ltd, Shenzhen, China(深圳优华科技有限公司,深圳,中国)
针对复杂场景下多模态三维目标检测性能退化问题,提出AG-Fusion自适应门控融合方法,通过跨模态注意力整合可靠BEV特征,在KITTI和E3D数据集上分别达到93.92%准确率并超越基线24.88%。
2025-10-27 cs.CV cs.LG
Simulated LiDAR Repositioning: a novel point cloud data augmentation method
McGill University(麦吉尔大学)
我们解决了激光雷达的数据增强问题。给定从某个位置对场景进行的LiDAR扫描,如何从不同的次要位置模拟该场景的新扫描?该方法定义了用于选择有效次级位置的标准,然后估计来自原始点云的哪些点将由扫描仪从这些位置获取。我们使用合成场景验证该方法,并检查生成的点云的相似性如何取决于扫描仪的距离,遮挡和角分辨率。我们表明,该方法是更准确的在短距离,并具有高扫描仪分辨率的原始点云生成的点云的相似性有很大的影响。我们还演示了如何将该方法应用于自然场景统计:特别是,我们应用我们的方法来重新定位扫描仪水平和垂直,分别考虑属于地面和非地面物体的点,并描述这两类点的距离分布的影响。
2021-11-20 cs.CV
World2Minecraft: Occupancy-Driven Simulated Scenes Construction
School of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院)
本文提出World2Minecraft,通过3D语义占用率预测将现实场景转换为结构化的Minecraft环境,提升模拟场景的质量与灵活性,通过定制化数据集MinecraftOcc验证了方法的有效性。
2026-04-30 cs.CV
A Parametric Top-View Representation of Complex Road Scenes
Carnegie Mellon University(卡内基梅隆大学);NEC Laboratories America(NEC美国实验室);UC San Diego(加州大学圣迭戈分校)
在本文中,我们解决的问题,推断布局的复杂道路场景给定一个单一的摄像机作为输入。为了实现这一目标,我们首先提出了一种新的参数化模型的道路布局的俯视图表示,这不仅是直观的人类可视化,但也提供了一个可解释的界面,更高层次的决策。此外,我们的顶视场景模型的设计允许有效的采样,从而生成大规模的模拟数据,我们利用这些数据来训练深度神经网络,以推断我们的场景模型的参数。具体来说,我们提出的训练过程使用监督域自适应技术,将模拟以及手动注释的数据。最后,我们设计了一个条件随机场(CRF),强制一致的预测,为一个单一的帧,并鼓励视频帧之间的时间平滑。在两个公共数据集上的实验表明:(1)我们的参数化俯视图模型具有足够的代表性,可以描述复杂的道路场景;(2)所提出的方法优于仅在手动注释或模拟数据上训练的基线,从而充分利用两者;(3)我们的CRF能够生成时间平滑而语义有意义的结果。
2019-04-18 cs.CV
DISCOMAN: Dataset of Indoor SCenes for Odometry, Mapping And Navigation
Samsung AI Center(三星人工智能中心)
我们提出了一个新的数据集的训练和基准测试语义SLAM方法。该数据集由200个长序列组成,每个序列包含3000-5000个数据帧。我们使用逼真的家庭布局生成序列。为此,我们采样轨迹,模拟一个简单的家用机器人的运动,然后沿着轨迹渲染帧。每个数据帧包含a)使用基于物理的渲染生成的RGB图像,b)模拟的深度测量,c)模拟的IMU读数和d)房屋的地面实况占用网格。与现有数据集相比,我们的数据集具有更广泛的用途,是第一个专注于SLAM地图组件的大规模基准。数据集被分成从不同的虚拟房屋集合采样的训练/验证/测试部分。我们目前的基准测试结果为经典的基于几何和最近的基于学习的SLAM算法,基线映射方法,语义分割和全景分割。
2019-09-26 cs.CV
TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments
IIIT Hyderabad(海得拉巴国际信息技术学院);University of California San Diego(加州大学圣地亚哥分校)
具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统的关键组成部分。然而,数据整理和注释需要大量投资,并产生低多样性的场景。最近对合成数据日益增长的兴趣提出了关于此类系统的改进范围以及产生大量和变化的模拟数据仍然需要的手动工作量的问题。这项工作提出了一个合成数据生成管道,利用现有的数据集,如nuScenes,以解决模拟数据集中存在的困难和领域差距。我们表明,使用现有数据集的注释和视觉线索,我们可以促进自动化的多模态数据生成,以高保真度模仿真实场景属性,以及以物理上有意义的方式使样本多样化的机制。我们通过在Cityscapes和KITTI-STEP数据集上使用真实和合成数据进行语义分割的定性和定量实验,展示了mIoU指标的改进。所有相关代码和数据都发布在github上(https://github.com/shubham1810/trove_toolkit)。
2022-08-16 cs.CV
Toward Scene Graph and Layout Guided Complex 3D Scene Generation
National Taiwan University(台湾大学);NVIDIA(英伟达)
本文提出GraLa3D框架,利用大语言模型构建带布局边界框的场景图,通过单对象节点和复合超节点建模对象交互并缓解外观泄漏,从而生成与文本提示高度一致的复杂三维场景。
2024-12-29 cs.CV
ArtiWorld: LLM-Driven Articulation of 3D Objects in Scenes
SUSTech(四川大学);SII;ETH Zürich(苏黎世联邦理工学院);Spatialtemporal AI(时空人工智能)
针对模拟中刚性3D资产多、手动转换关节式资产成本高的问题,提出ArtiWorld场景感知管道,以Arti4URDF为核心,利用3D点云、LLM先验及URDF提示设计,自动生成保留几何形状的可执行URDF关节模型,在三类场景评估中性能领先,为构建机器人模拟环境提供实用路径。
2025-11-18 cs.CV
Towards Large-Scale Rendering of Simulated Crops for Synthetic Ground Truth Generation on Modular Supercomputers
Forschungszentrum Jülich GmbH(尤利希研究中心);University of Iceland(冰岛大学)
计算机视觉问题涉及从摄像机图像中提取信息的语义。特别是对于大田作物图像,潜在的问题很难标记,甚至更难学习,并且高质量训练数据的可用性很低。深度神经网络在从训练样本中提取必要的模型方面做得很好。然而,它们依赖于大量的训练数据,而这些数据无法通过专家注释来生成或标记。为了解决这个问题,我们使用虚幻引擎来渲染大型复杂的虚拟场景。我们依靠单个节点的性能,通过在节点之间分配植物模拟,既生成场景,又在GPU上训练训练神经网络,将节点通信限制为并行学习。
2021-10-28 cs.CV
Shape from Polarization for Complex Scenes in the Wild
HKUST(香港科技大学);Apple(苹果公司)
我们提出了一种新的数据驱动的方法与基于物理的先验场景级正常估计从一个单一的偏振图像。现有的偏振形状(SfP)工作主要集中在估计单个物体的法线,而不是在野外复杂的场景。高质量场景级SfP的一个关键障碍是在复杂场景中缺乏真实世界的SfP数据。因此,我们贡献了第一个真实世界场景级SfP数据集,其中包含成对的输入偏振图像和地面真实法线映射。然后,我们提出了一个基于学习的框架与多头自我注意力模块和观看编码,这是为了处理日益增加的偏振模糊性所造成的复杂材料和非正交投影在场景级SfP。我们的训练模型可以推广到远场户外场景,因为偏振光和表面法线之间的关系不受距离的影响。实验结果表明,我们的方法显着优于现有的SfP模型在两个数据集上。我们的数据集和源代码将在https://github.com/ChenyangLEI/sfp-wild上公开提供
2022-04-20 cs.CV
Temporally coherent 4D reconstruction of complex dynamic scenes
University of Surrey(萨里大学)
提出了一种复杂动态场景的四维时间相干模型重建方法。不需要先验知识的场景结构或摄像机校准,允许从多个移动的摄像机重建。将稀疏到稠密的时间对应与联合多视图分割和重建相结合,以获得静态和动态对象的完整4D表示。利用时间相干性来克服视觉模糊性,从而改善复杂场景的重建。通过引入测地线星形凸性约束,实现了动态目标的鲁棒联合分割和重建。对比评价是在各种非结构化的室内和室外动态场景与手持摄像机和多人。这展示了具有改进的非刚性对象分割和形状重建的完整时间相干4D场景模型的重建。
2016-03-28 cs.CV
Adversarially Tuned Scene Generation
Goethe University(歌德大学);Technical University Darmstadt(达姆施塔特工业大学)
使用计算机图形(CG)生成的数据的训练计算机视觉系统的泛化性能尚未有效,由于虚拟和真实数据之间的“域转移”的概念。尽管已经证明用一些真实世界样本增强的模拟数据可以减轻域偏移并提高训练模型的可转移性,但是需要用从目标真实世界域学习的分布来引导或引导虚拟数据生成,特别是在注释甚至很少的真实图像是费力的领域(例如语义标记和内在图像等)。为了以无监督的方式解决这个问题,我们的工作结合了CG的最新进展(旨在生成随机场景布局以及大量的3D对象模型)和生成对抗训练(旨在通过测量生成数据和真实数据之间的差异来训练生成模型,这些数据在深度区分训练分类器的空间中的可分离性)。我们的方法使用迭代估计先验分布的后验密度的生成图形模型。这是在拒绝抽样框架内完成的。最初,我们假设均匀分布作为先验的生成图形模型描述的场景的参数。随着迭代的进行,先验分布被更新为更接近目标数据的(未知)分布的分布。我们展示了在两个真实世界的基准数据集(CityScapes和CamVid)上使用深度卷积网络(DeepLab)进行交通场景语义标记的对抗调整场景生成的实用性。我们分别在调整到CityScapes和CamVid之前和之后,在场景生成模型准备的模拟集上训练的DeepLab模型之间实现了2.28和3.14点的性能提升(使用IoU指标)。
2017-07-07 cs.CV
Exploiting Relationship for Complex-scene Image Generation
JD AI Research(京东人工智能研究院);Ryerson University(瑞尔森大学)
生成对抗网络(GANs)的重大进展促进了基于语言输入的真实单对象图像生成。然而,复杂的场景生成(多个对象之间的各种交互)仍然遭受混乱的布局和对象失真,由于布局和外观的不同配置。现有的方法大多是对象驱动的,忽略了它们之间的相互关系,在复杂的场景图像中发挥了重要作用。这项工作探讨了关系感知的复杂场景图像生成,其中多个对象是相互关联的场景图。在关系的帮助下,我们提出了生成框架中的三个主要更新。首先,合理的空间布局推断联合考虑语义和对象之间的关系。与标准位置回归相比,我们发现相对尺度和距离是一个更可靠的目标。其次,由于对象之间的关系显着影响对象的外观,我们设计了一个关系引导的生成器来生成对象反映他们的关系。第三,提出了一种新的场景图映射方法,保证了生成图像与输入场景图的一致性。我们的方法倾向于合成合理的布局和对象,尊重图像中多个对象的相互作用。在Visual Genome和HICO-DET数据集上的实验结果表明,我们提出的方法在IS和FID指标方面明显优于现有技术。基于我们的用户研究和视觉检查,我们的方法是更有效地生成逻辑布局和外观的复杂场景。
2021-04-01 cs.CV
Scenarios: A New Representation for Complex Scene Understanding
Rutgers University(罗格斯大学);Department of Computer Science, Rutgers University(罗格斯大学计算机科学系)
计算代理推理真实世界场景图像的高级内容的能力对于许多应用是重要的。解决复杂场景理解问题的现有尝试缺乏表示能力、效率和创建关于场景的鲁棒元知识的能力。在本文中,我们引入场景作为一种新的方式来表示场景。该场景是一个简单的,低维的,数据驱动的表示,包括频繁共现的对象集,是有用的广泛的场景理解任务。我们使用一种新的矩阵分解方法,我们集成到一个新的神经网络架构,ScenarioNet从数据中学习场景。使用ScenarioNet,我们可以在三个粒度级别上恢复真实世界场景图像的语义信息:1)场景类别,2)场景和3)对象。训练单个ScenarioNet模型使我们能够执行场景分类,场景识别,多对象识别,基于内容的场景图像检索和基于内容的图像比较。除了在一个统一的框架中解决许多任务外,ScenarioNet比其他CNN更高效,因为它需要更少的参数,同时在基准任务上实现类似的性能,并且更可解释,因为它在做出决策时会产生解释。我们在几个基准数据集上验证了场景和ScenarioNet在各种场景理解任务上的实用性。
2018-02-16 cs.CV
Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes
HKUST(香港科技大学)
汽车在行驶过程中,挡风玻璃上的水滴会造成严重的视觉障碍,从而可能导致车祸。同时,水滴也会降低自动驾驶中计算机视觉系统的性能。为了解决这些问题,我们提出了一个基于注意力的框架,融合的时空表示从多帧恢复视觉信息被水滴遮挡。由于缺乏用于视频水滴去除的训练数据,我们提出了一个大规模的合成数据集,模拟雨天复杂驾驶场景中的水滴。为了提高我们所提出的方法的通用性,我们采用了一种跨模态训练策略,该策略将合成视频和真实图像相结合。大量的实验表明,我们提出的方法可以很好地推广,并在复杂的现实世界的驾驶场景中实现最佳的水滴去除性能。
2023-02-24 cs.CV
Scene Summarization: Clustering Scene Videos into Spatially Diverse Frames
New York University(纽约大学)
SceneSum通过自监督方法将场景视频聚类为空间多样化的关键帧,提升空间推理能力,优于现有视频摘要方法。
2025-11-23 cs.CV
Recursive Code World Models: Building Complex Worlds through Recursive Scene Programs
Georgia Institute of Technology(佐治亚理工学院)
提出递归代码世界模型(RCWM),通过递归场景程序从单张参考图像重建复杂3D世界,采用全局-局部-全局递归和视觉-语言代理引导,优于现有方法。
2026-09-15 cs.CV
Visual Appearance Analysis of Forest Scenes for Monocular SLAM
University of Edinburgh(爱丁堡大学)
单目同步定位和制图(SLAM)是一种廉价且节能的方法,可使无人机(UAV)安全地导航管理的森林并收集对监测树木健康至关重要的数据。然而,SLAM研究大多是在结构化的人类环境中进行的,因此对非结构化森林的适应性很差。在本文中,我们比较了最先进的单目SLAM系统对森林数据的性能,并使用视觉外观统计来描述森林和其他环境之间的差异,包括逼真的模拟森林。我们发现,SLAM系统的斗争,但最简单的森林地形,并确定关键属性(照明变化和场景中的运动)区分森林场景从“经典”的城市数据集。这些差异让我们深入了解是什么使森林更难绘制地图,并为有针对性的改进开辟了道路。我们还证明,即使是看起来令人印象深刻的模拟人眼可能无法正确反映他们模拟的环境的困难属性,并提供更密切地模仿自然场景的建议。
2019-07-05 cs.CV cs.RO
Occlusion Guided Self-supervised Scene Flow Estimation on 3D Point Clouds
Tel Aviv University(特拉维夫大学)
理解两个连续时间帧之间稀疏采样点的3D空间流动是现代几何驱动系统的核心,如VR/AR,机器人和自动驾驶。由于缺乏真实的、非模拟的、标记的数据,因此强调了自我或无监督的深度架构的重要性。本文提出了一种新的自监督训练方法和一种用于遮挡情况下的三维场景流估计的体系结构。在这里,我们表明,智能流量预测和遮挡检测之间的多层融合优于传统架构的遮挡和非遮挡的情况下,由一个很大的利润。我们报告了Flyingthings 3D和KITTI数据集的最新结果,用于监督和自我监督训练。
2021-10-17 cs.CV
Advancing Complex Wide-Area Scene Understanding with Hierarchical Coresets Selection
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of the Chinese Academy of Sciences(中国科学院大学);Beijing University of Technology(北京理工大学)
针对VLM难以适应未见复杂广域场景的问题,本文提出即插即用的分层核心集选择机制HCS,依据具理论保证的重要性函数筛选区域,无需微调即可提升多任务场景理解性能。
2025-10-20 cs.CV
Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image
University of California, San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究院)
我们提出了一个室内场景的深度逆绘制框架。从一个单一的RGB图像的任意室内场景,我们创建一个完整的场景重建,估计形状,空间变化的照明,和空间变化的,非朗伯表面反射。为了训练这个网络,我们用真实世界的材料来增强SUCG室内场景数据集,并使用快速,高质量,基于物理的GPU渲染器来渲染它们,以创建一个大规模的,逼真的室内数据集。我们的逆渲染网络结合了物理见解-包括空间变化的球形高斯照明表示,用于模拟场景外观的可微分渲染层,用于迭代优化预测的级联结构和用于优化的双边求解器-使我们能够共同推理形状,照明和反射率。实验表明,我们的框架优于以前的方法,估计个别场景组件,这也使各种新的应用增强现实,如照片级真实感的对象插入和材料编辑。代码和数据将公开提供。
2019-05-07 cs.CV
Beyond Top-Grasps Through Scene Completion
Aalto University(阿尔托大学)
当前的端到端抓取规划方法提出了在不同的对象集合上获得高抓取成功率的秒级的抓取,但是通常通过将工作空间约束为顶部抓取。在这项工作中,我们提出了一种方法,允许端到端的顶部抓取规划方法,以生成完整的六个自由度的把握使用一个单一的RGB-D视图作为输入。这是通过估计要抓取的物体的完整形状,然后模拟物体的不同视点,将模拟的视点传递到端到端抓取生成方法,并最终执行整体最佳抓取来实现的。该方法通过比较最先进的全卷积抓取质量CNN在模拟和真实相机图像上生成的429次抓取,在Franka Panda上进行了实验验证。结果表明,在统计学上显着的改善,在把握成功率方面,使用模拟图像时,在真实的相机图像,特别是当真实的相机的角度。代码和视频可在https://irobotics.aalto.fi/beyond-top-grasps-through-scene-completion/上获得。
2020-03-02 cs.CV cs.RO
Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images
Drexel University(德雷塞尔大学)
恢复场景的辐射特性(即,反射率、照明和几何形状)是计算机视觉长期寻求的能力,其可以为广泛的应用提供宝贵的信息。从真实世界场景的外观中破译辐射成分,而不是单个孤立的对象,是特别具有挑战性的,因为它通常由具有不同材料成分的各种对象组成,这些对象表现出复杂的反射率和光相互作用,这些也是照明的一部分。我们介绍的第一种方法辐射场景分解,处理这些错综复杂的。我们使用RGB-D图像引导几何恢复,同时恢复复杂的反射率和自然光照,同时细化噪声的初始几何形状和分割成不同的材料区域的场景。最重要的是,我们处理真实世界的场景,包括多个对象的未知材料,这需要建模的空间变化复杂的反射率,自然光照,纹理,相互反射和阴影。我们系统地评估了我们的方法在合成场景中的有效性,并展示了其在现实世界场景中的应用。结果表明,丰富的辐射信息可以恢复从RGB-D图像和展示一个新的角色RGB-D传感器可以发挥一般场景理解任务。
2016-04-05 cs.CV
Toward Bridging the Simulated-to-Real Gap: Benchmarking Super-Resolution on Real Data
Friedrich-Alexander-Universität (FAU) Erlangen-Nürnberg(弗里德里希-亚历山大大学(FAU)埃尔朗根-纽伦堡)
捕获地面实况数据以基准超分辨率(SR)是具有挑战性的。因此,目前的定量研究主要是对从地面实况图像中人工采样的模拟数据进行评估。我们认为,这样的评估高估了SR方法的实际性能相比,他们的行为在真实图像上。为了弥合这一模拟到真实的差距,我们引入了超分辨率埃尔兰根(SupER)数据库,第一个全面的实验室SR数据库的所有真正的收购与像素明智的地面真相。它由14个场景的80k多张图像组成,结合了不同的方面:CMOS传感器噪声,四个分辨率级别的真实采样,九种场景运动类型,两种光度条件和五个级别的有损视频编码。因此,该数据库在质量和数量上都超过现有基准一个数量级。本文还对19种流行的单帧和多帧算法进行了测试。该基准包括利用地面实况数据进行的定量研究和大规模观察员研究中的定性评价。我们还从统计学的角度严格调查两种评估之间的协议。一个有趣的结果是,在模拟数据上表现最好的方法可能会被真实数据上的其他方法超越。我们的见解可以刺激进一步的算法开发,而可用的数据集可以促进未来的评估。
2019-06-16 cs.CV
Complex Scene Image Editing by Scene Graph Comprehension
Boston University(波士顿大学);Amazon(亚马逊);Kuaishou Technology(快手科技)
本文提出SGC-Net两阶段方法,利用场景图理解预测目标物体RoI并结合条件扩散模型实现复杂场景图像编辑,在CLEVR和Visual Genome上显著优于先前工作。
2023-09-19 cs.CV
Learning Canonical Representations for Scene Graph to Image Generation
Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校);Bar-Ilan University(巴伊兰大学);NVIDIA Research(英伟达研究院)
当人们希望控制所生成的图像的结构时,生成复杂视觉场景的逼真图像变得具有挑战性。以前的方法表明,可以使用场景图来控制具有很少实体的场景,但是这种方法随着图的复杂性(对象和边缘的数量)的增加而变得困难。在这项工作中,我们表明,目前的方法的一个局限性是他们无法捕捉图中的语义等价。我们提出了一种新的模型,通过从数据中学习规范图表示来解决这些问题,从而改善复杂视觉场景的图像生成。我们的模型在大场景图上表现出改进的经验性能,对输入场景图中的噪声具有鲁棒性,并且在语义等价图上具有泛化能力。最后,我们在三个不同的基准测试中展示了模型的改进性能:Visual Genome,COCO和CLEVR。
2020-08-24 cs.CV
Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australia Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文提出了一种新的方法,从两个透视帧的单目密集三维重建的复杂动态场景。通过对图像应用超像素过分割,我们用分段平面和刚性近似来建模一般动态(因此非刚性)场景。通过这种方式,我们将动态重建问题简化为“3D拼图”问题,该问题从无组织的“超像素汤”中取出碎片。我们表明,我们的方法提供了一个有效的解决方案,固有的相对规模的模糊性,从运动的结构。由于我们的方法不假设模板先验,或每对象分割,或动态场景的刚性知识,它适用于广泛的场景。大量的实验上的合成和真正的单目序列证明了我们的方法相比,国家的最先进的方法的优越性。
2017-12-20 cs.CV
PEGG-Net: Pixel-Wise Efficient Grasp Generation in Complex Scenes
National University of Singapore Graduate School(新加坡国立大学研究生院);Hong Kong University of Science and Technology(香港科技大学);National University of Singapore(新加坡国立大学)
本文提出PEGG-Net像素级高效抓取生成网络,结合PBVS闭环应对杂乱与动态场景,在Cornell和Jacquard上取得优异表现并经真实机器人实验验证。
2023-07-13 cs.CV
Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes
ShanghaiTech University(上海科技大学);The University of Hong Kong(香港大学)
针对复杂动态场景表面重建精度低或训练慢的问题,提出时空 2D Gaussian Splatting 方法,通过学习标准 2D 高斯并引入深度与法线正则化及组合不透明度形变策略,显著提升了动态与遮挡场景的几何质量与细节表面重建效果。
2024-09-27 cs.CV
ComplexMimic: Human-Scene Interaction Imitation in Complex 3D Environments
College of Computer Science and Technology, Jilin University, China(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, China(教育部符号计算与知识工程重点实验室)
针对复杂环境中物理人-场景交互模仿的挑战,提出ComplexMimic框架,通过双流策略和难度感知蒸馏,在保持自然运动的同时实现准确交互,在三个基准数据集上超越现有方法。
2026-07-07 cs.CV
Dense Depth Estimation of a Complex Dynamic Scene without Explicit 3D Motion Estimation
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
最近的几何方法需要可靠的三维运动参数的估计,以获得精确的密集的深度图的复杂动态场景从单目图像\cite{kumar2017monocular, ranftl2016dense}。通常,使用图像数据来估计相对3D运动参数的\textbf{precise}测量并验证其准确性是一项具有挑战性的任务。在这项工作中,我们提出了一种替代方法,绕过3D运动估计的要求,以获得一个密集的深度图的动态场景。给定两个连续帧之间的每像素光流对应关系和参考帧的稀疏深度先验,我们表明,我们可以有效地恢复连续帧的密集深度图,而无需求解3D运动参数。我们的方法假设一个分段的平面模型的动态场景,它经历了刚性变换局部,并尽可能刚性的两个连续的帧之间的全球变换。在我们的假设下,我们可以避免显式估计的3D旋转和平移估计场景深度。从本质上讲,我们的配方提供了一种非常规的方式来思考和恢复的复杂动态场景,这是增量和运动自由的性质密集的深度图。我们提出的方法不对动态场景做对象级或任何其他高级先验假设,因此,它适用于广泛的场景。基准数据集上的实验结果表明,我们的方法的多帧的能力。
2019-03-23 cs.CV
Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
针对单目视频恢复大规模场景下4D人群运动的难题,提出Crowd4D框架,通过多阶段优化联合优化人群与场景,引入HSIP解决对齐问题、CSCR提升时间稳定性,实验证明其性能优于现有方法,可实现复杂场景下单目4D人群稳健重建。
2026-07-23 cs.CV
OceanSplat: Object-aware Gaussian Splatting with Trinocular View Consistency for Underwater Scene Reconstruction
OceanSplat通过三目视图一致性与深度感知调整,实现高保真水下场景重建与恢复。
2026-01-19 cs.CV
Scene Graph Disentanglement and Composition for Generalizable Complex Image Generation
Shanghai Jiao Tong University(上海交通大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工大学宁波数字孪生研究院);University of Science and Technology of China(中国科学技术大学);The University of Hong Kong(香港大学)
本文提出利用场景图解耦与组合实现可泛化复杂图像生成,通过SL-VAE、CMA和MLS提升生成多样性、可控性及图操控一致性。
2024-10-01 cs.CV
IG-Diff: Complex Night Scene Restoration with Illumination-Guided Diffusion Model
Tsinghua Univerisity(清华大学);NanKai University(南开大学)
本文提出IG-Diff模型,通过光照引导模块提升低光照环境下复杂场景的恢复能力,解决天气与低光共存的挑战。
2026-05-14 cs.CV
UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections
ETH Zurich(苏黎世联邦理工学院);Google(谷歌公司)
本文提出 UniSDF,通过在三维空间显式混合相机视角与反射视角颜色表示,并结合由粗到细的多分辨率网格,实现带反射复杂大场景的高保真快速三维重建。
2024-12-09 cs.CV
Drill-down: Interactive Retrieval of Complex Scenes using Natural Language Queries
University of Virginia(弗吉尼亚大学);IBM Research AI(IBM研究院人工智能部门)
本文探讨了使用自然语言查询的交互式图像检索的任务,其中用户逐步提供输入查询,以完善一组检索结果。此外,我们的工作探讨了这个问题的背景下,复杂的图像场景包含多个对象。我们提出了Drill-down,一个有效的框架,用于编码多个查询,具有高效的紧凑状态表示,显着扩展了当前的单轮图像检索方法。我们表明,使用多轮的自然语言查询作为输入,可以令人惊讶地有效地找到任意特定的复杂场景的图像。此外,我们发现,现有的带有文本标题的图像数据集可以为这项任务提供一种令人惊讶的有效形式的弱监督。我们将我们的方法与现有的顺序编码和嵌入网络进行比较,在两个建议的基准上表现出卓越的性能:使用区域标题作为查询的模拟场景上的自动图像检索,以及使用来自人类评估者的真实查询的交互式图像检索。
2019-11-10 cs.CV
Superpixel Soup: Monocular Dense 3D Reconstruction of a Complex Dynamic Scene
ETH Zürich(苏黎世联邦理工学院);Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
这项工作解决了密集的三维重建的复杂动态场景的图像的任务。解决这一任务的普遍想法是由一系列步骤组成的,并且取决于其执行过程中几个管道的成功。为了克服现有算法的局限性,我们提出了一个统一的方法来解决这个问题。我们假设一个动态场景可以近似由许多分段平面表面,其中每个平面表面享有自己的刚性运动,和两帧之间的场景中的全局变化是刚性尽可能(ARAP)。因此,我们的模型的动态场景减少到汤的平面结构和这些局部平面结构的刚性运动。使用平面过分割的场景,我们减少这项任务,以解决“3D拼图”的问题。因此,任务归结为正确地组装每个刚性件,以构建符合ARAP假设下场景几何形状的3D形状。此外,我们表明,我们的方法提供了一个有效的解决方案,在透视投影下的运动结构的固有的规模模糊性。我们提供了广泛的实验结果和评估几个基准数据集。与竞争方法的定量比较显示了最先进的性能。
2019-11-19 cs.CV
GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Google DeepMind(谷歌DeepMind);University of California, Merced(加州大学默塞德分校)
本文提出GALA3D框架,利用LLM布局、布局引导3D高斯表示与条件扩散组合优化,实现高保真、可编辑的文本到复杂3D场景生成。
2024-06-11 cs.CV
RelayGS: Reconstructing Dynamic Scenes with Large-Scale and Complex Motions via Relay Gaussians
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Peng Cheng Laboratory(鹏城实验室);Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology(广东省超高清沉浸式媒体技术重点实验室);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
针对3DGS难以处理大幅复杂运动的问题,本文提出三阶段RelayGS,通过接力高斯分解运动轨迹并联合优化4D表示,PSNR提升超1 dB。
2024-12-03 cs.CV
Frame-Level Captions for Long Video Generation with Complex Multi Scenes
StepFun(阶跃星辰)
针对长视频生成中的误差累积和单场景局限,提出帧级标注与帧级注意力机制,结合扩散强制训练,在VBench 2.0基准上提升复杂多场景指令遵循和视频质量。
2025-05-27 cs.CV
Anomalous Situation Detection in Complex Scenes
University of Trento(特伦托大学)
在本文中,我们研究了一个强大的方法来识别复杂场景中的异常。该任务通过提取局部二进制模式(LBP)和高斯拉普拉斯(LoG)特征来评估集体行为来执行。我们融合这两个功能在一起,利用训练的MLP神经网络在训练阶段,和异常识别的测试样本。考虑到在密集拥挤的场景中跟踪个体的挑战,由于多个遮挡和混乱,在本文中,我们提取LBP和LoG功能,并使用它们作为异常情况的近似表示。这些特征很好地匹配异常的外观和它们的一致性,并且与其他描述符相比,在规则和不规则区域中的精度都更高。在本文中,这些功能被利用作为输入之前,训练的神经网络。随后探索MLP神经网络以考虑可以检测异常情况的这些特征。实验测试进行了一组基准视频序列通常用于异常情况检测。
2019-02-26 cs.CV
Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting
Fudan University(复旦大学)
本文提出4D高斯泼溅方法,将动态场景建模为可优化的时空4D高斯基元,实现实时照片级动态场景表示与新视图合成。
2024-02-22 cs.CV
SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image
University of Oregon(俄勒冈大学);Picsart AI Research(Picsart人工智能研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
尽管神经辐射场(NeRF)发展迅速,但密集覆盖的必要性在很大程度上限制了其更广泛的应用。虽然最近的一些作品试图解决这个问题,但它们要么使用稀疏视图(但仍然有一些),要么使用简单的对象/场景。在这项工作中,我们考虑了一个更雄心勃勃的任务:通过“只看一次”,即在逼真的复杂视觉场景上训练神经辐射场,只使用一个视图。为了实现这一目标,我们提出了一个单视图NeRF(SinNeRF)框架,包括精心设计的语义和几何正则化。具体来说,SinNeRF构建了一个半监督学习过程,在这个过程中,我们引入并传播几何伪标签和语义伪标签来指导渐进式训练过程。在复杂场景基准上进行了大量的实验,包括NeRF合成数据集,局部光场融合数据集和DTU数据集。我们表明,即使没有对多视图数据集进行预训练,SinNeRF也可以产生照片般逼真的新视图合成结果。在单一图像设置下,SinNeRF在所有情况下都显著优于当前最先进的NeRF基线。项目页面:https://vita-group.github.io/SinNeRF/
2022-08-12 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经体积表示已经表明,多层感知机(MLP)可以通过多视图校准图像进行优化,以表示场景几何形状和外观,而无需显式3D监督。基于学习的辐射场,对象分割可以丰富许多下游应用。然而,引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的,因为它需要每个视图注释。针对复杂的真实场景,利用NeRF进行了自监督学习的目标分割探索。我们的框架,称为NeRF与自监督对象分割NeRF-SOS,耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失,NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型,这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线,并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情:https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
MOSAIC-GS: Monocular Scene Reconstruction via Advanced Initialization for Complex Dynamic Environments
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
MOSAIC-GS通过先进初始化实现复杂动态环境的单目场景重建,结合多种几何线索和刚性运动约束,提高重建效率与质量。
2026-01-08 cs.CV
SUNDIAL: 3D Satellite Understanding through Direct, Ambient, and Complex Lighting Decomposition
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
SUNDIAL提出一种基于神经辐射场的卫星影像三维重建方法,通过联合学习几何、光照分量和太阳方向,并采用次级阴影光线投射技术,实现场景与光照的有效解耦及改进的渲染和估计性能。
2023-12-24 cs.CV
Modeling Image Composition for Complex Scene Generation
JD Explore Academy, JD.com(京东探索研究院,京东集团);The University of Sydney(悉尼大学);Shanghai JiaoTong University(上海交通大学)
我们提出了一种方法,通过准确建模复杂场景中包含的纹理,结构和关系,实现了具有挑战性的(Few-Shot)布局到图像生成任务的最先进的结果。在将RGB图像压缩成补丁令牌后,我们提出了具有焦点注意力的Transformer(TwFA),用于探索对象到对象、对象到补丁和补丁到补丁的依赖关系。与现有的基于CNN和基于Transformer的生成模型分别在像素级和块级以及对象级和块级上纠缠建模相比,所提出的焦点注意力模型通过只关注空间布局指定的高度相关的标记来预测当前块标记,从而在训练过程中实现消歧。此外,提出的TwFA大大提高了训练过程中的数据效率,因此,我们提出了第一个Few-Shot复杂场景生成策略的基础上训练好的TwFA。综合实验表明,我们的方法的优越性,这显着增加了定量指标和定性的视觉现实主义方面的最先进的CNN为基础的和基于变压器的方法。代码可在https://github.com/JohnDreamer/TwFA上获得。
2022-06-02 cs.CV
TEACH: Text Encoding as Curriculum Hints for Scene Text Recognition
TEACH通过将真实文本作为辅助输入并逐步减少其影响,模拟课程学习过程,无需外部预训练和推理开销,在多个基准上提升场景文本识别准确率。
2025-08-02 cs.CV