StreetSurfGS: Scalable Urban Street Surface Reconstruction with Planar-based Gaussian Splatting
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出StreetSurfGS,首个面向可扩展城市街道表面重建的高斯泼溅方法,通过平面八叉树表示、分段训练、引导平滑正则化和双步匹配策略,解决长窄轨迹、遮挡、稀疏视图及多尺度问题,并在新视角合成与表面重建中验证有效性。
2024-10-19 cs.CV
Learning Dilation Factors for Semantic Segmentation of Street Scenes
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Mannheim(曼海姆大学)
上下文信息是语义分割的关键。然而,找到保持所需的精细细节和同时提供足够大的感受野之间的最佳权衡是不平凡的。当图像中存在的对象或类在大小上显著变化时,情况更是如此。扩张卷积已被证明对于语义分割是有价值的,因为它们允许在不牺牲图像分辨率的情况下增加感受野的大小。然而,在当前最先进的方法中,膨胀参数是手动调整和固定的。在本文中,我们提出了一种方法,用于学习膨胀参数自适应每个通道,不断提高语义分割的街景数据集,如Cityscapes和Camvid的结果。
2017-09-06 cs.CV
DR-TANet: Dynamic Receptive Temporal Attention Network for Street Scene Change Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
街道场景变化检测一直是计算机视觉领域的研究热点。它的目的是识别在不同时间拍摄的成对街景图像的变化区域。基于编码器-解码器架构的最新网络利用两个通道之间对应级别的特征映射来获得足够的变化信息。尽管如此,特征提取、特征相关性计算甚至整个网络的效率还需要进一步提高。本文提出了时间注意的概念,探讨了时间注意的依赖范围大小对变化检测性能的影响。此外,在时间注意模块(TAM)的基础上,我们引入了一个更高效、更轻量的版本-动态接受时间注意模块(DRTAM),并提出了并行水平和垂直注意(CHVA),以提高网络对特定挑战实体的准确性。在街景数据集“GSV”,“TSUNAMI”和“VL-CMU-CD”上,我们的方法获得了出色的性能,建立了新的最先进的分数,同时保持了适用于自动驾驶汽车的高效率。
2021-05-28 cs.CV cs.LG cs.RO
S-NeRF: Neural Radiance Fields for Street Views
Fudan University(复旦大学);University of Oxford(牛津大学)
神经辐射场(NeRFs)旨在合成对象和场景的新视图,给定具有大重叠的以对象为中心的相机视图。然而,我们共轭,这种范式不适合许多自动驾驶汽车从大规模无界场景中收集的街景的性质。此外,机载摄像头感知场景时不会有太多重叠。因此,现有的NeRF通常会在街景合成中产生模糊、“漂浮物”和其他伪影。在本文中,我们提出了一个新的街景NeRF(S-NeRF),认为新的视图合成的大规模的背景场景和前景移动车辆联合。具体来说,我们改进了场景参数化功能和相机姿势,以便从街景中学习更好的神经表示。我们还使用噪声和稀疏的LiDAR点来增强训练,并学习基于置信度的鲁棒几何和重投影来解决深度异常值。此外,我们扩展了我们的S-NeRF重建移动车辆,这是不切实际的传统NeRF。对大规模驾驶数据集(例如,nuScenes和Waymo)证明,我们的方法通过减少街景合成中的均方误差的7%至40%和移动车辆渲染的PSNR增益的45%,击败了最先进的竞争对手。
2023-03-01 cs.CV
Synscapes: A Photorealistic Synthetic Dataset for Street Scene Parsing
D Labs(7D实验室);Linköping University(林雪平大学)
我们介绍Synscapes --一个使用真实感渲染技术创建的用于街道场景解析的合成数据集,并展示了最先进的训练和验证结果以及新类型的分析。我们研究了在对合成数据进行推理时,在真实数据上训练的网络的行为:这是确定仿真环境等效性的关键因素。我们还比较了在合成数据上训练的网络和在真实数据上评估的网络的行为。此外,通过分析预先训练的现有分割和检测模型,我们说明了不相关的图像以及一组详细的注释如何为计算机视觉系统的分析开辟新的途径,提供有关模型性能如何根据距离,遮挡和相对对象方向等因素变化的细粒度信息。
2018-10-19 cs.CV
StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models
Zhejiang University(浙江大学);Li Auto Inc.(Li汽车公司);Cornell University(康奈尔大学)
针对自动驾驶场景视图合成中视角偏离训练轨迹时性能下降的问题,提出可控视频扩散模型StreetCrafter,以LiDAR点云渲染为像素级条件,实现精确相机控制、像素级编辑及实时渲染,在Waymo和PandaSet上优于现有方法。
2025-08-26 cs.CV
3D Geometry-Aware Semantic Labeling of Outdoor Street Scenes
Northwestern Polytechnical University(西北工业大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文研究如何更好地利用三维几何信息进行图像的密集语义标注。现有方法通常将可用的3D几何信息(例如,3D深度图)简单地作为除了R-G-B颜色通道之外的附加图像通道,并将相同的技术应用于RGB图像标记。在本文中,我们证明,直接执行3D卷积的框架中的残余连接的3D体素自上而下的调制网络可以导致优越的结果。具体来说,我们提出了一个3D语义标记方法来标记户外街道场景时,一个密集的深度图。在“Synthia”和“Cityscape”数据集上的实验表明,我们的方法优于最先进的方法,这表明这样一个简单的3D表示是有效的,将3D几何信息。
2018-08-13 cs.CV
Mono-Stixels: Monocular depth reconstruction of dynamic street scenes
Robert Bosch GmbH(罗伯特·博世有限公司);Goethe University(歌德大学)
在本文中,我们提出了mono-stixels,一个紧凑的环境表示专门设计的动态街景。Mono-stixels是一种新的方法来估计stixels从单目相机序列,而不是传统上使用的立体深度测量。我们的方法联合推断的深度,运动和语义信息的动态场景作为一个一维能量最小化问题的基础上光流估计,逐像素语义分割和摄像机运动。用单应性描述了stixel的光流。通过应用单格素模型,格素单应性的自由度被减少到仅多达两个自由度。此外,我们利用场景模型和语义信息来处理移动对象。在我们的实验中,我们使用公共可用的DeepFlow进行光流估计,使用FCN 8进行语义信息作为输入,并在KITTI 2015数据集上显示,单stixels提供了场景静态和移动部分的紧凑和可靠的深度重建。因此,单stixels克服了以前的结构从运动的方法的静态场景的限制。
2019-08-07 cs.CV
LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes
University of California, Irvine(加利福尼亚大学欧文分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);NEC Labs America(美国NEC实验室)
本文提出LidaRF框架,通过融合激光雷达几何表示、遮挡感知深度监督和激光雷达点增强训练视图,显著提升街景场景下神经辐射场的新视角合成质量。
2024-05-04 cs.CV
Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
University of Washington(华盛顿大学);MPI for Intelligent Systems Tübingen(图宾根马克斯·普朗克智能系统研究所)
语义标注对于对象识别、语义分割或场景理解的训练模型至关重要。不幸的是,在非常大的规模上对图像进行像素级注释是劳动密集型的,并且只有很少的标记数据可用,特别是在实例级和街道场景中。在本文中,我们建议通过将语义实例标记任务从2D提升到3D来解决这个问题。鉴于从立体或激光数据重建,我们注释静态的3D场景元素与粗糙的边界图元,并开发一个模型,将此信息转移到图像域。我们利用我们的方法来获得一个新的郊区的视频数据集,我们已经收集了2D标签,导致400k的语义和实例图像注释。我们的方法与最先进的标签传输基线的比较表明,3D信息可以实现更有效的注释,同时提高准确性和时间一致性标签。
2016-04-12 cs.CV
RaidaR: A Rich Annotated Image Dataset of Rainy Street Scenes
Simon Fraser University(西蒙弗雷泽大学);Beihang University(北京航空航天大学);Jilin University(吉林大学)
我们引入RaidaR,一个丰富的雨天街景图像数据集,以支持自动驾驶研究。新数据集包含迄今为止最多的雨天图像(58,542),其中5,000个提供语义分割,3,658个提供对象实例分割。RaidaR图像涵盖了各种逼真的降雨引起的伪影,包括雾、水滴和道路反射,可以有效地增强现有的街道场景数据集,以改善雨天时数据驱动的机器感知。为了便于大量图像的有效注释,我们开发了一种半自动方案,将手动分割和类似于交叉验证的自动处理相结合,从而使注释时间减少10-20倍。我们通过展示RaidaR的数据增强如何提高现有分割算法的准确性来展示我们新数据集的实用性。我们还提出了一种新的不成对图像到图像的翻译算法,用于添加/删除雨伪影,这直接受益于RaidaR。
2021-10-26 cs.CV
Hierarchical Paired Channel Fusion Network for Street Scene Change Detection
Sichuan University(四川大学);Dalian University of Technology(大连理工大学);University of Melbourne(墨尔本大学);Central South University(中南大学)
街道场景变化检测(SSCD)的目的是在不同时间拍摄的给定街景图像对之间定位变化区域,这是计算机视觉界的一个重要而又具有挑战性的任务。解决SSCD任务的直观方法是融合提取的图像特征对,然后直接测量不相似部分以产生变化图。因此,设计一种有效的特征融合方法,提高对应变化图的准确性,是SSCD任务的关键。为此,我们提出了一种新的分层配对通道融合网络(HPCFNet),它利用配对特征通道的自适应融合。具体地说,一个给定的图像对的特征联合提取的连体卷积神经网络(SCNN)和分层组合,通过探索在多个特征水平的通道对的融合。此外,基于观察到的场景变化的分布是多样的,我们进一步提出了多部分特征学习(MPFL)策略来检测不同的变化。基于MPFL策略,我们的框架实现了一种新的方法来适应场景变化区域的规模和位置的变化。在三个公共数据集上进行了广泛的实验(即,PCD,VL-CMU-CD和CDnet 2014)表明,所提出的框架实现了优越的性能,优于其他国家的最先进的方法具有相当大的利润。
2020-10-19 cs.CV cs.LG cs.MM
On Boosting Semantic Street Scene Segmentation with Weak Supervision
Eindhoven University of Technology(埃因霍温理工大学)
训练用于语义分割的卷积网络需要每像素的地面真值标签,这非常耗时,因此获得成本很高。因此,在这项工作中,我们研究和开发了一种分层的深度网络架构和相应的语义分割损失,可以从弱监督(如边界框或图像级别标签)以及强逐像素监督中进行训练。我们证明了层次结构和强(每像素)和弱(边界框)标签的同时训练,即使来自单独的数据集,也会不断提高仅针对每像素训练的性能。此外,我们探索了添加弱图像级标签的更具挑战性的情况。我们从巨大的Open Images数据集中收集街景图像和弱标签来生成OpenScapes数据集,并使用这个新的数据集来提高两个已建立的每像素标记数据集Cityscapes和Vistas的分割性能。我们报告在关键街道场景类上的性能提升高达+13.2%mIoU,在512 x 1024分辨率下,Titan V GPU的Cityscapes推理速度为20 fps。我们的网络和OpenScapes数据集与研究社区共享。
2019-07-16 cs.CV
SparseStreet: Sparse Gaussian Splatting for Real-Time Street Scene Simulation
Peking University(北京大学);Chinese Academy of Sciences(中国科学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Autonomous Driving Development, NIO(蔚来自动驾驶开发)
针对街景重建中高斯原语冗余问题,提出节点可学习剪枝与背景压缩框架,实现高达80%压缩比且质量损失极小。
2026-06-02 cs.CV
3D Gaussian Splatting against Moving Objects for High-Fidelity Street Scene Reconstruction
Ontario Knowledge Intelligence Centre, Canada(加拿大安大略知识智能中心);Canadian Institute of Interscience, Canada(加拿大跨学科科学研究所);DeepCox Intelligence, Canada(加拿大DeepCox智能科技公司)
本文提出了一种新的3D高斯点分布方法,通过自适应透明机制消除移动物体并保留高保真静态场景细节,结合迭代优化提升几何精度和纹理表现。
2026-07-29 cs.CV
CBHE: Corner-based Building Height Estimation for Complex Street Scene Images
The University of Melbourne(墨尔本大学);NUDT(国防科技大学)
建筑物高度估计在诸如3D城市重建、城市规划和导航的许多应用中是重要的。最近,一种新的方法,利用街景图像和二维地图的建筑物高度估计被提出。这种方法比使用高分辨率光学数据、LiDAR数据或RADAR数据的传统方法更具可扩展性,这些数据的获取成本很高。该方法需要检测建筑物的屋顶线,然后通过针孔相机模型计算建筑物的高度。我们观察到,这种方法在处理复杂的街道场景图像中,建筑物相互重叠,屋顶线难以定位有局限性。我们提出CBHE,建筑物高度估计算法,同时考虑建筑物的角落和屋顶线。CBHE首先根据二维地图中的建筑物足迹和摄像机参数,在街景图像中获得建筑物角点和屋顶线候选。然后,我们使用一个名为BuildingNet的深度神经网络来分类和过滤角点和屋顶线候选。基于BuildingNet中的有效角点和屋顶线,CBHE通过针孔相机模型计算建筑物高度。实验结果表明,建议BuildingNet产生更高的准确性,建筑物的角落和屋顶候选过滤相比,最先进的开集分类器。同时,CBHE在建筑物高度估计精度上优于基线算法10%以上。
2021-12-16 cs.AI cs.CV
Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting
Zhejiang University(浙江大学);Li Auto(理想汽车)
针对自动驾驶动态城市场景建模中现有NeRF类方法训练渲染慢的问题,提出Street Gaussians显式表示方法,结合可优化位姿与4D球谐模型,实现高速渲染与编辑,性能优于SOTA。
2024-08-18 cs.CV cs.GR
Temporal Object Captioning for Street Scene Videos from LiDAR Tracks
Aptiv, Germany(Aptiv公司);University of Wuppertal, Germany(乌尔姆大学)
针对街景视频描述中时间理解不足的问题,提出基于LiDAR轨迹的模板化描述生成方法,用于监督SwinBERT训练,在三个数据集上显著提升时间理解并减少静态偏差。
2025-05-22 cs.CV cs.LG
A Joint Convolutional Neural Networks and Context Transfer for Street Scenes Labeling
Northwestern Polytechnical University(西北工业大学)
街道场景理解是自动驾驶的一项重要任务。朝这个方向迈出的重要一步是场景标签,它用正确的类标签注释图像中的每个像素。虽然已经开发了许多方法,但仍然存在一些弱点。首先,许多方法都是基于手工特征,其图像表示能力有限。其次,由于数据集的偏差,它们不能准确地标记前景对象。第三,在精化阶段,传统的马尔可夫随机场(MRF)推理容易出现过光滑。针对上述问题,本文提出了一种超像素级先验卷积神经网络(称为"先验s-CNN“)和软限制上下文传输的联合方法。我们的贡献有三个方面:(1)提出了一种先验s-CNN模型,该模型在超像素水平上学习先验位置信息,以区分地描述各种对象:(2)提出了一种分层数据增强方法,以减轻先验s-CNN训练阶段的数据集偏差,显著提高了前景对象的标记;(3)定义了一种软约束的MRF能量函数,在提高先验s-CNN模型标记性能的同时,降低了过平滑性。该方法在CamVid数据集(11类)和SIFT Flow Street数据集(16类)上进行了验证,取得了较好的性能。
2019-05-05 cs.CV
ShopSign: a Diverse Scene Text Dataset of Chinese Shop Signs in Street Views
Henan University(河南大学);South China University of Technology(华南理工大学)
本文介绍了ShopSign数据集,这是一个新开发的自然场景文本数据集的中文商店标志在街景。虽然一些场景文本数据集已经公开(例如ICDAR 2015,COCO-Text),但这些数据集中包含中文文本/字符的图像很少。因此,我们收集和注释的ShopSign数据集,以推进中文场景文本检测和识别的研究。新的数据集具有三个显著特点:(1)大规模:它包含25,362个中文商店标志图像,总文本行数为196,010行。(2)多样性:ShopSign中的图像是在不同的场景中拍摄的,从市中心到发展中地区,使用了50多种不同的手机。(3)困难:数据集非常稀疏和不平衡。它还包括五种类型的硬图像(镜子,木,变形,暴露和模糊)。为了说明ShopSign中的挑战,我们使用最先进的场景文本检测方法(包括CTPN,TextBoxes++和EAST)和交叉数据集验证来运行基线实验,以比较它们在相关数据集(如CTW,RCTW和ICPR 2018 MTWI挑战数据集)上的相应性能。我们的ShopSign数据集的示例图像和详细描述可在https://github.com/chongshengzhang/shopsign上公开获取。
2019-03-25 cs.CV
Animating Street View
University of Washington(华盛顿大学)
提出一种自动将街景图像动画化的系统,通过移除原有行人车辆、插入自然行为的动画对象、规划路径与交通,并渲染遮挡阴影,使静态街景生动,适用于常规图像和全景图。
2023-10-12 cs.CV cs.GR
ChatDyn: Language-Driven Multi-Actor Dynamics Generation in Street Scenes
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院)
针对街景仿真中缺乏生成多类型交通参与者交互真实动态的综合方法的问题,本文提出ChatDyn系统,通过多LLM智能体规划及两类专用执行器,实现语言驱动的可控真实街景多参与者动态生成,性能优于现有方法。
2024-12-11 cs.CV
S3R-GS: Streamlining the Pipeline for Large-Scale Street Scene Reconstruction
University of Science and Technology of China(中国科学技术大学);The University of Adelaide(阿德莱德大学)
S3R-GS针对大规模街景3DGS重建成本高的问题,通过优化变换、投影和远处渲染流程,并以二维框替代难获取的三维框分离动静成分,在Argoverse2上以不到竞争方法50%的重建时间取得最先进PSNR和SSIM。
2025-03-11 cs.CV
Towards seamless multi-view scene analysis from satellite to street-level
IRISA institute, Université Bretagne Sud(IRISA研究所,南布列塔尼大学);MultiModal Remote Sensing group, University of Zurich(苏黎世大学多模态遥感研究组);Laboratory of GeoInformation Science and Remote Sensing, Wageningen University & Research(瓦赫宁根大学及研究中心地理信息科学与遥感实验室);Photogrammetry and Remote Sensing group, ETH Zurich(苏黎世联邦理工学院摄影测量与遥感研究组);G2C institute, University of Applied Sciences, Western Switzerland(瑞士西部应用科学与艺术大学G2C研究所)
在本文中,我们讨论和审查如何组合多视角图像从卫星到街道一级可以受益于景物分析。有许多工作是将遥感信息和从地面获取的图像融合在一起,用于土地覆盖制图、目标检测或场景理解等任务。使头顶和街道级图像的组合具有挑战性的是强烈变化的视角、不同的尺度、照明、传感器模态和采集时间。直接(密集)匹配的图像上的每像素的基础上,因此往往是不可能的,人们不得不求助于替代策略,将在本文中讨论。我们回顾最近的作品,试图结合从地面和头顶上的意见,如现场注册,重建或分类的目的采取的图像。三种方法,代表了广泛的潜在的方法和应用(变化检测,图像定位,和树编目)进行了详细描述。我们表明,遥感,计算机视觉和机器学习之间的交叉施肥对于充分利用地球观测传感器和地面图像提供的地理数据非常有价值。尽管面临挑战,但我们相信,整合这些互补的数据源将导致大地理数据的重大突破。
2017-05-23 cs.CV
DIAL-GS: Dynamic Instance Aware Reconstruction for Label-free Street Scenes with 4D Gaussian Splatting
Chenpeng Su ∗ , Wenhua Wu ∗ , Chensheng Peng, Tianchen Deng, Zhe Liu, Hesheng Wang †(无明确机构)
针对现有自监督街景重建方法无法区分动态对象的问题,提出DIAL-GS方法,通过4D高斯溅射实现实例感知的动态重建,性能优于现有基线。
2026-09-04 cs.CV
Mapping suburban bicycle lanes using street scene images and deep learning
Royal Melbourne Institute of Technology(皇家墨尔本理工大学)
公路自行车道提高了骑自行车者的安全性,并鼓励骑自行车的积极交通和娱乐参与。由于许多地方当局负责部分基础设施,官方地图和自行车道数据集可能过时且不完整。即使是“众包”数据库也可能存在很大的差距,特别是在热门的大都市地区之外。本文提出了一种方法来创建一个地图的自行车道在一个调查区域,从每条道路的样本街景图像,然后应用一个深度学习模型,已训练识别自行车道符号。然后将检测到自行车道标记的坐标列表与关于道路网络的地理空间数据相关联,以记录自行车道路线。该方法被应用于成功地建立一个地图的调查区在墨尔本远郊。它能够识别以前没有记录在官方州政府数据集OpenStreetMap或谷歌地图的“自行车”层中的自行车道。
2022-04-27 cs.CV
Real-time Street Human Motion Capture
University of Alberta(阿尔伯塔大学)
近年来,使用计算机的运动捕捉技术得到了迅速发展。由于其效率高、性能优良,取代了许多传统的方法,正在许多领域得到广泛的应用。我们的项目是关于街景视频人体运动捕捉和分析。该项目的主要目标是捕获视频中的人体运动,并将运动信息用于实时的【形】3D动画(人体)。我们采用了一个神经网络的运动捕捉,并实现了在一个街景场景下的统一。通过分析运动数据,我们将更好地估计街道状况,这对自动驾驶汽车等其他高科技应用非常有用。
2021-12-21 cs.CV
Stage-Aware Feature Alignment Network for Real-Time Semantic Segmentation of Street Scenes
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院);University College London(伦敦大学学院)
在过去的几年里,基于深度卷积神经网络的方法在街景的语义分割方面取得了很大进展。最近的一些方法对齐特征图,以减轻它们之间的语义差距,并实现高分割精度。然而,它们通常在解码器中采用具有相同网络配置的特征对齐模块,从而忽略了在特征聚合过程中解码器各级的不同角色,导致解码器结构复杂。这种方式极大地影响了推理速度。在本文中,我们提出了一种新的阶段意识的特征对齐网络(SFANet)的编码器-解码器结构的基础上的实时的【形】语义分割的街道场景。具体来说,提出了一个阶段感知的特征对齐模块(SFA),有效地对齐和聚合两个相邻级别的特征图。在SFA中,考虑到解码器中每个阶段的独特作用,设计了一种新颖的阶段感知特征增强块(FEB),以增强来自编码器的特征图的空间细节和上下文信息。通过这种方式,我们能够用非常简单和有效的多分支解码器结构来解决未对准问题。此外,辅助训练策略的开发,以显式地减轻多尺度对象的问题,而不会带来额外的计算成本在推理阶段。实验结果表明,SFANet算法在准确性和速度上取得了较好的平衡,能够实现街道场景的实时的【形】语义分割。特别是,基于ResNet-18,SFANet仅使用单个GTX 1080Ti GPU,在具有挑战性的Cityscapes和CamVid测试数据集上,以37 FPS和96 FPS的推理速度分别获得了78.1%和74.7%的按类交集(mIoU)平均值。
2022-03-08 cs.CV
Image Patch-Matching with Graph-Based Learning in Street Scenes
Continental-NTU Corporate Lab, Nanyang Technological University(大陆-南洋理工大学联合实验室);Continental Automotive Singapore Pte. Ltd.(大陆汽车新加坡私人有限公司)
本文针对街景图像块匹配提出基于空间图的联合特征与度量学习模型,利用图像块邻域关系提升匹配性能,并在多个数据集上取得最优结果。
2023-11-08 cs.CV
On the Potential of Open-Vocabulary Models for Object Detection in Unusual Street Scenes
Aptiv Services Deutschland GmbH(安波福德国服务有限公司);University of Wuppertal(伍珀塔尔大学)
本研究评估了四种开放词汇目标检测模型在异常街景OOD目标检测中的性能,发现它们虽有潜力但尚不完美,其中Grounding DINO在RoadObstacle21和LostAndFound上最优,YOLO-World在RoadAnomaly21上最优。
2024-08-20 cs.CV
EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(信息处理国家重点实验室,计算机学院,北京大学);Autonomous Driving Development, NIO(自动驾驶研发,蔚来);Institute of Software, Chinese Academy of Sciences(软件研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Intel Labs China(英特尔中国实验室)
针对街道场景中动态物体运动建模不足的问题,提出显式运动分解(EMD)模块,通过可学习运动嵌入增强高斯泼溅的场景分解,在自监督设置下达到最先进的新视角合成性能。
2025-07-09 cs.CV
Uncertainty Measures and Prediction Quality Rating for the Semantic Segmentation of Nested Multi Resolution Street Scene Images
University of Wuppertal(伍珀塔尔大学)
在街道场景的语义分割中,预测的可靠性以及因此的不确定性度量是最感兴趣的。我们提出了一种方法,为每个输入图像生成一个层次结构的嵌套作物周围的图像中心,并提出这些,所有重新缩放到相同的大小,神经网络的语义分割。然后对产生的softmax输出进行后处理,这样我们就可以研究所有图像作物的均值和方差,以及从应用于每个作物softmax输出的像素不确定性度量(如熵)获得的不确定性热图的均值和方差。在我们的测试中,我们使用公开的DeepLabv3+ MobilenetV2网络(在Cityscapes数据集上训练),并证明农作物的加入提高了预测的质量,并且我们获得了更可靠的不确定性度量。然后在预测的片段上聚合这些数据,以便在IoU=0和IoU>0之间进行分类(Meta分类)或通过线性回归(Meta回归)预测IoU。后者为分割网络提供了可靠的性能估计,特别是在没有地面实况的情况下。对于Meta分类的任务,我们获得了$81.93\%$的分类精度和$89.89\%$的AUROC。对于Meta回归,我们获得的$R^2$值为$84.77\%$。与其他方法相比,这些结果产生了显着的改进。
2019-04-09 cs.CV cs.LG stat.ML
3D StreetUnveiler with Semantic-aware 2DGS -- a simple baseline
ShanghaiTech University(上海科技大学);Nanyang Technological University(南洋理工大学);The University of Hong Kong(香港大学);HKU Shanghai Intelligent Computing Research Center(香港大学上海智能计算研究中心);Fudan University(复旦大学);Fudan ISTBI–ZJNU Algorithm Centre for Brain-inspired Intelligence, Zhejiang Normal University(复旦大学脑启发式智能算法中心,浙江师范大学)
提出StreetUnveiler,基于语义2DGS和时间反转框架,通过渲染alpha图划分区域并最小化修复范围,从拥挤车载视频中重建空旷街道的3D表示。
2025-04-30 cs.CV
Single Network Panoptic Segmentation for Street Scene Understanding
Eindhoven University of Technology(埃因霍温理工大学)
在这项工作中,我们提出了一个用于全景分割的单一深度神经网络,其目标是为输入图像的每个像素提供类别标签,如语义分割,以及图像中特定对象的唯一标识符,然后进行实例分割。我们的网络进行联合语义和实例分割预测,并将这些组合起来形成全景格式的输出。这有两个主要好处:首先,整个全景预测是在一次通过中进行的,减少了所需的计算时间和资源;其次,通过联合学习任务,信息在两个任务之间共享,从而提高了性能。我们的网络在两个街景数据集上进行评估:Cityscapes和Mapillary Vistas。通过利用信息交换和改进合并算法,我们提高了单个网络的性能,并在Mapillary Vistas验证的Panoptic Quality(PQ)指标上获得了23.9分,输入分辨率为640 x 900像素。在Cityscapes验证中,我们的方法在512 x 1024像素的输入分辨率下获得了45.9的PQ分数。此外,我们的方法相对于单独的网络将预测时间减少了2倍。
2019-02-07 cs.CV
MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes
CUHK(香港中文大学);HKUST(香港理工大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
提出 MagicDrive3D 框架,通过多视角视频生成与3DGS重建结合,实现道路地图、3D物体和文本控制的街道场景任意视角渲染。
2025-07-25 cs.AI cs.CV
Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes
Xiamen University(厦门大学);The University of Adelaide(阿德莱德大学)
深度卷积神经网络(DCNN)最近在语义图像分割方面表现出出色的性能。然而,由于使用复杂的网络架构,现有的基于DCNN的语义分割方法通常具有高计算复杂性。这极大地限制了它们在需要实时的【形】处理的真实世界场景中的应用。提出了一种基于实时的【形】高性能DCNN的城市街道场景鲁棒性语义分割方法,在准确性和速度之间取得了较好的平衡。具体来说,首先使用具有Atrous卷积和注意力的轻量级基线网络(LBN-AA)作为我们的基线网络,以有效地获得密集的特征图。然后,独特的Atrous空间金字塔池(DASPP),它利用不同大小的池化操作编码的丰富和独特的语义信息,在多个尺度上检测对象。同时,设计了一个具有浅卷积层的空间细节保持网络(SPN)来生成保留详细空间信息的高分辨率特征图。最后,一个简单但实用的特征融合网络(FFN)被用来有效地结合浅层和深层的功能,分别从语义分支(DASPP)和空间分支(SPN)。大量的实验结果表明,该方法在Cityscapes和CamVid测试数据集上分别达到了73.6%和68.0%的平均交集对并集(mIoU)的准确率,推理速度分别为51.0 fps和39.3 fps(仅使用单个NVIDIA TITAN X卡)。实验结果表明,该方法在实时的【形】【形状】语义分割方面具有良好的性能。
2020-04-03 cs.CV
Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们认为具有挑战性的问题,室外照明估计的目标逼真的虚拟物体插入到照片。现有的室外光照估计工作通常将场景光照简化为环境地图,无法捕捉室外场景中空间变化的光照效果。在这项工作中,我们提出了一种神经方法,可以从单个图像中估计5D HDR光场,以及一种可微分的对象插入公式,可以通过基于图像的损失进行端到端训练,从而鼓励真实感。具体来说,我们设计了一个混合照明表示量身定制的户外场景,其中包含一个HDR天空圆顶,处理极端强度的太阳,和体积照明表示,模型周围场景的空间变化的外观。通过估计的照明,我们的阴影感知对象插入是完全可区分的,这使得对合成图像的对抗训练能够为照明预测提供额外的监督信号。我们的实验表明,我们的混合照明表示比现有的室外照明估计方法更有效。我们进一步展示了我们在自动驾驶应用中插入AR对象的好处,当我们在增强数据上训练时,我们获得了3D对象检测器的性能增益。
2022-08-19 cs.CV
SkyLink: Unifying Street-Satellite Geo-Localization via UAV-Mediated 3D Scene Alignment
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(多媒体可信感知与高效计算重点实验室,教育部,厦门大学);School of Electronic and Information Engineering, Foshan University(电子与信息工程学院,佛山大学)
本文提出SkyLink,以无人机构建的3D场景为桥梁,结合检索增强、局部特征聚合及自监督跨视角对比学习,提升街景-卫星地理定位的鲁棒性。
2025-09-29 cs.CV cs.MM
RobustMat: Neural Diffusion for Street Landmark Patch Matching under Challenging Environments
Nanyang Technological University(南洋理工大学)
本文提出 RobustMat,结合卷积神经 ODE 与图神经 PDE 扩散模块,利用邻域信息提升街景地标块在季节、天气和光照变化下的匹配鲁棒性,并在多个数据集上达到最先进性能。
2023-11-07 cs.CV
From Sparse and Imperfect 2D Anchors to Consistent 3D Gaussian Street Scenes: Support-Aware Appearance
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与运载工程学院)
提出教师相对外观残差蒸馏方法,通过支持感知的高斯空间聚合和置信门控优化,将稀疏不完美2D锚点烘焙为一致3D高斯街景,平衡目标对齐、内容保持和跨视图一致性。
2026-06-25 cs.CV cs.GR
Deep Multi-Branch Aggregation Network for Real-Time Semantic Segmentation in Street Scenes
Xiamen University(厦门大学);University of Electronic Science and Technology of China(电子科技大学);Zhejiang Lab(之江实验室);University of Southern Queensland(南昆士兰大学)
实时的【形】语义分割的目标是在实时的【形】推理速度下实现高分割精度,在过去几年中受到了极大的关注。然而,许多最先进的实时的【形】语义分割方法往往牺牲一些空间细节或上下文信息的快速推理,从而导致分割质量的下降。在本文中,我们提出了一种新的深度多分支聚合网络(称为DMA-Net)的编码器-解码器结构的基础上进行实时的【形】语义分割的街道场景。具体来说,我们首先采用ResNet-18作为编码器,从不同的卷积阶段有效地生成各种级别的特征图。然后,我们开发了一个多分支聚合网络(MAN)作为解码器,以有效地聚合不同级别的特征图,并捕获多尺度信息。在城域网中,一个格增强的残差块被设计来增强网络的特征表示,通过利用格结构。同时,在特征聚合之前,引入一个特征转换块来显式地转换相邻分支的特征图。此外,使用全局上下文块来利用全局上下文信息。这些关键组件在统一的网络中紧密结合并共同优化。在具有挑战性的Cityscapes和CamVid数据集上进行的大量实验结果表明,我们提出的DMA-Net仅使用单个NVIDIA GTX 1080Ti GPU,在46.7 FPS和119.8 FPS的推理速度下分别获得了77.0%和73.6%的平均交集。这表明DMA-Net为街道场景中的语义分割提供了分割质量和速度之间的良好权衡。
2022-03-08 cs.CV
Out-of-Distribution Object Detection in Street Scenes via Synthetic Outlier Exposure and Transfer Learning
本文提出SynOE-OD框架,利用生成模型和开放词汇物体检测器生成语义丰富的异常数据,提升检测模型对分布外物体的鲁棒性,达到当前最佳的平均精度。
2026-10-16 cs.CV
$\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving
UC Berkeley(加州大学伯克利分校);Peking University(北京大学);Tsinghua University(清华大学)
本文提出自监督街道高斯方法$\ extit{S}^3$Gaussian,通过4D一致性从时空场网络中分解动态与静态元素,无需3D边界框标注即可在Waymo-Open数据集上实现最佳的街景3D重建。
2024-05-30 cs.AI cs.CV
StyledStreets: Multi-style Street Simulator with Spatial and Temporal Consistency
Li Auto Inc.(理想汽车)
StyledStreets提出了一种多风格街道模拟器,通过混合嵌入、不确定性感知渲染和统一参数模型,在保持空间和时间一致性的同时实现指令驱动的照片级风格迁移,应用于自动驾驶测试和增强现实。
2025-03-27 cs.CV
StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention
Li Auto Inc.(Li汽车公司);Zhejiang University(浙江大学)
本文提出StreetForward框架,通过交替注意力机制和时间掩码注意力模块,实现动态街道的前馈重建,统一表示静态内容和动态实例,并在Waymo数据集上验证了其在视图合成和深度估计上的优越性。
2026-03-20 cs.CV
ZeroSCD: Zero-Shot Street Scene Change Detection
Purdue University(普渡大学)
本文提出ZeroSCD,一个无需训练的零样本场景变化检测框架,利用位置识别和语义分割模型特征检测变化并精确描绘边界,在基准数据集上精度优于现有方法。
2024-09-23 cs.CV cs.RO
What Demands Attention in Urban Street Scenes? From Scene Understanding towards Road Safety: A Survey of Vision-driven Datasets and Studies
Australian Centre For Robotics (ACFR), The University of Sydney(澳大利亚机器人中心(ACFR)、悉尼大学)
本文通过系统分类交通场景中需要关注的关键元素,全面分析35个视觉驱动任务和73个数据集,提出统一分析框架,旨在促进道路安全研究。
2026-05-26 cs.CV
Erasing the Ephemeral: Joint Camera Refinement and Transient Object Removal for Street View Synthesis
Technical University of Munich(慕尼黑工业大学)
本文提出一种面向室外街景合成的方法,通过神经点光场表示、动态物体检测掩蔽以及相机位姿与视角合成的联合优化,在真实城市数据集上取得了最先进的新视角合成效果。
2023-11-29 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
LoLI-Street: Benchmarking Low-Light Image Enhancement and Beyond
Sungkyunkwan University(成均馆大学);The Australian National University(澳大利亚国立大学);Tech University of Korea(韩国技术大学)
针对街景配对数据稀缺问题,提出含33k配对图像的LoLI-Street数据集及基于transformer和扩散的TriFuse模型,显著提升低光照图像增强与目标检测效果。
2024-10-13 cs.AI cs.CE cs.CV
Classification Drives Geographic Bias in Street Scene Segmentation
Arizona State University(亚利桑那州立大学);Mila Quebec AI Institute(米拉魁北克人工智能研究所);University of Colorado Boulder(科罗拉多大学博尔德分校)
该研究针对实例分割任务,发现以欧洲驾驶场景训练的模型存在地理偏差,且偏差源于分类错误,通过粗粒度类别分组可缓解此偏差。
2026-09-01 cs.CV cs.CY cs.LG
Full-Resolution Residual Networks for Semantic Segmentation in Street Scenes
Visual Computing Institute RWTH Aachen University(亚琛工业大学视觉计算研究所)
语义图像分割是现代自动驾驶系统的重要组成部分,因为对周围场景的准确理解对于导航和行动规划至关重要。当前最先进的语义图像分割方法依赖于预先训练的网络,这些网络最初是为了将图像作为一个整体进行分类而开发的。虽然这些网络表现出出色的识别性能(即,什么是可见的?)它们缺乏定位精度(即,什么东西在哪里?)。因此,必须执行额外的处理步骤,以便在全图像分辨率下获得像素精确的分割掩模。为了缓解这个问题,我们提出了一种新的ResNet类架构,具有强大的定位和识别性能。我们通过在网络中使用两个处理流将多尺度上下文与像素级精度相结合:一个流以完整的图像分辨率携带信息,从而能够精确地遵守片段边界。另一个流经历一系列池化操作以获得用于识别的鲁棒特征。这两个流使用残差以全图像分辨率耦合。在没有额外处理步骤和预训练的情况下,我们的方法在Cityscapes数据集上实现了71.8%的交集得分。
2016-12-06 cs.CV
Is it safe to cross? Interpretable Risk Assessment with GPT-4V for Safety-Aware Street Crossing
Manning College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院)
本文提出利用GPT-4V等大型多模态模型对街道交叉口场景进行安全评分预测和自然语言描述,通过四足机器人采集的多视角数据验证其推理能力,为盲人和低视力人士提供可解释的安全过街决策支持。
2024-07-06 cs.AI cs.CV
DreamDrive: Generative 4D Scene Modeling from Street View Images
NVIDIA Research(英伟达研究院);University of Southern California(南加州大学)
本文提出DreamDrive,结合视频扩散模型、混合高斯表示与高斯泼溅,从街景图像生成可控、可泛化且3D一致的4D驾驶场景,并提升自动驾驶感知与规划。
2025-01-03 cs.AI cs.CV cs.GR