Obstacle Detection Quality as a Problem-Oriented Approach to Stereo Vision Algorithms Estimation in Road Situation Analysis
Institute for Information Transmission Problems (Kharkevich Institute) –IITP RAS(俄罗斯科学院信息传输问题研究所(哈尔凯维奇研究所))
在这项工作中,我们提出了一种基于立体视觉的障碍物检测技术的性能评估的方法,考虑到具体的道路情况分析,以尽量减少准备测试数据集所需的努力。这种方法被设计用于自动驾驶汽车或驾驶员辅助等系统中,也可以用作评估立体视觉算法的面向问题的质量标准。
2018-09-06 cs.CV
Have We Ever Encountered This Before? Retrieving Out-of-Distribution Road Obstacles from Driving Scenes
Continental AG(大陆集团);Technische Universität Berlin(柏林工业大学);Bielefeld University(比勒费尔德大学);Koç University(科奇大学)
针对自动驾驶中分布外(OoD)道路障碍物数据获取困难的问题,提出一种基于文本查询的OoD障碍物序列提取方法,利用OoD分割与多模态基础模型从未标注视频中检索安全相关场景,为OoD数据整理与分析提供支持。
2023-09-08 cs.CV
Adaptive-Mask Fusion Network for Segmentation of Drivable Road and Negative Obstacle With Untrustworthy Features
The Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
针对 RGB 与深度特征中无效深度导致的不可信特征问题,提出 AMFNet 自适应掩码融合机制,并发布大规模标注 RGB-深度数据集,实现道路与负障碍物分割的先进性能。
2023-04-27 cs.CV cs.RO
LiDAR guided Small obstacle Segmentation
KCIS, International Institute of Information Technology Hyderabad(KCIS,海得拉巴国际信息技术学院)
检测道路上的小障碍物对于自动驾驶至关重要。在本文中,我们提出了一种方法,通过稀疏激光雷达(VLP-16)和单目视觉的多模态框架来可靠地检测这样的障碍物。LiDAR用于以置信度图的形式向单目分割网络提供额外的上下文。我们表现出显着的性能增益时,上下文作为一个额外的输入单目语义分割框架。我们进一步向社区展示了一个新的语义分割数据集,包括3000多个图像帧和相应的激光雷达观测。这些图像带有三个类越野,道路和小障碍的像素明智的注释。我们强调,激光雷达和相机之间的精确校准是至关重要的这项任务,因此提出了一种新的Hausdorff距离为基础的外部参数的校准细化方法。作为这个数据集的第一个基准,我们报告了我们的结果,在具有挑战性的场景中,在50米的距离内有73%的实例检测。定性地通过展示在50米深度处小于15厘米的障碍物的准确分割,并且定量地通过与现有技术的有利比较,我们证明了该方法的有效性。我们的项目页面和数据集托管在www.example.com
2020-03-12 cs.CV cs.RO
Real-Time Roadway Obstacle Detection for Electric Scooters Using Deep Learning and Multi-Sensor Fusion
University of Virginia(弗吉尼亚大学);Mississippi State University(密西西比州立大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究提出一种基于深度学习和多传感器融合的电动滑板车地面障碍物检测系统,利用YOLO模型和Intel RealSense D435i摄像头,在7小时自然骑行数据集上实现0.827的mAP,有效提升了实时道路危险检测能力。
2025-04-04 cs.AI cs.CV cs.RO
Road obstacles positional and dynamic features extraction combining object detection, stereo disparity maps and optical flow data
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);National Institute for Digital Convergence(国家数字融合研究所)
智能车辆导航系统中最相关的任务之一是检测障碍物。重要的是,用于导航目的的视觉感知系统识别障碍物,并且该系统可以提取可能影响车辆行为的基本信息也很重要,无论它是为人类驾驶员生成警报还是引导自动驾驶车辆以便能够做出驾驶决策。在本文中,我们提出了一种方法,用于识别障碍物和提取类,位置,深度和运动信息,从这些对象,采用专门从被动视觉获得的数据。我们在两个不同的数据集上进行了实验,所获得的结果显示了使用深度和运动模式来评估障碍物的潜在威胁状态的良好效果。
2020-06-24 cs.CV
AVOID: The Adverse Visual Conditions Dataset with Obstacles for Driving Scene Understanding
KAIST(韩国科学技术院)
AVOID数据集通过模拟环境收集了多种恶劣天气条件下的道路障碍物,用于提升自动驾驶场景理解的实时障碍物检测能力。
2025-12-29 cs.CV
Depth and Image Fusion for Road Obstacle Detection Using Stereo Camera
Huawei St. Petersburg Research Center(华为圣彼得堡研究中心)
针对道路障碍物出现时间、形态未知且环境干扰导致ML/DL方法不适用的问题,提出结合RGB图像搜索与带SLIC超像素分割的立体图像检测的深度图像融合方法,经地下停车场实验验证可有效检测追踪小型道路障碍物。
2025-01-13 cs.CV cs.MM
MagicRoad: Semantic-Aware 3D Road Surface Reconstruction via Obstacle Inpainting
针对现有路面重建方法易受遮挡、杂波及环境变化影响的问题,提出MagicRoad框架,结合语义引导修复与色彩增强技术,实现真实场景下高质量3D路面重建,性能优于现有方法。
2025-07-31 cs.CV
The Right (Angled) Perspective: Improving the Understanding of Road Scenes Using Boosted Inverse Perspective Mapping
University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所)
自动驾驶汽车执行的许多任务,如道路标记检测、物体跟踪和路径规划,在鸟瞰图中都更简单。因此,反向透视映射(IPM)通常被应用于从车辆的前置摄像头去除透视效果,并将其图像重新映射到2D域,从而产生自上而下的视图。然而,不幸的是,由于相机的分辨率,这会导致物体在更远距离处的不自然模糊和拉伸,从而限制了适用性。在本文中,我们提出了一种对抗性学习方法,用于从实时的单个摄像机图像生成显着改进的IPM。生成的鸟瞰图像包含更清晰的特征(例如道路标记)和更均匀的照明,同时(动态)对象自动从场景中删除,从而以更好的方式显示底层道路布局。我们展示了我们的框架使用现实世界的数据从牛津RobotCar数据集,并表明,场景理解任务直接受益于我们的增强IPM方法。
2019-05-02 cs.CV cs.RO
Road Obstacle Detection based on Unknown Objectness Scores
Toyota Motor Corporation(丰田汽车公司)
本研究提出一种结合物体检测与像素级异常检测的方法,通过语义分割网络同时输出异常分数和目标性分数,并整合为未知目标性分数,有效提升了驾驶场景中未知障碍物检测的稳定性与性能。
2024-03-27 cs.CV cs.RO
Small Obstacle Avoidance Based on RGB-D Semantic Segmentation
CloudMinds Technologies(达闼科技)
本文提出了一种新的避障系统的道路机器人配备RGB-D传感器,捕捉其前进的道路上的场景。该系统的目的是让道路机器人自动移动,即使是与现有解决方案经常错过的小障碍物也不会发生任何碰撞。对于每个输入的RGB-D图像,系统使用一个新的两级语义分割网络,然后进行形态学处理,以生成准确的语义地图,包括道路和障碍物。在此基础上,进行局部路径规划以避免可能的碰撞。此外,光流监督和运动模糊增强训练方案,以提高相邻帧之间的时间一致性,并克服相机抖动造成的干扰。各种实验表明,该架构在室内和室外的情况下都获得了很高的性能。
2019-08-30 cs.CV
Real-time Fusion Network for RGB-D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road-driving Images
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hangzhou SurImage Technology Co., Ltd.(杭州视芯科技有限公司)
由于深度卷积神经网络的成功,语义分割取得了惊人的进展。基于自动驾驶的需求,实时的【形】语义分割成为近年来的研究热点。然而,很少实时的【形】RGB-D融合语义分割的研究进行,尽管容易获得的深度信息。在本文中,我们提出了一个实时的【形】融合语义分割网络称为RFNet,有效地利用互补的跨模态信息。基于高效的网络架构,RFNet能够快速运行,满足自动驾驶汽车应用。利用多数据集训练来结合意外的小障碍物检测,丰富了在现实世界中面对不可预见的危险所需的可识别类。一组全面的实验证明了我们的框架的有效性。在Cityscapes上,我们的方法优于以前最先进的语义分割器,在全2048 x1024分辨率下具有出色的准确性和22 Hz的推理速度,优于大多数现有的RGB-D网络。
2020-06-27 cs.CV cs.RO eess.IV
Rethinking Road Surface 3D Reconstruction and Pothole Detection: From Perspective Transformation to Disparity Map Segmentation
UC San Diego(加州大学圣地亚哥分校);Cyprus International University(塞浦路斯国际大学);the Hong Kong University of Science and Technology(香港科技大学);University of Thessaloniki(塞萨洛尼基大学)
路面坑槽是最常见的道路损坏形式之一,它会严重影响驾驶舒适性、道路安全性和车辆状况。坑洞检测通常由结构工程师或认证检查员执行。然而,这项任务不仅对工作人员有危险,而且极其耗时。提出了一种基于视差图估计和分割的路面坑槽检测算法。我们首先概括的透视变换,将立体钻机滚动角。然后使用半全局匹配来估计道路差异。然后执行视差图变换算法以更好地区分损坏的道路区域。最后,我们利用简单的线性迭代聚类,将变换后的视差分组为超像素的集合。然后通过找到超像素来检测坑洞,超像素的值低于自适应确定的阈值。该算法在NVIDIA RTX 2080 Ti GPU上实现。实验结果表明,我们提出的道路坑洞检测算法的准确性和效率,其中的准确率为99.6%,F-得分为89.4%。
2020-12-31 cs.CV cs.RO
Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling
Daimler AG R&D(戴姆勒股份公司研发部);TU Dresden(德累斯顿工业大学)
检测小型道路危险,例如丢失的货物,是自动驾驶汽车的一项重要功能。我们解决了这个具有挑战性的,很少解决的问题与视觉系统,利用外观,上下文以及几何线索。为了利用外观和上下文线索,我们提出了一种新的基于深度学习的障碍物检测框架。在这里,使用完全卷积网络的变体来预测(i)自由空间,(ii)道路上意外障碍物和(iii)背景的逐像素语义标记。几何线索利用国家的最先进的检测方法,通过基于模型的统计假设检验预测立体输入图像的障碍。我们提出了一个原则性的贝叶斯框架融合的语义和立体的检测结果。中层Stixel表示用于以灵活、紧凑和鲁棒的方式描述障碍物。我们在Lost and Found数据集上评估了我们的新障碍物检测系统,其中包括高度仅为5 cm的障碍物的非常具有挑战性的场景。总体而言,我们报告了对最先进技术的重大改进,相对性能增益高达50%。特别是,我们实现了超过90%的检测率,距离达50米。我们的系统在我们的自动驾驶平台上以22 Hz运行。
2016-12-20 cs.CV cs.RO
Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation
KAIST AI(韩国科学技术院人工智能学院);LG AI Research(LG人工智能研究院)
在语义分割中识别道路上的意外对象(例如,识别道路上的狗)在安全关键应用中至关重要。现有的方法使用来自外部数据集的意外对象的图像或需要额外的训练(例如,重新训练分段网络或训练额外的网络),这需要大量的劳动强度或冗长的推理时间。一种可能的替代方案是使用预先训练的网络的预测分数,例如最大logits(即,最后softmax层之前的类之间的最大值)来检测这样的对象。然而,每个预测类的最大logits的分布是显着不同的,这降低了识别城市场景分割中的意外对象的性能。为了解决这个问题,我们提出了一种简单而有效的方法,它可以调整最大logits,以便对齐不同的分布,并反映每个预测类中最大logits的相对含义。此外,我们认为从两个不同的角度来看,基于直觉,相邻像素共享相似的语义信息的局部区域。与以前的方法相比,我们的方法不使用任何外部数据集或需要额外的训练,这使得我们的方法广泛适用于现有的预训练分割模型。这种直接的方法在公开的Fishyscapes Lost & Found排行榜上实现了新的最先进的表现。我们的代码可在此$\href{https://github.com/shjung13/Standardized-max-logits}{link}$上公开获取。
2021-10-11 cs.CV
Developing a Purely Visual Based Obstacle Detection using Inverse Perspective Mapping
ETH Zurich(苏黎世联邦理工学院)
我们的解决方案是在Duckietown的框架内实施的。Duckietown的目标是提供一个相对简单的平台来探索、处理和解决与自动驾驶相关的许多问题。“Duckietown”的基础很简单,但它是一个无限扩展的环境。从控制单个驾驶Duckiebots到完整的车队管理,每一种场景都是可能的,并且可以付诸实践。到目前为止,没有一个现有的模块能够可靠地检测障碍物并对它们做出实时的反应。我们面临的一般问题是,从安装在Duckiebot前面的单目RGB摄像头获得图像来检测障碍物,并对它们做出正确的反应,而不会崩溃或错误地停止Duckiebot。检测和反应都必须在Raspberry Pi上实现,并且必须在实时的上运行。由于硬件的限制,我们决定不对障碍物检测部分使用任何学习算法。正如后来所发生的那样,一个工作的“硬编码”软件需要对给定问题进行彻底的分析和理解。通俗地说,我们只是想让达克镇变得更安全。
2018-09-04 cs.CV cs.RO
Fast Local Planning and Mapping in Unknown Off-Road Terrain
Texas A&M University(德州农工大学)
在本文中,我们提出了一个快速,在线地图和规划解决方案,在未知的,越野,环境中的操作。我们将障碍物检测与地形梯度图相结合,以制作简单且适应性强的成本图。该图可以在10 Hz下创建和更新。A* 规划器在地图上找到最优路径。最后,我们在控制输入空间上取多个样本,并进行运动学正向仿真,以生成可行的轨迹。然后,由成本图和与A* 路径的接近度确定的最优轨迹被选择并发送到控制器。我们的方法允许在30 Hz的速率下实时的操作。我们证明了我们的方法在各种越野地形在高速的效率。
2019-10-18 cs.CV cs.RO
Cooperative Saliency-based Obstacle Detection and AR Rendering for Increased Situational Awareness
University of Patras(帕特雷大学)
预计未来几年,自动驾驶汽车将在现实道路条件下安全运行。然而,意外事件,如道路范围内存在意外物体,可能会危及安全。传感和通信技术以及物联网的进步可以促进在合作驾驶方案中识别危险情况和信息交换,为增加合作态势感知提供新的机会。如今,可以通过采用挡风玻璃形式的新颖的增强现实(AR)接口来实现所获得的信息的安全且不显眼的可视化。受这些技术机会的激励,我们在这项工作中提出了一种基于显着性的分布式协作障碍物检测和渲染方案,通过(i)自动障碍物检测,(ii)AR可视化和(iii)与其他联网车辆或道路基础设施共享信息(即将到来的潜在危险)来提高驾驶员的态势感知能力。使用各种真实数据集进行坑洞检测的广泛评估研究表明,与其他最近的相关方法相比,所提出的方法提供了有利的结果和功能。
2023-02-02 cs.CV eess.IV
Detecting Lane and Road Markings at A Distance with Perspective Transformer Layers
Tongji University(同济大学)
车道和道路标记的准确检测是智能车辆的一项重要任务。在现有的方法中,检测精度往往随着距离的增加而降低。这是由于远距离的车道和道路标记在图像中占据少量像素,并且车道和道路标记的比例在不同距离和视角下不一致。反向透视映射(IPM)可以消除透视失真,但其固有的插值会导致伪影,特别是在较远的车道和道路标记周围,从而对车道标记检测和分割的准确性产生负面影响。为了解决这个问题,我们采用全卷积网络的编码器-解码器架构,并利用空间Transformer网络的思想,引入一种新的语义分割神经网络。该方法将IPM过程分解为多个连续的可微单应变换层,称为“透视Transformer层”。此外,内插的特征图由后续卷积层细化,从而减少伪影并提高准确性。在TuSimple和ApolloScape两个公共数据集上验证了该方法在车道线检测中的有效性
2020-10-25 cs.CV
PT-ResNet: Perspective Transformation-Based Residual Network for Semantic Road Image Segmentation
Shanghai Jiao Tong University(上海交通大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);the Hong Kong University of Science and Technology(香港科技大学)
道路区域语义分割是道路场景理解的一个重要环节。本文提出了一种用于语义道路分割的残差网络。首先,我们将道路视差在v-视差图中的投影表示为线性模型,该线性模型可以通过使用动态规划优化v-视差图来估计。然后利用该线性模型来减少左右道路图像中的冗余信息。将右图像也转换为左透视图,这大大增强了两幅图像之间的路面相似性。最后,将处理后的立体图像及其视差图连接起来,以创建一组3D图像,然后利用这些图像来训练我们的神经网络。实验结果表明,我们的网络在分析来自KITTI道路数据集的图像时,达到了约91.19%的最大F1度量。
2019-10-29 cs.CV cs.LG cs.RO
Hierarchical Road Topology Learning for Urban Map-less Driving
Mercedes-Benz R&D NA(梅赛德斯-奔驰北美研发中心)
目前自动驾驶的大多数方法都依赖于高清(HD)地图,这些地图详细描述了道路几何形状和周围区域。然而,由于这种现有地图的可扩展性差,这种依赖是大规模部署自动驾驶车辆的障碍之一。在本文中,我们解决了在线道路地图提取的问题,通过利用车辆本身的感官系统。为此,我们设计了一个结构化模型,其中道路网络的图形表示在完全卷积网络中以分层方式生成。该方法能够处理复杂的道路拓扑结构,并且不需要用户在回路中。
2021-03-31 cs.CV cs.LG cs.RO
MFMAN-YOLO: A Method for Detecting Pole-like Obstacles in Complex Environment
College of Mechanical Engineering, Tianjin University of Science & Technology(天津科技大学机械工程学院)
针对复杂环境下杆状障碍物特征易丢失、检测精度与实时性不足的问题,提出MFMAN-YOLO算法,结合MK最优传输、优化多尺度特征金字塔与混合注意力机制,在真实道路测试中实现高精度实时检测,助力自动驾驶技术发展。
2023-07-24 cs.CV
DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection
Shanghai University(上海大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
提出DDStereo,一种双解码器立体Transformer,通过轻量级解码器分支和紧凑视差特征提取器,实现实时开放集3D目标检测,在封闭和开放集协议下均达到最先进精度。
2026-07-08 cs.CV
A Computer Vision Approach for Autonomous Cars to Drive Safe at Construction Zone
University of Siegen(锡根大学)
本文提出一种基于计算机视觉和YOLO框架的道路障碍物检测模型,用于在施工区域及多种漂移条件下精准识别障碍物,验证集平均精度超94%、推理时间1.6毫秒,有效提升自动驾驶安全性。
2024-09-24 cs.CV cs.RO
Virtual-Blind-Road Following Based Wearable Navigation Device for Blind People
Beihang University(北京航空航天大学);CloudMinds Technologies Inc.(达闼科技有限公司);CATT(大唐电信科学技术研究院)
为了帮助盲人在室内环境中高效、安全地步行到目的地,提出了一种新型的可穿戴式导航装置。定位、寻路、路径跟踪和避障模块是导航系统中的重要组成部分,但由于室内环境复杂多变,且可能存在动态物体,因此在路径跟踪过程中考虑避障仍然是一项具有挑战性的任务。为了解决这个问题,我们提出了一种新的方案,利用动态的子目标选择策略,引导用户到目的地,并帮助他们绕过障碍物在同一时间。该方案是部署在一副可穿戴光学透视眼镜上的完整导航系统的关键组成部分,以方便盲人日常行走。所提出的导航设备已被测试的个人集合,并证明是有效的室内导航任务。嵌入的传感器具有成本低、体积小、易于集成等特点,使眼镜作为可穿戴消费设备得到广泛应用。
2019-04-30 cs.CV eess.IV
Cut-and-Paste with Precision: a Content and Perspective-aware Data Augmentation for Road Damage Detection
KTH(瑞典皇家理工学院);Intelligent Maintenance and Operations Systems, EPFL(洛桑联邦理工学院智能维护与运行系统)
针对标准剪切粘贴数据增强在道路损伤检测中效果有限的问题,提出一种兼具内容感知与视角感知的改进方法,以生成更真实的增强图像、提升数据多样性。
2024-07-10 cs.CV eess.IV
Off-Road LiDAR Intensity Based Semantic Segmentation
IISER Bhopal(印度科学教育与研究学院博帕尔分校)
本文提出利用激光雷达强度参数增强越野环境中的语义分割,在RELLIS-3D数据集上对水坑和草地类别取得了优于复杂深度学习基准的mIoU,并验证了跨Velodyne和Ouster平台的适用性。
2024-01-02 cs.CV cs.RO
Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry
aiMotive
针对自动驾驶中通用障碍物检测难题,提出结合多模态基础模型与几何推理的免训练零样本方法,能精准定位达100米,借基础模型先验提升召回率,还可实现可扩展自动标注。
2026-07-13 cs.CV
Action Detection from a Robot-Car Perspective
Universitá degli Studi Federico II(那不勒斯费德里科二世大学);Oxford Brookes University(牛津布鲁克斯大学)
我们提出了新的道路事件和活动检测(READ)数据集,从自动驾驶汽车的角度设计和创建,以应对自动驾驶的行动检测挑战。READ将为计算机视觉、智能汽车和机器学习领域的学者提供机会,研究令人兴奋的新问题,如理解复杂的(道路)活动、识别有感知能力的代理的行为、预测未来行动和事件的标签和位置,最终目标是支持自主决策。
2018-07-30 cs.CV cs.MA cs.RO
Translating Images to Road Network: A Sequence-to-Sequence Perspective
School of Data Science, Fudan University(复旦大学数据科学学院);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出 RoadNet Sequence 统一表示路网的欧氏与非欧氏结构,并通过非自回归序列到序列 Transformer 及拓扑继承训练,在 nuScenes 上实现高效准确的路网提取。
2025-08-20 cs.CV
Road surface detection and differentiation considering surface damages
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);National Institute for Digital Convergence(国家数字融合研究所)
在车辆和机器人在严重受损和未铺设道路上导航的视觉感知领域仍需克服的挑战是可靠的路径和障碍物检测任务。绝大多数的研究都是以发达国家的状况良好的道路作为场景.这些工程应对的路面变化情况很少,甚至出现路面损坏的情况也很少。在本文中,我们提出了一种道路检测的方法,考虑到表面类型的变化,确定铺装和未铺装的表面,也检测损坏和其他信息的其他路面上,可能是相关的驾驶安全。我们还提出了一个新的地面真理与图像分割,在我们的方法中使用,使我们能够评估我们的结果。我们的研究结果表明,这是可能的,使用被动视觉为这些目的,即使使用低成本相机捕获的图像。
2020-06-23 cs.CV
Camera Perspective Transformation to Bird's Eye View via Spatial Transformer Model for Road Intersection Monitoring
Lane Department of Computer Science and Electrical Engineering(莱恩计算机科学与电气工程系);West Virginia University(西弗吉尼亚大学)
针对真实场景下道路交叉口难以获取可用鸟瞰图导致监测控制难以落地的问题,提出SDD-UNet模型实现单相机视角到BEV的转换,消除图像失真,精度远超原始UNet,支持仿真训练模型直接部署到真实场景。
2024-08-14 cs.CV
HeightFormer: A Semantic Alignment Monocular 3D Object Detection Method from Roadside Perspective
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Southeast University(东南大学);Li Auto Inc(理想汽车)
针对路侧单目3D目标检测中高度对齐与鸟瞰特征提取效率不足的问题,提出融合Spatial Former与Voxel Pooling Former的HeightFormer框架,在Rope3D和DAIR-V2X-I上对车辆和骑行者检测均表现优异,助力车路协同与自动驾驶应用。
2024-10-21 cs.CV
Weakly But Deeply Supervised Occlusion-Reasoned Parametric Road Layouts
NEC Laboratories America(NEC美国实验室);UC San Diego(加州大学圣地亚哥分校)
我们提出了一个端到端的网络,需要一个单一的角度RGB图像的一个复杂的道路场景作为输入,在透视空间以及一个参数鸟瞰图(BEV)空间中产生遮挡的布局。与需要密集监督的先前作品(如透视图中的语义标签)相比,我们的方法只需要对参数属性进行人工注释,这些参数属性更便宜,更容易获得。为了解决这一具有挑战性的任务,我们的设计是由模块,结合归纳偏见,学习闭塞推理,几何变换和语义抽象,其中每个模块可以通过适当地转换参数注释进行监督。我们展示了我们的设计选择和建议的深度监督如何帮助实现有意义的表示和准确的预测。我们在两个公共数据集KITTI和NuScenes上验证了我们的方法,以实现最先进的结果,同时大大减少人工监督。
2022-04-13 cs.CV
Road Detection in Snowy Forest Environment using RGB Camera
Hokkaido University(北海道大学)
自动驾驶技术在过去几年中获得了很大的发展势头。对于勘探领域来说,导航是实现自主作业的重要关键。在困难的场景中,如积雪环境,道路被雪覆盖,在这种情况下,仅使用基本技术是不可能进行道路检测的。介绍了利用RGB摄像机对森林环境中的雪道进行检测。该方法结合噪声滤波技术和形态学运算对图像成分进行分类。通过假设所有道路都被雪覆盖,并将雪部分定义为道路区域。从道路的透视图像来看,道路的消失点是划分道路区域的因素之一。用三角形拟合法求出了消失点。算法的性能通过两个误差值来评估:假阴性率和假阳性率。实验结果表明,该方法对直线道路检测效率较高,但对曲线道路检测效率较低。在未来的工作中,此道路区域将与来自相机的深度信息一起应用于障碍物检测。
2022-12-16 cs.CV
SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation
University of Wuppertal(伍珀塔尔大学)
最先进的语义或实例分割深度神经网络(DNN)通常在语义类的封闭集合上训练。因此,他们没有能力处理以前看不见的物体。然而,检测和定位这些物体对于安全关键型应用至关重要,例如自动驾驶的感知,特别是当它们出现在前方道路上时。虽然一些方法已经解决了异常或分布外对象分割的任务,但进展仍然缓慢,这在很大程度上是由于缺乏可靠的基准;现有的数据集要么由合成数据组成,要么存在标签不一致的问题。在本文中,我们通过引入“SegmentMeIfYouCan”基准来弥合这一差距。我们的基准测试解决了两个任务:异常对象分割,它考虑任何以前看不见的对象类别;和道路障碍物分割,它关注道路上的任何对象,它可能是已知的或未知的。我们提供了两个相应的数据集,以及一个测试套件进行深入的方法分析,考虑到建立像素方面的性能指标和最近的组件方面的,这是不敏感的对象大小。我们使用我们的测试套件,在我们的数据集和公共数据集上对多个最先进的基线方法进行了经验评估,包括专门为异常/障碍分割设计的几个模型。异常和障碍分割结果表明,我们的数据集有助于两个数据景观的多样性和难度。
2021-11-09 cs.CV
Holistically-Nested Structure-Aware Graph Neural Network for Road Extraction
Huawei Helsinki Research Center(华为赫尔辛基研究中心)
针对CNN道路提取中长弯曲道路描绘差、拓扑结构缺失等问题,提出同时检测道路区域与边界的多任务GNN,以增强连通性并区分相似地物,提升边界描绘与提取精度。
2024-07-08 cs.CV
LARAD: Layout-Aware Road Anomaly Detection via Spatial-Logic Reasoning
Shanghai University(上海大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对自动驾驶中异常检测问题,提出LARAD方法,通过空间逻辑推理,引入SLVS管道生成训练样本,并用轻量级注意力分支增强分割网络,显著提升对逻辑异常的鲁棒性,保持单模型架构高效率并达新的技术水平。
2026-07-15 cs.CV
Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);DiDi Chuxing(滴滴出行);University of Chinese Academy of Sciences(中国科学院大学)
本文综述了面向道路场景的多模态多任务视觉理解基础模型(MM-VUFMs),系统分析其学习范式、关键挑战与未来趋势,并提供了持续更新的资源库。
2024-05-26 cs.CV cs.LG
Natural-language-driven Simulation Benchmark and Copilot for Efficient Production of Object Interactions in Virtual Road Scenes
Tianjin University(天津大学)
该研究提出自然语言驱动仿真理念,构建含12万条描述的L2I基准数据集,设计SimCopilot将交互描述转为可渲染代码,为虚拟道路场景多物体交互高效生成及自动驾驶系统测试提供支持。
2023-12-15 cs.CV
Investigating YOLO Models Towards Outdoor Obstacle Detection For Visually Impaired People
Nansha College Preparatory Academy(南沙学院预科学院);University of Oxford(牛津大学)
为辅助视障人士户外避障,研究对比7种YOLO系列目标检测模型在障碍物数据集上的性能,发现YOLOv8表现最优,最新的YOLO-NAS反而不适用于该任务。
2023-12-10 cs.AI cs.CV cs.LG
RSUD20K: A Dataset for Road Scene Understanding In Autonomous Driving
Concordia University(康考迪亚大学)
提出RSUD20K道路场景理解数据集,包含2万多张高分辨率图像和13万个边界框标注,覆盖复杂场景与天气,并基准测试了多种目标检测器及大型视觉模型标注能力。
2024-02-09 cs.CV
Accurate Localization of Road Traffic Objects on the Road Plane Using Surveillance Camera Imagery
针对单目路边监控车辆定位误差大的问题,提出两阶段几何感知定位流水线,经CARLA合成数据训练、DAIR-V2X真实数据微调后,定位精度大幅提升,尤其对远距离车辆效果显著。
2026-08-07 cs.CV eess.IV