AVOID: The Adverse Visual Conditions Dataset with Obstacles for Driving Scene Understanding
KAIST(韩国科学技术院)
AVOID数据集通过模拟环境收集了多种恶劣天气条件下的道路障碍物,用于提升自动驾驶场景理解的实时障碍物检测能力。
2025-12-29 cs.CV
MagicRoad: Semantic-Aware 3D Road Surface Reconstruction via Obstacle Inpainting
针对现有路面重建方法易受遮挡、杂波及环境变化影响的问题,提出MagicRoad框架,结合语义引导修复与色彩增强技术,实现真实场景下高质量3D路面重建,性能优于现有方法。
2025-07-31 cs.CV
Small Obstacle Avoidance Based on RGB-D Semantic Segmentation
CloudMinds Technologies(达闼科技)
本文提出了一种新的避障系统的道路机器人配备RGB-D传感器,捕捉其前进的道路上的场景。该系统的目的是让道路机器人自动移动,即使是与现有解决方案经常错过的小障碍物也不会发生任何碰撞。对于每个输入的RGB-D图像,系统使用一个新的两级语义分割网络,然后进行形态学处理,以生成准确的语义地图,包括道路和障碍物。在此基础上,进行局部路径规划以避免可能的碰撞。此外,光流监督和运动模糊增强训练方案,以提高相邻帧之间的时间一致性,并克服相机抖动造成的干扰。各种实验表明,该架构在室内和室外的情况下都获得了很高的性能。
2019-08-30 cs.CV
Perspective Aware Road Obstacle Detection
EPFL(洛桑联邦理工学院)
针对道路障碍物检测中忽视透视导致表观尺寸变化的问题,本文提出利用尺度图编码透视信息,通过生成合成训练数据和引导检测网络解码,显著提升实例级检测性能,优于现有方法。
2023-06-19 cs.CV cs.RO
Depth and Image Fusion for Road Obstacle Detection Using Stereo Camera
Huawei St. Petersburg Research Center(华为圣彼得堡研究中心)
针对道路障碍物出现时间、形态未知且环境干扰导致ML/DL方法不适用的问题,提出结合RGB图像搜索与带SLIC超像素分割的立体图像检测的深度图像融合方法,经地下停车场实验验证可有效检测追踪小型道路障碍物。
2025-01-13 cs.CV cs.MM
LOGOS: LiDAR-Only Gaussian Elevation Splatting for Unified Tiny Obstacle Segmentation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院)
提出LOGOS系统,通过将路面建模为2D高斯原语的连续混合,利用无反向传播的激光雷达方法估计高程,实现微小障碍物分割,在道路和越野场景中优于现有方法。
2026-06-23 cs.CV cs.RO
Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation
KAIST AI(韩国科学技术院人工智能学院);LG AI Research(LG人工智能研究院)
在语义分割中识别道路上的意外对象(例如,识别道路上的狗)在安全关键应用中至关重要。现有的方法使用来自外部数据集的意外对象的图像或需要额外的训练(例如,重新训练分段网络或训练额外的网络),这需要大量的劳动强度或冗长的推理时间。一种可能的替代方案是使用预先训练的网络的预测分数,例如最大logits(即,最后softmax层之前的类之间的最大值)来检测这样的对象。然而,每个预测类的最大logits的分布是显着不同的,这降低了识别城市场景分割中的意外对象的性能。为了解决这个问题,我们提出了一种简单而有效的方法,它可以调整最大logits,以便对齐不同的分布,并反映每个预测类中最大logits的相对含义。此外,我们认为从两个不同的角度来看,基于直觉,相邻像素共享相似的语义信息的局部区域。与以前的方法相比,我们的方法不使用任何外部数据集或需要额外的训练,这使得我们的方法广泛适用于现有的预训练分割模型。这种直接的方法在公开的Fishyscapes Lost & Found排行榜上实现了新的最先进的表现。我们的代码可在此$\href{https://github.com/shjung13/Standardized-max-logits}{link}$上公开获取。
2021-10-11 cs.CV
Lost and Found: Detecting Small Road Hazards for Self-Driving Vehicles
Daimler R&D(戴姆勒研发中心);TU Dresden(德累斯顿工业大学)
检测前方道路上的小障碍物是驾驶任务的关键部分,必须由全自动驾驶汽车掌握。在本文中,我们提出了一种基于立体视觉的方法来可靠地检测这样的障碍物从移动车辆。该算法直接在视差空间中对立体图像数据进行统计假设检验,评估独立局部补丁上的自由空间和障碍假设。这种检测方法不依赖于全局道路模型,并处理静态和移动障碍物。为了进行评估,我们采用了一种新的丢失货物图像序列数据集,包括超过2000帧的障碍物和自由空间的像素注释,并提供了一个彻底的比较,以几个立体为基础的基线方法。该数据集将提供给社区,以促进对这一重要主题的进一步研究。该方法优于所有考虑的基线,在我们的评估像素和对象的水平和运行在帧速率高达20 Hz的2兆像素的立体图像。可以在20 m的距离内以低误报率成功地检测到低至5 cm高度的小障碍物。
2016-09-15 cs.CV cs.RO
MFMAN-YOLO: A Method for Detecting Pole-like Obstacles in Complex Environment
College of Mechanical Engineering, Tianjin University of Science & Technology(天津科技大学机械工程学院)
针对复杂环境下杆状障碍物特征易丢失、检测精度与实时性不足的问题,提出MFMAN-YOLO算法,结合MK最优传输、优化多尺度特征金字塔与混合注意力机制,在真实道路测试中实现高精度实时检测,助力自动驾驶技术发展。
2023-07-24 cs.CV
DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection
Shanghai University(上海大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
提出DDStereo,一种双解码器立体Transformer,通过轻量级解码器分支和紧凑视差特征提取器,实现实时开放集3D目标检测,在封闭和开放集协议下均达到最先进精度。
2026-07-08 cs.CV
Adaptive-Mask Fusion Network for Segmentation of Drivable Road and Negative Obstacle With Untrustworthy Features
The Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
针对 RGB 与深度特征中无效深度导致的不可信特征问题,提出 AMFNet 自适应掩码融合机制,并发布大规模标注 RGB-深度数据集,实现道路与负障碍物分割的先进性能。
2023-04-27 cs.CV cs.RO
LiDAR guided Small obstacle Segmentation
KCIS, International Institute of Information Technology Hyderabad(KCIS,海得拉巴国际信息技术学院)
检测道路上的小障碍物对于自动驾驶至关重要。在本文中,我们提出了一种方法,通过稀疏激光雷达(VLP-16)和单目视觉的多模态框架来可靠地检测这样的障碍物。LiDAR用于以置信度图的形式向单目分割网络提供额外的上下文。我们表现出显着的性能增益时,上下文作为一个额外的输入单目语义分割框架。我们进一步向社区展示了一个新的语义分割数据集,包括3000多个图像帧和相应的激光雷达观测。这些图像带有三个类越野,道路和小障碍的像素明智的注释。我们强调,激光雷达和相机之间的精确校准是至关重要的这项任务,因此提出了一种新的Hausdorff距离为基础的外部参数的校准细化方法。作为这个数据集的第一个基准,我们报告了我们的结果,在具有挑战性的场景中,在50米的距离内有73%的实例检测。定性地通过展示在50米深度处小于15厘米的障碍物的准确分割,并且定量地通过与现有技术的有利比较,我们证明了该方法的有效性。我们的项目页面和数据集托管在www.example.com
2020-03-12 cs.CV cs.RO
Cooperative Saliency-based Obstacle Detection and AR Rendering for Increased Situational Awareness
University of Patras(帕特雷大学)
预计未来几年,自动驾驶汽车将在现实道路条件下安全运行。然而,意外事件,如道路范围内存在意外物体,可能会危及安全。传感和通信技术以及物联网的进步可以促进在合作驾驶方案中识别危险情况和信息交换,为增加合作态势感知提供新的机会。如今,可以通过采用挡风玻璃形式的新颖的增强现实(AR)接口来实现所获得的信息的安全且不显眼的可视化。受这些技术机会的激励,我们在这项工作中提出了一种基于显着性的分布式协作障碍物检测和渲染方案,通过(i)自动障碍物检测,(ii)AR可视化和(iii)与其他联网车辆或道路基础设施共享信息(即将到来的潜在危险)来提高驾驶员的态势感知能力。使用各种真实数据集进行坑洞检测的广泛评估研究表明,与其他最近的相关方法相比,所提出的方法提供了有利的结果和功能。
2023-02-02 cs.CV eess.IV
Real-time Fusion Network for RGB-D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road-driving Images
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hangzhou SurImage Technology Co., Ltd.(杭州视芯科技有限公司)
由于深度卷积神经网络的成功,语义分割取得了惊人的进展。基于自动驾驶的需求,实时的【形】语义分割成为近年来的研究热点。然而,很少实时的【形】RGB-D融合语义分割的研究进行,尽管容易获得的深度信息。在本文中,我们提出了一个实时的【形】融合语义分割网络称为RFNet,有效地利用互补的跨模态信息。基于高效的网络架构,RFNet能够快速运行,满足自动驾驶汽车应用。利用多数据集训练来结合意外的小障碍物检测,丰富了在现实世界中面对不可预见的危险所需的可识别类。一组全面的实验证明了我们的框架的有效性。在Cityscapes上,我们的方法优于以前最先进的语义分割器,在全2048 x1024分辨率下具有出色的准确性和22 Hz的推理速度,优于大多数现有的RGB-D网络。
2020-06-27 cs.CV cs.RO eess.IV
Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry
aiMotive
针对自动驾驶中通用障碍物检测难题,提出结合多模态基础模型与几何推理的免训练零样本方法,能精准定位达100米,借基础模型先验提升召回率,还可实现可扩展自动标注。
2026-07-13 cs.CV
Off-Road Drivable Area Extraction Using 3D LiDAR Data
Peking University(北京大学);China North Vehicle Research Institute(中国北方车辆研究所)
提出了一种基于3D LiDAR数据的越野可行驶区域提取方法,并将其应用于自动驾驶领域。设计了一个特定的深度学习框架来处理模糊区域,这是越野环境中的主要挑战之一。为了减少对人工标注数据的大量需求,我们利用了大量车辆路径和自动生成的障碍物标签的信息。使用这些自动生成的注释,可以使用弱监督或半监督方法训练所提出的网络,这可以用更少的人工注释实现更好的性能。在数据集上的实验验证了该框架的合理性以及弱监督和半监督方法的有效性。
2020-03-10 cs.CV
Road Obstacle Detection based on Unknown Objectness Scores
Toyota Motor Corporation(丰田汽车公司)
本研究提出一种结合物体检测与像素级异常检测的方法,通过语义分割网络同时输出异常分数和目标性分数,并整合为未知目标性分数,有效提升了驾驶场景中未知障碍物检测的稳定性与性能。
2024-03-27 cs.CV cs.RO
Virtual-Blind-Road Following Based Wearable Navigation Device for Blind People
Beihang University(北京航空航天大学);CloudMinds Technologies Inc.(达闼科技有限公司);CATT(大唐电信科学技术研究院)
为了帮助盲人在室内环境中高效、安全地步行到目的地,提出了一种新型的可穿戴式导航装置。定位、寻路、路径跟踪和避障模块是导航系统中的重要组成部分,但由于室内环境复杂多变,且可能存在动态物体,因此在路径跟踪过程中考虑避障仍然是一项具有挑战性的任务。为了解决这个问题,我们提出了一种新的方案,利用动态的子目标选择策略,引导用户到目的地,并帮助他们绕过障碍物在同一时间。该方案是部署在一副可穿戴光学透视眼镜上的完整导航系统的关键组成部分,以方便盲人日常行走。所提出的导航设备已被测试的个人集合,并证明是有效的室内导航任务。嵌入的传感器具有成本低、体积小、易于集成等特点,使眼镜作为可穿戴消费设备得到广泛应用。
2019-04-30 cs.CV eess.IV
SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation
University of Wuppertal(伍珀塔尔大学)
最先进的语义或实例分割深度神经网络(DNN)通常在语义类的封闭集合上训练。因此,他们没有能力处理以前看不见的物体。然而,检测和定位这些物体对于安全关键型应用至关重要,例如自动驾驶的感知,特别是当它们出现在前方道路上时。虽然一些方法已经解决了异常或分布外对象分割的任务,但进展仍然缓慢,这在很大程度上是由于缺乏可靠的基准;现有的数据集要么由合成数据组成,要么存在标签不一致的问题。在本文中,我们通过引入“SegmentMeIfYouCan”基准来弥合这一差距。我们的基准测试解决了两个任务:异常对象分割,它考虑任何以前看不见的对象类别;和道路障碍物分割,它关注道路上的任何对象,它可能是已知的或未知的。我们提供了两个相应的数据集,以及一个测试套件进行深入的方法分析,考虑到建立像素方面的性能指标和最近的组件方面的,这是不敏感的对象大小。我们使用我们的测试套件,在我们的数据集和公共数据集上对多个最先进的基线方法进行了经验评估,包括专门为异常/障碍分割设计的几个模型。异常和障碍分割结果表明,我们的数据集有助于两个数据景观的多样性和难度。
2021-11-09 cs.CV
Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling
Daimler AG R&D(戴姆勒股份公司研发部);TU Dresden(德累斯顿工业大学)
检测小型道路危险,例如丢失的货物,是自动驾驶汽车的一项重要功能。我们解决了这个具有挑战性的,很少解决的问题与视觉系统,利用外观,上下文以及几何线索。为了利用外观和上下文线索,我们提出了一种新的基于深度学习的障碍物检测框架。在这里,使用完全卷积网络的变体来预测(i)自由空间,(ii)道路上意外障碍物和(iii)背景的逐像素语义标记。几何线索利用国家的最先进的检测方法,通过基于模型的统计假设检验预测立体输入图像的障碍。我们提出了一个原则性的贝叶斯框架融合的语义和立体的检测结果。中层Stixel表示用于以灵活、紧凑和鲁棒的方式描述障碍物。我们在Lost and Found数据集上评估了我们的新障碍物检测系统,其中包括高度仅为5 cm的障碍物的非常具有挑战性的场景。总体而言,我们报告了对最先进技术的重大改进,相对性能增益高达50%。特别是,我们实现了超过90%的检测率,距离达50米。我们的系统在我们的自动驾驶平台上以22 Hz运行。
2016-12-20 cs.CV cs.RO
Vehicle Local Position Estimation System
Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校);International Institute of Information Technology, Bangalore(班加罗尔国际信息技术研究所)
本文提出了一种基于单摄像机和GPS的车辆局部位置估计方法。采用一种改进的逆透视映射、光源不变性技术和基于目标检测的方法对道路中的车辆进行定位。利用车辆当前车道、车辆与道路边界的距离以及其他车辆的距离来确定车辆的局部位置。为此,车道标记检测使用拉普拉斯边缘功能,强大的阴影。使用Lab颜色空间和光源不变量技术消除阴影和额外的太阳光的影响。车道被假定为抛物线模型,并使用鲁棒RANSAC拟合。该方法能够可靠地检测出道路的所有车道线,估计出车道偏离角以及车辆相对于车道线、道路边界和其他车辆的局部位置。利用基于HOG特征的可变形部分模型检测行人、车辆等不同类型的障碍物。
2015-03-23 cs.CV
Hierarchical Road Topology Learning for Urban Map-less Driving
Mercedes-Benz R&D NA(梅赛德斯-奔驰北美研发中心)
目前自动驾驶的大多数方法都依赖于高清(HD)地图,这些地图详细描述了道路几何形状和周围区域。然而,由于这种现有地图的可扩展性差,这种依赖是大规模部署自动驾驶车辆的障碍之一。在本文中,我们解决了在线道路地图提取的问题,通过利用车辆本身的感官系统。为此,我们设计了一个结构化模型,其中道路网络的图形表示在完全卷积网络中以分层方式生成。该方法能够处理复杂的道路拓扑结构,并且不需要用户在回路中。
2021-03-31 cs.CV cs.LG cs.RO
Threat Detection In Self-Driving Vehicles Using Computer Vision
Indian Institute of Information Technology, Lucknow(印度理工学院勒克瑙分校);Sardar Patel Institute Of Technology(萨达尔·帕特尔理工学院);Punjab Engineering College(旁遮普工程学院)
道路障碍物检测是智能交通基础设施系统的一个重要研究领域。使用基于视觉的方法可以为此类系统提供准确且具有成本效益的解决方案。在这篇研究论文中,我们提出了一种使用仪表盘视频的自动驾驶汽车威胁检测机制,以确保道路上任何不必要的障碍物都在其视觉范围内。这些信息可以帮助车辆的程序安全地行驶。它有四个主要组成部分,即识别物体的YOLO,先进的车道检测算法,测量物体与摄像头距离的多元回归模型,测量安全性的两秒规则和限制速度。此外,我们还使用了汽车碰撞数据集(CCD)来计算模型的准确性。YOLO算法的准确率约为93%。我们提出的威胁检测模型(TDM)的最终准确率为82.65%。
2022-09-06 cs.CV
A Computer Vision Approach for Autonomous Cars to Drive Safe at Construction Zone
University of Siegen(锡根大学)
本文提出一种基于计算机视觉和YOLO框架的道路障碍物检测模型,用于在施工区域及多种漂移条件下精准识别障碍物,验证集平均精度超94%、推理时间1.6毫秒,有效提升自动驾驶安全性。
2024-09-24 cs.CV cs.RO
Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking
针对越野导航中地形偏好缺乏通用真值的问题,提出TravPro方法,利用VLM原型将稀疏比较转化为密集偏好伪标签,在五个未见领域达到0.915平均成对准确率,优于基线。
2026-09-22 cs.CV cs.RO
A Self-Supervised Terrain Roughness Estimator for Off-Road Autonomous Driving
Stanford Artificial Intelligence Laboratory(斯坦福人工智能实验室);Computer Science Department(计算机科学系)
我们提出了一个机器学习方法来估计二阶导数的可驾驶表面,其粗糙度。机器人感知一般集中在一阶导数,障碍物检测。然而,二阶导数也很重要,因为它与车辆经历的冲击有直接关系(与速度有关)。知道二阶导数允许车辆在崎岖地形之前减速。由于不确定性,估计二阶导数具有挑战性。例如,在距离上,激光读数可能非常稀疏,以至于丢失了关于表面的重要信息。此外,在投射激光读数时需要高精度。由于姿态估计中的延迟或误差,该精度可能不可用。我们将这些误差源建模为多元多项式。它的系数是通过使用冲击数据作为基础事实来学习的--加速度计被用来训练激光器。由此产生的分类器操作的3D点云所描述的道路表面上的各个激光读数。分类器识别二阶导数可能较大的路段。因此,车辆可以提前减速,减少它所经历的冲击。该算法是我们在2005年DARPA Grand Challenge中使用的算法的演变。我们用那条路线的数据分析它。
2012-06-27 cs.CV cs.LG cs.RO
Vision-Based Perception for Autonomous Vehicles in Off-Road Environment Using Deep Learning
Federal University of Bahia(巴伊亚联邦大学)
针对越野环境自动驾驶,提出CMSNet分割网络和含近12000张八相机图像的Kamino数据集,经TensorRT优化实现实时障碍物与可通行区域分割,实验验证有效。
2025-09-20 cs.AR cs.CV cs.LG
3DTTNet: Multimodal Fusion-Based 3D Traversable Terrain Modeling for Off-Road Environments
Shenzhen Automotive Research Institute, Beijing Institute of Technology, Shenzhen(深圳汽车研究院,北京理工大学,深圳);School of Mechanical Engineering, Beijing Institute of Technology, Beijing(机械工程学院,北京理工大学,北京);Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences, Beijing(智能计算系统研究中心,计算技术研究所,中国科学院,北京)
针对越野环境感知难题,提出多模态融合的3DTTNet模型,结合LiDAR与单目图像实现稠密三维可通行地形建模,并引入RELLIS-OCC数据集,实验显示场景补全IoU提升42%。
2025-08-06 cs.AI cs.CV cs.RO
Find Your Own Way: Weakly-Supervised Segmentation of Path Proposals for Urban Autonomy
Oxford Robotics Institute, Dept. Engineering Science, University of Oxford(牛津大学工程科学系牛津机器人研究所)
我们提出了一种弱监督的方法来分割图像中的可驾驶路径,其目标是在复杂的城市环境中实现自动驾驶。使用从数据汇集车辆记录的路线,我们提出的方法生成大量的标记图像,其中包含建议的路径和障碍物,而不需要手动注释,然后我们用它来训练深度语义分割网络。使用经过训练的网络,我们可以在运行时使用仅配备单目摄像机的车辆分割建议的路径和障碍物,而无需依赖于道路或车道标记的显式建模。我们在大规模KITTI和Oxford RobotCar数据集上评估了我们的方法,并在各种照明,天气和交通条件下的各种环境中展示了可靠的路径建议和障碍物分割。我们说明了该方法如何推广到交叉路口的多路径建议,并概述了将该系统纳入城市自动驾驶框架的计划。
2017-11-17 cs.AI cs.CV cs.LG