SimuShips -- A High Resolution Simulation Dataset for Ship Detection with Precise Annotations
Åbo Akademi University(奥博学术大学)
障碍物检测是自主水面舰艇的一项基本能力。最先进的障碍物检测算法基于卷积神经网络(CNN)。虽然CNN提供了更高的检测精度和更快的检测速度,但它们需要大量的数据进行训练。特别是,特定领域的数据集的可用性是障碍物检测的一个挑战。进行现场实验的困难限制了海洋数据集的收集。由于进行现场作业的后勤费用,模拟工具为数据汇集提供了一种安全和具有成本效益的替代办法。在这项工作中,我们介绍了SimuShips,一个公开的基于模拟的海洋环境数据集。我们的数据集由9471张高分辨率(1920 x1080)图像组成,其中包括各种障碍物类型,大气和照明条件以及遮挡,比例和可见比例变化。我们以边界框的形式提供注释。此外,我们使用YOLOv 5进行实验,以测试模拟数据的可行性。我们的实验表明,真实图像和模拟图像的组合提高了2.9%的所有类的召回。
2022-09-22 cs.AI cs.CV cs.LG
Towards practical object detection for weed spraying in precision agriculture
Lincoln Institute of Agri-food Technology, University of Lincoln(林肯大学林肯农业食品技术研究所);Lincoln Centre for Autonomous Systems, University of Lincoln(林肯大学林肯自主系统中心)
在过去的40 - 50年里,更小、更快的处理器和更便宜的数字存储机制的发展极大地增加了在广泛的实际环境中集成智能技术以解决广泛任务的机会。这些技术的一个令人兴奋的应用领域是精准农业,其中将机载机器视觉与数据驱动相结合的能力意味着农民可以在单个植物而不是整个田地的水平上做出作物护理和收获的决定。这在经济上和环境上都是有意义的。然而,这种能力的关键驱动力是快速和强大的机器视觉-通常由机器学习(ML)解决方案驱动,并依赖于准确的建模。一个关键的挑战是,大部分基于ML的视觉研究只考虑评估目标检测准确性的指标,而不评估实际因素。本文介绍了三个指标,突出不同的方面相关的实际部署的精确除草,并通过实验结果证明了他们的效用。
2021-09-22 cs.CV cs.RO
Design and Evaluation of an AI-Enabled Cloud-Edge Architecture for Connected Precision Agriculture Farms
Autonomous Robotics Systems Limited(自主机器人系统有限公司);University of Hyderabad(海得拉巴大学);ThoughtGreen Technologies Private Limited(ThoughtGreen科技私人有限公司);Ideabytes Software India Private Limited(Ideabytes软件印度私人有限公司);Georgia Institute of Technology(佐治亚理工学院);Tata Consultancy Services(塔塔咨询服务公司);EPAM India(埃培智印度分公司);Kaveri University(卡弗里大学);University of Malaya(马来亚大学)
针对番茄病害人工监测难以适配大规模农场的问题,本文提出集成IoT、UAV等的AI云边架构,部署TensorFlow模型实现番茄病害92%-95%的实时检测,助力精准农业。
2026-08-05 cs.RO
AgriNeRF: Neural Radiance Fields for Agriculture in Challenging Lighting Conditions
University of Pittsburgh(匹兹堡大学);University of Pennsylvania(宾夕法尼亚大学)
本研究提出AgriNeRF,通过融合RGB、事件和热成像相机构建多模态神经辐射场,解决了传统NeRF在农业挑战性光照下鲁棒性差的问题,显著提升了场景重建质量与下游果实检测性能。
2024-09-23 cs.RO
Learning what is above and what is below: horizon approach to monocular obstacle detection
Delft University of Technology(代尔夫特理工大学)
提出了一种基于自监督学习的单目障碍物检测方法。在同一高度移动的机器人的路径上的障碍物,将出现在地平线的上方和下方。这意味着分类障碍物像素将是固有的不确定性。因此,在所提出的方法中,分类器的不确定性用于障碍物检测。初步结果表明,这种方法确实可以在不同的环境中工作。在著名的KITTI数据集上,自监督学习方案清楚地分割了道路和天空,而应用于飞行数据集则导致了飞行竞技场地板的分割。
2018-06-20 cs.RO
Point cloud obstacle detection with the map filtration
Brno University of Technology(布尔诺理工大学)
针对未知环境下机器人移动的障碍物检测需求,提出一种可在算力有限设备上运行的点云障碍物检测流水线,经真实机器人测试与数据集定性评估,其时间消耗优于3D目标检测器。
2024-04-11 cs.RO
Fast and Bounded Probabilistic Collision Detection in Dynamic Environments for High-DOF Trajectory Planning
University of North Carolina(北卡罗来纳大学)
我们提出了一种新的方法来执行高自由度的机器人和高自由度的障碍物在动态,不确定的环境中的概率碰撞检测。在高自由度机器人和移动障碍物的动态环境中,我们的方法有效地计算机器人和障碍物之间的准确碰撞概率的误差上限。此外,我们描述了一个预测算法,未来的障碍物的位置和运动,占空间和时间的不确定性。提出了一种基于概率碰撞检测的高自由度机器人在动态、不确定环境中的轨迹优化算法。我们强调运动规划性能在具有挑战性的情况下,机器人手臂在动态移动的人类障碍物的环境中操作。
2016-07-16 cs.RO
Rapid Collision Detection for Multicopter Trajectories
University of California, Berkeley(加州大学伯克利分校)
我们提出了一种连续时间碰撞检测算法,用于快速检测某些多项式轨迹是否与凸障碍物相交。该算法与现有的多旋翼机轨迹生成方法结合使用,以实现快速,障碍感知运动规划的环境中的静态凸障碍和动态凸障碍,其边界不旋转。在一般情况下,这个问题是困难的,因为凸障碍的存在使可行空间的轨迹非凸。该算法的性能是基准使用Monte Carlo模拟,实验结果表明,使用该方法来规划无碰撞多旋翼机轨迹在毫秒的环境中,静态和动态的障碍。
2019-07-19 cs.RO
Real-time object detection and robotic manipulation for agriculture using a YOLO-based learning approach
Imperial College(帝国理工学院);University of Sheffield(谢菲尔德大学);University of Manchester(曼彻斯特大学);University of Southampton(南安普顿大学);Fudan University(复旦大学);Iowa State University(爱荷华州立大学)
本研究针对农业作物采收优化需求,提出融合两种CNN架构的框架,在仿真环境中结合YOLO与视觉几何组模型,同步实现作物实时检测与机器人抓取定位,助力采收自动化效率提升。
2024-01-28 cs.CV cs.LG cs.RO
Leveraging Stereo-Camera Data for Real-Time Dynamic Obstacle Detection and Tracking
Sevensense Robotics AG;ETH Zurich(苏黎世联邦理工学院)
动态避障是拥挤环境下柔性导航的一个重要组成部分。在本文中,我们提出了一个系统,准确和可靠的检测和跟踪的动态对象使用噪声点云数据产生的立体相机。我们的解决方案具有实时的【形】能力,专为部署在计算受限的无人驾驶地面车辆上而设计。所提出的方法识别机器人周围的单个对象,并将其分类为静态或动态。动态对象被标记为人物或通用动态对象。然后,我们估计它们的速度,以生成一个2D占用网格,适合执行避障。我们在室内和室外的情况下评估系统,并实现消费级计算机上的实时的【形】性能。在我们的测试数据集上,我们达到了$0.07 \pm 0.07m$的MOTP和$85.3\%$的MOTA,用于动态对象的检测和跟踪。我们达到了$96.9\%$的精度检测静态对象。
2020-07-21 cs.RO
Immersive Rover Control and Obstacle Detection based on Extended Reality and Artificial Intelligence
University of Luxembourg(卢森堡大学);SpaceR SnT
本文提出一种集成XR和AI的月球车远程操控系统,通过自主检测岩石并重建沉浸式3D虚拟环境,有效解决了月球复杂地形下的精确障碍物检测问题,并在实验室验证中展现出优于传统2D方法的性能。
2024-04-22 cs.RO
$E^2Coop$: Energy Efficient and Cooperative Obstacle Detection and Avoidance for UAV Swarms
University of Otago(奥塔哥大学)
能量效率是无人机群避障轨迹规划的关键。本文提出了$E^2Coop$,一种将人工势场(APF)与基于粒子群规划(PSO)的航迹规划紧密耦合的无人机群避碰新方案。在$E^2Coop$中,群成员协同执行轨迹规划,以能量有效的方式避免碰撞。$E^2Coop$利用活动轮廓模型在图像处理中的优势进行轨迹规划。每个群体成员规划其轨迹上的环境场的轮廓,以节省能源,避免碰撞的障碍。处于彼此安全距离内的群成员在不同的轮廓上规划它们的轨迹,以避免彼此碰撞。仿真结果表明,与现有的两种方案相比,$E^2Coop$的能量节省率可达51%.
2021-05-08 cs.RO
PROBE: Proprioceptive Obstacle Detection and Estimation while Navigating in Clutter
Dept. of Computer Science, Rutgers University, NJ, USA(计算机科学系,罗杰斯大学,新泽西州,美国);Amazon.com Inc.(亚马逊公司);Rutgers University(罗杰斯大学);Amazon Scholar(亚马逊学者)
针对视觉受阻场景,本文提出仅依赖本体感觉的 PROBE Transformer,利用扭矩与全身运动历史检测矩形障碍物并估计其 SE(2) 尺寸和位姿,且在仿真与真实四足机器人上验证。
2025-05-17 cs.RO
LV-DOT: LiDAR-visual dynamic obstacle detection and tracking for autonomous robot navigation
Carnegie Mellon University(卡内基梅隆大学)
针对室内机器人动态障碍物感知,提出融合机载摄像头与激光雷达的轻量级检测跟踪框架,集成多检测器并采用特征关联与卡尔曼滤波,提升精度且经实验验证可行。
2025-02-28 cs.RO
GUIDE: Gaussian Unified Instance Detection for Enhanced Obstacle Perception in Autonomous Driving
针对自动驾驶中传统障碍物检测方法难以表征不规则物体、计算开销大的问题,提出GUIDE框架,结合3D高斯与稀疏表征实现实例检测、占据预测与跟踪,在nuScenes上mAP提升50%,兼顾精度与效率。
2025-11-17 cs.RO
Real Time Lidar and Radar High-Level Fusion for Obstacle Detection and Tracking with evaluation on a ground truth
Institut VEDECOM(VEDECOM研究所)
- 激光雷达和雷达都是用于障碍物探测的传感器。虽然激光雷达对障碍物的位置非常准确,但对它们的速度不太准确,但雷达对障碍物的速度更精确,对它们的位置不太精确。激光雷达和雷达之间的传感器融合旨在利用两种传感器的优点来提高障碍物检测。提出了一种基于全局最近邻标准滤波器(GNN)的激光雷达/雷达数据实时融合障碍物检测与跟踪算法。该算法的实现和嵌入在一个自动车辆作为一个实时多传感器软件生成的组件。通过几个跟踪场景(在高速公路上和弯道上)和使用安装在自我和跟踪车辆上的实时运动传感器作为真值来说明数据融合与使用单个传感器相比的好处。
2019-07-01 cs.PF cs.RO
Perspective Aware Road Obstacle Detection
EPFL(洛桑联邦理工学院)
针对道路障碍物检测中忽视透视导致表观尺寸变化的问题,本文提出利用尺度图编码透视信息,通过生成合成训练数据和引导检测网络解码,显著提升实例级检测性能,优于现有方法。
2023-06-19 cs.CV cs.RO
TOPGN: Real-time Transparent Obstacle Detection using Lidar Point Cloud Intensity for Autonomous Robot Navigation
gamma.umd.edu(马里兰大学Gamma实验室)
本研究提出TOPGN方法,通过多层激光雷达点云强度栅格地图分离透明障碍物点并线性外推实现实时避障,在多场景下检测精度、导航成功率优于现有方法,且可用于环境建图。
2024-08-10 cs.RO
Two algorithms for vehicular obstacle detection in sparse pointcloud
Politecnico di Milano(米兰理工大学)
自动驾驶汽车的主要组件之一是障碍物检测管道。来自研究和工业的大多数原型都依赖激光雷达来完成这项任务。来自激光雷达的点云信息通常与来自相机和雷达的数据相结合,但架构的主干主要基于从激光雷达数据计算的3D边界框。为了检索准确的表示,具有许多平面的传感器,例如,通常使用大于32个平面。返回的点云确实密集且定义良好,但高分辨率传感器仍然昂贵,并且通常需要强大的GPU来处理。具有较少平面的激光雷达更便宜,但返回的数据不够密集,无法用最先进的深度学习方法来处理以检索3D边界框。在本文中,我们提出了两种基于占用网格和几何细化的解决方案,以使用具有少量平面的激光雷达来检索3D边界框列表(即,16和8架飞机)。我们的解决方案已在自定义采集的数据集上进行了验证,具有准确的地面实况,以证明其可行性和准确性。
2021-09-15 cs.RO
ODTFormer: Efficient Obstacle Detection and Tracking with Stereo Cameras Based on Transformer
Northeastern University(东北大学);Brown University(布朗大学)
提出基于 Transformer 的 ODTFormer,利用可变形注意力、3D 代价体和跨帧体素匹配实现端到端立体障碍物检测与跟踪,并在 DrivingStereo、KITTI 上以更低算力取得先进性能。
2024-10-24 cs.CV cs.RO
Agricultural Object Detection with You Look Only Once (YOLO) Algorithm: A Bibliometric and Systematic Literature Review
The University of Tennessee(田纳西大学);Indian Institute of Science Education and Research Thiruvananthapuram(蒂鲁文南塔普拉姆科学教育与研究所)
本文通过文献计量与系统综述分析257篇及30篇论文,梳理YOLO在农业目标检测中的改进、部署、应用挑战与价值。
2024-01-18 cs.AI cs.CV cs.RO
Real-Time Freespace Segmentation on Autonomous Robots for Detection of Obstacles and Drop-Offs
在室内和室外环境中导航的移动机器人必须能够识别和避免不安全的地形。虽然在检测直立障碍物(固体障碍物)方面已经做了大量的工作,但是在检测负面障碍物(例如,下坡、壁架、向下的楼梯)方面没有做太多的工作。我们提出了一种使用深度卷积网络的地形安全分割方法。我们的自定义语义分割架构使用单个摄像机作为输入,并创建区分安全地形和障碍物的自由空间地图。然后,我们展示了如何使用这个自由空间地图的室内机器人的实时的【形】导航。实验结果表明,该系统具有较好的通用性,适合于实时的【形】操作,在一个由低功耗嵌入式GPU驱动的小型室内机器人上运行速度约为55 fps。
2019-02-03 cs.CV cs.RO
Form-Fitting, Large-Area Sensor Mounting for Obstacle Detection
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出一种低成本方法,用于在机器人连杆上安装传感器以实现大范围感知覆盖,无需事先校准传感器位置和方向。通过计算机辅助设计生成机器人皮肤单元,可适配非可展表面,嵌入不同尺寸的电路板支架,保持传感器固定位置。
2026-03-24 cs.RO
Hardware-Accelerated Ray Tracing for Discrete and Continuous Collision Detection on GPUs
Department of Aerospace Engineering and Engineering Mechanics, The University of Texas at Austin(航空航天工程与工程力学系,德克萨斯大学奥斯汀分校);Dexterity, Inc.(Dexterity公司)
本文提出基于GPU硬件加速射线追踪的离散与连续碰撞检测算法,显著提升高复杂度场景下的查询速度,并分析了速度与精度的权衡。
2025-09-09 cs.RO
Drone Detection Using Depth Maps
Universidad Politécnica de Madrid(马德里理工大学);Texas A&M University(德州农工大学);Technische Universiteit Delft(代尔夫特理工大学)
避障是无人机安全导航的一个重要特征。虽然已经提出了用于静态障碍物规避的解决方案,但由于检测范围和视场(FOV)要求以及在小型无人机上集成此类系统的限制,能够规避动态物体(例如无人机)的系统很难实现。无人机。在这项工作中,已经生成了无人机的6 k合成深度图的数据集,并用于训练最先进的基于深度学习的无人机检测模型。虽然许多传感技术只能提供障碍物的相对高度和方位角,但我们基于深度图的方法可以实现障碍物的全3D定位。这对于避免碰撞非常有用,因为检测到的无人机的3D定位是执行有效的无碰撞路径规划的关键。所提出的检测技术已经在多个真实深度图序列中进行了验证,多种类型的无人机以高达2 m/s的速度飞行,实现了98.7%的平均准确率,74.7%的平均召回率和9.5米的创纪录检测范围。
2018-08-01 cs.RO
Innovative Deep Learning Techniques for Obstacle Recognition: A Comparative Study of Modern Detection Algorithms
University of São Paulo(圣保罗大学);University of the Andes(安第斯大学);Federal University of Rio de Janeiro(里约热内卢联邦大学)
本研究比较了YOLOv8、YOLOv7、YOLOv6和YOLOv5在实时障碍物检测中的性能,发现YOLOv8准确率最高且精确率-召回率指标更优,验证了其有效性。
2024-10-14 cs.CV cs.RO
Obstacle detection test in real-word traffic contexts for the purposes of motorcycle autonomous emergency braking (MAEB)
University of Florence(佛罗伦萨大学)
研究表明,摩托车自动紧急制动系统(MAEB)可以影响25%的涉及动力两轮车(PTW)的碰撞。通过在不可避免的碰撞场景中自动降低高达10 km/h的主机PTW,MAEB可能会减轻车手的碰撞严重程度。通过在受控环境下的现场试验,证明了摩托车自动减速的可行性。然而,在实际交通环境中正确的MAEB触发的可行性仍然不清楚。特别是,MAEB需要准确的障碍物检测,从一个单一的轨道车辆的可行性尚未得到证实。为了解决这个问题,我们的研究提出了障碍物检测测试在现实世界中的MAEB敏感的碰撞场景。
2017-10-02 cs.CV cs.RO
A Low-Cost Real-Time Spiking System for Obstacle Detection based on Ultrasonic Sensors and Rate Coding
Universidad de Sevilla(塞维利亚大学);Universidad de Cádiz(加的斯大学)
本文提出一种基于超声波传感器、速率编码和脉冲神经网络的低成本实时障碍物检测系统,实验验证了输出发放率与障碍物距离的反比关系,并测定了可检测距离阈值,为基于脉冲滤波器的应用开发提供了底层机制研究。
2024-09-04 cs.NE cs.RO
Local and Global Information in Obstacle Detection on Railway Tracks
Magazino(Magazino公司);ETH Zurich(苏黎世联邦理工学院)
针对通用目标检测器类别不足且铁路数据集难获取的问题,提出利用浅层网络学习铁路分割并引入全局信息,在定制数据集上优于基线方法。
2023-07-28 cs.CV cs.RO
Alpha-N: Shortest Path Finder Automated Delivery Robot with Obstacle Detection and Avoiding System
North South University(北南大学)
本文介绍了一种自供电轮式自动送货机器人Alpha N A。ADR能够通过检测和避开路径中的物体或障碍物来自主导航,它使用路径的矢量地图,并通过Dijkstra算法的网格计数方法来计算最短路径。具有射频识别标签的地标确定被放置在路径中,用于源和目的地的识别和验证,并且还用于当前位置的重新校准。另一方面,一个目标检测模块是由VGGNet 16架构的Faster RCNN构建的,用于通过检测和识别障碍物来支持路径规划。路径规划系统与GCM的输出、RFID读取系统以及ODM的二进制结果相结合。该PPS要求机器人的最低速度为200 RPM,持续时间为75秒,以便通过读取RFID标签成功重新定位其位置。在结果分析阶段,ODM的准确率为83.75%,RRS的准确率为92.3%,PPS的准确率为85.3%。将所有这3个模块堆叠起来,构建、测试和验证了ADR,与其他服务机器人相比,ADR在性能和可用性方面都有显着提高。
2020-04-28 cs.RO
Decentralized Multi-Robot Obstacle Detection and Tracking in a Maritime Scenario
本文提出了一种分布式多机器人框架,利用无人机与自主水面舰艇协作,通过YOLOv8检测器和扩展卡尔曼滤波实现漂浮集装箱的障碍物检测与跟踪,提升了身份连续性和定位精度。
2026-02-28 cs.RO
Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling
Daimler AG R&D(戴姆勒股份公司研发部);TU Dresden(德累斯顿工业大学)
检测小型道路危险,例如丢失的货物,是自动驾驶汽车的一项重要功能。我们解决了这个具有挑战性的,很少解决的问题与视觉系统,利用外观,上下文以及几何线索。为了利用外观和上下文线索,我们提出了一种新的基于深度学习的障碍物检测框架。在这里,使用完全卷积网络的变体来预测(i)自由空间,(ii)道路上意外障碍物和(iii)背景的逐像素语义标记。几何线索利用国家的最先进的检测方法,通过基于模型的统计假设检验预测立体输入图像的障碍。我们提出了一个原则性的贝叶斯框架融合的语义和立体的检测结果。中层Stixel表示用于以灵活、紧凑和鲁棒的方式描述障碍物。我们在Lost and Found数据集上评估了我们的新障碍物检测系统,其中包括高度仅为5 cm的障碍物的非常具有挑战性的场景。总体而言,我们报告了对最先进技术的重大改进,相对性能增益高达50%。特别是,我们实现了超过90%的检测率,距离达50米。我们的系统在我们的自动驾驶平台上以22 Hz运行。
2016-12-20 cs.CV cs.RO
Multi-Modal Obstacle Detection in Unstructured Environments with Conditional Random Fields
Department of Engineering(工程系);Aarhus University(奥胡斯大学);Australian Centre for Field Robotics(澳大利亚田野机器人中心);The University of Sydney(悉尼大学)
可靠的障碍物检测和分类在粗糙和非结构化的地形,如农田或果园仍然是一个具有挑战性的问题。这些环境涉及几何形状和外观的巨大变化,挑战仅依赖于单个传感器模态的感知系统。在几何学上,高草、落叶或地形粗糙可能会被错误地认为是不可穿越的,甚至可能掩盖实际的障碍。同样,可通行的草地或土路以及树木和灌木丛等障碍物可能在视觉上模糊不清。在本文中,我们结合外观和几何为基础的检测方法,概率融合激光雷达和摄像机传感与语义分割使用条件随机场。我们应用一个国家的最先进的多模态融合算法从景物分析域和调整它在农业中的障碍物检测与移动地面车辆。这涉及显式处理稀疏点云数据,并利用相应的2D和3D区域之间的空间,时间和多模式链接。对所提出的方法进行了不同数据集的评估,其中包括澳大利亚的奶牛场和感知研究机器人收集的不同果园。结果表明,对于两类分类问题(地面和非地面),只有相机利用其他模态提供的信息,平均分类得分增加0.5%。然而,随着更多类别的引入(地面、天空、植被和物体),两种模式相互补充,2D和3D分别提高了1.4%和7.9%。最后,在连续帧之间引入时间链接导致2D和3D分别提高了0.2%和1.5%。
2019-03-13 cs.CV cs.RO
J-MOD$^{2}$: Joint Monocular Obstacle Detection and Depth Estimation
University of Perugia(佩鲁贾大学)
在这项工作中,我们提出了一个端到端的深度架构,共同学习检测障碍物,并估计其深度的MAV飞行应用。大多数现有的方法要么依赖于Visual SLAM系统,要么依赖于深度估计模型来构建3D地图和检测障碍物。然而,对于避开障碍物的任务,不需要这种复杂程度。最近的工作已经提出了多任务架构来执行场景理解和深度估计。我们遵循他们的轨迹,并提出了一种特定的架构来联合估计深度和障碍物,而不需要计算全局地图,但如果需要,则保持与全局SLAM系统的兼容性。该网络架构的目的是利用联合信息的障碍物检测任务,产生更可靠的边界框,与深度估计之一,增加了鲁棒性的情况下的变化。我们将这种体系结构称为J-MOD $^{2}$。我们测试我们的方法的有效性与不同的外观和焦距的序列上的实验,并将其与SotA多任务方法,共同执行语义分割和深度估计。此外,我们展示了集成在一个完整的系统中使用一组模拟导航实验,其中MAV探索一个未知的情况下,并通过使用我们的检测模型计划安全的轨迹。
2017-12-13 cs.LG cs.RO
Avoiding dynamic small obstacles with onboard sensing and computating on aerial robots
University of Hong Kong(香港大学)
在实际应用中,自主四旋翼仍然面临重大挑战,例如检测和避免非常小的甚至动态的障碍物(例如,树枝、电线)。在本文中,我们提出了一种紧凑,集成,完全自主的四旋翼系统,它可以在混乱的环境中安全飞行,同时避免动态的小障碍物。我们的四旋翼平台配备了一个前视三维(3D)光探测和测距(激光雷达)传感器来感知环境,以及一台机载嵌入式计算机来执行所有的估计,映射和规划任务。具体而言,计算机估计UAV的当前姿态,维护本地地图(时间累积点云KD树),并使用运动动力学A* 搜索来计算到目标点的安全轨迹。整个感知和规划系统可以在50 Hz下运行,并经过精心优化。各种室内和室外实验表明,该系统可以避免动态的小障碍物(下至20毫米直径的酒吧),同时飞行速度为2米/秒,在杂乱的环境。我们的代码和硬件设计在Github上开源。
2021-02-28 cs.RO
Night vision obstacle detection and avoidance based on Bio-Inspired Vision Sensors
University of Turku(图尔库大学);Royal Institute of Technology (KTH)(瑞典皇家理工学院(KTH));King Faisal University(费萨尔国王大学)
在迈向自主化的过程中,无人驾驶汽车严重依赖最先进的防撞系统(CAS)。然而,特别是在夜间,障碍物的检测仍然是一项具有挑战性的任务,因为照明条件不足以使传统相机正常工作。因此,我们利用基于事件的摄像机的强大属性,在低光照条件下进行障碍物检测。事件摄像机以高输出时间速率异步触发事件,动态范围高达120 $dB$。该算法滤除背景活动噪声,并使用鲁棒Hough变换技术提取目标。每个检测到的对象的深度是通过三角测量利用LC-Harris提取的2D特征来计算的。最后,异步自适应避碰算法(AACA)的有效避免。比较了事件摄像机和传统摄像机的定性评价。
2020-10-29 cs.CV cs.RO
NVRadarNet: Real-Time Radar Obstacle and Free Space Detection for Autonomous Driving
NVIDIA(英伟达)
检测障碍物对于安全高效的自动驾驶至关重要。为此,我们提出了NVRadarNet,这是一种深度神经网络(DNN),可以使用汽车雷达传感器检测动态障碍物和可驾驶的自由空间。该网络利用来自多个雷达传感器的时间累积数据来检测动态障碍物,并在自上而下的鸟瞰图(BEV)中计算它们的方向。该网络还回归可行驶的自由空间,以检测未分类的障碍物。我们的DNN是同类产品中第一个利用稀疏雷达信号,以便仅从雷达数据中实时的执行障碍物和自由空间检测。该网络已成功用于在真实的自动驾驶场景中感知我们的自动驾驶汽车。该网络在嵌入式GPU上的运行速度比实时的更快,并且在地理区域之间表现出良好的泛化能力。
2023-03-01 cs.CV cs.LG cs.RO
Verifiable Obstacle Detection
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mercer University(默瑟大学);Technical University of Munich(慕尼黑工业大学)
针对自动驾驶中深度神经网络感知难以验证的问题,本文对现有基于LiDAR的经典障碍物检测算法进行安全验证,确立了其能力严格边界,以确定满足安全标准的传感器属性,并通过真实数据验证了分析。
2022-08-30 cs.CV cs.RO cs.SY
Interaction-Dynamics-Aware Perception Zones for Obstacle Detection Safety Evaluation
NVIDIA(英伟达)
为了实现安全的自主车辆(AV)操作,至关重要的是AV的障碍物检测模块能够可靠地检测构成安全威胁的障碍物(即,安全性至关重要)。因此,期望感知系统的评估度量捕获对象的安全关键性。遗憾的是,现有的感知评估指标往往对对象进行强假设,忽略了代理之间的动态交互,因此无法准确捕获现实中的安全风险。为了解决这些缺点,我们引入了一个相互作用的动态感知障碍物检测评价指标,占自我车辆和场景中的障碍物之间的闭环动态相互作用。通过借用现有的理论从最优控制理论,即汉密尔顿-雅可比可达性,我们提出了一个计算上易于处理的方法来构建一个"安全区“:一个区域的状态空间,定义安全关键的障碍在于定义安全度量的目的。我们提出的安全区是数学上完整的,可以很容易地计算,以反映各种安全要求。使用nuScenes检测挑战排行榜中的现成检测算法,我们证明了我们的方法是计算量小的,并且可以比基线方法更好地捕获安全关键感知错误。
2022-06-24 cs.RO cs.SY eess.SY
Applying Evolutionary Optimisation to Robot Obstacle Avoidance
本文提出了一种基于人工进化的立体图像分析方法,并将其应用于移动机器人的实时障碍物检测和避障。它使用巴黎的方法,其中包括在这里分裂成大量的简单的原语,“苍蝇”,这是进化后的生物启发计划,并给出了一个快速,低成本的解决方案,在移动机器人的障碍物检测问题的机器人的环境表示。
2005-10-25 cs.AI cs.RO
Developing a Purely Visual Based Obstacle Detection using Inverse Perspective Mapping
ETH Zurich(苏黎世联邦理工学院)
我们的解决方案是在Duckietown的框架内实施的。Duckietown的目标是提供一个相对简单的平台来探索、处理和解决与自动驾驶相关的许多问题。“Duckietown”的基础很简单,但它是一个无限扩展的环境。从控制单个驾驶Duckiebots到完整的车队管理,每一种场景都是可能的,并且可以付诸实践。到目前为止,没有一个现有的模块能够可靠地检测障碍物并对它们做出实时的反应。我们面临的一般问题是,从安装在Duckiebot前面的单目RGB摄像头获得图像来检测障碍物,并对它们做出正确的反应,而不会崩溃或错误地停止Duckiebot。检测和反应都必须在Raspberry Pi上实现,并且必须在实时的上运行。由于硬件的限制,我们决定不对障碍物检测部分使用任何学习算法。正如后来所发生的那样,一个工作的“硬编码”软件需要对给定问题进行彻底的分析和理解。通俗地说,我们只是想让达克镇变得更安全。
2018-09-04 cs.CV cs.RO
USV Obstacles Detection and Tracking in Marine Environments
DIBRIS - Department of Computer Science, Bioengineering, Robotics and System Engineering(DIBRIS-计算机科学、生物工程、机器人与系统工程系);University of Genova(热那亚大学)
针对海洋环境中无人水面艇(USV)障碍物检测与跟踪的挑战,本研究评估现有系统在新海洋数据集上的性能,将其集成到ROS平台进行实时测试,分析传感器融合与仅激光雷达两种方法,并提出融合两者优势的混合方法以构建信息丰富的障碍物地图。
2025-11-11 cs.AI cs.RO
Fast Robust Monocular Depth Estimation for Obstacle Detection with Fully Convolutional Networks
University of Perugia(佩鲁贾大学)
障碍物检测是任何机器人系统的核心问题,对于在不可预测的环境中高速行驶的自主系统至关重要。这通常通过各种手段通过场景深度估计来实现。当考虑快速运动时,检测范围必须足够长,以允许安全回避和路径规划。目前的解决方案通常对车辆的运动做出假设,这限制了它们的适用性,或者由于内在约束而在非常有限的范围内工作。我们提出了一种新的外观为基础的目标检测系统,能够检测障碍物在很长的距离,并在一个非常高的速度(~ 300 Hz),而不作出假设的运动类型。我们使用在真实和合成图像上训练的深度神经网络方法来实现这些结果,并将一些深度精度用于快速,鲁棒和一致的操作。我们展示了照片般逼真的合成图像是如何能够解决训练集维度和各种典型的机器学习方法的问题,以及我们的系统如何对测试图像的大规模模糊具有鲁棒性。
2016-07-21 cs.CV cs.RO
Stereo obstacle detection for unmanned surface vehicles by IMU-assisted semantic segmentation
University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院);University of Ljubljana, Faculty of Electrical Engineering(卢布尔雅那大学电气工程学院)
提出了一种新的无人水面航行器障碍物检测算法。一个国家的最先进的图形模型的语义分割扩展到将船的俯仰和滚动测量从船上的惯性测量单元(IMU),并提出了一个立体验证算法,巩固从分割获得的试探性检测。该方法利用IMU读数来估计图像中水平线的位置,自动调整概率语义分割模型中的先验知识。我们推导出的方程投影到图像的地平线,提出了一种有效的优化算法的扩展图形模型,并提供了一个实用的IMU相机USV校准过程。使用配备有多个同步传感器的USV,我们捕获了一个新的具有挑战性的多模态数据集,并使用水边缘和障碍物对其图像进行注释。实验结果表明,该算法的水边缘检测准确率提高了近30%,误报率降低了21%,漏报率降低了近60%,真阳性率提高了65%,且Matlab实现具有实时性.
2018-02-22 cs.CV cs.RO
Perception Simplex: Verifiable Collision Avoidance in Autonomous Vehicles Amidst Obstacle Detection Faults
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mercer University(默瑟大学);Technical University of Munich(慕尼黑工业大学)
针对自动驾驶中DNN感知不可验证导致的碰撞风险,提出感知单纯形架构,利用可验证的经典障碍物检测算法识别DNN检测器故障并触发纠正,实现确定性容错与安全保障。
2023-11-28 cs.LG cs.RO cs.SY
Unsupervised Memory-Enhanced Video Transformers: Obstacle Detection for Autonomous Agricultural Rover
提出VMTAD,一种无监督方法,利用记忆增强的变换器处理动态场景,实现农业机器人实时障碍物检测,在油菜数据集上达到SOTA性能。
2026-06-26 cs.AI cs.RO
Real-Time Roadway Obstacle Detection for Electric Scooters Using Deep Learning and Multi-Sensor Fusion
University of Virginia(弗吉尼亚大学);Mississippi State University(密西西比州立大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究提出一种基于深度学习和多传感器融合的电动滑板车地面障碍物检测系统,利用YOLO模型和Intel RealSense D435i摄像头,在7小时自然骑行数据集上实现0.827的mAP,有效提升了实时道路危险检测能力。
2025-04-04 cs.AI cs.CV cs.RO
Cooperative Control of Multi-Quadrotors for Transporting Cable-Suspended Payloads: Obstacle-Aware Planning and Event-Based Nonlinear Model Predictive Control
Toronto Metropolitan University(多伦多都会大学);University of Alberta(阿尔伯塔大学)
本文提出多四旋翼协同运输悬挂载荷的障碍感知规划与事件触发NMPC方法,结合A*全局路径规划与实时地图更新,显著提升安全性与导航效率。
2025-03-24 cs.MA cs.RO
Road Obstacle Detection based on Unknown Objectness Scores
Toyota Motor Corporation(丰田汽车公司)
本研究提出一种结合物体检测与像素级异常检测的方法,通过语义分割网络同时输出异常分数和目标性分数,并整合为未知目标性分数,有效提升了驾驶场景中未知障碍物检测的稳定性与性能。
2024-03-27 cs.CV cs.RO
A water-obstacle separation and refinement network for unmanned surface vehicles
University of Ljubljana(卢布尔雅那大学);Faculty of Computer and Information Science(计算机与信息科学学院)
基于语义分割的障碍物检测技术在无人水面航行器自主导航中具有广阔的应用前景。然而,现有的方法遭受在存在视觉模糊的情况下,水边缘的估计差,小障碍物的检测差,以及对水反射和尾迹的高误报率。我们提出了一种新的深度编码器-解码器架构,即水障碍分离和细化网络(WaSR),以解决这些问题。通过一种新的解码器,逐步融合惯性信息从IMU与视觉功能的编码器,提高检测和水边缘的准确性。此外,一个新的损失函数的设计,以增加水和障碍物之间的分离功能的早期网络。随后,解码器中剩余层的容量得到了更好的利用,从而显著减少了误报并增加了真阳性。实验结果表明,WaSR优于当前最先进的一个大的利润率,产生了14%的F-措施比第二个最好的方法。
2020-01-07 cs.CV cs.RO
StereoVoxelNet: Real-Time Obstacle Detection Based on Occupancy Voxels from a Stereo Camera Using Deep Neural Networks
Institute for Experiential Robotics, Northeastern University(东北大学体验机器人研究所);Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机学院);Department of Electrical and Computer Engineering, Northeastern University(东北大学电气与计算机工程系)
障碍物检测是机器人导航中的一个安全关键问题,其中立体匹配是一种流行的基于视觉的方法。虽然深度神经网络在计算机视觉中已经显示出令人印象深刻的结果,但大多数先前的障碍物检测工作仅利用传统的立体匹配技术来满足实时的【形】反馈的计算约束。本文提出了一种计算效率高的方法,该方法采用深度神经网络直接从立体图像中检测占用。我们的方法不是从立体数据中学习点云对应关系,而是基于体积表示提取紧凑的障碍物分布。此外,我们修剪的安全无关空间的计算,在一个由粗到细的方式的基础上产生的解码器的八叉树。因此,我们在机载计算机(NVIDIA Jetson TX 2)上实现了实时的【形】性能。我们的方法可以在32米范围内准确检测障碍物,并实现更好的IoU(Intersection over Union)和CD(Chamfer Distance)分数,而计算成本仅为最先进的立体模型的2%。此外,我们验证了我们的方法的鲁棒性和现实世界的可行性,通过自主导航实验与真正的机器人。因此,我们的工作有助于缩小机器人感知中基于立体的系统与计算机视觉中最先进的立体模型之间的差距。为了应对高质量的真实室内立体数据集的稀缺性,我们使用移动机器人收集了1.36小时的立体数据集,用于微调我们的模型。有关数据集、代码和更多详细信息(包括其他可视化),请访问https://lhy.xyz/stereovoxelnet
2023-03-04 cs.CV cs.RO
Can We Remove the Ground? Obstacle-aware Point Cloud Compression for Remote Object Detection
Case Western Reserve University(凯斯西储大学);University of California Riverside(加利福尼亚大学河滨分校);University of Turin(都灵大学)
本文提出轻量级障碍物感知的柱体地面移除算法PGR,通过滤除对目标识别无上下文贡献的地面点,在不牺牲3D检测性能的前提下显著提升点云压缩率。
2024-10-01 cs.CV cs.RO
Mono Video-Based AI Corridor for Model-Free Detection of Collision-Relevant Obstacles
Robert Bosch GmbH(罗伯特·博世有限公司);Technische Universität Berlin(柏林工业大学)
本研究提出基于单目视频的AI自我走廊方法,通过检测自我车道结束来间接识别意外障碍物,在300米距离内达到95%的检测率。
2023-05-08 cs.RO cs.SY eess.SY
Novel Pigeon-inspired 3D Obstacle Detection and Avoidance Maneuver for Multi-UAV Systems
University of Oklahoma(俄克拉荷马大学)
受罗非鱼和鸽子群体行为启发,提出一种半分布式多无人机无碰撞编队控制框架,结合概率Lloyd's算法实现最优定位与三维障碍规避,并在二维和三维动态环境中验证了有效性。
2025-07-01 cs.AI cs.MA cs.RO