Threat-Aware UAV Dodging of Human-Thrown Projectiles with an RGB-D Camera
基于RGB-D相机,该研究提出了一种实时规避系统,利用人体姿态估计和深度信息预测攻击轨迹,并通过不确定性感知策略提升无人机规避能力。
2025-11-28 cs.RO
Season-invariant GNSS-denied visual localization for UAVs
Saab Finland Oy(萨博芬兰公司)
针对GNSS拒止下无人机视觉定位受季节外观与视角差异影响的问题,提出用CNN匹配相机图像与地理参考正射影像,实验证明其精度、收敛速度及真实无人机鲁棒定位能力优于六种参考方法。
2022-08-03 cs.RO
TRADE: Object Tracking with 3D Trajectory and Ground Depth Estimates for UAVs
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
我们建议贸易强大的跟踪和3D定位的移动目标在杂乱的环境中,从无人机配备了一个单一的相机。最终,TRADE实现了3D感知目标跟踪。检测跟踪方法容易受到目标切换的影响,特别是在相似对象之间。因此,TRADE预测并结合目标3D轨迹,从跟踪器的响应地图中选择正确的目标。与静态环境不同,单摄像机运动目标的深度估计是一个不适定问题。因此,我们提出了一种新的三维定位方法,在复杂地形的地面目标。该算法结合地平面分割、运动恢复深度和单幅图像深度估计,对场景几何进行推理。使用TRADE的好处被证明是跟踪鲁棒性和深度精度在这项工作中模拟的几个动态场景。此外,我们演示了自主目标以下使用热成像相机上运行的四轴飞行器的单板计算机贸易。
2022-10-07 cs.CV cs.RO
Vision-based GNSS-Free Localization for UAVs in the Wild
University of Turku(图尔库大学)
考虑到无人机在工业和研究场景中应用的加速发展,越来越需要使用基于视觉的无GNSS方法在非城市环境中定位这些航空系统。本文提出了一种基于视觉的定位算法,利用深度特征计算无人机在野外飞行的地理坐标。该方法基于无人机相机捕获的RGB照片的显著特征与由地理参考开源卫星图像组成的预先构建的地图的部分相匹配。实验结果表明,基于视觉的定位具有相当的精度与传统的基于GNSS的方法,作为地面实况。与最先进的视觉里程计(VO)方法相比,我们的解决方案专为长距离高空无人机飞行而设计。代码和数据集可在https://github.com/TIERS/wildnav上获得。
2022-10-18 cs.RO
Quantitative Depth Quality Assessment of RGBD Cameras At Close Range Using 3D Printed Fixtures
Root AI Inc(Root人工智能公司)
移动机器人操纵他们的环境需要高精度的场景理解在近距离。通常情况下,这种理解是通过RGBD相机实现的,但为应用选择合适的RGBD相机的评估过程是最低限度的定量。由于质量是特定于应用程序的,因此有限的企业发布的指标不能转化为现实世界混乱环境中观察到的质量。为了弥合这一差距,我们提出了一种使用一组近似真实条件的可扩展3D打印夹具定量测量深度质量的方法。通过将深度质量框定为已知几何形状的点云密度和均方根误差(RMSE),我们提出了一种方法,该方法可由其他系统集成商扩展用于自定义环境。我们展示了3个相机的比较,并提出了一个案例研究相机的选择,提供参考网格和分析代码,并讨论进一步的扩展。
2019-03-21 cs.CV cs.RO
An RGB-D Camera-Based Multi-Small Flying Anchors Control for Wire-Driven Robots Connecting to the Environment
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学和技术研究生院,东京大学)
本文提出了一种基于RGB-D相机和多小型飞行锚的线驱动机器人,实现自主连接环境中的多根线,扩大操作范围和载重能力。
2025-08-04 cs.RO
Robust Reinforcement Learning Algorithm for Vision-based Ship Landing of UAVs
Texas A&M University(得克萨斯农工大学)
研究了一种具有垂直起降能力的无人机自主着舰算法,该算法仅使用无人机中的单目摄像机进行跟踪和定位。船舶着舰是一项具有挑战性的任务,由于小的着陆空间,六个自由度的船舶甲板运动,有限的视觉参考定位,以及恶劣的环境条件,如阵风。我们首先开发了一种计算机视觉算法,该算法使用来自无人机上的单目视觉相机的图像流来估计无人机相对于着陆平台上的水平基准杆的相对位置。我们的方法是由海军直升机飞行员跟踪地平线参考栏作为视觉提示的实际船舶着陆程序的动机。然后,我们开发了一个强大的强化学习(RL)算法,用于控制无人机对着陆平台,即使在恶劣的环境条件下,如阵风。我们证明了我们的算法相比,一个基准的非线性PID控制方法的优越性能,无论是在模拟实验中使用的露台环境和在现实世界中的设置使用鹦鹉ANAFI四旋翼和亚尺度船舶平台进行6自由度(DOF)甲板运动。
2022-09-17 cs.RO
RELAX: Reinforcement Learning Enabled 2D-LiDAR Autonomous System for Parsimonious UAVs
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);University of Chicago(芝加哥大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出 RELAX 端到端框架,仅用单个 2D-LiDAR,并结合地图构建、离线规划与 RL 在线重规划,为低成本 UAV 在未知环境中提供更鲁棒的动态导航。
2024-03-02 cs.RO
Do You See What I See? Coordinating Multiple Aerial Cameras for Robot Cinematography
University of São Paulo(圣保罗大学);Carnegie Mellon University(卡内基梅隆大学)
空中摄影术大大扩展了电影制作人的能力。自主无人机(UAV)的最新进展进一步增加了航空摄像机的潜在影响,其系统可以在非结构化的混乱环境中安全地跟踪行动者。然而,专业制作需要同时使用多个摄像机来记录同一场景的不同视点,这些视点被实时的编辑成最终的镜头,或者在后期制作中。这种极端的动作协调对于无脚本的动作场景来说尤其困难,这是航空相机的常见用例。在这项工作中,我们开发了一个实时的多无人机协调系统,能够记录动态目标,同时最大限度地提高拍摄多样性,避免碰撞和相机之间的相互可见性。我们验证了我们的方法在多个杂乱的环境中的照片逼真的模拟器,并部署系统使用两个无人机在现实世界的实验。我们表明,我们的协调方案具有较低的计算成本,平均只需要1.17毫秒,计划在10秒的时间范围内的3架无人机的团队。补充视频:https://youtu.be/m2R3anv2ADE
2021-03-31 cs.CV cs.MA cs.RO
EvMAPPER: High Altitude Orthomapping with Event Cameras
GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室)
本文提出首个基于事件相机的无人机正射影像镶嵌方法EvMAPPER,利用事件相机像素异步触发特性,克服了传统CMOS相机在恶劣光照、运动模糊及高速运动下的局限,实现了在直射阳光和日落等复杂光照条件下的地图生成。
2024-09-26 cs.CV cs.RO
UAV-ReID: A Benchmark on Unmanned Aerial Vehicle Re-identification in Video Imagery
Northumbria University(诺森比亚大学);Durham University(杜伦大学)
随着无人机(UAV)的应用范围越来越广,无人机中断的潜在风险也越来越大。深度学习的最新发展允许基于视觉的反无人机系统使用单个相机来检测和跟踪无人机。然而,单个相机的覆盖范围是有限的,需要多相机配置来匹配相机之间的无人机-一个被称为重新识别(reID)的问题。虽然人们已经对人和车辆的reID进行了广泛的研究,以跨时间和视点匹配对象,但据我们所知,无人机reID还没有研究。无人机的重新识别具有挑战性:它们比行人和车辆小得多,而且它们经常在空中被发现,因此出现在更大的角度范围内。由于目前没有无人机数据集使用多个摄像头,因此我们提出了第一个新的无人机重新识别数据集UAV-reID,以促进这一新兴领域的机器学习解决方案的开发。UAV-reID有两个设置:临时接近评估跨视图的性能以帮助跟踪框架,而大到小评估跨规模的reID性能,并允许在长距离检测到UAV时进行早期reID。我们通过广泛评估不同的reID骨干和损失函数进行基准研究。我们证明,通过正确的设置,深度网络足够强大,可以学习无人机的良好表示,在时间近设置上实现81.9%的mAP,在具有挑战性的大到小设置上实现46.5%的mAP。此外,我们发现,视觉Transformer是最强大的极端变化的规模。
2021-12-02 cs.CV cs.LG cs.RO
Thermal and RGB Images Work Better Together in Wind Turbine Damage Detection
Khmelnytskyi National University(赫梅利尼茨基国立大学);West Ukrainian National University(西乌克兰国立大学);Kazimierz Pulaski University of Technology and Humanities in Radom(拉多姆卡齐米日·普瓦斯基科技与人文大学)
本研究通过整合热成像与RGB图像,提升风力发电机叶片缺陷检测的准确性和效率。
2024-12-05 cs.AI cs.CV cs.RO
VUNet: Dynamic Scene View Synthesis for Traversability Estimation using an RGB Camera
Stanford University(斯坦福大学);TOYOTA Central R$&$D Labs., INC.(丰田中央研究所)
我们提出了VUNet,一种新的视图(VU)的动态环境中的移动机器人的合成方法,及其应用估计未来的可通行性。我们的方法预测未来的图像给定的虚拟机器人速度命令只使用RGB图像在以前和当前的时间步长。未来图像是通过将两种类型的图像变化应用于先前图像和当前图像而产生的:1)由不同相机姿势引起的变化,以及2)由于动态障碍物的运动引起的变化。我们学习使用两种新的网络架构SNet和DNet来预测这两种类型的变化。我们结合SNet和DNet来合成未来的图像,我们将其传递给我们之前提出的方法GONet来估计机器人周围的可穿越区域。我们的定量和定性评估表明,我们的方法,视图合成预测准确的未来图像在静态和动态环境。我们还表明,这些虚拟图像可以用来正确地估计未来的可穿越性。我们应用我们的视图合成为基础的遍历性估计方法辅助遥操作的两个应用程序。
2019-01-10 cs.CV cs.RO
Deep Camera Pose Regression Using Pseudo-LiDAR
University of Toronto Mississauga(多伦多大学密西沙加校区)
一个精确而强大的大规模定位系统是自动驾驶汽车和增强现实等活跃研究领域不可或缺的组成部分。为此,已经提出了许多从RGB或RGB-D图像预测6DOF相机姿态的学习算法。然而,以前的方法通常采用与RGB图像相同的方式处理数据,通常将深度图作为附加通道添加到RGB图像中,并将其通过卷积神经网络(CNN)。在本文中,我们表明,将深度图转换为伪激光雷达信号,以前被证明是有用的3D目标检测,是一个更好的表示摄像机定位任务的投影点云,可以准确地确定6自由度摄像机姿态。这是通过首先比较专门在伪LiDAR表示上操作的网络的定位精度与专门在深度图上操作的网络来证明的。然后,我们提出了FusionLoc,一种新的架构,使用伪激光雷达回归6DOF相机姿势。FusionLoc是一种双流神经网络,旨在解决在RGB-D图像上运行的典型2D CNN的常见问题。将此架构的结果与使用7场景数据集的各种其他最先进的深度姿态回归实现进行比较。研究结果表明,FusionLoc的性能优于许多其他相机定位方法,平均比RGB-D PoseNet精确0.33米和4.35°。通过证明在深度图上使用伪LiDAR信号进行定位的有效性,在实现大规模定位系统时存在新的考虑因素。
2022-02-28 cs.CV cs.LG cs.RO
RGB-only Active 3D Scene Graph Generation for Indoor Mobile Robots
Mobile Robotics Group (MRG)(移动机器人小组);Visual and Multimodal Applied Learning Lab (VANDAL)(视觉与多模态应用学习实验室)
本文提出了一种仅使用RGB输入的主动3D场景图生成方法,通过统一感知与规划的结构化表示,解决了传统方法对专用传感器的依赖问题,并在Replica数据集上验证了其有效性。
2026-05-18 cs.AI cs.CV cs.RO
Real-time Lane Marker Detection Using Template Matching with RGB-D Camera
VNU University of Engineering and Technology(越南国立大学工程与技术大学)
本文讨论了车道检测问题,这是自动驾驶车辆的基础。我们的方法利用单个RGB-D相机记录的颜色和深度信息,以更好地处理照明条件和车道状物体等负面因素。在该方法中,颜色和深度图像首先被转换为半二进制格式和3D点的2D矩阵。然后,它们被用作模板匹配和几何特征提取过程的输入,以形成响应图,使得其值表示像素是车道标记的概率。为了进一步改善结果,最后通过主成分分析和车道模型拟合技术对模板和车道表面进行细化。已经在合成和真实数据集上进行了一些实验。实验结果表明,该方法能有效地去除噪声,在各种场景下都能准确地检测出车道标志。此外,在流行的膝上计算机的硬件配置下每秒20帧的处理速度允许所提出的算法被实现用于实时的【形】自动驾驶应用。
2018-06-05 cs.CV cs.RO
Comprehensive Analysis of the Object Detection Pipeline on UAVs
University of Tuebingen(图宾根大学)
目标检测流水线包括捕获场景的相机和处理这些图像的目标检测器。图像的质量直接影响目标检测器的性能。目前的许多研究工作都集中在提高图像质量或单独改进目标检测模型上,而忽略了两个子系统联合优化的重要性。本文的目标是调整现有的对象检测器在遥感场景中的检测吞吐量和准确性,重点是优化输入图像量身定制的对象检测器。为了实现这一点,我们经验分析的影响,两个选定的相机校准参数(相机失真校正和伽马校正)和五个图像参数(量化,压缩,分辨率,颜色模型,额外的通道),这些应用程序。在我们的实验中,我们利用来自不同领域的三个无人机数据集和大型和小型最先进的物体探测器模型的混合物,以提供对管道参数影响的广泛评估。最后,我们在无人机嵌入式平台上实现了一个目标检测流水线原型,并根据我们的研究结果给出了构建目标检测流水线的最佳实践建议。我们发现,并不是所有的参数都对检测精度和数据吞吐量有相同的影响,并且通过在参数之间使用适当的折衷,我们能够在保持相同的数据吞吐量的同时,为轻量级目标检测模型实现更高的检测精度。
2022-07-19 cs.CV cs.RO
Fusion of Real Time Thermal Image and 1D/2D/3D Depth Laser Readings for Remote Thermal Sensing in Industrial Plants by Means of UAVs and/or Robots
University of Manchester(曼彻斯特大学)
本文介绍了快速的热红外遥感程序在黑暗中,GPS拒绝的环境,如在高压直流(HVDC)换流站等工业厂房。这些程序基于从一维LIDAR激光或二维Hokuyo激光或3D MultiSense SLB激光传感器获得的深度估计与来自FLIR Duo R双传感器热成像相机的可见光和热成像相机的组合。这些传感器/摄像机的组合适合安装在无人驾驶飞行器(UAV)和/或机器人上,以便提供关于可能在危险环境中发现的潜在故障的可靠信息。例如,从结果的准确性和所需的计算时间的角度评估了与一维激光雷达传感器和FLIR Duo R双传感器热成像相机相结合的开发软件和硬件系统的能力:所获得的计算时间在10 ms以下,最大定位误差为8 mm,测量温度的平均标准偏差为1.11摄氏度,这些结果是针对多个测试情况获得的。本文的结构如下:用于识别和定位的热点在工业厂房的系统的描述是在第二节。在第三节中,描述了利用一维激光雷达激光传感器和热图像进行工厂故障识别和定位的方法以及结果。第四部分介绍了实时的热图像处理。第V节描述了2维深度激光Hokuyo和热图像的融合。第VI节描述了3D MultiSense SLB激光和热图像的组合。第七节进行了讨论并得出若干结论。
2020-06-04 cs.CV cs.RO cs.SY
Autonomous Tracking and Terminal Guidance of Moving Targets for Fixed-Wing UAVs
Department of Mechanical Engineering, National Yang Ming Chiao Tung University(国立阳明交通大学机械工程学系)
研究为固定翼无人机引入统一控制框架,采用三相策略,利用UKF融合视觉检测与惯性测量,结合带约束感知的NMPC及BPNG律,实现从目标检测到终端拦截的任务,仿真验证其能稳定跟踪并精确拦截,同时遵守相关约束。
2026-07-15 cs.AI cs.RO cs.SY
Multilayer occupancy grid for obstacle avoidance in an autonomous ground vehicle using RGB-D camera
Universidad Nacional de Colombia(哥伦比亚国立大学)
本文研究将RGB-D深度相机集成到自动驾驶地面车辆导航系统中,通过构建多层占据栅格代价地图,将二维激光雷达感知扩展为三维视觉感知,以增强障碍物识别能力,为鲁棒视觉导航奠定基础。
2024-11-19 cs.RO
Indirect Object-to-Robot Pose Estimation from an External Monocular RGB Camera
NVIDIA(英伟达)
我们提出了一个机器人抓取系统,使用一个单一的外部单目RGB相机作为输入。通过组合两个神经网络的输出来间接计算物体到机器人的姿态:一个估计物体到相机的姿态,另一个估计机器人到相机的姿态。这两个网络都完全基于合成数据进行训练,依靠域随机化来弥合模拟与真实之间的差距。由于后者网络执行在线摄像机校准,因此摄像机可以在执行过程中自由移动,而不会影响抓取质量。实验结果分析了摄像机的位置,图像分辨率和姿势细化的情况下,抓住几个家庭对象的效果。我们还提出了一套新的28纹理的家用玩具杂货店的对象,已被选定为其他研究人员访问的结果。为了帮助研究的可重复性,我们提供了3D扫描纹理模型,以及用于姿态估计的预训练权重。
2020-08-26 cs.RO
Accurate Pouring with an Autonomous Robot Using an RGB-D Camera
University of Freiburg(弗莱堡大学)
家庭环境中的机器人助理预计将为其用户执行各种复杂的任务。一项特别具有挑战性的任务是将饮料倒入杯中,为了成功完成这项任务,需要在倒入过程中检测和跟踪液位,以确定何时停止。在本文中,我们提出了一种新的方法来自主浇注,跟踪液位使用RGB-D相机和适应浇注速度的基础上的液位反馈。我们在不同的条件下对我们的系统进行了全面的评估,使用PR 2机器人进行了250多次浇注。结果表明,我们的方法能够将液体倾倒到目标高度,精度为几毫米。
2018-10-08 cs.RO
Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies
本研究针对多相机VLA策略的动作表征缺陷,提出仅训练用的MVUCF框架,通过几何相关目标优化后部署无额外推理开销,在LIBERO、RoboTwin等任务及真实人形实验中均取得显著性能提升。
2026-08-04 cs.RO
High-quality Instance-aware Semantic 3D Map Using RGB-D Camera
Centre for Applied Autonomous Sensor Systems (AASS)(自主传感器系统应用中心);Orebro University(厄勒布鲁大学)
我们提出了一个映射系统,能够构建详细的实例级语义模型的房间大小的室内环境的RGB-D摄像头。在这项工作中,我们将基于深度学习的实例分割和分类集成到最先进的RGB-D SLAM系统中。我们利用ElasticFusion [1]的管道作为骨干,并提出了注册成本函数的修改。所提出的目标函数的特点是外观通道的可调权重,可以从数据中学习。由此产生的系统是能够产生准确的语义地图的房间大小的环境,以及重建高度详细的对象级模型。该方法在TUMRGB-D SLAM基准测试和YCB视频数据集上进行了实验验证。我们的研究结果证实,所提出的系统在轨迹估计,表面重建和分割质量方面的表现优于其他国家的最先进的系统。
2019-11-21 cs.RO
Real-Time 3D Profiling with RGB-D Mapping in Pipelines Using Stereo Camera Vision and Structured IR Laser Ring
University of Technology Sydney(悉尼科技大学);Sydney Water Corporation(悉尼水务公司)
提出了一种利用履带式机器人对管道进行实时的【形】扫描和重建的方案。一个结构化的红外(IR)激光环形投影仪和立体相机系统被用来生成的三维轮廓的管道内移动的机器人。建议的立体系统不需要现场校准,它是不受机器人的横向运动,因此能够产生一个准确的3D地图。IR光源的波长被选择为与彩色相机的可见光谱不重叠。因此,可以通过将3D图投影到彩色图像帧中来获得深度的RGB颜色值。该系统在机器人操作系统(ROS)中实现,产生具有缺陷的实时的【形】RGB-D图。缺陷图利用椭圆度的差异,使得能够实时的【形】识别结构缺陷,例如管道基础设施中的表面腐蚀。实验室实验表明,所提出的激光仿形系统可以检测到毫米级的精度和分辨率的管道椭圆度的变化。
2019-07-29 cs.RO
SDF-based RGB-D Camera Tracking in Neural Scene Representations
KTH Royal Institute of Technology(瑞典皇家理工学院);Univrses AB(Univrses AB公司)
我们考虑在神经场景表示中跟踪移动RGB-D相机的6D姿态的问题。最近出现了不同的这种表示,我们调查他们的相机跟踪任务的适用性。特别是,我们建议使用基于符号距离场的表示来跟踪RGB-D相机,并表明与基于密度的表示相比,跟踪可以加快,这使得在计算时间有限时能够进行更鲁棒和准确的姿态估计。
2022-05-04 cs.CV cs.RO
A RGB-D SLAM Algorithm for Indoor Dynamic Scene
College of Information Science and Engineering, Northeastern University(东北大学信息科学与工程学院)
视觉SLAM技术是机器人自主探索未知环境的关键技术之一。基于视觉传感器的摄像机位姿精确估计是自主导航定位的基础。然而,大多数视觉SLAM算法都基于静态环境假设,无法估计动态环境中准确的相机位姿。针对这一问题,提出了一种室内动态环境下的视觉SLAM算法.该算法首先根据RGB-D摄像机的深度信息剔除部分运动目标,并通过优化亮度和深度误差得到初始摄像机位姿,然后进一步剔除运动目标。并将初始静态背景再次用于位姿估计。经过多次迭代,得到了更精确的静态背景和更精确的摄像机姿态。实验结果表明,与以往的研究成果相比,该算法在低动态和高动态的室内场景下均能获得较高的位姿估计精度。
2020-11-28 cs.RO
PeLiCal: Targetless Extrinsic Calibration via Penetrating Lines for RGB-D Cameras with Limited Co-visibility
针对多RGB-D相机有限重叠场景的外参标定难题,提出基于穿透线的无靶标实时标定方法PeLiCal,利用长线特征与收敛投票算法滤除异常值,实现抗异常值的性能。
2024-04-23 cs.CV cs.RO
A Novel Method for Extrinsic Calibration of Multiple RGB-D Cameras Using Descriptor-Based Patterns
Shanghai University(上海大学);Beijing Institute of Technology(北京理工大学);University of Toronto(多伦多大学)
这封信提出了一种新的方法来估计RGB-D相机之间的相对姿态,在全景RGB-D相机系统中具有最小的重叠视场。该校准问题与诸如室内3D测绘和机器人导航之类的应用相关,这些应用可以受益于使用RGB-D相机的360度$^\circ$视场。所提出的方法依赖于基于摄像机的模式,以提供良好匹配的2D关键点的情况下,最小的重叠视场之间的相机。将匹配的2D关键点与对应的深度值进行整合,构造3D匹配关键点的集合以校准多个RGB-D相机。实验验证了所提出的校准方法的准确性和效率,均优于现有方法(800 ms对5秒;旋转误差为0.56度对1.6度;平移误差为1.80 cm对2.5 cm)。
2018-09-10 cs.RO eess.IV
RGB-D SLAM in Indoor Planar Environments with Multiple Large Dynamic Objects
University of Edinburgh(爱丁堡大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
这项工作提出了一种用于动态平面环境的新型密集RGB-D SLAM方法,可以同时进行多对象跟踪、摄像机定位和背景重建。先前的动态SLAM方法或者依赖于语义分割来直接检测动态对象;或者假设动态对象比静态背景占据相机视图的更小比例,并且因此可以作为离群值被移除。然而,我们的方法,使密集的SLAM相机视图时,在很大程度上被多个动态对象的帮助下,相机运动之前。动态平面对象通过其不同的刚性运动分离并独立跟踪。剩余的动态非平面区域作为异常值被移除,并且不映射到背景中。评估表明,我们的方法优于国家的最先进的方法在本地化,映射,动态分割和对象跟踪。我们还证明了它的鲁棒性大漂移的相机运动之前。
2022-10-18 cs.RO
SmartDepthSync: Open Source Synchronized Video Recording System of Smartphone RGB and Depth Camera Range Image Frames with Sub-millisecond Precision
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
如今,智能手机可以产生同步的高质量数据流,包括RGB图像、惯性测量和其他数据。因此,智能手机正在成为机器人社区中有吸引力的传感器系统。不幸的是,仍然需要外部支持传感硬件,例如与智能手机传感器精确同步的深度相机。在本文中,我们提出了一种硬件-软件记录系统,该系统呈现异构结构,包含智能手机和外部深度相机,用于记录相互同步的视觉,深度和惯性数据。该系统在时间和帧级别上同步:来自智能手机相机的每个RGB图像帧都在同一时刻与深度相机帧以亚毫秒精度曝光。我们提供了一种同步性能评估的方法和工具,可以应用于任何一对深度和RGB相机。我们的系统可以通过使用我们的开源材料进行复制,修改或扩展。
2022-09-13 cs.CV cs.RO
Obstacle Avoidance Using a Monocular Camera
Stanford University(斯坦福大学)
基于简单数码相机的防撞系统将有助于将小型无人机安全地集成到拥挤的低空环境中。在这项工作中,我们提出了一个小型无人机避障系统,使用单目摄像机与混合神经网络和路径规划控制器。该系统由一个视觉网络,用于估计深度从相机图像,一个高级控制网络,碰撞预测网络,和应急策略。该系统是在一个模拟的无人机上进行评估,在一个受约束的飞行模式中航行的障碍课程。结果表明,该系统实现了低碰撞率,同时保持操作相关的飞行速度。
2021-01-25 cs.AI cs.RO
A Fast and Light-weight Non-Iterative Visual Odometry with RGB-D Cameras
School of Electrical;Electronic Engineering, Nanyang Technological University, Singapore 639798, Singapore
提出一种解耦的非迭代 RGB-D 视觉里程计,利用重叠平面估计旋转并以 KCC 估计平移,避免特征匹配和迭代优化,在低端 i5 CPU 上达到 71Hz 且更适应低纹理退化环境。
2025-07-25 cs.RO
Spatially Conditioned Diffusion Policy: Learning Precise and Robust Manipulation with a Single RGB Camera
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Neuromeka
提出空间条件扩散策略(SCDP),利用末端执行器轨迹作为视觉注意力锚点,通过多尺度特征编码和空间条件模块,在单相机设置下实现精确鲁棒的操作。
2026-10-16 cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个遥操作系统,使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务,如折布,锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系,动态运动缩放和重新定位的操作框架,以增加我们的遥操作系统的灵活性。我们假设,降低遥操作的进入门槛将允许更广泛地部署监督自治系统,这将反过来生成现实的数据集,释放机器学习的潜力,用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Pixel2Catch: Multi-Agent Sim-to-Real Transfer for Agile Manipulation with a Single RGB Camera
Dongguk University(东国大学)
本文提出Pixel2Catch方法,通过单个RGB相机提取像素级视觉信息,实现多智能体仿真到现实迁移,用于敏捷操作中的物体捕捉任务。
2026-02-26 cs.RO
Socially Aware Motion Planning for Service Robots Using LiDAR and RGB-D Camera
Fulbright University Vietnam(富布赖特越南大学);Vietnam National University Hanoi(越南国家大学河内分校);University of Technology Sydney(悉尼科技大学);Le Quy Don University(黎贵敦大学)
本文提出一种基于LiDAR和RGB-D相机的服务机器人社会感知运动规划系统,通过Kalman滤波估计人类状态并用非对称Gaussian函数建模个人空间,结合动态窗口法生成轨迹,实现了尊重人类物理与心理舒适的动态环境导航。
2024-10-13 cs.RO
Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras
IT+Robotics(IT+机器人公司);University of Padua(帕多瓦大学);Sapienza University of Rome(罗马第一大学)
颜色深度相机(RGB-D相机)已成为大多数机器人系统的主要传感器,从服务机器人到工业机器人应用。典型的消费级RGB-D相机被提供有粗略的内在和外在校准,其通常不满足许多机器人应用所需的精度要求(例如,高精度3D环境重建和映射、高精度对象识别和定位.)。在本文中,我们提出了一个人性化的,可靠的和准确的校准框架,可以很容易地估计一般的颜色深度传感器对的内在和外在参数。我们的方法是基于一个新的两个组件的误差模型。该模型统一了基于不同技术的RGB-D对的误差来源,例如结构光3D相机和飞行时间相机。与其他最先进的系统相比,我们的方法提供了一些重要的优点:它是通用的(即,非常适合不同类型的传感器),基于简单稳定的校准协议,提供了更高的校准精度,并已在ROS机器人框架内实施。我们报告详细的实验验证和性能比较,以支持我们的声明。
2018-10-19 cs.CV cs.RO
Empirical Comparison of Four Stereoscopic Depth Sensing Cameras for Robotics Applications
Czech Technical University in Prague(捷克技术大学)
本研究实证比较了四种立体RGB-D相机在三种场景下的性能,发现D435在近距离(<1米)误差小于1厘米,ZED 2在远距离(4米)误差小于3厘米,并公开了全部数据。
2025-04-24 cs.RO
Teat Pose Estimation via RGBD Segmentation for Automated Milking
Zurich University of Applied Sciences (ZHAW)(苏黎世应用科学大学)
我们提出了一种新的机器人,使用RGBD相机,图像分割,和一个简单的乳头姿态估计算法自动挤奶的发展的初步成果。我们涉及不同的商业RGBD相机在现实条件下的准确性分析。虽然是初步的,我们的初步实施表明,2D图像分割与点云处理相结合,可以实现可重复的毫米级精度估计(合成)乳头尖端的位置和杯附件的方法。该解决方案也适用于云机器人设置,基于GPU的分割在边缘设备或云上执行。
2021-05-20 cs.RO
Self-Contained Calibration of an Elastic Humanoid Upper Body Using Only a Head-Mounted RGB Camera
DLR Institute of Robotics & Mechatronics(德国航空航天中心机器人与机电工程研究所);Deggendorf Institute of Technology(德根多夫应用技术大学);Technical University of Munich(慕尼黑工业大学)
本研究提出一种仅使用头部RGB相机的自包含校准方法,通过虚拟噪声加权优化,将弹性人形机器人上半身的笛卡尔误差降低20%以上,达到平均3.9毫米的精度,无需外部设备。
2023-11-14 cs.RO
Real-time marker-less multi-person 3D pose estimation in RGB-Depth camera networks
University of Padova(帕多瓦大学);UCLA(加州大学洛杉矶分校)
本文提出了一种新的系统来估计和跟踪校准的RGB深度相机网络中的多个人的3D姿态。每个人的多视图3D姿态由中心节点计算,该中心节点从网络的每个相机接收单视图结果。通过使用用于2D姿态估计的CNN并借助于传感器深度将所得骨架扩展到3D来计算每个单视图结果。该系统是无标记,多人,独立于背景,不做任何假设的人的外观和初始姿势。该系统提供了实时的【形】结果,因此非常适合需要用户交互的应用。实验结果表明,这项工作的有效性相对于基线多视图方法在不同的情况下。为了促进基于这项工作的研究和应用,我们在OpenPTrack中发布了源代码,OpenPTrack是一个用于RGB-D人员跟踪的开源项目。
2017-10-17 cs.CV cs.RO
SPLODE: Semi-Probabilistic Point and Line Odometry with Depth Estimation from RGB-D Camera Motion
University of Surrey(萨里大学)
有源深度相机受到几个限制,这会导致深度图不完整和有噪声,并可能因此影响RGB-D测距法的性能。为了解决这个问题,本文提出了一种基于点和线特征的视觉里程计方法,该方法利用来自深度传感器的测量和来自相机运动的深度估计。深度估计是由概率深度估计框架连续生成的,用于两种类型的特征,以补偿深度测量的缺乏和不准确的特征深度关联。该框架明确地对来自点和线观测的三角测量深度的不确定性进行建模,以验证并获得精确的估计值。此外,通过将深度测量传播通过深度图配准模块并使用独立地考虑3D到2D和2D到3D重投影误差的帧到帧运动估计方法来利用深度测量。在大型室内和室外场景中捕获的RGB-D序列的结果表明,通过我们的方法将深度测量和估计相结合,能够克服深度测量的缺失和不准确性。
2017-08-09 cs.CV cs.RO
GPS Denied IBVS-Based Navigation and Collision Avoidance of UAV Using a Low-Cost RGB Camera
Electrical and Computer Engineering Dept., National University of Singapore(新加坡国立大学电子与计算机工程系);National University of Singapore(新加坡国立大学)
本文提出一种仅依赖RGB相机和机载Jetson平台的IBVS框架,通过AI单目深度估计实现无路径规划的无人机导航与避障,并在GPS拒止环境下验证其有效性。
2025-09-22 cs.RO cs.SY eess.SY
Depth Ranging Performance Evaluation and Improvement for RGB-D Cameras on Field-Based High-Throughput Phenotyping Robots
RGB-D相机已成功用于室内高分辨率T表型分析(HTTP)。然而,由于不稳定的照明、镜面反射和漫反射等产生的噪声和干扰,它们用于现场HTTP的能力和可行性仍然需要评估。为了解决这些问题,我们评估了两个消费级RGB-D相机的深度测距性能(RealSense D435 i和Kinect V2),并提出了一种补偿深度测量误差的策略。对于性能评估,我们着重于确定不同作物器官的最佳范围。在此基础上,提出了一种基于亮度和距离的支持向量回归算法,对测距误差进行补偿。此外,我们分析了两个RGB-D相机在不同光照强度下的深度填充率。实验结果表明:1)RealSense D435 i的有效测距面积为[0.160,1.400] m,场内填充率约为90%。2)对于Kinect V2,它在[0.497,1.200] m处具有较高的测距精度,但其场内填充率小于24.9%。3)该误差补偿模型能有效地减小光照强度和目标距离对误差的影响。该模型的最大均方误差和最小R2分别为0.029和0.867。总而言之,RealSense D435 i在现场HTTP上的测距性能比Kinect V2更好。
2021-04-27 cs.CV cs.RO
YCB-M: A Multi-Camera RGB-D Dataset for Object Recognition and 6DoF Pose Estimation
DFKI Niedersachsen Lab (DFKI NI)(DFKI下萨克森实验室(DFKI NI))
虽然近年来已经引入了各种各样的3D相机,但用于对象识别和姿态估计的大多数公开可用的数据集都集中在一个相机上。在这项工作中,我们提出了一个由7个不同的3D相机捕获的32个场景的数据集,总共49,294帧。这允许评估姿态估计算法对所使用的相机的细节的灵敏度,以及开发更独立于相机模型的更鲁棒的算法。反之亦然,我们的数据集使研究人员能够对来自几种不同相机和深度传感技术的数据进行定量比较,并在为特定任务选择相机之前评估其算法。我们数据集中的场景包含来自公共基准YCB对象和模型集的20个不同对象[1],[2]。我们为每个对象提供完整的地面真实6DoF姿势,每像素分割,2D和3D边界框以及每个对象的遮挡量的测量。我们还使用我们的数据集在最先进的对象识别和姿态估计系统上对相机进行了初步评估[3]。
2020-09-29 cs.CV cs.RO
A Single RGB Camera Based Gait Analysis with a Mobile Tele-Robot for Healthcare
University of Oxford(牛津大学);University of Glasgow(格拉斯哥大学);Shanghai Jiao Tong University(上海交通大学)
随着人们对高品质生活的认识不断提高,越来越需要在家庭环境中运行鲁棒算法的健康监测设备。健康监测技术可以实时分析用户的健康状况,提供长期的医疗保健支持并减少住院时间。这项工作的目的是双重的,该软件侧重于步态分析,这是广泛采用的关节矫正和评估任何下肢或脊柱问题。在硬件方面,我们设计了一种新型的无标记步态分析设备,使用低成本的RGB摄像机安装在移动遥机器人。由于使用单个相机进行步态分析比以前使用多相机,RGB-D相机或可穿戴传感器的作品更具挑战性,因此我们建议使用基于视觉的人体姿势估计方法。更具体地说,基于两个国家的最先进的人体姿态估计模型(Openpose和VNect)的输出,我们设计了四个定制的步态参数的测量:反转/外翻,背屈/跖屈,踝关节和脚的进展角度。因此,我们将行走模式分为正常,旋后,旋前和跛行。我们还说明了如何在低资源环境(如单个入门级CPU)中运行专用机器学习模型。实验表明,与基于深度相机或多相机运动捕捉系统的最新方法相比,我们的单RGB相机方法以更小的硬件成本实现了具有竞争力的性能。
2020-03-15 cs.CV cs.HC cs.LG
A Keyframe-based Continuous Visual SLAM for RGB-D Cameras via Nonparametric Joint Geometric and Appearance Representation
University of Michigan(密歇根大学)
本文报告了一个强大的RGB-D SLAM系统,在几乎没有纹理和结构化的环境中表现良好。我们提出了一种新的基于关键帧的连续视觉里程计,建立在最近开发的连续传感器配准框架。联合几何和外观表示是将RGB-D图像转换为存在于再生核希尔伯特空间(RKHS)中的函数的结果。我们通过RKHS中的内积结构解决了注册和关键帧选择问题。我们还提出了基于关键帧的里程计方法扩展到SLAM系统使用间接ORB环闭合约束。使用公开的RGB-D基准的实验评估表明,开发的关键帧选择技术,使用连续视觉里程计优于其强大的密集(和直接)视觉里程计等效。此外,所开发的SLAM系统在不同的训练和验证序列中具有更好的泛化能力;它对场景中缺乏纹理和结构具有鲁棒性;并显示出与最先进的SLAM系统相当的性能。
2019-12-02 cs.CV cs.RO
FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow
the University of Tokyo(东京大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
动态环境对视觉SLAM具有挑战性,因为运动对象遮挡静态环境特征并导致错误的相机运动估计。在本文中,我们提出了一种新的密集RGB-D SLAM解决方案,同时完成动态/静态分割和摄像机自我运动估计以及静态背景重建。我们的新颖之处在于使用光流残差来突出RGB-D点云中的动态语义,并为相机跟踪和背景重建提供更准确和有效的动态/静态分割。在公共数据集和真实动态场景上的密集重建结果表明,与现有方法相比,该方法在动态和静态环境下都具有准确、高效的性能。
2020-03-11 cs.CV cs.RO
ASGrasp: Generalizable Transparent Object Reconstruction and 6-DoF Grasp Detection from RGB-D Active Stereo Camera
Samsung R&D Institute China-Beijing(三星中国北京研发中心);CFCS, School of Computer Science, Peking University(计算机科学系,北京大学);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院)
ASGrasp提出一种基于RGB-D主动立体相机的6自由度抓取检测网络,通过两层立体网络重建透明物体几何,在杂乱环境中实现超过90%的泛化抓取成功率,优于现有方法。
2025-05-24 cs.CV cs.RO
ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza(萨拉戈萨大学阿拉贡工程研究所(I3A));Oculus Research
我们提出了ORB-SLAM 2一个完整的SLAM系统的单眼,立体和RGB-D相机,包括地图重用,闭环和重新定位功能。该系统可在各种环境中在标准CPU上实时工作,从小型手持室内序列到工业环境中的无人机飞行和城市周围的汽车驾驶。我们的后端基于单目和立体观测的光束法平差,可以使用度量尺度进行精确的轨迹估计。我们的系统包括一个轻量级的定位模式,利用视觉里程计跟踪未映射的区域和匹配的地图点,允许零漂移定位。对29个流行的公共序列的评估表明,我们的方法达到了最先进的精度,在大多数情况下是最准确的SLAM解决方案。我们发布源代码,不仅是为了SLAM社区的利益,也是为了为其他领域的研究人员提供开箱即用的SLAM解决方案。
2017-06-19 cs.CV cs.RO
Real-Time Human-Robot Interaction Intent Detection Using RGB-based Pose and Emotion Cues with Cross-Camera Model Generalization
College of Science and Engineering, Hamad Bin Khalifa University(科学与工程学院,哈马德·本·卡西姆大学)
本文提出了一种基于RGB姿态和情绪线索的实时人机交互意图检测方法,通过MINT-RVAE生成意图序列,实现跨摄像头和环境的强泛化能力。
2025-12-18 cs.AI cs.RO
Mixing Data-driven and Geometric Models for Satellite Docking Port State Estimation using an RGB or Event Camera
Robotics Institute, University of Technology Sydney(悉尼科技大学机器人研究所);University of Sydney(悉尼大学);ANT61
提出一种结合浅层数据驱动与几何模型的轻量级流水线,利用RGB或事件相机进行与卫星无关的对接端口检测与状态估计,并通过光度精确测试台验证了其稳健性及两种模态的定量比较。
2024-09-23 cs.CV cs.RO
Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle Prediction
Gwangju Institute of Science and Technology(光州科学技术院)
采用模仿学习来学习用于以端到端的方式预测转向角的感觉运动协调需要专家演示。这些专家演示与环境感知和车辆控制数据相结合。传统的基于帧的RGB相机是用于获取环境感知数据的最常见的外感受传感器模态。基于帧的RGB相机在用作学习端到端横向控制的单一模态时产生了有希望的结果。然而,传统的基于帧的RGB相机在照明变化条件下具有有限的可操作性,并且受到运动模糊的影响。事件摄像机为基于帧的RGB摄像机提供补充信息。这项工作探讨了基于帧的RGB和事件数据的融合,通过预测转向角来学习端到端的横向控制。此外,来自事件数据的表示如何与基于帧的RGB数据融合有助于鲁棒地预测自动驾驶车辆的横向控制。为此,我们提出了DRFuser,一种用于学习端到端横向控制的新型卷积编码器-解码器架构。编码器模块在基于帧的RGB数据和事件数据以及自关注层之间分支。此外,这项研究也有助于我们自己收集的数据集,包括事件,基于帧的RGB和车辆控制数据。在我们收集的数据集,Davis Driving数据集(DDD)和Carla Eventscape数据集上实验评估了所提出方法的有效性。实验结果表明,所提出的方法DRFuser优于国家的最先进的均方根误差(RMSE)和平均绝对误差(MAE)作为评价指标。
2022-02-11 cs.CV cs.RO