ADM-Fusion: Adaptive Deep Multi-Sensor Fusion for Robust Ego-Motion Estimation in Diverse Conditions
American University of Beirut（贝鲁特美国大学）
提出ADM-Fusion，一种基于深度学习的端到端多传感器融合方法，通过自适应专家混合框架和跨任务注意力机制动态平衡传感器权重，在退化条件下保持鲁棒性。
2026-07-02 cs.CV cs.RO
EcoFusion: Energy-Aware Adaptive Sensor Fusion for Efficient Autonomous Vehicle Perception
University of California, Irvine（加州大学欧文分校）
本文提出EcoFusion能量感知自适应传感器融合方法，利用上下文动态调整融合策略，在Nvidia Drive PX2平台上以约60%更少能耗和58%更低延迟实现最高9.5%的目标检测性能提升。
2022-02-23 cs.CV cs.RO cs.SY
Learning Selective Sensor Fusion for States Estimation
National University of Defense Technology（国防科技大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
自主车辆和移动机器人系统通常配备有多个传感器以提供冗余。通过整合来自不同传感器的观测，这些移动代理能够感知环境并估计系统状态，例如位置和方向。尽管用于多模态里程估计和定位的深度学习方法已经获得了关注，但它们很少关注鲁棒传感器融合的问题-这是处理现实世界中的噪声或不完整传感器观测的必要考虑因素。此外，目前的深度测距模型缺乏可解释性。为此，我们提出了SelectFusion，这是一种端到端的选择性传感器融合模块，可应用于有用的传感器模式对，如单目图像和惯性测量，深度图像和激光雷达点云。我们的模型是一个统一的框架，不限于特定的模态或任务。在预测过程中，该网络能够评估来自不同传感器模态的潜在特征的可靠性，并在尺度和全局姿态下估计轨迹。特别是，我们提出了两个融合模块-确定性软融合和随机硬融合，并提供了一个全面的研究相比，平凡的直接融合的新策略。我们广泛评估所有的融合策略在公共数据集和逐步退化的数据集，目前合成闭塞，噪声和丢失的数据和传感器之间的时间不对准，我们调查的有效性，不同的融合策略参加最可靠的功能，这本身，提供了洞察到各种模型的操作。
2022-05-18 cs.CV cs.LG cs.RO
Lvio-Fusion: A Self-adaptive Multi-sensor Fusion SLAM Framework Using Actor-critic Method
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
基于传感器的状态估计是移动机器人的一项重要技术。由于传感器在不同环境下的性能不同，如何融合各种传感器的测量值是一个难题。本文提出了一种紧耦合的多传感器融合框架Lvio-Fusion，它基于图优化融合立体相机、激光雷达、IMU和GPS。针对城市交通场景，提出了一种基于GPS和闭环的分段全局姿态图优化方法，消除了累积漂移。此外，我们创造性地使用强化学习中的actor-critic方法来自适应地调整传感器的权重。经过训练后，行动者-评论者智能体能够较好地为系统提供动态的传感器权重。我们评估了我们的系统在公共数据集上的性能，并将其与其他最先进的方法进行了比较，结果表明，该方法具有较高的估计精度和对各种环境的鲁棒性。我们的实现是开源的，具有高度可扩展性。
2021-09-16 cs.RO
Multi-Sensor State Estimation Fusion on Quadruped Robot Locomotion
本文提出了一种有效的结合各种传感器信息（惯性测量单元、关节编码器、摄像机和激光雷达）的状态估计算法
2021-08-12 cs.RO
Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）
研究针对移动机器人定位与状态估计问题，提出整体融合方法，通过因子图公式融合多类型测量，注重局部平滑性与一致性，能在典型硬件上实现低延迟、平滑在线估计及低漂移全局定位，在多场景验证了框架有效性。
2026-07-20 cs.CV cs.RO cs.SY
Robust sensor fusion against on-vehicle sensor staleness
Zoox Inc（Zoox公司）
针对自动驾驶多传感器数据延迟导致的时间不对齐问题，提出逐点时间戳偏移特征与真实陈旧模式数据增强，使透视图检测模型在同步和陈旧条件下均保持稳定性能。
2025-06-06 cs.AI cs.CV cs.LG
Self-supervised learning: When is fusion of the primary and secondary sensor cue useful?
自监督学习（Self-supervised learning，SSL）是一种可靠的学习机制，机器人可以通过它来增强自己的感知能力。通常，在SSL中，可信的主传感器提示向辅助传感器提示提供受监督的训练数据。在本文中，进行了理论分析的融合的主要和次要线索的最小模型的SSL。提供了一个证明，确定在何种条件下有利于进行融合。简而言之，当（i）目标值的先验很强或（ii）次级线索足够准确时，这是有利的。理论研究结果与计算实验进行了验证。随后，一个真实世界的案例研究进行调查，如果在SSL融合也是有益的，当最小模型的假设不满足。特别是，飞行机器人学会将压力测量映射到声纳高度测量，然后将两者融合，从而获得更好的高度估计。在相反的情况下，当压力是主要线索时，融合也是有益的。分析和结果是令人鼓舞的研究SSL融合也为其他机器人和传感器。
2017-09-23 cs.AI cs.LG cs.RO
Sensor Fusion-based GNSS Spoofing Attack Detection Framework for Autonomous Vehicles
University of Alabama（阿拉巴马大学）；Clemson University（克莱姆森大学）
在这项研究中，提出了一种基于传感器融合的GNSS欺骗攻击检测框架，该框架由三个并发策略组成：（i）预测位置偏移，（ii）检测转弯（左或右），以及（iii）识别运动状态（包括静止状态）。来自多个低成本车载传感器的数据（即，加速度计、转向角传感器、速度传感器和GNSS）被融合并馈送到递归神经网络模型中，该递归神经网络模型是用于预测位置偏移的长短期记忆（LSTM）网络，即，AV在两个连续的时间戳之间行进的距离。然后，我们结合了k-最近邻（k-NN）和动态时间规整（DTW）算法，使用转向角传感器的数据来检测转弯。此外，来自AV的速度传感器的数据用于识别AV的运动状态，包括静止状态。为了证明基于传感器融合的攻击检测框架的有效性，使用公开的真实世界本田研究所驾驶数据集（HDD）为三种独特而复杂的欺骗攻击创建了攻击数据集。我们的分析表明，基于传感器融合的检测框架成功地检测到所有三种类型的欺骗攻击所需的计算延迟阈值内。
2021-06-05 cs.CR cs.LG cs.RO
Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation
Friedrich-Alexander University (FAU) Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学）；Research Institute AImotion Bavaria（巴伐利亚AImotion研究所）
自动驾驶汽车的强大环境感知是一个巨大的挑战，这使得相机，激光雷达和雷达等多样化的传感器集至关重要。在理解记录的传感器数据的过程中，三维语义分割起着重要的作用。因此，本工作提出了一种用于激光雷达和摄像机的基于XML的深度融合架构，以改善交通场景的3D语义分割。单个传感器主干提取相机图像和激光雷达点云的特征图。一种新的金字塔融合骨干融合这些特征图在不同的尺度，并结合多模态特征的特征金字塔计算有价值的多模态，多尺度的功能。Pyramid Fusion Head聚合这些金字塔特征，并在后期融合步骤中进一步细化，融合传感器主干的最终特征。在两个具有挑战性的室外数据集上对该方法进行了评估，并研究了不同的融合策略和设置。它优于最近的距离视图为基础的激光雷达方法，以及所有迄今提出的融合策略和架构。
2022-05-26 cs.AI cs.CV cs.RO
Detecting Multi-Sensor Fusion Errors in Advanced Driver-Assistance Systems
Columbia University（哥伦比亚大学）；Baidu Security（百度安全）
近年来，高级驾驶辅助系统（ADAS）蓬勃发展并得到广泛部署。通常，这些系统接收传感器数据，计算驾驶决策，并向车辆输出控制信号。为了消除传感器输出带来的不确定性，他们通常利用多传感器融合（MSF）来融合传感器输出，并对周围环境产生更可靠的理解。然而，MSF无法完全消除不确定性，因为它缺乏关于哪个传感器提供最准确数据以及如何最佳地整合传感器提供的数据的知识。因此，可能会发生意想不到的严重后果。在这项工作中，我们观察到工业级ADAS中流行的MSF方法可能会误导汽车控制并导致严重的安全隐患。我们定义故障（例如，汽车碰撞）所造成的故障MSF融合错误，并开发一种新的基于进化的领域特定的搜索框架，融合，融合错误的有效检测。我们进一步应用因果关系分析表明，所发现的融合错误确实是由MSF方法引起的。我们评估我们的框架上两个广泛使用的MSF方法在两个驾驶环境。实验结果表明，FusED识别超过150个融合错误。最后，我们提出了几个建议，以改善我们研究的MSF方法。
2022-05-25 cs.AI cs.LG cs.RO
FusionLoc: Camera-2D LiDAR Fusion Using Multi-Head Self-Attention for End-to-End Serving Robot Relocalization
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Polaris3D
本文提出FusionLoc，一种基于相机-2D激光雷达融合与多头自注意力的端到端服务机器人重定位方法，直接预测位姿，性能优于单模态及简单融合方法。
2023-07-25 cs.CV cs.RO
Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking: A Survey
Southern University of Science and Technology（南方科技大学）；The University of British Columbia（英属哥伦比亚大学）
本调查文件涉及传感器融合预测控制的人假肢环境动力学辅助行走。动力下肢假肢可以模仿人体的肢体运动，帮助截肢者恢复行走能力，但使用动力下肢假肢在复杂环境中行走仍是截肢者面临的挑战。以往的研究主要集中在人与假肢之间的交互上，而没有考虑环境信息，这可以为人与假肢的交互提供一个环境背景。因此，在这篇综述中，最近的传感器融合方法的预测控制的人假肢的环境动力学辅助行走进行了严格调查。在此背景下，提出了几个相关的研究问题，需要进一步调查。特别是，一般控制器，传感器的比较，和传感器融合方法，适用于辅助步行的完整过程中介绍。此外，可能的传感器融合研究的人-假肢-环境动力学。
2019-03-22 cs.RO
Multi-Sensor Fusion Method using Dynamic Bayesian Network for Precise Vehicle Localization and Road Matching
LORIA-INRIA Lorraine（洛里亚-洛林因里亚研究所）；LAGIS-CNRS UMR 8146 Polytech'Lille（里尔理工大学LAGIS-CNRS联合研究所UMR 8146）
本文提出了一种新的道路匹配方法，旨在支持先进的驾驶辅助系统中的实时导航功能的多传感器融合策略。管理多假设是解决道路匹配问题的有效策略。利用动态贝叶斯网络实现了多传感器融合和多模态估计。实验结果，使用来自防抱死制动系统（ABS）传感器，差分全球定位系统（GPS）接收器和准确的数字路线图的数据，说明了这种方法的性能，特别是在模糊的情况下。
2007-09-07 cs.AI cs.RO
Towards Self-Supervised High Level Sensor Fusion
TUM（慕尼黑工业大学）；Artisense（Artisense公司）；Audi Electronics Venture（奥迪电子创投）
在本文中，我们提出了一个框架，通过融合RGB图像和深度图的原始信息来控制自动驾驶汽车。深度神经网络架构用于将视觉和深度信息分别映射到转向命令。来自两个传感器源的信息的这种融合允许在存在传感器故障的情况下提供冗余和容错。即使其中一个输入传感器无法产生正确的输出，另一个功能传感器仍然能够操纵汽车。这种冗余在自动驾驶汽车的关键应用中至关重要。实验结果表明，我们的方法是能够学习使用相关的传感器信息，即使其中一个传感器失败，没有任何明确的信号。
2019-02-12 cs.AI cs.CV cs.LG
DGFusion: Depth-Guided Sensor Fusion for Robust Semantic Perception
Computer Vision Laboratory, ETH Zurich（计算机视觉实验室，苏黎世联邦理工学院）
DGFusion通过整合深度信息提升多模态传感器融合，实现自动驾驶中的鲁棒语义感知。
2026-01-26 cs.CV cs.LG cs.RO
Sensing Volume Coverage of Robot Workspace using On-Robot Time-of-Flight Sensor Arrays for Safe Human Robot Interaction
Rochester Institute of Technology（罗切斯特理工学院）
本文分析了机器人飞行时间（ToF）传感器阵列环的各种配置对机器人工作空间的感知体积覆盖以及共享的人机协作工作空间。提出了一种使用八叉树来量化传感器的检测/感测体积的体积测量方法。还研究了通过增加每个ToF传感器阵列环的传感器数量以及增加安装在机器人连杆上的环的数量来改变感测体积覆盖。考虑机器人工作空间周围的最大理想体积，一个给定的ToF传感器阵列环的位置和方向设置应覆盖安全的人机交互。将该最大理想体积中的感测体积覆盖测量结果制成表格，并确定对各种ToF配置及其对机器人的近区和远区的覆盖范围的观察结果。
2019-07-03 cs.MA cs.RO
Proceedings of Third Workshop on Robots and Sensors integration in future rescue INformation system (ROSIN 2013)
这是机器人和传感器集成在未来救援信息系统（ROSIN 2013）的第三次研讨会的会议记录
2014-04-07 cs.RO
Robust Semantic Segmentation in Adverse Weather Conditions by means of Sensor Data Fusion
Ulm University（乌尔姆大学）
在恶劣天气条件下进行稳健可靠的语义分割对于自动驾驶汽车非常重要，但大多数最先进的方法只能在最佳天气条件下实现高准确率。原因是它们只针对良好的天气条件和给定的噪声模型进行了优化。然而，当数据中存在未知干扰时，大多数算法失效，性能大大下降。仍然获得可靠结果的一种可能性是使用不同的传感器类型（例如相机和激光雷达）来观察环境，并且借助于神经网络来融合传感器数据，因为不同的传感器在不同的天气条件下表现不同。因此，传感器可以通过适当的传感器数据融合来相互补充。然而，基于融合的方法仍然容易受到干扰，不能正确分类受干扰的图像区域。这个问题可以通过一种特殊的训练方法来解决，即所谓的鲁棒学习方法（RLM），一种神经网络学习处理未知噪声的方法。在这项工作中，两种不同的传感器融合架构的语义分割进行了比较和评估的几个数据集。此外，它表明，RLM极大地提高了在恶劣天气条件下的鲁棒性，并取得了良好的效果，虽然没有干扰模型已学习的神经网络。
2019-05-24 cs.CV cs.LG cs.RO
An Evidence Hierarchy for Bayesian Object Classification via OSINT-Aided Heterogeneous Sensor Fusion
Center for Digital Safety & Security, Austrian Institute of Technology GmbH (AIT)（数字安全与安全研究所，奥地利技术研究院（AIT））
本文提出了一种基于OSINT辅助的异质传感器融合方法，通过建立新的证据层级模型，结合上下文信息和领域知识，提升对CBRNE威胁的分类准确率，实验结果表明该方法在抗干扰和先验不匹配方面具有优势，分类准确率高达95%。
2026-08-04 cs.CV cs.LG cs.RO
Robust Inference for Visual-Inertial Sensor Fusion
University of Padova（帕多瓦大学）
从惯性和视觉传感数据的融合推断三维运动必须与后者中的异常值的优势相抗衡。鲁棒滤波处理联合推理和分类任务，选择哪些数据适合模型，并估计其状态。我们推导出最佳判别式，并提出了几个近似，一些文献中使用的，其他新的。我们通过分析比较它们，指出它们的近似值背后的假设，以及经验。我们表明，最好的表现方法提高了国家的最先进的视觉惯性传感器融合系统的性能，同时保持相同的计算复杂性。
2014-12-16 cs.RO
Accurate Cooperative Sensor Fusion by Parameterized Covariance Generation for Sensing and Localization Pipelines in CAVs
Arizona State University（亚利桑那州立大学）
协同感知的一个主要挑战是对来自各种源的测量值进行加权，以获得准确的结果。理想地，权重应当与感测信息中的误差成反比。然而，以前的合作传感器融合方法的自主车辆使用一个固定的误差模型，其中的传感器及其识别器管道的协方差只是所有感知场景的测量协方差的平均值。本文提出的方法估计误差，使用关键的预测项，具有高相关性的传感和定位精度的准确协方差估计每个传感器的观察。我们采用了分层融合模型，包括局部和全局传感器融合步骤。在局部融合级，我们增加了一个协方差生成阶段，使用每个传感器的误差模型和测量距离来生成每个观测的期望协方差矩阵。在全局传感器融合阶段，我们增加了一个额外的阶段，从关键的预测项速度生成的定位协方差矩阵，并结合从本地融合准确的协作感知产生的协方差。为了展示我们的方法，我们构建了一组1/10比例的模型自动驾驶车辆，具有比例精确的传感能力，并根据运动捕捉系统对错误特征进行分类。结果显示，当使用我们的误差模型与典型的固定误差模型时，在四车辆合作融合场景中分别检测车辆位置为1.42 x和1.78 x时，RMSE的平均和最大改善。
2022-09-07 cs.MA cs.RO
UKF-Based Sensor Fusion for Joint-Torque Sensorless Humanoid Robots
Italian Institute of Technology（意大利技术研究院）；University of Manchester（曼彻斯特大学）
本文提出一种基于无迹卡尔曼滤波的传感器融合方法，用于无关节力矩传感器的人形机器人在线估计关节力矩，并在ergoCub机器人上验证，实现了低误差的力矩跟踪。
2024-02-28 cs.RO
Atlas Fusion -- Modern Framework for Autonomous Agent Sensor Data Fusion
Brno University of Technology（布尔诺理工大学）；CEITEC（中欧技术研究所）
在本文中，我们提出了我们的软件传感器融合框架的自动驾驶汽车和其他自主机器人。我们已经设计了我们的框架作为一个通用的和可扩展的平台，用于建立一个强大的3D模型的代理的周围环境，融合了广泛的各种传感器到数据模型，我们可以使用作为决策和规划算法的基础。我们的软件目前涵盖RGB和热成像相机、3D LiDAR、3D IMU和GNSS定位的数据融合。该框架涵盖了从数据加载、过滤、预处理、环境模型构建、可视化和数据存储的完整管道。该架构允许社区修改现有的设置或使用新的想法扩展我们的解决方案。整个软件与ROS（机器人操作系统）完全兼容，这使得框架可以与其他基于ROS的软件合作。源代码在MIT许可证下作为开源完全可用。请参阅https://github.com/Robotics-BUT/Atlas-Fusion。
2022-04-20 cs.RO eess.SP
Sensor Network Based Collision-Free Navigation and Map Building for Mobile Robots
机器人安全导航是包括地面移动机器人和飞行机器人在内的自主机器人的基础研究领域。安全机器人导航算法的主要目标是引导自主机器人从其初始位置到目标或沿着期望的路径避开障碍物。随着信息技术和传感器技术的发展，机器人技术与传感器网络相结合的实现成为近年来研究的热点。其中一个相关的实现是基于传感器网络的机器人导航。此外，机器人的另一个重要导航问题是安全区域搜索和地图构建。本文首先提出了一种动态环境下地面移动机器人全局无碰撞路径规划算法。考虑到传感器网络的优势，将所提出的路径规划算法发展为基于传感器网络的地面移动机器人导航算法。该方法采用二维测距传感器网络对静态和动态障碍物进行检测。该传感器网络可以引导探测到的安全区域内的各个地面移动机器人到达目标。此外，所提出的导航算法扩展到三维环境。该算法利用传感器网络的测量数据，将工作空间中的任意飞行机器人从初始位置导航到目标位置。此外，本文还研究了地面移动机器人的另一个导航问题--安全区域搜索和地图构建，并提出了两种算法。在第一种方法中，我们考虑地面移动机器人配备了一个二维测距传感器搜索有界的二维区域没有任何碰撞，并建立一个完整的二维地图的区域。此外，第一个提出的地图创建算法扩展到另一种算法的三维地图创建。
2017-09-02 cs.RO
DAMS-LIO: A Degeneration-Aware and Modular Sensor-Fusion LiDAR-inertial Odometry
Zhejiang University（浙江大学）；Hangzhou Normal University（杭州师范大学）
随着机器人被部署在越来越复杂的环境中，如地下矿井和行星表面，多传感器融合方法得到了越来越多的关注，这是一个很有前途的解决方案，状态估计在这样的场景。融合方案是这些方法的核心组成部分。本文提出了一种基于iEKF的轻型LiDAR惯性里程计系统，该系统利用退化感知和模块化传感器融合流水线，仅在检测到退化时才将LiDAR点和来自另一里程计的相对姿态作为更新过程中的测量。克拉默-拉奥下限（CRLB）理论和模拟测试都被用来证明我们的方法比使用单个观察值的方法具有更高的准确性。此外，所提出的系统进行了评估，在感知上具有挑战性的数据集对各种国家的最先进的传感器融合方法。结果表明，该系统实现了实时性和高精度的估计性能，尽管具有挑战性的环境和不良的观测。
2023-03-23 cs.RO
Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted Data
KTH Royal Institute of Technology（瑞典皇家理工学院）；TU Hamburg（汉堡工业大学）
针对自动驾驶中3D目标检测的传感器融合易受数据失准、缺失等受损情况影响的问题，提出新型鲁棒融合步骤，正常数据性能持平SOTA，失准数据表现更优。
2023-06-12 cs.CV cs.RO
Reality Fusion: Robust Real-time Immersive Mobile Robot Teleoperation with Volumetric Visual Data Fusion
accelerator division at the Deutsche Elektronen Synchrotron DESY（德意志电子同步辐射研究中心加速器部门）；Human-Computer Interaction group at Hamburg University（汉堡大学人机交互小组）
Reality Fusion通过融合深度传感器与3D高斯泼溅渲染，实现沉浸式VR中鲁棒的移动机器人遥操作，显著提升用户性能与态势感知。
2025-08-07 cs.RO
Intelligent real-time MEMS sensor fusion and calibration
University of Žilina（日利纳大学）
本文讨论了一种新颖的用于实时的处理的基于均方误差估计的自适应异构融合算法。该算法是为微分和绝对传感器之间的融合而设计的，并通过将三轴陀螺仪、三轴加速度计和三轴磁强计融合到姿态和航向估计中来解释。我们的算法具有类似的错误性能在稳态，但更快的动态响应相比，固定增益融合算法。与扩展的卡尔曼滤波器相比，该算法收敛速度快，计算时间短。另一方面，卡尔曼滤波器在稳定状态下具有较小的均方输出误差，但是如果估计的状态变化太快则变得不稳定。此外，噪声融合偏差可以用于校准过程中。本文提出并阐述了一种基于机器学习的实时的标定方法，该方法在运行时工作在在线模式下。这允许在传感器工作环境中补偿传感器热漂移，而无需在实验室中重新校准。
2017-01-26 cs.RO
3D Fusion of Infrared Images with Dense RGB Reconstruction from Multiple Views -- with Application to Fire-fighting Robots
UCSD（加州大学圣地亚哥分校）
该项目集成了红外和RGB图像，以生成从多个视图重建的密集3D环境模型。生成的3D地图包含热和RGB信息，可用于机器人消防应用，以识别受害者和活跃的火灾区域。
2020-07-29 cs.CV cs.RO
Adaptation to Team Composition Changes for Heterogeneous Multi-Robot Sensor Coverage
Colorado School of Mines（科罗拉多矿业学院）
我们考虑多机器人传感器覆盖的问题，它涉及在一个环境中部署一个多机器人团队，并优化整个环境的传感质量。由于真实世界的环境涉及各种传感器信息，并且单个机器人的传感器数量有限，因此成功的多机器人传感器覆盖需要以每个团队成员的传感质量最大化的方式部署机器人。此外，由于单个机器人具有不同的传感器补充，并且机器人和传感器都可能发生故障，因此机器人必须能够适应和调整它们如何评估每个传感能力，以便获得最完整的环境视图，即使团队组成发生变化。我们引入了一种新的配方，传感器覆盖率的多机器人团队异构的传感能力，最大限度地提高每个机器人的传感质量，平衡不同的传感能力的基础上，个别机器人的整体团队组成。我们提出了一个基于正则化优化的解决方案，该解决方案使用稀疏诱导项来确保机器人团队专注于所有可能的事件类型，并且我们证明了它收敛到最优解。通过大量的模拟，我们表明，我们的方法是能够有效地部署一个多机器人团队，以最大限度地提高环境的传感质量，响应故障的多机器人团队比非自适应方法更强大。
2021-05-30 cs.MA cs.RO
Deep Sensor Fusion for Real-Time Odometry Estimation
相机和二维激光扫描仪相结合，能够提供低成本，重量轻和准确的解决方案，这使得它们的融合非常适合许多机器人导航任务。然而，正确的数据融合依赖于传感器之间的刚体变换的精确校准。在本文中，我们提出了第一个框架，利用卷积神经网络（CNN）的里程估计融合二维激光扫描仪和单相机。CNN的使用提供了工具，不仅可以从两个传感器中提取特征，还可以在不需要传感器之间校准的情况下融合和匹配它们。我们将里程估计转化为有序分类问题，以便找到连续帧之间的准确旋转和平移值。在实际道路数据集上的实验结果表明，该融合网络能够实时的【形】运行，并且能够通过学习如何融合两种不同类型的数据信息来改善单个传感器的里程估计。
2019-07-31 cs.CV cs.RO
Conservative Filtering for Heterogeneous Decentralized Data Fusion in Dynamic Robotic Systems
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出了一种用于贝叶斯多机器人对等数据融合的方法，其中任何一对自主机器人都具有全局联合概率分布的不相同但重叠的部分，表示真实世界的推理任务（例如，映射、跟踪）。结果表明，在动态随机系统中，过滤，这对应于过去的变量的边缘化，导致直接和隐藏的变量之间的依赖关系不相互监测的机器人，这可能会导致一个过度自信的融合估计。本文通过提供（i）严格分析的起源的依赖关系和（ii）一个保守的过滤算法，异构数据融合的动态系统，可以集成到现有的融合算法的理论和实践的贡献。这项工作使用因子图作为分析工具和推理机。网络中的每个机器人都维护一个局部因子图，并仅将其相关部分（子图）与相邻机器人进行通信。我们讨论了各种多机器人机器人应用的适用性，并使用多机器人多目标跟踪仿真演示了性能，表明所提出的算法在每个机器人产生保守的估计。
2022-03-14 cs.MA cs.RO
Multi Sensor Fusion for Navigation and Mapping in Autonomous Vehicles: Accurate Localization in Urban Environments
University of Turku（图尔库大学）
来自多个传感器的数据的组合，也称为传感器融合或数据融合，是自主机器人设计中的一个关键方面。特别是，能够适应传感器融合技术的算法能够提高准确性，并且对单个传感器的故障更具弹性。自主导航、地图绘制和定位算法的发展在过去二十年中取得了巨大进步。尽管如此，在开发强大的解决方案以在密集的城市环境中进行准确定位方面仍然存在挑战，在密集的城市环境中发生所谓的最后一英里交付。在这些场景中，局部运动估计与实时数据与详细的预构建地图的匹配相结合。在本文中，我们利用收集的数据与自主交付机器人比较不同的传感器融合技术和评估的算法提供最高的精度取决于环境。本文分析和提出的技术利用3D激光雷达数据、惯性数据、GNSS数据和车轮编码器读数。我们展示了激光雷达扫描匹配与其他传感器数据相结合，可以用来提高机器人定位的准确性，因此，它的导航。此外，我们提出了一种策略，以减少对导航性能的影响时，在环境中的变化，使地图数据无效或部分可用的地图被损坏。
2021-03-25 cs.RO
Endo-VMFuseNet: Deep Visual-Magnetic Sensor Fusion Approach for Uncalibrated, Unsynchronized and Asymmetric Endoscopic Capsule Robot Localization Data
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；Louisiana State University（路易斯安那州立大学）
在过去的十年中，研究人员和医疗设备公司在将被动胶囊内窥镜转变为主动医疗机器人方面取得了重大进展。其中一个主要挑战是赋予胶囊机器人对人体内部环境的准确感知，这将提供必要的信息并改进医疗程序。我们将深度学习方法的成功从各个研究领域扩展到内窥镜胶囊机器人的未校准，异步和非对称传感器融合问题。在真实猪胃数据集上进行的实验结果表明，该方法在平移和旋转运动方面都达到了亚毫米级的精度，并且比传统的传感器融合技术具有各种优势。
2017-09-22 cs.RO
Team Assignment for Heterogeneous Multi-Robot Sensor Coverage through Graph Representation Learning
Colorado School of Mines（科罗拉多矿业学院）
传感器覆盖是关键的多机器人问题，通过部署多个机器人来最大限度地检测环境中的事件。大型多机器人系统往往由简单的机器人组成，这些机器人通常没有配备完整的传感器，因此需要具有全面传感能力的团队才能适当覆盖一个区域。机器人还表现出多种形式的关系（例如，通信连接或空间分布），这在为传感器覆盖分配机器人团队时需要考虑。为了解决这个问题，在本文中，我们介绍了一种新的配方的传感器覆盖多机器人系统的异构关系作为一个图形表示学习问题。我们提出了一个原则性的方法，正则化优化的数学框架的基础上学习的统一表示的多机器人系统从图形描述的异构关系，并确定学习表示的底层结构，以分配机器人的团队。为了评估所提出的方法，我们进行了大量的实验模拟多机器人系统和物理多机器人系统作为一个案例研究，表明我们的方法是能够有效地分配团队异构多机器人传感器覆盖。
2021-05-30 cs.MA cs.RO
Integrating Multi-Modal Sensors: A Review of Fusion Techniques for Intelligent Vehicles
College of Engineering, Center for Environmental Research and Technology, University of California at Riverside（工程学院、环境研究与技术中心、加州大学河滨分校）；School of Transportation and Logistics, Southwest Jiaotong University（交通运输与物流学院、西南交通大学）
本文综述了多传感器融合技术在自动驾驶中的应用，分析了深度学习方法、多模态数据集及新兴趋势，强调了其提升系统适应性和鲁棒性的潜力。
2025-06-27 cs.CV cs.MM cs.RO
Mobile Robot Localization via Indoor Positioning System and Odometry Fusion
Telkom University（泰尔康大学）；National Research and Innovation Agency（国家研究与创新署）
针对室内移动机器人定位问题，本文利用EKF融合超声波IPS与轮式里程计数据，实验证明其可抑制打滑和噪声误差并显著提升定位与轨迹跟踪精度。
2025-09-20 cs.RO
Sensor Observability Index: Evaluating Sensor Alignment for Task-Space Observability in Robotic Manipulators
本文提出传感器可观测性指标，用于评估串联操作臂中传感器对齐对任务空间可观测性的影响，并通过Baxter机器人仿真实验验证其有效性。
2022-08-01 cs.RO
Parameter Optimization of Optical Six-Axis Force/Torque Sensor for Legged Robots
针对紧凑型轻量化足式机器人，提出非接触式光学六轴力/扭矩传感器设计，采用光电耦合器提升抗冲击性并简化制造，同时提出参数优化方法以最大化灵敏度、最小化误差，经测试验证适用于四足机器人，推动相关技术进步。
2025-02-11 cs.RO
Infrastructure-free Localization of Aerial Robots with Ultrawideband Sensors
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
集群中的机器人利用运动捕捉系统或GPS传感器来获得它们的全球位置。然而，运动捕捉系统是依赖于环境的，并且GPS传感器在遮挡环境中不可靠。为了在群体中进行可靠和多功能的操作，机器人必须相互感知并在本地进行交互。出于这一要求，在这里，我们提出了一个板上定位框架的多机器人系统。我们的框架包括一个锚机器人与三个超宽带（UWB）传感器和一个标签机器人与一个单一的UWB传感器。锚机器人利用三个UWB传感器作为定位基础设施，并估计标签机器人的位置，仅使用其板上的传感和计算能力，没有明确的机器人间的通信。我们利用双蒙特卡洛定位方法来捕捉标签机器人的敏捷机动与可接受的精度。我们验证了我们的算法的有效性与模拟和室内和室外实验上的两个无人机设置。建议的双MCL算法产生高度准确的估计各种速度剖面的标签机器人，并表现出优越的性能超过标准的粒子滤波器和扩展的卡尔曼滤波器。
2018-09-21 cs.RO
Infrastructure Sensor-enabled Vehicle Data Generation using Multi-Sensor Fusion for Proactive Safety Applications at Work Zone
The University of Alabama（阿拉巴马大学）；MITRE Corporation（MITRE公司）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；FAMU-FSU College of Engineering（佛罗里达州立大学工程学院）
本文提出路侧摄像头与LiDAR协同仿真及基于Kalman Filter的后融合框架，以低成本生成鲁棒车辆轨迹，仿真纵向误差最高降低70%，并在作业区实地验证其主动安全价值。
2025-09-29 cs.CV cs.RO
A Soft e-Textile Sensor for Enhanced Deep Learning-based Shape Sensing of Soft Continuum Robots
Egypt-Japan University of Science and Technology（埃及-日本科学技术大学）；Assiut University（艾斯尤特大学）；Waseda University（早稻田大学）
针对软连续体机器人中传统刚性传感器集成困难的问题，提出一种软电子纺织品电阻传感器，结合深度CNN实现高精度形状感知，性能优于传统传感器，提升导航安全与效率。
2024-04-19 cs.AI cs.RO
Modular Sensor Fusion for Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）
传感器融合是机器人系统中的一个基本过程，因为它扩展了感知范围并提高了现实世界操作的鲁棒性。当前基于多传感器深度学习的语义分割方法不为一种模态中表现不佳的类提供鲁棒性，或者需要能够访问完全对齐的多传感器训练数据的特定架构。在这项工作中，我们分析了统计融合方法的语义分割，克服这些缺点，同时保持竞争力的表现。所研究的方法是模块化的建设，允许有不同的训练集，每一个模态，只有一个小得多的子集是需要校准的统计模型。我们评估了一系列统计融合方法，并报告了它们在现实世界和模拟数据上的最新基线性能。在我们的实验中，该方法将IoU的性能提高了5%。我们公开所有的实现和配置。
2018-07-30 cs.CV cs.RO
LIC-Fusion: LiDAR-Inertial-Camera Odometry
Zhejiang University（浙江大学）；University of Delaware（特拉华大学）
提出了一种紧耦合的多传感器融合算法LiDAR-惯性相机融合（LIC-Fusion），该算法有效地融合了IMU测量、稀疏视觉特征和提取的LiDAR点。特别是，拟议的LIC融合执行所有三个异步传感器之间的在线空间和时间传感器校准，以补偿可能的校准变化。其主要贡献是在一个有效的基于MSCKF的框架内，对从LiDAR扫描中检测和跟踪的稀疏边缘/冲浪特征点进行最佳（线性化误差）多模态传感器融合，同时进行稀疏视觉特征观测和IMU读数。我们在室内和室外环境中进行了广泛的实验，表明所提出的LIC融合在估计精度和对侵略性运动的鲁棒性方面优于最先进的视觉惯性测距法（VIO）和LiDAR测距法。
2019-11-01 cs.RO
Sensor Observability Analysis for Maximizing Task-Space Observability of Articulated Robots
Université de Sherbooke（谢布鲁克大学）
提出一种名为传感器可观测性分析（SOA）的新性能指标，通过将关节空间传感器轴变换至任务空间评估累积感知质量，可用于优化和零空间控制以避免奇异构型，并在3-DOF和Baxter机器人上验证了其有效性。
2024-05-29 cs.RO
Bodily aware soft robots: integration of proprioceptive and exteroceptive sensors
University of Bristol（布里斯托大学）
意识到我们的身体在我们的日常生活中非常重要。这就是为什么我们知道如何在黑暗的房间里移动或抓住一个复杂的物体。这些技能对机器人也很重要，然而，机器人的身体意识仍然是一个未解决的问题。在本文中，我们提出了一种新的方法来实现身体意识的软体机器人的整合外感受和本体感受传感器。我们使用堆栈卷积自动编码器和递归神经网络的组合来将内部感觉信号映射到视觉信息。因此，模拟软体机器人可以学习\textit{imagine}它的运动，即使它的视觉传感器是不可用的。
2017-11-08 cs.RO
UniMSF: A Unified Multi-Sensor Fusion Framework for Intelligent Transportation System Global Localization
School of Automotive Studies, Tongji University（同济大学汽车学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Shanghai Gongji Technology Co., Ltd（上海同济科技有限公司）；the University of Birmingham（伯明翰大学）；Institute for Automotive Engineering (ika), RWTH Aachen University（亚琛工业大学汽车工程研究所）；Wuhan University（武汉大学）；Wuhan University of Technology（武汉理工大学）
提出UniMSF，一个基于因子图的统一多传感器融合定位框架，通过前端异质性处理、异常检测与噪声估计及后端优化，实现GNSS、IMU和4D雷达的紧密集成，提供可靠全局定位。
2024-09-19 cs.RO
Distributed Data Storage and Fusion for Collective Perception in Resource-Limited Mobile Robot Swarms
Worcester Polytechnic Institute（伍斯特理工学院）
在本文中，我们提出了一种方法的分布式存储和数据融合的集体感知资源有限的机器人群。我们证明了我们的方法在分布式语义分类的情况下。我们考虑一组移动机器人，其中每个机器人运行一个预先训练的已知精度的分类器来注释环境中的对象。我们提供了两个主要的贡献：（一）一个分散的，共享数据结构的有效存储和检索的语义注释，专门为低资源的移动机器人;和（ii）一个基于投票的，分散的算法，以减少方差的计算注释存在不完善的分类。我们讨论的理论和实现的贡献，并进行了广泛的现实模拟实验，以评估我们的方法的性能。
2020-12-15 cs.RO
Efficient Detection of Objects Near a Robot Manipulator via Miniature Time-of-Flight Sensors
Department of Computer Sciences, University of Wisconsin - Madison（计算机科学系，威斯康星大学麦迪逊分校）
本文提出一种利用臂载微型飞行时间传感器检测和定位机械臂附近物体的轻量方法，通过经验模型区分机器人自身与外部物体，提升传感器布置灵活性并支持碰撞避免与安全人机交互。
2025-09-19 cs.RO
Ultra-Fusion: A Resilient Tightly-Coupled Multi-Sensor Fusion SLAM Framework under Sensor Degradation and Spatiotemporal Perturbation for Intelligent Transportation Systems
Beijing Institute of Technology（北京理工大学）；Chongqing University（重庆大学）；Sichuan University（四川大学）；Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）
提出Ultra-Fusion紧耦合多传感器融合SLAM框架，通过可观测性感知初始化、因子级可靠性调度和在线LiDAR-IMU时空标定，在传感器退化与时空扰动下实现鲁棒定位，在多种平台和基准上验证了高精度与可用性。
2026-06-23 cs.RO
On the Robot Assisted Movement in Wireless Mobile Sensor Networks
Missouri University of Science and Technology（密苏里科技大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文研究了随机传感器初始按一般随机过程随机布置在直线上和按两个独立的一般随机过程随机布置在平面上的情况。移动机器人的承载能力$k$放置在原点是移动传感器，以实现一般的调度要求，如覆盖，连接，从而满足所需的通信性能的网络。我们研究了在机器人的运动中的能量消耗，传感器的数量$n$，传感器范围$r$，干扰距离$s$，和机器人容量$k$之间的权衡，直到完成的覆盖范围同时与干扰调度任务。在这项工作中，我们得到的能量消耗的上限在机器人的运动，并获得急剧下降的总运动成本的机器人，以便提供覆盖范围的同时，干扰的要求。
2021-07-07 cs.RO
Distributed Sensor Networks Deployed Using Soft Growing Robots
Stanford University（斯坦福大学）
由于它们能够相对于环境移动而不滑动，软生长机器人对于在受限空间中部署分布式传感器网络具有吸引力。对这种机器人状态的感知也将增加它们作为人类安全的、适应性强的操纵器的能力。然而，将分布式传感器结合到软生长机器人上是具有挑战性的，因为它需要硬材料和软材料之间的接口，并且传感器网络需要承受显著的应变。在这项工作中，我们提出了一种方法，用于添加传感器的软增长的机器人，使用灵活的印刷电路板与独立的单元的微控制器和传感器封装在一个层压装甲，保护他们免受不安全的曲率。我们证明了该系统的能力，在难以访问的空间中继定向温度和湿度信息。我们还展示和表征了一种方法，用于感测不断增长的机器人形状，使用惯性测量单元部署沿其长度，并开发一个数学模型来预测其精度。这项工作推进了软生长机器人的能力，以及软体机器人传感领域。
2021-03-10 cs.RO
High Precision In-Pipe Robot Localization with Reciprocal Sensor Fusion
Carnegie Mellon University（卡内基梅隆大学）
管道机器人的巨大优势在于它们能够从管道内部进行测量，并直接感知几何形状，外观和辐射。缺点是无法知道非常长的管道运行中测量的精确绝对位置。本文开发了前所未有的本地化为此目的所需的。
2020-02-27 cs.RO eess.SP
