Transformer-Based Sensor Fusion for Autonomous Driving: A Survey
Motional（莫蒂安）
传感器融合是自动驾驶和机器人等许多感知系统中的一个重要课题。根据数据集排行榜，基于变换器的检测头和基于CNN的特征编码器从原始传感器数据中提取特征，已成为性能最佳的传感器融合3D检测框架之一。在这项工作中，我们提供了一个深入的文献调查Transformer为基础的3D-目标检测任务在最近的过去，主要集中在传感器融合。我们还简要介绍了视觉Transformer（ViT）的基础知识，以便读者可以轻松地阅读本文。此外，我们还简要介绍了几种基于非变压器的不太占主导地位的自动驾驶传感器融合方法。最后，我们总结了传感器融合的发展趋势，以遵循和引发未来的研究。更多更新的摘要可以在https://github.com/ApoorvRoboticist/Transformers-Sensor-Fusion上找到
2023-02-22 cs.CV
Sensor interoperability and fusion in signature verification: A case study using tablet PC
Universidad Autonoma de Madrid（马德里自治大学）
介绍了信息融合技术在签名验证中的应用。然而，很少有工作集中在传感器融合和传感器互操作性。在本文中，这两个主题进行了评估，使用两个不同的商业平板电脑的签名验证。还提出了一个注册策略，使用两个平板电脑的签名。认证性能的实验报告使用的数据库超过3000个签名。
2022-10-20 cs.CV
HydraFusion: Context-Aware Selective Sensor Fusion for Robust and Efficient Autonomous Vehicle Perception
University of California, Irvine（加州大学尔湾分校）
尽管自动驾驶汽车（AV）有望彻底改变交通运输，但在广泛的驾驶环境中实现强大的感知仍然是一个重大挑战。已经提出了融合来自相机、雷达和激光雷达传感器的传感器数据的技术来改善AV感知。然而，现有的方法在困难的驾驶环境（例如，恶劣天气、低光、传感器障碍）。这些方法分为两大类：（i）早期融合，当传感器数据有噪声或模糊时会失败，以及（ii）后期融合，无法利用来自多个传感器的特征，从而产生更差的估计。为了解决这些限制，我们提出了HydraFusion：一个选择性传感器融合框架，它可以学习识别当前的驾驶环境，并融合传感器的最佳组合，以最大限度地提高鲁棒性，而不影响效率。HydraFusion是第一种提出在早期融合、晚期融合以及两者之间的组合之间进行动态调整的方法，从而改变融合的应用方式和时间。我们发现，平均而言，HydraFusion比早期和晚期融合方法分别高出13.66%和14.54%，而不会增加行业标准Nvidia Drive PX2 AV硬件平台上的计算复杂性或能耗。我们还提出并评估了静态和基于深度学习的上下文识别策略。我们的开源代码和模型实现可在https://github.com/AICPS/hydrafusion上获得。
2022-01-17 cs.CV
Resilient Sensor Fusion under Adverse Sensor Failures via Multi-Modal Expert Fusion
Seoul National University（首尔大学）；Hanyang University（汉阳大学）；LG AI Research（LG人工智能研究院）
针对传感器故障下性能下降问题，提出基于专家混合的MoME检测器，通过并行专家解码器解耦模态依赖并自适应路由查询，在nuScenes-R基准上取得最先进性能。
2025-03-31 cs.CV
The Segmentation Fusion Method On10 Multi-Sensors
Yeshwant Mahavidyala College（耶什万特·马哈维迪亚拉学院）
最显著的问题可能是融合图像的光谱特征的不期望的影响，以及使用融合图像的益处主要是与由一个传感器同时获取的它们的源图像相比。它们可能适合或可能不适合于其他图像的融合。因此，它变得越来越重要的调查技术，使多传感器，多数据图像融合，以作出最后的结论，可以得出最合适的融合方法。因此，在这项研究中，我们提出了一种新的方法分割融合方法（SF）的遥感图像提出了考虑传感器的物理特性，它使用一个特征级的处理范例。在一个特别的是，试图测试所提出的方法的性能上10多传感器图像和比较它与不同的融合技术，通过使用各种空间和光谱度量定量估计的质量和程度的信息改善。
2012-08-23 cs.CV
Radar Voxel Fusion for 3D Object Detection
Institute of Automotive Technology, Technical University of Munich（慕尼黑工业大学汽车技术研究所）；mLab:Real-Time and Embedded Systems Lab, University of Pennsylvania（宾夕法尼亚大学mLab实时与嵌入式系统实验室）
由于需要处理的各种可能的场景、对象和天气条件，汽车交通场景是复杂的。与自动化地下列车等更受约束的环境相比，汽车感知系统不能针对特定任务的狭窄领域进行定制，而是必须处理不断变化的环境和不可预见的事件。由于目前没有一个传感器能够可靠地感知周围环境中的所有相关活动，因此应用传感器数据融合来感知尽可能多的信息。不同传感器和传感器模态在低抽象级别上的数据融合使得能够在信息丰富的传感器数据被压缩之前补偿传感器之间的传感器弱点和误检测，从而在传感器个体目标检测之后丢失信息。本文提出了一种用于三维目标检测的低层传感器融合网络，该网络融合了激光雷达、摄像机和雷达数据。融合网络在nuScenes数据集上进行训练和评估。在测试集上，与基线激光雷达网络相比，雷达数据的融合将产生的AP（平均精度）检测分数提高了约5.1%。雷达传感器融合证明在恶劣条件下，如下雨和夜景特别有益。融合额外的摄像机数据仅在与雷达融合结合时才有积极的贡献，这表明传感器的相互依赖性对检测结果很重要。此外，本文提出了一种新的损失，以处理一个简单的偏航表示目标检测的不连续性。我们更新的损失增加了所有传感器输入配置的检测和方向估计性能。本研究的代码已在GitHub上提供。
2021-06-26 cs.CV
Optimal Sensor Data Fusion Architecture for Object Detection in Adverse Weather Conditions
Ulm University（乌尔姆大学）
该研究针对恶劣天气下目标检测性能下降的问题，对比不同传感器融合架构，提出新训练策略，并验证先验知识对检测精度的提升作用，以找到适用于多样天气的最优融合方案。
2018-07-06 cs.CV
Sensor Data Fusion in Top-View Grid Maps using Evidential Reasoning with Advanced Conflict Resolution
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））；FZI Research Center for Information Technology（FZI信息技术研究中心）
我们提出了一种新的方法来结合证据的顶视网格地图估计的基础上异构传感器源。Dempster的组合规则，通常应用于这种情况下，提供了不希望的结果与高度冲突的输入。因此，我们使用更先进的证据推理技术，并通过建模的证据源的可靠性，提高冲突解决。我们提出了一个数据驱动的可靠性估计，以优化融合质量使用的Kitti-360数据集。我们将所提出的方法应用于激光雷达和立体相机数据的融合，并定性和定量地评估结果。结果表明，我们所提出的方法鲁棒地结合测量异构传感器，并成功地解决了传感器冲突。
2022-04-19 cs.CV
NeuralFusion: Online Depth Fusion in Latent Space
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
我们提出了一种新的在线深度图融合方法，学习深度图聚合在一个潜在的特征空间。虽然以前的融合方法使用显式的场景表示，如符号距离函数（SDF），我们提出了一个学习的融合特征表示。其关键思想是通过一个额外的翻译器网络，用于融合的场景表示和输出场景表示之间的分离。我们的神经网络架构由两个主要部分组成：一个深度和特征融合子网络，然后是一个翻译子网络，以产生最终的表面表示（例如TSDF）的可视化或其他任务。我们的方法是一个在线过程，处理高噪声水平，特别是能够处理常见的光度立体深度图的总离群值。在真实数据和合成数据上的实验表明，与现有技术相比，结果有所改善，特别是在具有大量噪声和离群值的挑战性场景中。
2021-06-08 cs.CV
VLC Fusion: Vision-Language Conditioned Sensor Fusion for Robust Object Detection
Arizona State University（亚利桑那州立大学）；Department of Computer Science and Engineering, Universidad Nacional del Sur and Institute for Computer Science and Engineering（计算机科学与工程系，国家南方大学和计算机科学与工程研究所）；U.S. Department of Defense（美国国防部）；United States Military Academy（美国军事学院）；Syracuse University（雪城大学）
本文提出VLC Fusion视觉-语言条件传感器融合框架，利用VLM捕捉环境线索动态调整模态权重，在多传感器融合目标检测任务中，于自动驾驶与军事目标数据集上较传统方法实现更优性能。
2026-08-05 cs.CV
GaussianFusionOcc: A Seamless Sensor Fusion Approach for 3D Occupancy Prediction Using 3D Gaussians
Technical University of Munich（慕尼黑技术大学）；BMW Group（宝马集团）；Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与智能机械研究所）
本文提出GaussianFusionOcc，以语义3D Gaussians和模态无关可变形注意力无缝融合相机、LiDAR与雷达，实现高效、可扩展且性能领先的3D语义占据预测。
2025-07-24 cs.CV
SAMFusion: Sensor-Adaptive Multimodal Fusion for 3D Object Detection in Adverse Weather
Torc Robotics（Torc机器人公司）；University of Stuttgart（斯图加特大学）；Princeton University（普林斯顿大学）
SAMFusion提出一种面向恶劣天气的传感器自适应多模态融合方法，融合RGB、LiDAR、近红外门控相机和雷达，通过基于注意力的深度混合与BEV细化及transformer解码器，在浓雾等场景中显著提升三维目标检测精度。
2025-08-22 cs.CV
Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System
AGH University of Kraków（克拉科夫AGH科技大学）；Aptiv Services（安波福服务公司）
本文提出一种基于跨域空间匹配（CDSM）的相机与雷达融合方法，通过将2D图像特征转换至3D空间并与雷达数据互补融合，在NuScenes数据集上实现了优于单传感器且媲美顶级融合方法的3D目标检测性能。
2024-04-25 cs.CV
Event-based Sensor Fusion and Application on Odometry: A Survey
University of Turku（图尔库大学）
本文综述基于事件的传感器融合在里程计中的应用，分析其缓解传统相机运动模糊、激光雷达几何信息丢失等问题的策略，评估融合帧相机、IMU和激光雷达的方法性能，指出未来研究方向。
2024-11-28 cs.CV
Adversarial Robustness of Deep Sensor Fusion Models
Washington University in St. Louis（圣路易斯华盛顿大学）
我们通过实验研究了深度相机-LiDAR融合架构在自动驾驶中用于二维目标检测的鲁棒性。首先，我们发现融合模型通常比单传感器深度神经网络更准确，对单源攻击更鲁棒。此外，我们表明，在没有对抗性训练的情况下，早期融合比晚期融合更鲁棒，而在对抗性训练后两者的表现相似。然而，我们注意到，深度融合的单通道对抗性训练通常甚至对鲁棒性有害。此外，我们观察到跨通道外部性，其中单通道对抗训练降低了对其他通道攻击的鲁棒性。此外，我们观察到对抗训练中对抗模型的选择至关重要：使用限制在汽车边界框的攻击在对抗训练中更有效，并且表现出不太显著的跨通道外部性。最后，我们发现联合通道对抗训练有助于缓解上述许多问题，但不会显著提高对抗鲁棒性。
2022-04-11 cs.CV
Multi-Level Sensor Fusion with Deep Learning
Orange Labs（Orange实验室）；Normandie Univ.（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS（法国国家科学研究中心）
在深度学习的背景下，本文提出了一个原始的深度网络，即CentralNet，用于融合来自不同传感器的信息。该方法被设计为有效地且自动地平衡早期融合与晚期融合之间的权衡（即，低级别信息与高级别信息的融合之间的权衡）。更具体地说，在每一个抽象层次（不同层次的深度网络），数据的单峰表示被馈送到中央神经网络，中央神经网络将它们组合成一个公共嵌入。此外，还引入了多目标正则化，有助于优化中心网络和单峰网络。在四个多模态数据集上的实验不仅显示了最先进的性能，而且还证明了CentralNet实际上可以为给定的问题选择最佳的融合策略。
2018-11-05 cs.CV
A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection
Technical University of Munich（慕尼黑工业大学）
近年来，使用深度学习在相机图像中进行目标检测已被成功证明。不断提高的检测率和计算效率高的网络结构正在推动这项技术在生产车辆中的应用。然而，相机的传感器质量在恶劣的天气条件下受到限制，并且在光线稀少的地区和夜间传感器噪声增加。我们的方法增强了当前的二维目标检测网络融合摄像机数据和投影稀疏雷达数据的网络层。所提出的CameraRadarFusionNet（CRF-Net）自动学习在哪个级别上融合传感器数据对检测结果最有利。此外，我们还引入了BlackIn，这是一种受Dropout启发的训练策略，它将学习集中在特定的传感器类型上。我们表明，融合网络能够在两个不同的数据集上胜过最先进的仅图像网络。这项研究的代码将在https://github.com/TUMFTM/CameraRadarFusionNet上向公众提供。
2020-05-15 cs.CV
Layer-Wise Modality Decomposition for Interpretable Multimodal Sensor Fusion
Seoul National University（首尔国立大学）
提出逐层模态解耦（LMD）方法，解耦预训练融合模型各层的特定模态信息，实现自动驾驶多传感器感知预测的模态归因与可解释性。
2025-11-02 cs.CV
FUTR3D: A Unified Sensor Fusion Framework for 3D Detection
Shanghai Qi Zhi Institute（上海期智研究院）；Fudan University（复旦大学）；CMU（卡内基梅隆大学）；MIT（麻省理工学院）；Li Auto（理想汽车）；Tsinghua University（清华大学）
FUTR3D提出首个统一的端到端三维检测传感器融合框架，通过模态无关特征采样器和Transformer解码器适配任意传感器组合，在NuScenes上以低成本配置达到与高性能激光雷达方法相当的效果。
2023-04-15 cs.CV
Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
Mercedes-Benz AG（梅赛德斯-奔驰公司）；Algolux（Algolux公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
多模态传感器流（如摄像机、激光雷达和雷达测量）的融合在自主车辆的目标检测中起着关键作用，自主车辆基于这些输入进行决策。虽然现有的方法在良好的环境条件下利用冗余信息，但它们在感觉流可能不对称失真的恶劣天气中失败。这些罕见的“边缘情况”的情况下，没有表示在可用的数据集，现有的融合架构并没有设计来处理它们。为了应对这一挑战，我们提出了一个新的多模式数据集，在北欧超过10,000公里的驾驶中获得。尽管该数据集是恶劣天气下的第一个大型多模态数据集，其中包括激光雷达、相机、雷达和门控近红外传感器的10万个标签，但由于极端天气罕见，它并不便于训练。为此，我们提出了一种深度融合网络，用于鲁棒融合，而无需覆盖所有非对称失真的大量标记训练数据。从提议级融合出发，我们提出了一个单次模型，自适应融合功能，由测量熵驱动。我们验证了所提出的方法，在干净的数据上训练，在我们广泛的验证数据集上。代码和数据可在https://github.com/princeton-computational-imaging/SeeingThroughFog获得。
2020-06-30 cs.CV
On Recognizing Transparent Objects in Domestic Environments Using Fusion of Multiple Sensor Modalities
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）
当前的对象识别方法在包括漫射、反射和透明材料的对象集上失败，尽管它们在家庭场景中非常常见。我们表明，从多个传感器的方式，包括镜面反射和不可用的深度信息的线索的组合，使我们能够捕捉到更大的家庭对象的子集，通过扩展最先进的对象识别方法的状态。这导致在更大的一组常用对象上识别的鲁棒性显著增加。
2016-06-03 cs.CV
DifFUSER: Diffusion Model for Robust Multi-Sensor Fusion in 3D Object Detection and BEV Segmentation
Monash University（莫纳什大学）；Hunan University（湖南大学）
提出DifFUSER，利用扩散模型进行多传感器融合，通过cMini-BiFPN架构、GSM模块和PSDT范式增强鲁棒性，在BEV分割和3D目标检测中达到先进性能。
2024-09-24 cs.CV
OccFusion: Depth Estimation Free Multi-sensor Fusion for 3D Occupancy Prediction
Wuhan University（武汉大学）
针对现有多传感器融合3D占用预测依赖深度估计、准确性与鲁棒性受限且计算成本高的问题，提出无需深度估计的OccFusion框架，搭配可泛化的主动训练方法与主动解码器，在相关数据集上实现性能提升。
2024-07-10 cs.CV
Sparse Representation based Multi-sensor Image Fusion: A Review
Xidian University（西安电子科技大学）；Lehigh University（利哈伊大学）；Northumbria University（诺森比亚大学）；University of Sydney（悉尼大学）
由于稀疏表示在计算机视觉和图像处理中的成功应用，稀疏表示在多传感器图像融合中得到了广泛的关注。与传统的多尺度变换（MSTs）假设基函数不同，SR从一组用于图像融合的训练图像中学习一个过完备字典，从而实现对源图像更稳定和有意义的表示。通过这样做，基于SR的融合方法通常优于传统的基于MST的图像融合方法在主观和客观测试。此外，它们不易受源图像之间的误配准的影响，从而便于实际应用。这篇综述论文对基于SR的多传感器图像融合文献进行了系统的回顾，突出了每类方法的优缺点。具体来说，我们首先从三个关键算法方面对整个系统进行理论研究，（1）稀疏表示模型;（2）字典学习方法;（3）活动水平和融合规则。随后，我们展示了现有的工作如何解决这些科学问题，并为每个应用程序设计适当的融合规则，如多聚焦图像融合和多模态（例如，红外和可见光）图像融合。最后，我们进行了一些实验，以评估这三个算法组件对融合性能的影响时，处理不同的应用程序。本文有望为准备进入该领域或希望在其他领域应用稀疏表示理论的研究人员提供教程和参考。
2017-02-12 cs.CV
Multi-Task Multi-Sensor Fusion for 3D Object Detection
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们建议利用多个相关的任务，准确的多传感器三维目标检测。为了实现这一目标，我们提出了一个端到端的可学习的架构，原因约2D和3D目标检测以及地面估计和深度完成。我们的实验表明，所有这些任务都是互补的，并通过融合不同级别的信息来帮助网络学习更好的表示。重要的是，我们的方法在2D、3D和BEV目标检测方面领先于KITTI基准，同时是实时的。
2020-12-22 cs.CV
Entropy Decision Fusion for Smartphone Sensor based Human Activity Recognition
人类活动识别在构建连续行为监测系统中起着重要作用，这些系统可用于视觉监控，患者康复，游戏，甚至个人倾向的灵巧家庭。本文展示了我们的努力，以开发一个协作决策融合机制，集成的预测分数从多个学习算法训练智能手机传感器基于人类活动数据。提出了一种融合卷积神经网络、递归卷积网络和支持向量机的方法，通过计算和融合基于Tsallis熵的各个分类器的相对加权得分来提高人体活动识别性能。为了评估这种方法的适用性，实验进行了两个基准数据集，UCI-HAR和WISDM。使用所提出的方法获得的识别结果与现有的方法。
2020-05-30 cs.CV
Multi scale Feature Extraction and Fusion for Online Knowledge Distillation
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Key Laboratory of Space-ground Interconnection and Convergence（北京天地互联与融合重点实验室）
在线知识蒸馏在所有学生模型之间进行知识转移，以减轻对预训练模型的依赖。然而，现有的在线方法严重依赖于预测分布，而忽略了对代表性知识的进一步探索。本文提出了一种新的多尺度特征提取与融合方法（MFEF）用于在线知识蒸馏，该方法包括三个关键部分：多尺度特征提取、双注意和特征融合，以生成更多信息的特征图用于提取。为了提高特征图的多尺度表示能力，提出了基于通道维分割拼接的多尺度特征提取方法。为了获得更准确的信息，我们设计了一个双注意力，以加强重要的通道和空间区域自适应。此外，我们通过特征融合对先前处理的特征图进行聚合和融合，以辅助学生模型的训练。在CIF AR-10、CIF AR-100和CINIC-10上的大量实验表明，MFEF传递了更多有益的表征知识，并且在各种网络结构中优于替代方法
2022-06-16 cs.CV
Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
University of California Los Angeles（加州大学洛杉矶分校）；Shanghai AI Lab（上海人工智能实验室）；Beijing Institute of Technology（北京理工大学）；East China Normal University（华东师范大学）
本文综述了自动驾驶感知中多模态传感器融合方法，提出了基于融合阶段的新分类法，并分析了现有方法的剩余问题与未来研究方向。
2024-12-16 cs.CV
Deep Continuous Fusion for Multi-Sensor 3D Object Detection
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们提出了一种新的3D物体检测器，可以利用激光雷达以及相机来执行非常准确的定位。为了实现这一目标，我们设计了一个端到端的可学习架构，该架构利用连续卷积来融合不同分辨率级别的图像和LIDAR特征图。我们提出的连续融合层编码离散状态图像特征以及连续的几何信息。这使我们能够设计一种基于多个传感器的新型，可靠和高效的端到端可学习3D物体检测器。我们对KITTI和大规模3D目标检测基准的实验评估显示了对现有技术的显着改进。
2020-12-20 cs.CV
ADM-Fusion: Adaptive Deep Multi-Sensor Fusion for Robust Ego-Motion Estimation in Diverse Conditions
American University of Beirut（贝鲁特美国大学）
提出ADM-Fusion，一种基于深度学习的端到端多传感器融合方法，通过自适应专家混合框架和跨任务注意力机制动态平衡传感器权重，在退化条件下保持鲁棒性。
2026-07-02 cs.CV cs.RO
Sensor Adversarial Traits: Analyzing Robustness of 3D Object Detection Sensor Fusion Models
University of Michigan（密歇根大学）；UC Irvine（加州大学欧文分校）
自动驾驶车辆（AV）的一个关键方面是目标检测阶段，该阶段越来越多地使用传感器融合模型来执行：多模式3D目标检测模型，其利用来自LIDAR传感器的2D RGB图像数据和3D数据作为输入。在这项工作中，我们进行了第一项研究，以分析高性能，开源传感器融合模型架构对对抗攻击的鲁棒性，并挑战流行的信念，即使用额外的传感器自动减轻对抗攻击的风险。我们发现，尽管使用了激光雷达传感器，但该模型很容易受到我们有目的地制作的基于图像的对抗攻击的攻击，包括消失，通用补丁和欺骗。在确定了根本原因之后，我们探索了一些潜在的防御措施，并为改进传感器融合模型提供了一些建议。
2021-09-13 cs.CV cs.LG
Availability-aware Sensor Fusion via Unified Canonical Space
CCS Graduate School of Mobility（移动系统联合研究生院）；KAIST（韩国科学技术院）
针对自动驾驶多传感器融合易受传感器故障影响、现有方法计算成本高的问题，提出可用性感知传感器融合方法ASF，通过UCP和CASAP机制提升鲁棒性，在K-Radar数据集上取得更优检测性能且计算成本低。
2025-11-18 cs.AI cs.CV
YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera and Radar Sensors
University of Wuppertal（伍珀塔尔大学）
在这项工作中，我们提出了一种基于不确定性的方法与相机和雷达数据的传感器融合。两个神经网络的输出，一个处理相机和另一个雷达数据，以不确定性感知的方式组合。为此，我们收集了两个网络的输出和相应的Meta信息。对于每个预测对象，通过梯度提升方法对收集的信息进行后处理，以产生两个网络的联合预测。在我们的实验中，我们将YOLOv3目标检测网络与定制的$1D$雷达分割网络相结合，并在nuScenes数据集上评估我们的方法。特别是，我们专注于夜间场景，其中基于摄像机数据的目标检测网络的能力是潜在的障碍。我们的实验表明，这种不确定性感知融合的方法，这也是非常模块化的性质，显着提高性能相比，单个传感器基线，是专门定制的范围内的深度学习为基础的融合方法。
2020-11-23 cs.CV cs.LG
Deep Sensor Fusion with Pyramid Fusion Networks for 3D Semantic Segmentation
Friedrich-Alexander University (FAU) Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学）；Research Institute AImotion Bavaria（巴伐利亚AImotion研究所）
自动驾驶汽车的强大环境感知是一个巨大的挑战，这使得相机，激光雷达和雷达等多样化的传感器集至关重要。在理解记录的传感器数据的过程中，三维语义分割起着重要的作用。因此，本工作提出了一种用于激光雷达和摄像机的基于XML的深度融合架构，以改善交通场景的3D语义分割。单个传感器主干提取相机图像和激光雷达点云的特征图。一种新的金字塔融合骨干融合这些特征图在不同的尺度，并结合多模态特征的特征金字塔计算有价值的多模态，多尺度的功能。Pyramid Fusion Head聚合这些金字塔特征，并在后期融合步骤中进一步细化，融合传感器主干的最终特征。在两个具有挑战性的室外数据集上对该方法进行了评估，并研究了不同的融合策略和设置。它优于最近的距离视图为基础的激光雷达方法，以及所有迄今提出的融合策略和架构。
2022-05-26 cs.AI cs.CV cs.RO
Towards a Robust Sensor Fusion Step for 3D Object Detection on Corrupted Data
KTH Royal Institute of Technology（瑞典皇家理工学院）；TU Hamburg（汉堡工业大学）
针对自动驾驶中3D目标检测的传感器融合易受数据失准、缺失等受损情况影响的问题，提出新型鲁棒融合步骤，正常数据性能持平SOTA，失准数据表现更优。
2023-06-12 cs.CV cs.RO
Deep Sensor Fusion for Real-Time Odometry Estimation
相机和二维激光扫描仪相结合，能够提供低成本，重量轻和准确的解决方案，这使得它们的融合非常适合许多机器人导航任务。然而，正确的数据融合依赖于传感器之间的刚体变换的精确校准。在本文中，我们提出了第一个框架，利用卷积神经网络（CNN）的里程估计融合二维激光扫描仪和单相机。CNN的使用提供了工具，不仅可以从两个传感器中提取特征，还可以在不需要传感器之间校准的情况下融合和匹配它们。我们将里程估计转化为有序分类问题，以便找到连续帧之间的准确旋转和平移值。在实际道路数据集上的实验结果表明，该融合网络能够实时的【形】运行，并且能够通过学习如何融合两种不同类型的数据信息来改善单个传感器的里程估计。
2019-07-31 cs.CV cs.RO
Fusion-FlowNet: Energy-Efficient Optical Flow Estimation using Sensor Fusion and Deep Fused Spiking-Analog Network Architectures
Purdue University（普渡大学）
对光强度帧进行采样的标准基于帧的相机受到高速运动的运动模糊的严重影响，并且在动态范围高时无法准确地感知场景。另一方面，基于事件的相机通过异步检测各个像素强度的变化来克服这些限制。然而，事件相机仅提供关于运动中的像素的信息，从而导致稀疏数据。因此，估计像素的整体密集行为是困难的。为了解决与传感器相关的这些问题，我们提出了融合FlowNet，一个传感器融合框架，用于使用基于帧和基于事件的传感器进行节能光流估计，利用它们的互补特性。我们提出的网络架构也是脉冲神经网络（SNN）和模拟神经网络（ANN）的融合，其中每个网络被设计为分别同时处理异步事件流和基于常规帧的图像。我们的网络是使用无监督学习进行端到端训练的，以避免昂贵的视频注释。该方法在不同的环境（快速运动和具有挑战性的照明条件）中具有很好的通用性，并在多车辆立体事件摄像机（MVSEC）数据集上展示了最先进的光流预测。此外，我们的网络在网络参数和计算能源成本方面提供了大量的节省。
2021-03-19 cs.CV cs.NE
Virtual Fusion with Contrastive Learning for Single Sensor-based Activity Recognition
University College Dublin（都柏林大学学院）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对单传感器 HAR 视角受限而多传感器融合成本高的问题，提出训练时利用多传感器无标签数据、推理时仅用单传感器的 Virtual Fusion，并通过 AFVF 扩展达到基准最优性能。
2023-12-01 cs.AI cs.CV cs.LG
Design of Sensor Fusion Driver Assistance System for Active Pedestrian Safety
National Sun Yat-sen University（国立中山大学）；Wenzao Ursuline University of Languages（文藻外语大学）；Automotive Research and Testing Center（车辆研究测试中心）
在本文中，我们提出了一种并行架构的传感器融合检测系统，结合了摄像机和一维光检测和测距（激光雷达）传感器的目标检测。该系统包含两种目标检测方法，一种基于光流，另一种使用激光雷达。这两种传感器可以有效地弥补另一种传感器的缺陷。可以同时实现对象的位置及其横向运动信息的精确纵向精度。使用时空对齐和传感器融合的政策，我们完成了融合检测系统的发展，具有高可靠性，在距离高达20米。测试结果表明，该系统对车辆前方行人或目标检测具有较高的准确性，对特殊环境具有较强的鲁棒性。
2022-01-23 cs.CV eess.SP
Infrastructure Sensor-enabled Vehicle Data Generation using Multi-Sensor Fusion for Proactive Safety Applications at Work Zone
The University of Alabama（阿拉巴马大学）；MITRE Corporation（MITRE公司）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；FAMU-FSU College of Engineering（佛罗里达州立大学工程学院）
本文提出路侧摄像头与LiDAR协同仿真及基于Kalman Filter的后融合框架，以低成本生成鲁棒车辆轨迹，仿真纵向误差最高降低70%，并在作业区实地验证其主动安全价值。
2025-09-29 cs.CV cs.RO
Modular Sensor Fusion for Semantic Segmentation
ETH Zurich（苏黎世联邦理工学院）
传感器融合是机器人系统中的一个基本过程，因为它扩展了感知范围并提高了现实世界操作的鲁棒性。当前基于多传感器深度学习的语义分割方法不为一种模态中表现不佳的类提供鲁棒性，或者需要能够访问完全对齐的多传感器训练数据的特定架构。在这项工作中，我们分析了统计融合方法的语义分割，克服这些缺点，同时保持竞争力的表现。所研究的方法是模块化的建设，允许有不同的训练集，每一个模态，只有一个小得多的子集是需要校准的统计模型。我们评估了一系列统计融合方法，并报告了它们在现实世界和模拟数据上的最新基线性能。在我们的实验中，该方法将IoU的性能提高了5%。我们公开所有的实现和配置。
2018-07-30 cs.CV cs.RO
Selective Sensor Fusion for Neural Visual-Inertial Odometry
University of Oxford（牛津大学）；MO Intelligence（MO智能公司）；Tencent（腾讯）
用于视觉惯性里程计（VIO）的深度学习方法已被证明是成功的，但它们很少专注于结合鲁棒的融合策略来处理不完美的输入传感数据。我们提出了一种新的端到端的选择性传感器融合框架的单目VIO，融合单目图像和惯性测量，以估计轨迹，同时提高鲁棒性的现实生活中的问题，如丢失和损坏的数据或不良的传感器同步。特别是，我们提出了两种融合方式的基础上不同的掩蔽策略：确定性软融合和随机硬融合，我们与以前提出的直接融合基线进行比较。在测试过程中，该网络能够选择性地处理可用传感器模态的特征，并生成大规模的轨迹。我们提出了一个全面的调查性能的三个公共自动驾驶，微型飞行器（MAV）和手持VIO数据集。结果表明，融合策略的有效性，提供更好的性能相比，直接融合，特别是在存在损坏的数据。此外，我们研究的融合网络的可解释性可视化的掩蔽层在不同的情况下，不同的数据损坏，揭示有趣的融合网络和不完美的感官输入数据之间的相关性。
2019-03-04 cs.AI cs.CV cs.LG
Attention-Based Sensor Fusion for Human Activity Recognition Using IMU Signals
Missouri University of Science and Technology（密苏里科技大学）；Stony Brook University（石溪大学）
使用诸如嵌入有惯性测量单元（IMU）传感器的智能手表的可穿戴设备的人类活动识别（HAR）具有与我们的日常生活相关的各种应用，诸如锻炼跟踪和健康监测。在本文中，我们提出了一种新的基于注意力的方法，使用多个IMU传感器佩戴在不同的身体位置的人类活动识别。首先，设计了一个传感器特征提取模块，利用卷积神经网络（CNN）从单个传感器中提取最具鉴别力的特征。其次，开发了一种基于注意力的融合机制来学习不同身体位置的传感器的重要性，并生成注意力特征表示。最后，应用传感器间特征提取模块来学习传感器间的相关性，传感器间的相关性被连接到分类器以输出预测的活动类别。使用五个公共数据集对所提出的方法进行了评估，它在各种活动类别上的表现优于最先进的方法。
2021-12-20 cs.CV eess.SP
Multi-focus Image Fusion for Visual Sensor Networks
视觉传感器网络（VSNs）中的图像融合旨在将来自同一场景的多幅图像的信息组合起来，以便将单个图像转换为具有更多信息的图像。在基于离散余弦变换（DCT）的图像和视频标准中，基于DCT的图像融合方法复杂度较低且节省时间，更适合VSN应用。提出了一种有效的DCT域多聚焦图像融合算法。该算法以源图像对应块的修正拉普拉斯算子之和（SML）作为对比度准则，将SML值较大的块吸收到输出图像中。对多幅图像的实验结果表明，相对于其他基于DCT的方法，该算法在融合图像的主观和客观质量上都有明显的改善。
2020-10-02 cs.CV eess.IV
Bi-capacity Choquet Integral for Sensor Fusion with Label Uncertainty
University of Michigan（密歇根大学）
本文提出Bi-MIChI框架，利用双容量Choquet积分在双极性尺度上建模传感器子集交互，并结合多示例学习处理标签不确定性，在合成与真实实验中验证了融合分类和检测性能。
2024-09-05 cs.CV cs.LG
Sensor Fusion: Gated Recurrent Fusion to Learn Driving Behavior from Temporal Multimodal Data
Honda Research Institute, USA（美国本田研究院）；Carnegie Mellon University（卡内基梅隆大学）
战术驾驶员行为建模问题需要从丰富的多模态信号（包括视频、LiDAR和CAN总线数据流）中理解复杂城市场景中的驾驶员行为。然而，大多数深度学习研究都集中在学习车辆/环境状态（传感器融合）或驾驶员策略（从时间数据）上，而不是两者兼而有之。端到端学习这两项任务提供了最丰富的知识精华，但在制定和成功培训方面存在挑战。在这项工作中，我们提出了朝着这个方向迈出的有希望的第一步。受LSTM中的门控机制的启发，我们提出了门控递归融合单元（GRFU），它同时学习融合加权和时间加权。我们证明了它在监督回归和分类任务中优于多模态和时间基线的性能，所有这些都在自主导航领域。我们注意到HDD数据集中战术驾驶员行为分类的mAP得分比最先进的提高了10%，TORCS数据集上转向动作回归的总体均方误差下降了20%。
2020-01-21 cs.CV cs.LG
Real-time multiview data fusion for object tracking with RGBD sensors
Cranfield University（克兰菲尔德大学）
本文提出了一种新的方法来准确地跟踪移动车辆的多视角设置的红绿蓝深度（RGBD）相机。我们首先提出了一种校正方法，以消除位移，这发生在深度传感器，当他们变得磨损。该问题无法通过普通校准程序纠正。接下来，我们提出了一个传感器的过滤系统，以纠正未知的车辆运动。数据融合算法，然后使用最佳合并的传感器明智的估计轨迹。我们在图形处理器中实现了解决方案的大部分内容。因此，整个系统能够在五个摄像头的配置下以高达每秒25帧的速度运行。测试结果表明，我们实现的准确性和鲁棒性，我们的解决方案，以克服测量和建模中的不确定性。
2021-10-28 cs.CV cs.RO
Adversarial Robustness of Camera-Radar Sensor Fusion for Autonomous Driving
Missouri University of Science and Technology（密苏里科技大学）；Virginia Tech（弗吉尼亚理工大学）；Michigan State University（密歇根州立大学）
本文针对自动驾驶相机-雷达融合的对抗鲁棒性开展系统性测量研究，构建评估流水线并揭示其鲁棒性不对称性，推导了面向鲁棒融合的设计启示。
2026-10-14 cs.CR cs.CV
REFNet++: Multi-Task Efficient Fusion of Camera and Radar Sensor Data in Bird's-Eye Polar View
ElektroBit Automotive GmbH；Eindhoven University of Technology（埃因霍温理工大学）；Transilvania University of Brasov（布拉索夫特拉扬大学）
本文提出REFNet++，通过统一域对齐摄像头和雷达数据，实现车辆检测和自由空间分割的高效多模态融合，提升环境感知的准确性和效率。
2026-05-12 cs.AI cs.CV
Multi-Modal Sensor Fusion using Hybrid Attention for Autonomous Driving
Mercedes-Benz AG（梅赛德斯-奔驰集团）；University of Freiburg（弗莱堡大学）
本文提出MMF-BEV框架，通过变形注意力实现雷达与摄像头BEV融合，通过传感器贡献分析验证传感器互补性，并在VoD数据集上优于单模态基线。
2026-04-06 cs.CV cs.LG
AFT-VO: Asynchronous Fusion Transformers for Multi-View Visual Odometry Estimation
University of Surrey（萨里大学）
运动估计方法通常采用传感器融合技术（例如，卡尔曼滤波器）来处理个别传感器故障。最近，已经提出了基于深度学习的融合方法，提高了性能并且需要较少的模型特定实现。然而，目前的深度融合方法通常假设传感器是同步的，这并不总是实用的，特别是对于低成本硬件。为了解决这个问题，在这项工作中，我们提出了AFT-VO，一种新的基于变压器的传感器融合架构，估计VO从多个传感器。我们的框架结合了来自异步多视图相机的预测，并考虑了来自不同来源的测量的时间差异。我们的方法首先采用混合密度网络（MDN）来估计系统中每个相机的6自由度姿态的概率分布。然后介绍了一种新的基于变换的融合模块，AFT-VO，它结合了这些异步姿态估计，以及它们的置信度。更具体地说，我们介绍离散和源编码技术，使多源异步信号的融合。我们在流行的nuScenes和KITTI数据集上评估了我们的方法。我们的实验表明，多视图融合VO估计提供了强大的和准确的轨迹，在具有挑战性的天气和光照条件下优于最先进的。
2022-09-16 cs.CV cs.RO
Integrating Multi-Modal Sensors: A Review of Fusion Techniques for Intelligent Vehicles
College of Engineering, Center for Environmental Research and Technology, University of California at Riverside（工程学院、环境研究与技术中心、加州大学河滨分校）；School of Transportation and Logistics, Southwest Jiaotong University（交通运输与物流学院、西南交通大学）
本文综述了多传感器融合技术在自动驾驶中的应用，分析了深度学习方法、多模态数据集及新兴趋势，强调了其提升系统适应性和鲁棒性的潜力。
2025-06-27 cs.CV cs.MM cs.RO
PIRVS: An Advanced Visual-Inertial SLAM System with Flexible Sensor Fusion and Hardware Co-Design
PerceptIn, Inc.（感知智能公司）
在本文中，我们提出的PerceptIn机器人视觉系统（PIRVS）系统，嵌入式同时定位与地图构建（SLAM）算法的视觉惯性计算硬件。PIRVS硬件配备了多核处理器、全局快门立体相机和具有精确硬件同步的IMU。PIRVS软件采用了一种新颖灵活的传感器融合方法，不仅可以将视觉测量与惯性测量紧密集成，还可以与其他传感器模态松散耦合。它在PC和PIRVS硬件上实时运行。我们使用多个公共视觉惯性数据集对所提出的系统进行了彻底的评估。实验结果表明，我们的系统达到了相当的精度的国家的最先进的视觉惯性算法在PC上，而更有效的PIRVS硬件。
2017-10-02 cs.CV cs.RO
Robust sensor fusion against on-vehicle sensor staleness
Zoox Inc（Zoox公司）
针对自动驾驶多传感器数据延迟导致的时间不对齐问题，提出逐点时间戳偏移特征与真实陈旧模式数据增强，使透视图检测模型在同步和陈旧条件下均保持稳定性能。
2025-06-06 cs.AI cs.CV cs.LG
