FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis（加州大学戴维斯分校）
针对3D目标检测的多模态数据融合需求，提出纯ViT架构的分层检测模型FusionViT，通过Transformer嵌入图像与点云并经融合ViT融合特征，在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
CLOCs: Camera-LiDAR Object Candidates Fusion for 3D Object Detection
Michigan State University（密歇根州立大学）
神经网络在使用LiDAR的3D目标检测和使用视频的2D目标检测方面都有了显著的进步。然而，令人惊讶的是，很难训练网络有效地使用这两种模式的方式，证明增益超过单一模式的网络。在本文中，我们提出了一种新的相机-激光雷达目标候选者（CLOC）融合网络。CLOC融合提供了一个低复杂度的多模态融合框架，显著提高了单模态检测器的性能。CLOC在任何2D和任何3D检测器的非最大值抑制（NMS）之前对组合输出候选进行操作，并被训练以利用其几何和语义特征来产生更准确的最终3D和2D检测结果。我们的实验评估具有挑战性的KITTI目标检测基准，包括3D和鸟瞰图的指标，显示出显着的改善，特别是在长距离，在国家的最先进的融合为基础的方法。在提交时，CLOC在KITTI官方排行榜上的所有基于融合的方法中排名最高。我们将在接受后发布代码。
2020-09-02 cs.CV
Understanding Temporal Semantic Stability in Open-Vocabulary UAV Perception through Metric 3D Fusion
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文针对开放词汇无人机感知中移动平台的预测时间不一致问题，提出体素级评估框架，结合度量3D融合研究时间语义稳定性，发现观测持久性是评估长程语义可靠性的关键条件变量。
2026-10-30 cs.CV cs.RO
Learned Fusion: 3D Object Detection using Calibration-Free Transformer Feature Fusion
RPTU - University of Kaiserslautern-Landau（莱茵兰-普法尔茨理工大学凯泽斯劳滕-兰道分校）；DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对现有3D目标检测传感器融合高度依赖标定、难大规模部署的问题，提出首个免校准方法，用transformer跨传感器多抽象层级映射特征，BEV mAP较单模态提升14.1%，且对旋转平移变化鲁棒，为免校准融合研究提供新方向。
2023-12-14 cs.CV
FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection
Beihang University（北京航空航天大学）；Baidu Research（百度研究院）；Beijing Institute of Technology（北京理工大学）
三维障碍物的精确检测是自动驾驶和智能交通的重要任务。在这项工作中，我们提出了一个通用的多模态融合框架FusionPainting融合的2D RGB图像和3D点云在语义水平上提高3D目标检测任务。特别是，FusionPainting框架由三个主要模块组成：多模态语义分割模块、基于注意力的自适应语义融合模块和3D对象检测器。首先，基于2D和3D分割方法获得2D图像和3D激光雷达点云的语义信息。然后基于所提出的基于注意力的语义融合模块对不同传感器的分割结果进行自适应融合。最后，将绘制有融合语义标签的点云发送到3D检测器以获得3D对象结果。通过与三个不同的基线进行比较，在大规模nuScenes检测基准上验证了所提出的框架的有效性。实验结果表明，与仅使用点云的方法相比，该融合策略能显著提高检测性能，且仅使用点云的方法只需要绘制二维分割信息。此外，所提出的方法优于其他国家的最先进的方法在nuScenes测试基准。
2021-08-10 cs.CV
Weighted boxes fusion: Ensembling boxes from different object detection models
Institute for Design Problems in Microelectronics of Russian Academy of Sciences（俄罗斯科学院微电子设计问题研究所）；National University of Singapore（新加坡国立大学）；Cork University Hospital（科克大学医院）
在这项工作中，我们提出了一种新的方法，结合预测的目标检测模型：加权盒融合。我们的算法利用所有建议的边界框的置信度得分来构造平均框。我们在几个数据集上测试了该方法，并在Open Images和COCO目标检测轨道的背景下对其进行了评估，在这些挑战中取得了最佳结果。源代码可在https://github.com/ZFTurbo/Weighted-Boxes-Fusion上公开获取
2021-02-06 cs.CV
RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection
Hanyang University（汉阳大学）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对现有雷达-相机3D目标检测融合模型未充分利用雷达信息的问题，提出RCM-Fusion方法，通过特征层雷达引导BEV编码器与实例层雷达网格点精修模块实现两级融合，在nuScenes数据集单帧雷达-相机融合方法中达SOTA性能。
2024-05-16 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection
Hanyang University（汉阳大学）；Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院（KAIST））
融合来自相机和LiDAR传感器的数据是实现稳健的3D目标检测的基本技术。相机-LiDAR融合的一个关键挑战是在融合其特征时，在坐标和数据分布方面减轻两个传感器之间的大域差距。在本文中，我们提出了一种新的相机-LiDAR融合架构，称为3D Dual-Fusion，旨在缩小相机和LiDAR数据的特征表示之间的差距。该方法融合了摄像机视图和三维体素视图域的特征，并通过可变形注意力来建模它们的交互。我们重新设计了Transformer融合编码器来聚合来自两个域的信息。两个主要的变化包括：1）基于双查询的可变形注意力，以交互方式融合双域特征; 2）3D局部自注意力，在双查询解码之前对体素域查询进行编码。实验评估的结果表明，所提出的相机-LiDAR融合架构在KITTI和nuScenes数据集上实现了具有竞争力的性能，在一些3D目标检测基准类别中具有最先进的性能。
2023-02-16 cs.CV
Parts-Based Articulated Object Localization in Clutter Using Belief Propagation
University of Michigan（密歇根大学）
在人类环境中工作的机器人必须能够感知具有挑战性的物体并对其采取行动，例如一堆工具。铰接对象增加了姿态估计问题的维度，并且在杂波下的部分观测产生了额外的挑战。为了解决这个问题，我们提出了一个生成判别式的部分为基础的识别和定位方法，关节的目标在混乱。我们制定了一个马尔可夫随机场（MRF）的问题，铰接对象的姿态估计。该模型中的隐节点表示物体各部分的姿态，边表示各部分之间的关节约束。本地化的MRF内使用一个有效的信念传播方法。该方法通过由神经网络生成的观察上的部分分割热图和对象部分之间的接合约束来通知。我们的生成判别的方法允许所提出的方法在杂乱的环境中的功能，通过使用假设从可见部分推断遮挡部分的姿态。我们证明了我们的方法的有效性，在桌面环境中识别和定位的手工具，在整洁和杂乱的配置。
2020-08-06 cs.CV cs.RO
CRT-Fusion: Camera, Radar, Temporal Fusion Using Motion Information for 3D Object Detection
Hanyang University（汉阳大学）；Seoul National University（首尔大学）
针对现有雷达-相机融合3D检测方法难以捕捉动态物体运动的问题，提出融合时序信息的CRT-Fusion框架，通过多视图融合、运动估计与时序融合模块，在nuScenes数据集上实现雷达-相机3D检测的SOTA性能。
2024-12-11 cs.CV
ReAFFPN: Rotation-equivariant Attention Feature Fusion Pyramid Networks for Aerial Object Detection
Nanjing University of Science and Technology（南京理工大学）
提出了一种基于旋转-等变注意特征融合金字塔网络的空中目标检测算法ReAFFPN。ReAFFPN的目的是改善相邻层之间的旋转等变特征融合的效果，受到语义和规模的不连续性。由于旋转等变卷积的特殊性，一般的方法在保证网络旋转等变的同时，无法达到其原有的效果。为了解决这个问题，我们设计了一种新的旋转等变通道注意力，它既能产生通道注意力，又能保持旋转等变。然后在迭代注意特征融合（iAFF）模块中嵌入一种新的通道注意函数，实现旋转等变注意特征融合。实验结果表明，ReAFFPN具有较好的旋转等变特征融合能力，显著提高了旋转等变卷积网络的精度。
2022-10-17 cs.CV
Effective Fusion Factor in FPN for Tiny Object Detection
University of Chinese Academy of Sciences（中国科学院大学）；Institute of North Electronic Equipment（北方电子设备研究所）
基于FPN的检测器在一般的目标检测中取得了显著的进步，例如，MS COCO和PASCAL VOC。然而，这些检测器在某些应用场景中失败，例如，微小目标检测。在本文中，我们认为，FPN中相邻层之间的自上而下的连接带来的微小目标检测方面的影响，而不仅仅是积极的。我们提出了一个新的概念，融合因子，以控制信息，深层提供给浅层，适应FPN微小目标检测。经过一系列的实验和分析，我们探索了如何通过统计方法来估计特定数据集的融合因子的有效值。该估计取决于分布在每个层中的对象的数量。在微小的目标检测数据集上进行综合实验，例如，TinyPerson和Tiny CityPersons。我们的研究结果表明，当使用适当的融合因子配置FPN时，网络能够在微小的目标检测数据集上实现显著的性能增益。将发布代码和模型。
2020-11-09 cs.CV
Multispectral Fusion for Object Detection with Cyclic Fuse-and-Refine Blocks
Univ Rennes（雷恩大学）；IRISA（法国国家信息与自动化研究所雷恩分院（雷恩信息系统与随机系统研究所））；Univ Bretagne Sud（南布列塔尼大学）；ATERMES company（ATERMES公司）；Inria（法国国家信息与自动化研究所）
多光谱图像（例如可见光和红外）在不同环境（例如白天/夜晚户外场景）中检测具有相同模型的对象时可能特别有用。为了有效地利用不同的光谱，主要的技术问题在于信息融合过程。在本文中，我们提出了一种新的中途功能融合方法，神经网络，利用互补性/一致性平衡存在于多光谱功能添加到网络架构，一个特定的模块，循环融合和细化每个光谱功能。我们评估我们的融合方法的有效性，两个具有挑战性的多光谱数据集的目标检测。我们的研究结果表明，与其他最先进的多光谱目标检测方法相比，在任何网络中实施我们的循环融合和优化模块都可以提高两个数据集的性能。
2020-09-26 cs.CV
MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection
Xi’an Jiaotong University（西安交通大学）
本研究提出跨模态3D目标检测网络MLF-DET，通过特征级、决策级双层融合及遮挡感知数据增强策略，在KITTI汽车检测基准上取得82.89%的中等难度AP，实现了无额外技巧的SOTA性能。
2023-07-18 cs.CV
Semantic-aligned Fusion Transformer for One-shot Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）
单次目标检测的目的是仅根据一个给定实例来检测新的目标。在数据极度稀缺的情况下，目前的方法探索各种特征融合以获得可直接转移的元知识。然而，他们的表现往往不能令人满意。在本文中，我们把这归因于不适当的相关方法，不一致的查询支持语义忽略空间结构和规模的变化。经过分析，我们利用注意力机制，并提出了一个简单而有效的架构命名为语义对齐的融合Transformer（SaFT）来解决这些问题。具体来说，我们配备了一个垂直融合模块（VFM）的跨尺度语义增强和水平融合模块（HFM）的跨样本特征融合的SaFT。总之，它们将每个特征点的视野从支持扩展到查询的整个增强特征金字塔，促进语义对齐的关联。在多个基准上的大量实验证明了我们框架的优越性。在不对新类进行微调的情况下，它为单阶段基线带来了显着的性能提升，将最先进的结果提升到更高的水平。
2022-03-20 cs.CV
Sensor Adversarial Traits: Analyzing Robustness of 3D Object Detection Sensor Fusion Models
University of Michigan（密歇根大学）；UC Irvine（加州大学欧文分校）
自动驾驶车辆（AV）的一个关键方面是目标检测阶段，该阶段越来越多地使用传感器融合模型来执行：多模式3D目标检测模型，其利用来自LIDAR传感器的2D RGB图像数据和3D数据作为输入。在这项工作中，我们进行了第一项研究，以分析高性能，开源传感器融合模型架构对对抗攻击的鲁棒性，并挑战流行的信念，即使用额外的传感器自动减轻对抗攻击的风险。我们发现，尽管使用了激光雷达传感器，但该模型很容易受到我们有目的地制作的基于图像的对抗攻击的攻击，包括消失，通用补丁和欺骗。在确定了根本原因之后，我们探索了一些潜在的防御措施，并为改进传感器融合模型提供了一些建议。
2021-09-13 cs.CV cs.LG
An Object Detection by using Adaptive Structural Learning of Deep Belief Network
Hiroshima City University（广岛市立大学）；Prefectural University of Hiroshima（广岛县立大学）
深度学习形成用于表示多个输入特征的分层网络结构。深度信念网络（DBN）的自适应结构学习方法可以在训练过程中搜索最优网络结构的同时实现高分类能力。对于给定的输入数据，该方法利用神经元生成-湮灭算法，在受限玻尔兹曼机（RBM）中找到最优的隐层神经元数目。此外，它可以产生一个新的隐藏层在DBN的层生成算法，实现了深层次的数据表示。该方法对图像基准数据集的分类准确率高于几种深度学习方法，包括著名的CNN方法。本文提出了一种新的面向DBN体系结构的目标检测方法，用于目标的定位和分类。该方法是一个任务，发现语义对象的图像作为限界框（B-Box）。为了研究所提出的方法的有效性，DBN的自适应结构学习和目标检测进行了评估的胸部X射线图像基准数据集（CXR 8），这是一个最常见的放射学检查的许多肺部疾病。所提出的方法表现出更高的性能分类（超过94.5%的测试数据的分类）和定位（超过90.4%的测试数据的检测）比其他CNN方法。
2019-09-30 cs.CV cs.NE
DA-Fusion: Deformable Attention-Based RGB-D Fusion Transformer for Unseen Object Instance Segmentation
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；Artificial Intelligence Institute, Seoul National University（首尔国立大学人工智能研究所）；Department of Computer Science, Seoul National University（首尔国立大学计算机科学系）
针对物流自动化中未见物体分割难题，提出基于可变形注意力的RGB-D融合Transformer（DA-Fusion），结合RGB与深度数据优势提升分割精度，引入OCBD数据集，实验证明其性能优于现有方法，适用于现实物流任务。
2026-07-21 cs.AI cs.CV
CoFF: Cooperative Spatial Feature Fusion for 3D Object Detection on Autonomous Vehicles
University of North Texas（北德克萨斯大学）；Fujitsu（富士通）
为了减少传输的数据量，基于特征图的融合最近被提出作为一种实用的解决方案，通过自主车辆的合作三维目标检测。然而，目标检测的精度可能需要显著的改进，特别是对于远离或被遮挡的对象。为了解决这一关键问题的自动驾驶汽车和人类的安全，我们提出了一个合作的空间特征融合（CoFF）方法，自动驾驶汽车有效地融合特征地图，以实现更高的三维目标检测性能。特别地，CoFF基于接收到的特征图提供了多少新的语义信息来区分特征图之间的权重，以进行更有指导的融合。它还增强了对应于远/遮挡对象的不显眼的特征，以提高其检测精度。实验结果表明，与以往的特征融合方法相比，CoFF在自动驾驶车辆的检测精度和有效检测范围方面都有了显著的提高。
2020-09-24 cs.CV eess.IV
LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection
University of Michigan（密歇根大学）
本文提出LiRaFusion，通过设计早期和中间融合模块自适应融合LiDAR与radar特征，有效提升了3D目标检测性能并在nuScenes数据集上取得显著改善。
2024-02-18 cs.CV cs.RO
Uncertainty-Aware Multimodal Anti-UAV Detection via Evidential Fusion and Conflict-Discounted Belief Aggregation
University of Amsterdam（阿姆斯特丹大学）；SUNY Empire State University（纽约州立大学帝国州立大学）
针对现有多模态反无人机检测未建模不确定性的问题，本文扩展EDTC提出DBF方法实现多模态融合，在Anti-UAV基准上达到0.670准确率、至少38 FPS，校准良好但定位失败检测能力弱于空间方差。
2026-09-01 cs.CV
Multibiometrics Belief Fusion
Dr. B. C. Roy Engineering College（B.C.罗伊工程学院）；Jadavpur University（jadavpur大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种多模态生物特征识别系统，通过高斯混合模型（GMM）的人脸和耳朵的生物特征与信念融合的估计分数特征的Gabor响应和建议的融合是由Dempster-Shafer（DS）决策理论完成。将人脸和人耳图像与Gabor小波滤波器进行卷积，提取空间增强的Gabor人脸特征和Gabor人耳特征。此外，GMM应用于高维的Gabor人脸和Gabor耳响应分别进行定量测量。利用期望最大化算法估计GMM中的密度参数。这产生了两组特征向量，然后使用Dempster-Shafer理论进行融合。实验进行了多模态数据库包含400个人的脸和耳朵的图像。研究发现，将Gabor小波滤波器与GMM和DS理论相结合，可以提供鲁棒、高效的多模态融合策略。
2010-02-14 cs.AI cs.CV
MMLF: Multi-modal Multi-class Late Fusion for Object Detection with Uncertainty Estimation
Glasgow College, University of Electronic Science and Technology of China（电子科技大学格拉斯哥学院）；School of Automation Engineering, University of Electronic Science and Technology of China（电子科技大学自动化工程学院）
本文提出MMLF，一种用于自动驾驶多模态目标检测的多类后融合方法，通过在决策层无缝整合多模态信息并引入不确定性分析，显著提升了KITTI数据集上的检测性能与预测可靠性。
2024-10-11 cs.CV cs.SY eess.SY
Fusion of an Ensemble of Augmented Image Detectors for Robust Object Detection
Mississippi State University（密西西比州立大学）；University of Missouri-Columbia（密苏里大学哥伦比亚分校）
目标检测中的一个重大挑战是准确识别图像空间中的目标位置，而具有一组参数的一种算法通常是不够的，并且多个算法和/或参数的融合可以导致更鲁棒的结果。提出了一种基于目标检测输出一致性动态分析的计算智能融合方法。此外，我们提出了一个在线与只是在训练图像增强策略。实验比较结果与不融合。我们证明了增强和融合的组合结果是最好的，在更高的准确率和减少离群值的影响。该方法在高级驾驶辅助系统（ADAS）应用的圆锥体，行人和盒子检测的背景下进行了演示。
2018-03-17 cs.AI cs.CV eess.IV
Experts Fusion and Multilayer Perceptron Based on Belief Learning for Sonar Image Classification
ENSIETA（法国布雷斯特国立工程师学校）
声纳图像提供了一个快速的海底视图，以表征它。然而，在这样的不确定环境中，真正的海底是未知的，我们可以获得的唯一信息，是不同的人类专家的解释，有时会发生冲突。在本文中，我们建议管理这种冲突，以提供一个强大的现实的学习步骤的分类算法。分类是由一个多层感知器，考虑到在学习阶段的现实的不确定性。这一海底特征的结果在真实的声纳图像上呈现。
2008-06-12 cs.AI cs.CV
VPFNet: Voxel-Pixel Fusion Network for Multi-class 3D Object Detection
National Taiwan University（国立台湾大学）
许多基于激光雷达的方法用于检测大型物体，单类目标检测，或在简单的情况下，声称表现相当不错。然而，他们的性能检测小物体或在困难的情况下，并没有超过那些基于融合的，由于未能利用图像语义。为了提高复杂环境下的检测性能，提出了一种基于深度学习（DL）融合的多类3D目标检测网络（Voxel-Pixel Fusion Network，VPFNet），该网络同时支持LiDAR和摄像机传感器数据流。在该网络内部，一个关键的新颖组件称为体素-像素融合（VPF）层，它利用体素-像素对的几何关系，并通过适当的机制融合体素特征和像素特征。此外，考虑到体素-像素对的特点，设计了几个参数来指导和增强融合效果。最后，该方法进行了评估的KITTI基准多类三维目标检测任务下的多级难度，并表现出优于所有国家的最先进的方法的平均精度（mAP）。同样值得注意的是，我们的方法在KITTI排行榜上排名第一，用于具有挑战性的行人类别。
2021-11-01 cs.AI cs.CV cs.LG
Predictive Dynamic Fusion
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Tianjin Key Lab of Machine Learning（天津市机器学习重点实验室）
针对动态多模态融合缺乏理论保证的问题，提出预测性动态融合框架，从泛化角度推导可预测协作信念并降低误差上界，经实验验证其优越性。
2024-11-05 cs.CV cs.LG
BOSS: A Benchmark for Human Belief Prediction in Object-context Scenarios
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）；National University of Singapore（新加坡国立大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
具有平均社会认知水平的人可以仅基于社交互动期间展示的非语言通信信号（例如，凝视，手势，姿势和上下文信息）来推断他人的信念。这种预测人类信仰和意图的社会认知能力对于确保安全的人机交互和协作比以往任何时候都更加重要。本文使用心理理论（ToM）和对象-上下文关系的组合知识来研究在禁止言语交流的环境中增强人类与自治系统之间协作的方法。我们提出了一种新颖的和具有挑战性的多模态视频数据集，用于评估人工智能（AI）系统在对象上下文场景中预测人类信仰状态的能力。建议的数据集包括精确的标签人类的信念状态地面真理和多模态输入复制所有非语言通信输入捕获人类的感知。我们进一步评估我们的数据集与现有的深度学习模型，并提供新的见解的各种输入方式和对象上下文关系的基线模型的性能的影响。
2022-06-21 cs.CV
Fusion of evidential CNN classifiers for image classification
Université de technologie de Compiègne（贡比涅技术大学）；Institut universitaire de France（法国大学研究院）
提出了一种基于置信函数的卷积神经网络信息融合方法。在这种方法中，几个预先训练的基于DS的CNN架构从输入图像中提取特征，并将其转换为不同识别帧上的质量函数。然后，融合模块使用Dempster规则聚合这些质量函数。端到端的学习过程允许我们使用带有软标签的学习集来微调整体架构，这进一步提高了分类性能。使用三个基准数据库的实验证明了这种方法的有效性。
2021-08-23 cs.AI cs.CV
Faster method for Deep Belief Network based Object classification using DWT
深度信念网络（DBN）需要具有大量隐藏单元的大型多个隐藏层，以便从大型图像的原始像素中学习良好的特征。这意味着更多的训练时间以及计算复杂性。通过将DBN与离散小波变换（DWT）相结合，可以减少训练时间和计算复杂性。应用小波变换后获得的低分辨率图像用于训练多个DBN。从这些DBN获得的结果结合使用加权投票算法。该方法的性能被认为是称职的，更快的比较，与传统的DBN。
2015-11-19 cs.CV cs.LG
MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
FusionSORT: Fusion Methods for Online Multi-object Visual Tracking
School of Computer Science and Informatics（计算机科学与信息学学院）；De Montfort University（德蒙福特大学）
本文研究多目标视觉跟踪中检测与轨迹关联的融合策略，系统比较最小值、IoU 加权求和、KF 门控和代价 Hadamard 乘积四种方法，并在 MOT17、MOT20 与 DanceTrack 上验证其影响。
2025-05-10 cs.CV
Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects
University College London（伦敦大学学院）
在本文中，我们介绍了Co-Fusion，这是一个密集的SLAM系统，它以RGB-D图像的实时流作为输入，并将场景分割成不同的对象（使用运动或语义线索），同时实时的跟踪和重建它们的3D形状。我们使用多模型拟合方法，其中每个对象可以独立于背景移动，并且仍然可以有效地跟踪，并且仅使用来自与该对象标签相关联的像素的信息来随着时间的推移融合其形状。先前处理动态场景的尝试通常将移动区域视为离群值，因此不对它们的形状进行建模或跟踪它们随时间的运动。相比之下，我们使机器人能够维护每个分割对象的3D模型，并通过融合随着时间的推移改进它们。因此，我们的系统可以使机器人保持在对象级别的场景描述，有可能允许与其工作环境的交互，即使在动态场景的情况下。
2017-06-20 cs.CV
Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs
International Center for AI and Robot Autonomy（国际人工智能与机器人自主中心）
为了了解人类的（错误）信念-一个核心的社会认知能力-会影响人类与机器人的互动，本文提出了采用图形模型来统一表示对象的状态，机器人的知识，和人类（错误）信念。具体而言，解析图（PG）是从单视图时空解析通过聚合各种对象状态沿时间学习;这样的学习表示作为机器人的知识积累。推导了一种推理算法，将多个视角下所有机器人的个体轨迹融合成一个联合轨迹，从而提供了更有效的推理和推理能力，克服了单一视角下产生的错误。在实验中，通过对pg-s的联合推理，该系统正确地识别了各种设置中的人类（错误）信念，并在具有挑战性的小对象跟踪数据集上实现了更好的跨视图精度。
2020-04-25 cs.CV cs.RO
Shape Estimation from Defocus Cue for Microscopy Images via Belief Propagation
Indian Institute of Technology Mandi（印度理工学院曼迪分校）
近年来，由于3D信息可以进一步用于各种应用，因此在显微镜或近距离成像中实现了3D形状估计的有用性。由于在这样小的距离处的有限景深，在图像中引起的散焦模糊可以提供关于对象的3D形状的信息。"从散焦恢复形状"（SFD）的任务涉及从具有深度相关散焦模糊的图像估计良好质量的3D形状估计的问题。虽然SFD的研究领域是相当完善的，但这些方法在很大程度上证明了具有体积/粗形状变化的对象的结果。然而，在许多情况下，在显微镜下研究的对象往往涉及精细/详细的结构，这在大多数方法中没有明确考虑。此外，考虑到近年来大数据量通常与显微镜相关应用相关联，这种SFD方法的有效性也很重要。在这项工作中，我们提供了一个有用的信念传播（BP）的方法在解决这些问题的SFD的指示。BP已被称为是一种有效的组合优化方法，并已被经验证明，以产生良好的质量解决方案，在低层次的视觉问题，如图像复原，立体视差估计等利用BP在SFD的效率，我们假设局部空间不变性的散焦模糊，这使得BP的应用程序在一个简单的方式。即使有这样的假设，BP的能力，提供良好的质量解决方案，同时使用非凸先验，反映在产生合理的形状估计在显微镜成像下的对象上的精细结构的存在。
2016-12-30 cs.CV
Center Feature Fusion: Selective Multi-Sensor Fusion of Center-based Objects
University of California, Berkeley（加州大学伯克利分校）
针对自动驾驶3D目标检测中现有多模态融合方法特征冗余的问题，提出Center Feature Fusion方法，通过双路基于中心的检测网络筛选目标相关像素特征后在BEV空间融合，在nuScenes数据集上以远少于现有方法的融合特征量实现了优于纯激光雷达基线的检测精度。
2023-04-26 cs.CV
Atmospheric turbulence mitigation for sequences with moving objects using recursive image fusion
University of Bristol（布里斯托大学）
本文介绍了一种新的方法，用于减轻大气失真的影响，观察序列，包括大型运动物体。为了提供准确的细节，从失真层后面的对象，我们解决了空间变化的失真问题，递归图像融合的基础上的双树复小波变换（DT-CWT）。利用改进的高斯混合模型（GMM）和卡尔曼滤波对运动目标进行检测和跟踪。新的融合规则的DT-CWT系数的幅度和角度的独立工作，以实现清晰的图像和减少大气失真，分别。主观实验结果表明，该方法在速度上优于现有方法。
2018-08-10 cs.CV
Belief Tree Search for Active Object Recognition
University of California San Diego（加州大学圣迭戈分校）
主动对象识别（AOR）已被视为一个无监督学习问题，其中对象检测的最佳轨迹是未知的，并且要通过减少标签不确定性度量或使用强化学习进行训练来发现。这些方法无法保证其解决方案的质量。在本文中，我们把AOR作为一个部分可观察的马尔可夫决策过程（POMDP），并找到接近最优的政策训练数据使用相应的信念马尔可夫决策过程（MDP）的信念树搜索（BTS）。AOR然后减少到从训练集上的接近最优的策略到测试集的知识转移的问题。我们训练一个长短期记忆（LSTM）网络，以预测训练集推出时的最佳下一步行动。我们sho，建议AOR方法推广到熟悉的对象，也到新的对象的新的看法。我们将这种监督方案与引导策略搜索进行了比较，发现与引导策略方法相比，LSTM网络达到了更高的识别准确率。我们进一步研究优化观察函数，以增加最优策略的总收集奖励。在AOR中，观测函数仅近似已知。我们提出了一个基于梯度的方法更新这个近似的观察功能，以增加任何政策的总回报。我们发现，通过优化观测函数和重新训练监督LSTM网络，测试集上的AOR性能显着提高。
2017-08-13 cs.AI cs.CV
Exploring Fusion Strategies for Accurate RGBT Visual Object Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
我们解决了视频中多模态对象跟踪的问题，并探索了融合可见光（RGB）和热红外（TIR）模式所传达的互补信息的各种选择，包括像素级，特征级和决策级融合。具体而言，不同于现有的方法，图像融合任务的范例是在像素级融合。通过注意力机制实现神经元级融合，通道可选择性地被激发。此外，在决策层，由于一种简单的平均配置显示出了优越性，提出了一种新的融合策略。所提出的决策级融合策略的有效性归功于一些创新的贡献，包括RGB和TIR贡献的动态加权和线性模板更新操作。它的一个变体在2020年视觉对象跟踪挑战赛（VOT-RGBT 2020）上产生了获胜的跟踪器。创新的像素级和特征级融合策略的并行探索突出了所提出的决策级融合方法的优势。在\textit{i.e.}、GTOT、VOT-RGBT 2019和VOT-RGBT 2020三个具有挑战性的数据集上进行的大量实验结果表明，与最先进的方法相比，所提出的方法具有有效性和鲁棒性。代码将在\textcolor{blue} { \emph{https://github.com/Zhangyong-Tang/DFAT}}上共享。
2022-01-21 cs.CV
Belief Scene Graphs: Expanding Partial Scenes with Objects through Computation of Expectation
Luleå University of Technology（吕勒奥理工大学）
提出信念场景图概念，通过基于图的CECI方法计算期望并添加盲节点，扩展部分三维场景图，支持机器人高层任务规划，在物体搜索中验证有效性。
2024-05-28 cs.CV cs.RO
Estimating Commonsense Scene Composition on Belief Scene Graphs
Robotics & AI Team, Department of Computer, Electrical and Space Engineering, Luleå University of Technology（机器人与人工智能团队，计算机、电气与空间工程系，卢勒奥技术大学）
本文提出在信念场景图上估计未见物体空间分布的常识性场景构成框架，包含图卷积网络基线和融合大语言模型空间本体的神经符号扩展，并在模拟与真实室内环境中验证了其场景空间解释能力。
2025-05-05 cs.CV cs.RO
A brief survey on deep belief networks and introducing a new object oriented toolbox (DeeBNet)
如今，在机器学习中使用深度架构非常流行。深度置信网络（DBN）是使用受限玻尔兹曼机（RBM）堆栈来使用训练数据创建强大的生成模型的深度架构。DBN具有特征提取和分类等多种功能，广泛应用于图像处理、语音处理等领域。本文介绍了一种新的面向对象的MATLAB工具箱，它具有实现DBN所需的大部分功能。在新版本中，工具箱可以在Octave中使用。根据在MNIST（图像）、ISOLET（语音）和20个新闻组（文本）数据集上进行的实验结果，表明该工具箱可以从未标记的数据中自动学习输入的良好表示，并在不同类别之间具有更好的区分。此外，在所有数据集上，所获得的分类误差与最先进的分类器的分类误差相当。此外，该工具箱支持不同的采样方法（例如Gibbs，CD，PCD和我们的新FEPCD方法），不同的稀疏方法（二次，率失真和我们的新正常方法），不同的RBM类型（生成和判别），使用GPU等。http://ceit.aut.ac.ir/~keyvanrad/DeeBNet%20Toolbox.html
2016-01-06 cs.CV cs.LG cs.MS
Multi-objects association in perception of dynamical situation
HeuDiaSyC-UMR CNRS 6599；Universite de Technologie de Compiegne（贡比涅技术大学）
在当前应用于智能车辆环境重建的感知系统中，为跟踪而保留的对象关联部分越来越重要。这允许首先跟随对象的时间演变，其次增加环境感知的可靠性。我们建议在此通信的多对象关联算法的发展与模糊消除进入这样一个动态感知系统的智能车辆的设计。该算法使用模糊数学的信念理论和数据建模，以便能够处理不准确以及不确定的信息，由于不完美的传感器。这些理论也允许数字和符号数据的融合。在这篇文章中，我们开发的已知和感知对象之间的匹配问题。由此，能够更新车辆的动态环境地图。信念理论将使我们能够量化每个感知对象与每个已知对象之间的关联的信念。冲突可能出现在物体出现或消失的情况下，或者在混乱的情况下或感知不良的情况下。这些冲突被删除或使用分配算法解决，给出一个称为“最佳”的解决方案，从而确保跟踪我们环境中存在的一些对象。
2013-01-23 cs.AI cs.CV
Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy
Zhejiang University（浙江大学）
目前基于RGB的6D物体姿态估计方法在数据集和现实世界应用中取得了显着的性能。然而，从单个2D图像特征预测6D姿态容易受到来自环境变化和无纹理或光滑物体表面的干扰。因此，基于RGB的方法通常比基于RGBD的方法实现更少的竞争结果，基于RGBD的方法部署图像特征和3D结构特征两者。为了缩小这一性能差距，本文提出了一个6D对象姿态估计的框架，从2个RGB图像中学习隐式3D信息。结合学习的3D信息和2D图像特征，我们建立了场景和对象模型之间更稳定的对应关系。为了寻求最好地利用RGB输入的3D信息的方法，我们对三种不同的方法进行了研究，包括早期融合，中期融合和后期融合。我们确定中融合方法是恢复最精确的3D关键点的最佳方法，可用于对象姿态估计。实验表明，我们的方法优于国家的最先进的基于RGB的方法，并取得了相当的结果与基于RGBD的方法。
2022-07-01 cs.CV cs.RO
Counter-Hypothetical Particle Filters for Single Object Pose Tracking
University of Michigan（密歇根大学）
本文提出反假设似然函数，通过为每个粒子分配怀疑程度并估计滤波器失效水平，自动确定粒子重激活率，以缓解6D位姿跟踪中的粒子匮乏和模态坍缩问题。
2024-10-22 cs.CV cs.RO
Appearance Fusion of Multiple Cues for Video Co-localization
Indraprastha Institute of Information Technology Delhi (IIIT Delhi)（德里因德拉普拉斯塔信息技术学院 (IIIT Delhi)）
这项工作解决了在视频中的联合对象发现问题，同时利用多个对象相关的线索。与通常的空间融合方法不同，本文提出了一种新的外观融合方法。具体而言，本文提出了一种有效的融合过程中不同的GMM从多个线索到一个GMM。与任何融合策略一样，这种方法也需要一些指导。所提出的方法依赖于可靠性和共识现象的指导。作为一个案例研究，我们追求的“视频协同定位”的对象发现问题，提出我们的方法。我们在YouTube Objects和YouTube Co-localization数据集上的实验表明，所提出的外观融合方法无疑具有空间融合策略和当前最先进的视频协同定位方法的优势。
2020-07-18 cs.CV eess.IV
Neural Enhanced Belief Propagation for Multiobject Tracking
University of California San Diego（加州大学圣地亚哥分校）；Scripps Institution of Oceanography（斯克里普斯海洋研究所）
多目标跟踪（MOT）的解决方案是自主导航和应用海洋科学应用的关键推动因素。最先进的MOT方法完全依赖于统计模型，并且通常使用预处理的传感器数据作为测量值。特别地，测量值由检测器产生，该检测器从针对离散时间步长收集的原始传感器数据中提取潜在对象位置。该预备处理步骤减少了数据流和计算复杂性，但是可能导致信息的丢失。基于置信传播（BP）的最新贝叶斯MOT方法系统地利用统计模型的图结构来降低计算复杂性并提高可扩展性。然而，作为一种完全基于模型的方法，BP只能在统计模型和真实数据生成过程之间存在不匹配时提供次优估计。现有的基于BP的MOT方法只能进一步利用预处理的测量。在本文中，我们介绍了BP的一个变体，它将基于模型的MOT与数据驱动的MOT相结合。建议的神经增强的信念传播（NEBP）方法补充BP的统计模型从原始传感器数据的信息。该方法表明，学习的信息可以减少模型失配，从而提高数据关联和虚警抑制。与基于模型的方法相比，我们的NEBP方法提高了跟踪性能。同时，它继承了基于BP的MOT的优点，即，它在对象的数量上仅以二次方式缩放，因此它可以生成并保持大量的对象轨迹。我们在nuScenes自动驾驶数据集上评估了我们的NEBP方法用于MOT的性能，并证明它具有最先进的性能。
2022-12-16 cs.AI cs.CV cs.LG
Active Speaker Detection as a Multi-Objective Optimization with Uncertainty-based Multimodal Fusion
NXP Semiconductors（恩智浦半导体）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
现在从各种研究中已经很好地建立了，在检测活动说话者时，结合视频和音频数据有显著的好处。然而，任何一种形式都可能通过诱导不可靠或欺骗性的信息来误导视听融合。本文概述了主动说话人检测作为一个多目标的学习问题，利用最好的每一个模态使用一种新的自注意，基于不确定性的多模态融合计划。结果表明，所提出的多目标学习架构在提高mAP和AUC分数方面优于传统方法。我们进一步证明，我们的融合策略超越，在主动说话人检测，其他模态融合方法在各个学科的报告。我们最后表明，该方法显着提高了AVA-ActiveSpeaker数据集的最新技术水平。
2021-09-15 cs.CL cs.CV cs.SD
