MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review
Beijing University of Posts and Telecommunications（北京邮电大学）
随着自动驾驶技术的蓬勃发展，复杂场景下目标的精确目标检测成为自动驾驶安全的重要保障。毫米波（mmWave）雷达和视觉融合是精确障碍物检测的主流解决方案。本文详细介绍了毫米波雷达和视觉融合的障碍物检测方法。首先，我们介绍了自动驾驶目标检测的任务、评估标准和数据集。然后将毫米波雷达与视觉融合的过程分为传感器部署、传感器标定和传感器融合三个部分进行了综述。具体来说，我们将融合方法分为数据级，决策级和特征级融合方法。此外，我们还介绍了三维（3D）目标检测、自动驾驶中激光雷达与视觉的融合以及多模态信息融合，这些都是未来很有希望的。最后，对本文进行了总结。
2022-04-01 cs.CV
SimpleVSF: VLM-Scoring Fusion for Trajectory Prediction of End-to-End Autonomous Driving
IEIT Systems（IEIT系统）
针对端到端自动驾驶复杂场景决策不佳的问题，提出融合传统评分与VLM增强评分的SimpleVSF框架，通过权重融合与VLM上下文决策实现规划优化，在ICCV 2025 NAVSIM v2挑战赛中取得领先性能。
2025-10-28 cs.AI cs.RO
A Collaborative Multi-Modality Interaction for VLA-based End-to-End Autonomous Driving
National University of Singapore (NUS)（新加坡国立大学）；Hunan University（湖南大学）；The University of Western Australia (UWA)（西澳大学）
本文针对现有VLA自动驾驶模型决策不可靠、多模态交互不足的问题，提出含三类核心组件的多模态交互与多轨迹规划系统，实验显示其在安全推理与场景感知上优于现有系统。
2026-08-24 cs.CV cs.RO
Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving
Wayve（Wayve公司）
本文提出一种融合对象级向量模态的多模态LLM架构，结合新数据集与预训练策略，实现可解释的自动驾驶决策，并验证其优于传统行为克隆方法。
2023-10-13 cs.AI cs.CL cs.CV
Uncertainty-Encoded Multi-Modal Fusion for Robust Object Detection in Autonomous Driving
City University of Hong Kong（香港城市大学）；Delft University of Technology（代尔夫特理工大学）；Nanyang Technological University（南洋理工大学）
针对多传感器在恶劣条件下融合不可靠的问题，本文提出UMoE，用专家网络编码各模态不确定性并由门控网络自适应加权，可嵌入任意提议融合流程，在极端天气与攻击场景下显著提升检测鲁棒性。
2023-07-30 cs.AI cs.CV
Part-Whole Relational Fusion Towards Multi-Modal Scene Understanding
School of Computer Science and Artificial Intelligence, Changzhou University（常州大学计算机与人工智能学院）；Department of Computer Science, University of Sheffield（谢菲尔德大学计算机系）
本文提出部分-整体关系融合（PWRF）框架，首次利用胶囊网络的部分-整体路由将多模态融合建模为部分到整体的关系融合，以生成模态共享与特有语义，并在多模态分割和显著目标检测任务上验证其优越性。
2024-10-19 cs.CV
Exploring Adversarial Robustness of LiDAR-Camera Fusion Model in Autonomous Driving
Zhejiang University（浙江大学）
本研究评估LiDAR-camera融合模型在3D目标检测中的对抗鲁棒性，提出通过在车上方添加少量物理约束对抗点即可仅凭LiDAR通道欺骗模型，并分析了多种因素对攻击成功率的影响。
2024-01-09 cs.AI cs.RO
Multi-Modality Cascaded Fusion Technology for Autonomous Driving
Hikvision Research Institute（海康威视研究院）
多模态融合是自动驾驶系统稳定性的保证。本文提出了一种通用的多模态级联融合框架，充分利用决策级和特征级融合的优点，综合利用目标的位置、大小、速度、外观和置信度等信息，实现准确的融合结果。在融合过程中，进行动态坐标对准（DCA），以减少来自不同模态的传感器之间的误差。此外，亲和度矩阵的计算是传感器融合的核心模块，本文提出了一种亲和度损失，提高了深度亲和度网络（DAN）的性能。最后，提出的逐步级联融合框架是更好的解释性和灵活性相比，端到端的融合方法。在Nuscenes [2]数据集上的大量实验表明，本文的方法达到了最先进的性能。
2020-02-08 cs.CV
A Generalized Multi-Modal Fusion Detection Framework
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海自主智能无人系统科学中心）；Nanyang Technological University（南洋理工大学）
本文提出通用3D检测框架MMFusion，通过体素局部感知与多模态特征融合模块实现LiDAR与图像的精确融合，在KITTI基准上提升检测性能，尤其对骑行者和行人检测表现优异。
2024-01-22 cs.AI cs.CV
Transformer-Based Sensor Fusion for Autonomous Driving: A Survey
Motional（莫蒂安）
传感器融合是自动驾驶和机器人等许多感知系统中的一个重要课题。根据数据集排行榜，基于变换器的检测头和基于CNN的特征编码器从原始传感器数据中提取特征，已成为性能最佳的传感器融合3D检测框架之一。在这项工作中，我们提供了一个深入的文献调查Transformer为基础的3D-目标检测任务在最近的过去，主要集中在传感器融合。我们还简要介绍了视觉Transformer（ViT）的基础知识，以便读者可以轻松地阅读本文。此外，我们还简要介绍了几种基于非变压器的不太占主导地位的自动驾驶传感器融合方法。最后，我们总结了传感器融合的发展趋势，以遵循和引发未来的研究。更多更新的摘要可以在https://github.com/ApoorvRoboticist/Transformers-Sensor-Fusion上找到
2023-02-22 cs.CV
Real-Time Multi-Modal Semantic Fusion on Unmanned Aerial Vehicles
University of Bonn（波恩大学）
配备有多个互补传感器的无人机（UAV）具有用于快速自主或远程控制语义景物分析的巨大潜力，例如，进行灾难检查。在这项工作中，我们提出了一个无人机系统的实时的【形】语义推理和多传感器模态的融合。LiDAR扫描和RGB图像的语义分割，以及RGB和热图像上的目标检测，使用轻量级CNN架构和嵌入式推理加速器在无人机计算机上在线运行。我们遵循后期融合方法，其中来自多个模态的语义信息增强3D点云和图像分割掩模，同时还生成一个allocentric语义地图。我们的系统提供了增强的语义图像和点云与$\approx\,$ 9 $\,$ Hz。我们在城市环境中的真实世界的实验中评估集成系统。
2021-08-14 cs.CV cs.RO
CMX: Cross-Modal Fusion for RGB-X Semantic Segmentation with Transformers
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；NIO（蔚来）；ByteDance Inc.（字节跳动）
提出统一融合框架CMX，通过跨模态特征校正模块和特征融合模块实现RGB与多种补充模态的有效融合，在多个多模态语义分割基准上达到最先进性能。
2023-11-24 cs.CV cs.RO eess.IV
Brief Industry Paper: The Necessity of Adaptive Data Fusion in Infrastructure-Augmented Autonomous Driving System
PerceptIn（PerceptIn公司）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；South China University of Technology（华南理工大学）；University of Sydney（悉尼大学）
本文是第一个提供一个全面的系统设计概述，以及融合方法的选择标准的现实世界的合作自动驾驶系统，命名为结构增强自动驾驶或IAAD。我们提出了一个深入的介绍IAAD的硬件和软件的路边和车侧的计算和通信平台。我们广泛地描述了IAAD系统在现实世界的部署场景的背景下，并观察到，沿道路波动的网络条件是目前合作自动驾驶的主要技术障碍。为了解决这一挑战，我们提出了新的融合方法，被称为“帧间融合”和“规划融合”，以补充目前最先进的“帧内融合”。我们证明了每种融合方法都有自己的优点和约束。
2022-07-02 cs.DC cs.RO
Layer-Wise Modality Decomposition for Interpretable Multimodal Sensor Fusion
Seoul National University（首尔国立大学）
提出逐层模态解耦（LMD）方法，解耦预训练融合模型各层的特定模态信息，实现自动驾驶多传感器感知预测的模态归因与可解释性。
2025-11-02 cs.CV
MaskFuser: Masked Fusion of Joint Multi-Modal Tokenization for End-to-End Autonomous Driving
Waytous（万图思科技）；Phigent Robotics（Phigent机器人公司）；University of Sydney（悉尼大学）
针对多模态驾驶分支独立缺乏统一表征的问题，提出MaskFuser框架，通过联合多模态分词与跨模态掩码自编码器训练实现混合融合，在CARLA基准及传感器受损场景下均提升了驾驶性能。
2024-05-13 cs.CV
Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
University of California Los Angeles（加州大学洛杉矶分校）；Shanghai AI Lab（上海人工智能实验室）；Beijing Institute of Technology（北京理工大学）；East China Normal University（华东师范大学）
本文综述了自动驾驶感知中多模态传感器融合方法，提出了基于融合阶段的新分类法，并分析了现有方法的剩余问题与未来研究方向。
2024-12-16 cs.CV
A Survey of Deep Learning Based Radar and Vision Fusion for 3D Object Detection in Autonomous Driving
School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；School of Electronic and Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）
本文综述了基于深度学习的自动驾驶3D目标检测雷达与视觉融合方法，涵盖ROI融合、端到端融合等策略，并展望了4D雷达应用及未来趋势。
2024-06-02 cs.CV
mmFUSION: Multimodal Fusion for 3D Objects Detection
Istituto Italiano di Tecnologia (IIT)（意大利理工学院）；Universita degli Studi di Genova（热那亚大学）
针对自动驾驶三维目标检测中中间层多模态融合的实现难点，提出mmFUSION方法，通过独立编码器降维、跨模态与多模态注意力融合特征，在KITTI和NuScenes数据集上性能优于多种融合方案。
2023-11-07 cs.CV
Bridging the View Disparity Between Radar and Camera Features for Multi-modal Fusion 3D Object Detection
Tsinghua University（清华大学）
通过雷达和摄像头的多模态融合进行环境感知对于提高自动驾驶的准确性、完整性和鲁棒性至关重要。本文主要研究利用毫米波雷达和摄像机传感器融合进行三维目标检测。提出了一种新的方法，实现了鸟瞰图（BEV）下的特征级融合，以获得更好的特征表示。首先，雷达点增加时间积累和发送到一个空时编码器的雷达特征提取。同时，通过图像骨架和颈部模型，得到了适应不同空间尺度的多尺度图像二维特征。然后，图像特征转换到BEV与设计的视图Transformer。此外，本工作融合的多模态特征的两阶段融合模型称为点融合和ROI融合，分别。最后，检测头回归对象类别和3D位置。实验结果表明，该方法在最关键的检测指标--平均精度（mAP）和nuScenes检测分数（NDS）下，在具有挑战性的nuScenes数据集上实现了最先进的（SOTA）性能。
2022-10-29 cs.CV
Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes
HKUST（香港科技大学）
汽车在行驶过程中，挡风玻璃上的水滴会造成严重的视觉障碍，从而可能导致车祸。同时，水滴也会降低自动驾驶中计算机视觉系统的性能。为了解决这些问题，我们提出了一个基于注意力的框架，融合的时空表示从多帧恢复视觉信息被水滴遮挡。由于缺乏用于视频水滴去除的训练数据，我们提出了一个大规模的合成数据集，模拟雨天复杂驾驶场景中的水滴。为了提高我们所提出的方法的通用性，我们采用了一种跨模态训练策略，该策略将合成视频和真实图像相结合。大量的实验表明，我们提出的方法可以很好地推广，并在复杂的现实世界的驾驶场景中实现最佳的水滴去除性能。
2023-02-24 cs.CV
Multi-modal Sensor Fusion-Based Deep Neural Network for End-to-end Autonomous Driving with Scene Understanding
Nanyang Technological University（南洋理工大学）
本研究旨在利用深度学习和多模态传感器融合技术，通过场景理解提高端到端自动驾驶的性能和泛化能力。所设计的端到端深度神经网络在早期融合级别中将视觉图像和相关联的深度信息作为输入，并同时输出像素级语义分割作为场景理解和车辆控制命令。基于端到端深度学习的自动驾驶模型在高保真模拟城市驾驶条件下进行了测试，并与CoRL 2017和NoCrash的基准进行了比较。测试结果表明，该方法具有更好的性能和泛化能力，在静态导航任务中，训练和未观测情况下的成功率均达到100%，在其他任务中的成功率也优于现有模型。进一步的消融研究表明，去除多模态传感器融合或场景理解的模型在新的环境中由于虚假感知而黯然失色。实验结果表明，多模态传感器融合与场景理解子任务的协同作用提高了模型的性能，验证了多模态传感器融合深度神经网络的可行性和有效性。
2020-08-01 cs.RO cs.SY eess.SY
Modeling and Scheduling of Fusion Patterns in Autonomous Driving Systems (Extended Version)
University of California, Riverside (UCR)（加州大学河滨分校）
针对现有自动驾驶系统DAG调度方法无法覆盖多样化融合模式的问题，提出含三类融合任务的分析框架，结合ILP优化多实时指标并生成离线调度，实验验证其覆盖场景更广、性能提升显著。
2025-10-27 cs.OS cs.RO cs.SY
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标，从而留下了严重影响跨模态融合的模态缺口。在本文中，我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的，为了减少模态差距，我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外，我们施加额外的约束嵌入空间，通过引入重建损失和分类损失。然后，我们融合的编码表示使用层次图神经网络，明确探索单峰，双峰和三峰的相互作用，在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明，通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得：\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
Multi-modal Conditional Attention Fusion for Dimensional Emotion Prediction
Renmin University of China（中国人民大学）
连续维度情感预测是一项具有挑战性的任务，其中各种模态的融合通常实现最先进的性能，例如早期融合或晚期融合。本文提出了一种新的多模态融合策略--条件注意力融合，它可以在每个时间步动态地关注不同的模态。采用长短期记忆递归神经网络（LSTM-RNN）作为基本的单模态模型来捕获长时间依赖。分配给不同模态的权重由当前输入特征和最近的历史信息自动决定，而不是在任何情况下固定。我们在基准数据集AVEC 2015上的实验结果表明，我们的方法的有效性，优于几种常见的融合策略的价预测。
2017-09-04 cs.CV cs.LG cs.MM
DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification
Anhui University（安徽大学）
DCG-ReID通过解构协作与指导融合表示，解决多模态车辆重识别中模态质量分布不平衡的问题，提升多模态联合决策性能。
2026-01-06 cs.AI cs.CV
Anticipative Feature Fusion Transformer for Multi-Modal Action Anticipation
Fraunhofer IOSB（弗劳恩霍夫光学、电子与精密工程研究所）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
虽然人类动作预测是一项固有的多模态任务，但众所周知的动作预测数据集上的最新方法通过应用集成方法和平均单峰预测网络的分数来利用这些数据。在这项工作中，我们介绍了Transformer为基础的模态融合技术，统一多模态数据在早期阶段。我们的预期特征融合Transformer（AFFT）被证明优于流行的评分融合方法，并在EpicKitchen-100和EGTEA Gaze+上呈现出优于以前方法的最新结果。我们的模型是很容易扩展，并允许添加新的模式，而无需架构的变化。因此，我们在EpicKitchen-100上提取了音频特征，并将其添加到社区中常用的特征集中。
2022-10-23 cs.CV cs.RO
Fusion-Mamba for Cross-modality Object Detection
Beihang University（北航大学）；East China Normal University（东华师范大学）；Tencent Youtu Lab（腾讯优图实验室）；Eastern Institute of Technology（东部技术研究所）
本文提出 Fusion-Mamba 块，利用改进的 Mamba 在隐状态空间中关联跨模态特征以减少模态差异，并在多个数据集上取得领先的目标检测性能。
2024-04-14 cs.AI cs.CV
Missing-modality Enabled Multi-modal Fusion Architecture for Medical Data
School of Biomedical Engineering, Capital Medical University（首都医科大学生物医学工程学院）；Capital Medical University（首都医科大学）
提出一种由三个Transformer双模态模块构成的医学三模态融合架构，并通过多变量损失训练提升缺失模态鲁棒性，在MIMIC数据集14标签诊断任务中验证有效。
2023-09-27 cs.CV cs.LG eess.IV
Memory based fusion for multi-modal deep learning
Queensland University of Technology（昆士兰科技大学）
与具有多模态特征的融合的单模态方法相比，使用多模态数据进行深度机器学习已经显示出前景，从而在若干应用中提高了性能。然而，大多数最先进的方法使用朴素融合，其独立地处理特征流，忽略了融合期间数据内可能的长期依赖性。在本文中，我们提出了一种新的基于记忆的注意力融合层，它通过将当前特征和数据中的长期依赖关系结合起来来融合模式，从而使模型能够理解模式随时间的相对重要性。我们在融合层中引入了一个显式的内存块，它存储包含融合数据的长期依赖关系的功能。来自单峰编码器的特征输入通过细心的合成和变换进行融合，然后将所得的记忆导出特征与层输入进行朴素融合。按照国家的最先进的方法，我们已经评估了性能和所提出的融合方法的通用性在两个不同的数据集与不同的方式。在我们的实验中，我们用我们提出的层替换了基准网络中的朴素融合层，以进行公平的比较。实验结果表明，MBAF层可以推广到不同的模态和网络，以增强融合和提高性能。
2020-10-23 cs.CV cs.LG stat.ML
M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出M3D-BFS，通过多阶段动态融合策略提升多模态脑网络分析的样本适应性，设计了不同专家模块以适应输入样本变化，并引入多模态解耦损失提升表示能力。
2026-04-02 cs.AI cs.CV
Video Affective Effects Prediction with Multi-modal Fusion and Shot-Long Temporal Context
Alibaba Group（阿里巴巴集团）；South China University of Technology（华南理工大学）
使用机器学习预测视频的情感影响是一项具有挑战性的任务，考虑到各种形式，视频的复杂时间上下文以及情感状态的时间依赖性。特征提取、多模态融合和时间背景融合是预测情感影响中的效价和唤醒值的关键阶段，但尚未成功开发。在本文中，我们提出了一个全面的框架与新颖的设计的模态结构和多模态融合策略。我们分别为效价和唤醒任务选择最合适的模态，并使用大型通用数据集上特定于模态的预训练深度模型提取每个模态特征。两个时间尺度的结构，一个用于帧内剪辑和其他的帧间剪辑，提出了捕捉视频内容和情感状态的时间依赖性。为了结合多种模态的互补信息，提出了一种有效且高效的基于剩余的渐进训练策略。每个模态被逐步组合到多模态模型中，负责完成特征的缺失部分。通过上述所有这些改进，我们提出的预测框架在LIRIS-ACCEDE数据集上实现了更好的性能，与最先进的预测框架相比，具有更大的优势。
2019-09-01 cs.CV cs.LG
Text-Guided Channel Perturbation and Pretrained Knowledge Integration for Unified Multi-Modality Image Fusion
Xilai Li, Xiaosong Li, Weijun Jiang（作者）
针对统一多模态图像融合中梯度冲突、泛化性差的问题，本文提出UP-Fusion框架，通过SCPM、GAM、TCPM三个模块优化特征处理，在融合及下游任务上性能优于现有方法。
2025-11-16 cs.CV
Cross-Modal Binary Attention: An Energy-Efficient Fusion Framework for Audio-Visual Learning
Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School（图林根工业大学和汉诺威医学院医学信息学研究所）；Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)（下萨克森人工智能与因果医学方法中心）
提出CMQKA和SNNergy，通过高效二进制操作实现线性复杂度的跨模态融合，显著提升音频视觉任务的能耗效率和性能
2026-01-31 cs.CV cs.LG cs.MM
Multi-Label Product Categorization Using Multi-Modal Fusion Models
New York University（纽约大学）；U.S. Bank（美国合众银行）
在这项研究中，我们研究了多模态方法，使用图像，描述和标题对亚马逊上的电子商务产品进行分类。具体来说，我们研究了后期融合模型，其中的方式融合在决策层。每个产品都被分配了多个标签，标签中的层次结构被扁平化和过滤。对于我们的个人基线模型，我们修改了CNN架构来分类描述和标题，然后修改了Keras的ResNet-50来分类图像，分别获得了77.0%，82.7%和61.0%的$F_1$分数。相比之下，我们的三模态后期融合模型可以比单模态模型更有效地分类产品，将$F_1$得分提高到88.2%。每种模式都补充了其他模式的缺点，表明增加模式的数量可以是提高多标签分类问题性能的有效方法。
2019-09-17 cs.CV cs.LG stat.ML
Enhancing Modal Fusion by Alignment and Label Matching for Multimodal Emotion Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对多模态情感识别中模态融合效果不佳的问题，提出含音视频情感对齐、跨模态标签匹配双辅助任务的Foal-Net框架，先对齐再融合，在IEMOCAP上性能超越现有最优方法，验证了融合前对齐的必要性。
2024-08-18 cs.AI cs.CV cs.MM
Modality-Aware Infrared and Visible Image Fusion with Target-Aware Supervision
Independent researcher（独立研究者）；Dept. of Computer Science Baylor University（计算机科学系 巴里尔大学）；Dept. of Computer Science Engineering University of Connecticut（计算机科学工程系 佛罗里达大学）；Dept. of Computer Science New York University（计算机科学系 新 york 大学）
提出FusionNet框架，通过模态感知注意力、逐像素alpha混合和目标感知损失实现细粒度可解释的红外与可见光图像融合，在M3FD数据集上验证了语义保持与高感知质量。
2025-09-14 cs.CV cs.LG
Cross-Modality Multi-Atlas Segmentation via Deep Registration and Label Fusion
Fuzhou University（福州大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
多图谱分割（MAS）是一种很有前途的医学图像分割框架。通常，MAS方法注册多个地图集，即，将具有对应标签的医学图像转换为目标图像;并且可以通过标签融合方案组合变换的图谱标签以生成目标分割。许多传统的MAS方法采用来自与目标图像相同的模态的图谱。然而，在许多临床应用中，具有相同模态的图谱的数量可能是有限的，甚至是缺失的。此外，传统的MAS方法遭受注册或标签融合过程的计算负担。在这项工作中，我们设计了一个新的跨模态MAS框架，它使用从某一模态的可用图集分割目标图像从另一个模态。为了提高框架的计算效率，图像配准和标签融合都通过精心设计的深度神经网络来实现。对于图谱-目标图像配准，我们提出了一种双向配准网络（BiRegNet），它可以有效地对齐来自不同模态的图像。对于标签融合，我们设计了一个相似性估计网络（SimNet），它通过测量每个图谱与目标图像的相似性来估计融合权重。SimNet可以学习多尺度信息进行相似性估计，以提高标签融合的性能。分别在MM-WHS和CHAOS数据集上通过左心室和肝脏分割任务对所提出的框架进行了评估。结果表明，该框架是有效的跨模态MAS在注册和标签融合。
2022-03-28 cs.CV cs.LG eess.IV
TMI-CLNet: Triple-Modal Interaction Network for Chronic Liver Disease Prognosis From Imaging, Clinical, and Radiomic Data Fusion
Hangzhou Dianzi University（杭州电子科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Information Technology（深圳信息职业技术学院）；Shenzhen University（深圳大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
提出TMI-CLNet网络，通过模态内聚合模块、三模态交叉注意力融合模块及特征融合损失函数，有效整合影像、临床与影像组学数据，显著提升慢性肝病预后评估性能。
2025-02-02 cs.AI cs.CV
MMA-UNet: A Multi-Modal Asymmetric UNet Architecture for Infrared and Visible Image Fusion
Foshan University（佛山大学）；Hong Kong University of Science and Technology（香港科技大学）；China University of Mining and Technology (Beijing)（中国矿业大学（北京））
针对现有多模态图像对称融合易丢失浅层信息、偏向单模态的问题，提出多模态非对称UNet架构MMA-UNet，通过分模态训练专用编码器与跨尺度融合策略实现均衡融合，性能优于当前最优方法。
2024-07-11 cs.CV
MedFuse: Multi-modal fusion with clinical time-series data and chest X-ray images
G42 Healthcare（G42医疗）；NYU Abu Dhabi（纽约大学阿布扎比分校）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
多模态融合方法旨在整合来自不同数据源的信息。与自然数据集不同，例如在视听应用中，样本由“成对”模态组成，医疗保健中的数据通常是异步收集的。因此，要求给定样本存在所有模态对于临床任务来说是不现实的，并且在训练期间显著限制了数据集的大小。在本文中，我们提出了Mediterranean，一个概念简单，但有前途的基于LSTM的融合模块，可以容纳单模态以及多模态输入。我们使用MIMIC-IV数据集中的临床时间序列数据和MIMIC-CXR中相应的胸部X射线图像，评估融合方法并引入新的基准结果用于院内死亡率预测和表型分类。与更复杂的多模态融合策略相比，Mediterranean在完全配对的测试集上提供了很大的性能改善。它在包含缺失胸部X射线图像的样本的部分配对测试集上也保持稳健。我们发布我们的代码以实现可重复性，并在未来对竞争模型进行评估。
2023-03-02 cs.CV cs.LG eess.IV
Spatial-temporal Fusion Convolutional Neural Network for Simulated Driving Behavior Recognition
Southeast University（东南大学）
异常驾驶行为是导致严重交通事故的主要原因之一，危及人类生命。因此，对驾驶行为监控的研究已成为交通安全和公共管理的重要内容。在本文中，我们进行这项有前途的研究，并采用两个流的CNN框架，基于视频的驾驶行为识别，其中空间流CNN捕获的外观信息从静止帧，而时间流CNN捕获运动信息与预先计算的光流位移之间的几个相邻的视频帧。我们研究不同的时空融合策略，结合帧内静态线索和帧间动态线索的最终行为识别。为了验证所设计的基于时空深度学习的模型的有效性，我们创建了一个模拟驾驶行为数据集，包含1237个视频，具有6种不同的驾驶行为进行识别。实验结果表明，我们提出的方法相比现有的方法获得了显着的性能改善。
2018-12-03 cs.CV cs.LG
Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
Dalian University of Technology（大连理工大学）
近年来基于学习的图像融合方法在预配准多模态数据方面取得了巨大的进展，但由于空间变形和难以缩小跨模态差异，在处理未对齐的多模态数据时存在严重的重影问题。为了克服这些障碍，在本文中，我们提出了一个强大的跨模态生成配准范式的无监督错位红外和可见光图像融合（IVIF）。具体来说，我们提出了一个跨模态的感知风格转移网络（CPONS）生成一个伪红外图像作为输入的可见光图像。由于CPNN良好的几何保持能力，所生成的伪红外图像具有清晰的结构，更有利于将跨模态图像配准转化为单模态配准，并结合红外图像的结构敏感性。在这种情况下，我们引入了一个多级细化配准网络（MRRN），预测失真和伪红外图像之间的位移矢量场，并重建配准的红外图像下的单模态设置。此外，为了更好地融合注册的红外图像和可见光图像，我们提出了一个功能交互融合模块（IFM），自适应地选择更有意义的功能融合在双路径交互融合网络（DIFN）。大量的实验结果表明，所提出的方法执行不对齐的跨模态图像融合的优越性能。
2022-05-24 cs.CV
Two Headed Dragons: Multimodal Fusion and Cross Modal Transactions
Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校资源工程研究中心）
随着遥感领域的不断发展，我们见证了信息的积累，从几种方式，如多光谱（MS），高光谱（HSI），激光雷达等，这些方式都具有自己独特的特点，当结合协同，执行非常好的识别和分类任务。然而，融合多种形式的遥感是麻烦的，由于高度不同的领域。此外，现有的方法不便于跨模式的相互作用。为此，我们提出了一种新的基于Transformer的HSI和LiDAR模态融合方法。该模型由堆叠的自动编码器组成，这些编码器利用HSI和LiDAR的交叉键值对，从而在两种模式之间建立通信，同时使用CNN从HSI和LiDAR中提取光谱和空间信息。我们在休斯顿（数据融合竞赛- 2013）和MUUFL海湾港数据集上测试了我们的模型，并取得了有竞争力的结果。
2021-07-24 cs.CV cs.LG eess.IV
TACFN: Transformer-based Adaptive Cross-modal Fusion Network for Multimodal Emotion Recognition
School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院）；MTlab, Meitu (China) Limited（美图（中国）有限公司）；Institute of Acoustics, University of Chinese Academy of Sciences（中国科学院声学研究所）
针对跨模态注意力的冗余与互补特征捕捉不足问题，本文提出 TACFN，通过自注意力模态内选择和拼接权重向量实现自适应融合，并在 RAVDESS、IEMOCAP 上达到最优性能。
2025-05-10 cs.AI cs.CV
MDA: An Interpretable and Scalable Multi-Modal Fusion under Missing Modalities and Intrinsic Noise Conditions
Southwest Jiaotong University（西南交通大学）；Tokyo Institute of Technology（东京工业大学）；Hokkaido University（北海道大学）
本文提出模态域注意力（MDA）模型，通过自适应分配动态注意力解决多模态学习中的模态异质性、缺失、噪声及可解释性挑战，在多个公开数据集上保持SOTA性能，且与临床诊断金标准一致。
2024-11-17 cs.CV cs.LG
Transformer-based Multi-Modal Learning for Multi Label Remote Sensing Image Classification
Faculty of Electrical Engineering and Computer Science, Technische Universität Berlin（柏林工业大学电机工程与计算机科学学院）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
提出 SCT Fusion 架构，通过在各 transformer 编码器块后用可训练变换同步类令牌来融合多模态遥感信息，并在多标签分类数据集上验证其优于单模态和早期融合方法。
2023-06-02 cs.CV cs.LG
Cross-Modal Fusion Distillation for Fine-Grained Sketch-Based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Surrey（萨里大学）
基于草图的图像检索的表示学习主要是通过学习丢弃模态特定信息的嵌入来解决的。由于来自不同模态的实例通常可以提供描述底层概念的互补信息，因此我们提出了一个用于视觉Transformer（XModalViT）的交叉注意框架，该框架融合了模态特定的信息，而不是丢弃它们。我们的框架首先将来自单个照片和草图模态的成对数据点映射到融合表示，从而统一来自两种模态的信息。然后，我们通过对比和关系跨模态知识蒸馏将上述模态融合网络的输入空间解耦为各个模态的独立编码器。这样的编码器可以应用于下游任务，如跨模态检索。我们通过进行广泛的实验，并在三个基于细粒度草图的图像检索基准测试（Shoe-V2，Chair-V2和Sketchy）上实现最先进的结果，展示了学习到的表示的表达能力。可在www.example.com上获得实现。
2022-10-19 cs.CV cs.LG
When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
Central China Normal University（华中师范大学）；Huazhong University of Science and Technology（华中科技大学）；Guangzhou University of Chinese Medicine（广州中医药大学）；The First Affiliated Hospital of Guangzhou University of Chinese Medicine（广州中医药大学第一附属医院）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
针对多模态医学图像分割中质量差异导致融合失败的问题，提出腐败感知再平衡融合框架CoReFuse-Med，抑制特征腐败并再平衡模态贡献，实验验证了其有效性。
2026-09-10 cs.CV
A review: Deep learning for medical image segmentation using multi-modality fusion
Université de Rouen Normandie（鲁昂诺曼底大学）；INSA Rouen（鲁昂应用科学学院）
多模态成像技术因其能提供同一靶点（肿瘤、器官或组织）的多种信息而被广泛应用于医学成像领域。多模态图像分割是融合多模态信息来改善分割效果。最近，基于深度学习的方法在图像分类、分割、目标检测和跟踪任务中表现出了最先进的性能。由于其在大量数据上的自学习和泛化能力，深度学习最近在多模态医学图像分割方面也引起了极大的兴趣。在本文中，我们概述了用于多模态医学图像分割任务的基于深度学习的方法。首先，我们介绍了深度学习和多模态医学图像分割的一般原理。其次，我们介绍了不同的深度学习网络架构，然后分析了它们的融合策略，并比较了它们的结果。早期的融合是常用的，因为它很简单，它专注于后续的分割网络架构。然而，后期融合更多地关注融合策略，以学习不同模态之间的复杂关系。一般来说，与早期融合相比，如果融合方法足够有效，后期融合可以给出更准确的结果。本文还讨论了医学图像分割中的一些常见问题。最后，本文对未来的研究进行了总结和展望。
2020-07-16 cs.CV cs.LG eess.IV
Multi-modal land cover mapping of remote sensing images using pyramid attention and gated fusion networks
Centre for Research-based Innovation Visual Intelligence（可视化研究型创新中心）
多模态数据在遥感中越来越容易获得，并可提供关于地球表面的补充信息。因此，多模态信息的有效融合对于RS中的各种应用非常重要，但由于大的域差异、噪声和冗余，也非常具有挑战性。缺乏有效的和可扩展的融合技术，桥接多模态编码器和充分利用互补信息。为此，我们提出了一种新的多模态网络（MultiModNet）的多模态遥感数据的土地覆盖映射的基础上一种新的金字塔关注融合（PAF）模块和门控融合单元（GFU）。PAF模块被设计为有效地从每个模态中获得丰富的细粒度上下文表示，具有内置的跨级别和跨视图注意力融合机制，并且GFU模块利用新颖的门控机制进行特征的早期合并，从而减少隐藏的冗余和噪声。这使得补充模态能够有效地提取最有价值的和补充的信息，用于后期特征融合。在两个具有代表性的RS基准数据集上的大量实验表明了MultiModNet在多模态土地覆盖分类中的有效性、鲁棒性和优越性。
2021-11-06 cs.CV eess.IV
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
磁共振成像（MRI）是一种广泛使用的神经成像技术，其可以提供不同对比度的图像（即，方式）。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和频繁的患者脱落，收集每个患者的所有模式仍然是一个挑战。医学图像合成已被提出作为一种有效的解决方案，其中任何丢失的模态从现有的模态合成。在本文中，我们提出了一种用于多模态MR图像合成的新型混合融合网络（Hi-Net），该网络从多模态源图像（即，现有的模态）到目标图像（即，缺少模式）。在我们的Hi-Net中，使用特定于模态的网络来学习每个模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，多模态合成网络被设计成密集地将潜在表示与来自每个模态的层次特征相结合，作为生成器来合成目标图像。此外，提出了一种分层多模态融合策略，以有效地利用多模态之间的相关性，其中提出了混合融合块（MFB）来自适应地加权不同的融合策略（即，逐元素求和、乘积和最大化）。大量的实验表明，该模型优于其他国家的最先进的医学图像合成方法。
2020-02-11 cs.CV eess.IV
ModalChorus: Visual Probing and Alignment of Multi-modal Embeddings via Modal Fusion Map
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
本文提出交互式系统 ModalChorus，通过融合度量与非度量目标的 Modal Fusion Map 可视化探测多模态嵌入，并支持用户进行点-集与集-集对齐，从而发现并修正 CLIP 等模型中的跨模态错位。
2024-10-26 cs.AI cs.CV cs.HC
MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion
Harbin Engineering University（哈尔滨工程大学）
针对现有多模态图像融合方法特征提取效率与效果受限的问题，提出基于Mamba的双阶段融合模型MambaDFuse，通过双层特征提取、双阶段融合及逆变换重建，在多类融合任务及下游检测任务中取得性能提升。
2024-04-12 cs.CV
Robust Deep Multi-modal Learning Based on Gated Information Fusion Network
Hanyang University（汉阳大学）；Phantom AI Inc.（Phantom AI公司）；Korea Electronics Technology Institute (KETI)（韩国电子技术研究院）
多模式学习的目标是使用多模式提供的相关任务的补充信息，以实现可靠和强大的性能。最近，深度学习通过允许在中间特征水平中的信息融合，在多模态学习中取得了显著的改进。本文解决了在存在不完美模态的情况下设计鲁棒的深度多模态学习架构的问题。我们引入了用于目标检测的深度融合架构，该架构使用单独的卷积神经网络（CNN）处理每种模态，并通过组合CNN的中间特征来构建联合特征图。为了提高对退化模态的鲁棒性，我们采用了门控信息融合（GIF）网络，该网络根据待融合的输入特征图对每个模态的贡献进行加权。权重通过卷积层确定，然后是sigmoid函数，并以端到端的方式与信息融合网络一起训练。我们的实验表明，建议GIF网络提供了额外的架构灵活性，以实现强大的性能，在处理一些退化的方式，并显示出显着的性能改善的基础上Single Shot Detector（SSD）的KITTI数据集使用建议的融合网络和数据增强计划。
2018-11-02 cs.CV
