Multi-modal Fusion Technology based on Vehicle Information: A Survey
多模态融合是自动驾驶系统感知的一项基本任务，近年来引起了众多学者的兴趣。目前的多模态融合方法主要关注摄像机数据和LiDAR数据，而对车辆底层传感器提供的加速度、车速、转角等运动学信息关注较少。这些信息不受复杂的外部场景的影响，因此更加健壮和可靠。本文介绍了车辆底层信息现有的应用领域和相关方法的研究进展，以及基于底层信息的多模态融合方法。我们还详细介绍了车辆底部信息数据集的相关信息，以便于尽快研究。此外，还提出了面向自动驾驶任务的多模态融合技术的未来新思路，以促进车辆底层信息的进一步利用。
2022-11-11 cs.CV cs.RO
mmFUSION: Multimodal Fusion for 3D Objects Detection
Istituto Italiano di Tecnologia (IIT)（意大利理工学院）；Universita degli Studi di Genova（热那亚大学）
针对自动驾驶三维目标检测中中间层多模态融合的实现难点，提出mmFUSION方法，通过独立编码器降维、跨模态与多模态注意力融合特征，在KITTI和NuScenes数据集上性能优于多种融合方案。
2023-11-07 cs.CV
Bridging the View Disparity Between Radar and Camera Features for Multi-modal Fusion 3D Object Detection
Tsinghua University（清华大学）
通过雷达和摄像头的多模态融合进行环境感知对于提高自动驾驶的准确性、完整性和鲁棒性至关重要。本文主要研究利用毫米波雷达和摄像机传感器融合进行三维目标检测。提出了一种新的方法，实现了鸟瞰图（BEV）下的特征级融合，以获得更好的特征表示。首先，雷达点增加时间积累和发送到一个空时编码器的雷达特征提取。同时，通过图像骨架和颈部模型，得到了适应不同空间尺度的多尺度图像二维特征。然后，图像特征转换到BEV与设计的视图Transformer。此外，本工作融合的多模态特征的两阶段融合模型称为点融合和ROI融合，分别。最后，检测头回归对象类别和3D位置。实验结果表明，该方法在最关键的检测指标--平均精度（mAP）和nuScenes检测分数（NDS）下，在具有挑战性的nuScenes数据集上实现了最先进的（SOTA）性能。
2022-10-29 cs.CV
MaskFuser: Masked Fusion of Joint Multi-Modal Tokenization for End-to-End Autonomous Driving
Waytous（万图思科技）；Phigent Robotics（Phigent机器人公司）；University of Sydney（悉尼大学）
针对多模态驾驶分支独立缺乏统一表征的问题，提出MaskFuser框架，通过联合多模态分词与跨模态掩码自编码器训练实现混合融合，在CARLA基准及传感器受损场景下均提升了驾驶性能。
2024-05-13 cs.CV
DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification
Anhui University（安徽大学）
DCG-ReID通过解构协作与指导融合表示，解决多模态车辆重识别中模态质量分布不平衡的问题，提升多模态联合决策性能。
2026-01-06 cs.AI cs.CV
AlterMOMA: Fusion Redundancy Pruning for Camera-LiDAR Fusion Models with Alternative Modality Masking
Northwestern Polytechnical University（西北工业大学）；Midea Group（美的集团）；Didi Chuxing（滴滴出行）
针对Camera-LiDAR融合模型的跨模态特征冗余问题，提出剪枝框架AlterMOMA，通过替代模态掩码重新激活冗余特征并利用AlterEva评估函数识别剪枝冗余参数，在nuScene和KITTI数据集上达到SOTA性能。
2024-09-26 cs.AI cs.CV
Fusion-Mamba for Cross-modality Object Detection
Beihang University（北航大学）；East China Normal University（东华师范大学）；Tencent Youtu Lab（腾讯优图实验室）；Eastern Institute of Technology（东部技术研究所）
本文提出 Fusion-Mamba 块，利用改进的 Mamba 在隐状态空间中关联跨模态特征以减少模态差异，并在多个数据集上取得领先的目标检测性能。
2024-04-14 cs.AI cs.CV
M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出M3D-BFS，通过多阶段动态融合策略提升多模态脑网络分析的样本适应性，设计了不同专家模块以适应输入样本变化，并引入多模态解耦损失提升表示能力。
2026-04-02 cs.AI cs.CV
Towards Robust Optical-SAR Object Detection under Missing Modalities: A Dynamic Quality-Aware Fusion Framework
Anhui University（安徽大学）；th Research Institute, China Electronics Technology Group Corporation（中国电子科技集团公司第三十八研究所）
本文提出QDFNet，通过动态质量感知融合框架提升光学- SAR目标检测在缺失模态下的鲁棒性。
2025-12-27 cs.AI cs.CV
TMI-CLNet: Triple-Modal Interaction Network for Chronic Liver Disease Prognosis From Imaging, Clinical, and Radiomic Data Fusion
Hangzhou Dianzi University（杭州电子科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Information Technology（深圳信息职业技术学院）；Shenzhen University（深圳大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
提出TMI-CLNet网络，通过模态内聚合模块、三模态交叉注意力融合模块及特征融合损失函数，有效整合影像、临床与影像组学数据，显著提升慢性肝病预后评估性能。
2025-02-02 cs.AI cs.CV
HiddenObject: Modality-Agnostic Fusion for Multimodal Hidden Object Detection
提出基于Mamba的模态无关融合框架HiddenObject，整合RGB、热成像和深度数据，有效解决多模态环境下的隐藏目标检测问题，并在多个基准数据集上取得领先性能。
2025-09-12 cs.AI cs.CV
Multimodal Hyperspectral Image Classification via Interconnected Fusion
University of Technology Sydney（悉尼科技大学）
提出互联融合（IF）框架，通过计算复制中心块、HSI和LiDAR输入间的自注意力与交叉注意力生成九视角融合矩阵，全面挖掘模态内外特征与上下文信息，在三个数据集上实现最先进的多模态分类性能。
2023-04-02 cs.AI cs.CV
TACFN: Transformer-based Adaptive Cross-modal Fusion Network for Multimodal Emotion Recognition
School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院）；MTlab, Meitu (China) Limited（美图（中国）有限公司）；Institute of Acoustics, University of Chinese Academy of Sciences（中国科学院声学研究所）
针对跨模态注意力的冗余与互补特征捕捉不足问题，本文提出 TACFN，通过自注意力模态内选择和拼接权重向量实现自适应融合，并在 RAVDESS、IEMOCAP 上达到最优性能。
2025-05-10 cs.AI cs.CV
FusionFM: All-in-One Multi-Modal Image Fusion with Flow Matching
Guangzhou Institute of Technology, Xidian University（广州理工大学）
针对现有多模态图像融合方法训练成本高、生成式方法推理慢的问题，提出基于流匹配的一体化框架FusionFM，结合伪标签筛选、融合优化与持续学习机制，在多任务上实现高效轻量化的优异融合性能。
2025-11-17 cs.AI cs.CV
Multi-Modal Fusion Transformer for Visual Question Answering in Remote Sensing
Technische Universitat Berlin（柏林工业大学）
随着新一代卫星技术的发展，遥感（RS）图像档案的增长非常快。为了使每幅遥感图像的内在信息易于获取，视觉问答（VQA）被引入到遥感中。VQA允许用户制定一个自由形式的问题，有关内容的RS图像提取通用信息。已经表明，输入模态的融合（即，图像和文本）对于VQA系统的性能至关重要。目前的融合方法大多使用特定于模态的表示来代替联合表示学习。然而，为了发现图像和问题模态之间的潜在关系，模型需要学习联合表示，而不是简单地组合（例如，连接、相加或相乘）模态特定表示。我们提出了一个多模态变压器为基础的架构，以克服这个问题。我们提出的架构由三个主要模块组成：i）用于提取模态特定特征的特征提取模块; ii）融合模块，它利用VisualBERT模型（VB）的用户定义数量的多模态Transformer层; iii）分类模块，以获得答案。在RSVQAxBEN和RSVQA-LR数据集（由Sentinel-2图像的RGB波段组成）上获得的实验结果证明了VBFusion在RS中用于VQA任务的有效性。为了分析在VQA框架中使用其他光谱波段描述RS图像复杂内容的重要性，我们扩展了RSVQAxBEN数据集，以包括具有10 m和20 m空间分辨率的Sentinel-2图像的所有光谱波段。
2022-10-10 cs.AI cs.CV
Text-Guided Channel Perturbation and Pretrained Knowledge Integration for Unified Multi-Modality Image Fusion
Xilai Li, Xiaosong Li, Weijun Jiang（作者）
针对统一多模态图像融合中梯度冲突、泛化性差的问题，本文提出UP-Fusion框架，通过SCPM、GAM、TCPM三个模块优化特征处理，在融合及下游任务上性能优于现有方法。
2025-11-16 cs.CV
Cross-Modality Attentive Feature Fusion for Object Detection in Multispectral Remote Sensing Imagery
School of Aerospace Engineering, Tsinghua University（清华大学航天航空学院）
跨模态融合多光谱遥感图像对的互补信息，可以提高检测算法的感知能力，使其在夜间检测等更广泛的应用中具有更强的鲁棒性和可靠性。与现有的方法相比，我们认为不同的功能，应进行具体的处理，模态特定的功能应被保留和增强，而模态共享的功能，应樱桃挑选从RGB和热红外模态。在此基础上，提出了一种新的基于共模态和差分模态的多光谱特征融合方法--跨模态注意特征融合（CMAFF）。给定RGB和IR图像的中间特征图，我们的模块并行地从两个单独的模态（公共模态和差分模态）推断注意力图，然后将注意力图分别乘以输入特征图以进行自适应特征增强或选择。大量的实验表明，我们提出的方法可以实现国家的最先进的性能在一个较低的计算成本。
2021-12-06 cs.AI cs.CV eess.IV
MMA-UNet: A Multi-Modal Asymmetric UNet Architecture for Infrared and Visible Image Fusion
Foshan University（佛山大学）；Hong Kong University of Science and Technology（香港科技大学）；China University of Mining and Technology (Beijing)（中国矿业大学（北京））
针对现有多模态图像对称融合易丢失浅层信息、偏向单模态的问题，提出多模态非对称UNet架构MMA-UNet，通过分模态训练专用编码器与跨尺度融合策略实现均衡融合，性能优于当前最优方法。
2024-07-11 cs.CV
Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
Dalian University of Technology（大连理工大学）
近年来基于学习的图像融合方法在预配准多模态数据方面取得了巨大的进展，但由于空间变形和难以缩小跨模态差异，在处理未对齐的多模态数据时存在严重的重影问题。为了克服这些障碍，在本文中，我们提出了一个强大的跨模态生成配准范式的无监督错位红外和可见光图像融合（IVIF）。具体来说，我们提出了一个跨模态的感知风格转移网络（CPONS）生成一个伪红外图像作为输入的可见光图像。由于CPNN良好的几何保持能力，所生成的伪红外图像具有清晰的结构，更有利于将跨模态图像配准转化为单模态配准，并结合红外图像的结构敏感性。在这种情况下，我们引入了一个多级细化配准网络（MRRN），预测失真和伪红外图像之间的位移矢量场，并重建配准的红外图像下的单模态设置。此外，为了更好地融合注册的红外图像和可见光图像，我们提出了一个功能交互融合模块（IFM），自适应地选择更有意义的功能融合在双路径交互融合网络（DIFN）。大量的实验结果表明，所提出的方法执行不对齐的跨模态图像融合的优越性能。
2022-05-24 cs.CV
TransFusionOdom: Interpretable Transformer-based LiDAR-Inertial Fusion Odometry Estimation
针对有监督里程计任务中多模态融合效果不佳的问题，提出基于Transformer的TransFusionOdom框架，采用分模态融合策略缓解过拟合，结合可视化解释方法，经实验验证性能优于现有相关工作。
2023-04-26 cs.AI cs.CV cs.RO
Enhancing Modal Fusion by Alignment and Label Matching for Multimodal Emotion Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对多模态情感识别中模态融合效果不佳的问题，提出含音视频情感对齐、跨模态标签匹配双辅助任务的Foal-Net框架，先对齐再融合，在IEMOCAP上性能超越现有最优方法，验证了融合前对齐的必要性。
2024-08-18 cs.AI cs.CV cs.MM
When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
Central China Normal University（华中师范大学）；Huazhong University of Science and Technology（华中科技大学）；Guangzhou University of Chinese Medicine（广州中医药大学）；The First Affiliated Hospital of Guangzhou University of Chinese Medicine（广州中医药大学第一附属医院）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
针对多模态医学图像分割中质量差异导致融合失败的问题，提出腐败感知再平衡融合框架CoReFuse-Med，抑制特征腐败并再平衡模态贡献，实验验证了其有效性。
2026-09-10 cs.CV
MambaDFuse: A Mamba-based Dual-phase Model for Multi-modality Image Fusion
Harbin Engineering University（哈尔滨工程大学）
针对现有多模态图像融合方法特征提取效率与效果受限的问题，提出基于Mamba的双阶段融合模型MambaDFuse，通过双层特征提取、双阶段融合及逆变换重建，在多类融合任务及下游检测任务中取得性能提升。
2024-04-12 cs.CV
Robust Deep Multi-modal Learning Based on Gated Information Fusion Network
Hanyang University（汉阳大学）；Phantom AI Inc.（Phantom AI公司）；Korea Electronics Technology Institute (KETI)（韩国电子技术研究院）
多模式学习的目标是使用多模式提供的相关任务的补充信息，以实现可靠和强大的性能。最近，深度学习通过允许在中间特征水平中的信息融合，在多模态学习中取得了显著的改进。本文解决了在存在不完美模态的情况下设计鲁棒的深度多模态学习架构的问题。我们引入了用于目标检测的深度融合架构，该架构使用单独的卷积神经网络（CNN）处理每种模态，并通过组合CNN的中间特征来构建联合特征图。为了提高对退化模态的鲁棒性，我们采用了门控信息融合（GIF）网络，该网络根据待融合的输入特征图对每个模态的贡献进行加权。权重通过卷积层确定，然后是sigmoid函数，并以端到端的方式与信息融合网络一起训练。我们的实验表明，建议GIF网络提供了额外的架构灵活性，以实现强大的性能，在处理一些退化的方式，并显示出显着的性能改善的基础上Single Shot Detector（SSD）的KITTI数据集使用建议的融合网络和数据增强计划。
2018-11-02 cs.CV
Cross-Modal Message Passing for Two-stream Fusion
Northwestern Polytechnical University（西北工业大学）
多模态信息的处理与融合是解决计算机视觉问题的有效手段。为了更有效地处理多模态信息，我们引入了一种新的多模态融合框架：跨模态消息传递（CMMP）。具体来说，我们提出了一种跨模态的消息传递机制，融合双流网络的动作识别，它由一个外观模态网络（RGB图像）和一个运动模态（光流图像）网络。在这个框架中，单个网络的目标是双重的：标准分类目标和竞争目标。分类目标确保每个模态网络预测真实的动作类别，而竞争目标鼓励每个模态网络超越另一个。我们定量地表明，提出的CMMP融合传统的双流网络更有效，并优于所有现有的双流融合方法在UCF-101和HMDB-51数据集。
2019-04-30 cs.CV
CoMLP: Cooperatively-Gated MLPs for Fine-Grained Cross-Modal Information Fusion in Medical Image Segmentation
Institute of Translational Medicine, Shanghai Jiao Tong University（上海交通大学转化医学研究院）；Zhongguancun Academy（中关村学院）；Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院）；School of Computer Science, the University of Sydney（悉尼大学计算机学院）；China United Network Communications Group Co., Ltd.（中国联合网络通信集团有限公司）
本研究提出CoMLP协作门控多层感知机模块，通过协作交叉门控实现异源信息的细粒度跨模态融合，在5个医学分割基准上优于现有最优方法，为医学图像分割提供了MLP交互的有效替代方案。
2026-09-07 cs.CV
Image and Encoded Text Fusion for Multi-Modal Classification
University of Insubria（因苏布里亚大学）；National University of Sciences and Technology（国立科技大学）
多模态方法采用来自多个输入流的数据，例如文本和视觉域。深度神经网络已经成功地用于这些方法。在本文中，我们提出了一种新的多模态方法，融合图像和文本描述，以提高多模态分类在现实世界中的性能。所提出的方法嵌入到图像的编码文本，以获得信息丰富的图像。为了学习所得图像的特征表示，标准卷积神经网络（CNN）被用于分类任务。我们演示了如何使用基于CNN的管道来学习新融合方法的表示。我们将我们的方法与两个大规模多模态分类数据集上的单个源进行比较，同时获得了令人鼓舞的结果。此外，我们评估我们的方法对两个著名的多模态策略，即早期融合和后期融合。
2018-10-03 cs.CV
EPIC-Fusion: Audio-Visual Temporal Binding for Egocentric Action Recognition
University of Bristol（布里斯托大学）；University of Oxford（牛津大学）
我们专注于多模态融合的自我中心的动作识别，并提出了一种新的架构，多模态的时间绑定，即在一定范围内的时间偏移量的模态的组合。我们训练的架构与三个模态- RGB，流和音频-并将它们与中间级融合一起融合表示的稀疏时间采样。与以前的作品相比，模态融合之前的时间聚合，随着时间的推移共享的模态和融合权重。我们提出的架构是端到端训练的，优于单个模态以及模态的后期融合。我们证明了音频在以自我为中心的视觉中的重要性，在每类的基础上，识别动作以及交互对象。我们的方法在最大的以自我为中心的数据集：EPIC-Kitterfly的可见和不可见测试集上实现了最先进的结果，使用公共排行榜的所有指标。
2019-08-22 cs.CV
Predicting Depression Severity by Multi-Modal Feature Engineering and Fusion
University of Washington（华盛顿大学）；Texas A&M University（德克萨斯A&M大学）
我们提出了我们的初步工作，以确定患者的声音声学，语言和面部模式可以预测抑郁症的严重程度，即患者健康问卷抑郁量表（PHQ-8）的临床评级。我们提出了一个多模态融合模型，它结合了三种不同的模态：音频，视频和文本特征。通过对AVEC 2017数据集的训练，我们提出的模型优于每个单一模态预测模型，并超过了具有冰余量的数据集基线。
2017-11-29 cs.CV
Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image Fusion
Tianjin University（天津大学）
红外与可见光图像融合的目的是综合多源信息，以达到在探测等实际任务中优于单一模态的性能。然而，现有的方法大多直接将纹理细节和不同模态的物体对比度结合起来，忽略了现实中物体的动态变化，从而降低了良好光照条件下的可见纹理和低光照条件下的红外对比度。为了填补这一空白，我们提出了一个动态的图像融合框架与多模态门控混合的本地到全球的专家，称为MoE-Fusion，动态提取有效和全面的信息，从各自的方式。我们的模型由一个混合的本地专家（MoLE）和一个混合的全球专家（MoGE）的多模态门引导。MoLE对多模态局部特征进行专门的学习，促使融合图像以样本自适应的方式保留局部信息，而MoGE则专注于全局信息，该全局信息通过整体纹理细节和对比度补充融合图像。大量的实验表明，我们的MoE-Fusion在通过局部到全局的动态学习范式保持多模态图像纹理和对比度方面优于最先进的方法，并且在检测任务上也取得了优异的性能。我们的代码将提供：https://github.com/SunYM2020/MoE-Fusion。
2023-03-23 cs.CV
FuseAdapt: Parameter-Efficient Multimodal Fusion for Semantic Segmentation with Missing Modalities
National University of Singapore（新加坡国立大学）
FuseAdapt是一种参数高效的多模态语义分割框架，通过在冻结视觉基础模型的适应空间内融合，结合预测模态建模处理模态缺失，在三个基准上较现有最优方法实现了显著性能提升。
2026-11-04 cs.CV
Efficient Large-Scale Multi-Modal Classification
Facebook AI Research（Facebook人工智能研究（中心））
虽然早期的互联网主要是基于文本的，但现代数字世界正变得越来越多模式。在这里，我们研究多模态分类，其中一种模态是离散的，例如文本，另一种模态是连续的，例如从卷积神经网络传输的视觉表示。特别是，我们专注于我们必须能够快速分类大量数据的场景。我们研究了各种方法进行多模态融合，并分析其权衡分类精度和计算效率。我们的研究结果表明，包括连续信息提高了性能，在一系列的多模态分类任务的纯文本，即使是简单的融合方法。此外，我们还尝试将连续特征离散化，以进一步加快和简化融合过程。我们的研究结果表明，与离散化功能的融合优于纯文本分类，在一小部分的计算成本的完整的多模态融合，与改进的可解释性的额外好处。
2018-02-06 cs.AI cs.CL cs.CV
Multi-modal Conditional Attention Fusion for Dimensional Emotion Prediction
Renmin University of China（中国人民大学）
连续维度情感预测是一项具有挑战性的任务，其中各种模态的融合通常实现最先进的性能，例如早期融合或晚期融合。本文提出了一种新的多模态融合策略--条件注意力融合，它可以在每个时间步动态地关注不同的模态。采用长短期记忆递归神经网络（LSTM-RNN）作为基本的单模态模型来捕获长时间依赖。分配给不同模态的权重由当前输入特征和最近的历史信息自动决定，而不是在任何情况下固定。我们在基准数据集AVEC 2015上的实验结果表明，我们的方法的有效性，优于几种常见的融合策略的价预测。
2017-09-04 cs.CV cs.LG cs.MM
Dual-Branch Squeeze-Fusion-Excitation Module for Cross-Modality Registration of Cardiac SPECT and CT
Yale University（耶鲁大学）
单光子发射计算机断层扫描（SPECT）是一种广泛应用于冠状动脉疾病诊断的成像方法。从计算机断层扫描（CT）导出的衰减图（u图）用于衰减校正（AC），以提高心脏SPECT的诊断准确性。然而，在临床实践中，SPECT和CT是顺序获得的，这可能会导致两次扫描之间的配准不良。卷积神经网络（CNN）是医学图像配准的有力工具。先前用于跨模态配准的基于CNN的方法或者直接连接两个输入模态作为早期特征融合，或者使用两个单独的CNN模块提取图像特征用于后期融合。这些方法不能完全提取或融合跨模态信息。此外，基于深度学习的心脏SPECT和CT导出的u图的刚性配准之前尚未研究。在本文中，我们提出了一个双分支挤压融合激发（DuSFE）模块的心脏SPECT和CT衍生的u-地图的注册。DuSFE融合了来自多个模态的知识，以重新校准每个模态的通道和空间特征。DuSFE可以嵌入多个卷积层，以实现不同空间维度的特征融合。我们使用临床数据的研究表明，嵌入DuSFE的网络生成的配准误差显著降低，因此比以前的方法更准确的AC SPECT图像。
2022-06-10 cs.AI cs.CV eess.IV
Modality-Decoupled RGB-Thermal Object Detector via Query Fusion
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）
本文提出了一种通过查询融合实现模态解耦的RGB热物体检测框架，以提升在极端条件下的检测鲁棒性。
2026-01-13 cs.CV
Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data
Department of Industrial and Systems Engineering, Korea Advanced Institute of Science and Technology (KAIST)（工业与系统工程系，韩国科学技术院（KAIST））
本文提出一种处理长尾分布多模态数据的新框架，通过融合异质数据并利用模态特定网络增强信息，提升在长尾类不平衡场景下的性能。
2026-05-11 cs.AI cs.CV stat.ML
Equivariant Multi-Modality Image Fusion
ETH Zürich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）；Northwestern Polytechnical University（西北工业大学）；University of Würzburg（维尔茨堡大学）；INSAIT；Heriot-Watt University（赫瑞瓦特大学）
针对多模态图像融合缺乏真值数据的问题，提出自监督EMMA范式，利用等变成像先验和三类模块实现端到端训练，提升红外-可见光及医学融合与下游任务性能。
2024-04-15 cs.CV
ModalChorus: Visual Probing and Alignment of Multi-modal Embeddings via Modal Fusion Map
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
本文提出交互式系统 ModalChorus，通过融合度量与非度量目标的 Modal Fusion Map 可视化探测多模态嵌入，并支持用户进行点-集与集-集对齐，从而发现并修正 CLIP 等模型中的跨模态错位。
2024-10-26 cs.AI cs.CV cs.HC
Exploring Modality-Aware Fusion and Decoupled Temporal Propagation for Multi-Modal Object Tracking
MDTrack通过模态感知融合和解耦时间传播提升多模态目标跟踪性能，实现统一的模态处理和独立的时间信息捕捉。
2026-03-10 cs.CV
Refine Then Fusion: Training-Free 3D Point Cloud Adaptation with Priority Refinement and Multi-Modal Knowledge Fusion
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对少样本三维点云识别中多模态特征冗余与模态可靠性差异问题，提出无训练框架RTF，通过优先级通道精炼和可靠性感知融合实现自适应多模态聚合，在五个基准上达到最先进性能。
2026-09-21 cs.CV
Multi-modal land cover mapping of remote sensing images using pyramid attention and gated fusion networks
Centre for Research-based Innovation Visual Intelligence（可视化研究型创新中心）
多模态数据在遥感中越来越容易获得，并可提供关于地球表面的补充信息。因此，多模态信息的有效融合对于RS中的各种应用非常重要，但由于大的域差异、噪声和冗余，也非常具有挑战性。缺乏有效的和可扩展的融合技术，桥接多模态编码器和充分利用互补信息。为此，我们提出了一种新的多模态网络（MultiModNet）的多模态遥感数据的土地覆盖映射的基础上一种新的金字塔关注融合（PAF）模块和门控融合单元（GFU）。PAF模块被设计为有效地从每个模态中获得丰富的细粒度上下文表示，具有内置的跨级别和跨视图注意力融合机制，并且GFU模块利用新颖的门控机制进行特征的早期合并，从而减少隐藏的冗余和噪声。这使得补充模态能够有效地提取最有价值的和补充的信息，用于后期特征融合。在两个具有代表性的RS基准数据集上的大量实验表明了MultiModNet在多模态土地覆盖分类中的有效性、鲁棒性和优越性。
2021-11-06 cs.CV eess.IV
Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
磁共振成像（MRI）是一种广泛使用的神经成像技术，其可以提供不同对比度的图像（即，方式）。事实证明，融合这种多模态数据对于提高许多任务中的模型性能特别有效。然而，由于数据质量差和频繁的患者脱落，收集每个患者的所有模式仍然是一个挑战。医学图像合成已被提出作为一种有效的解决方案，其中任何丢失的模态从现有的模态合成。在本文中，我们提出了一种用于多模态MR图像合成的新型混合融合网络（Hi-Net），该网络从多模态源图像（即，现有的模态）到目标图像（即，缺少模式）。在我们的Hi-Net中，使用特定于模态的网络来学习每个模态的表示，并使用融合网络来学习多模态数据的共同潜在表示。然后，多模态合成网络被设计成密集地将潜在表示与来自每个模态的层次特征相结合，作为生成器来合成目标图像。此外，提出了一种分层多模态融合策略，以有效地利用多模态之间的相关性，其中提出了混合融合块（MFB）来自适应地加权不同的融合策略（即，逐元素求和、乘积和最大化）。大量的实验表明，该模型优于其他国家的最先进的医学图像合成方法。
2020-02-11 cs.CV eess.IV
Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing
National University of Singapore（新加坡国立大学）
针对弱监督音视频解析中早期融合纠缠不相关模态的问题，提出信使引导的中期融合变压器及跨音频预测一致性，减少不相关跨模态上下文，提升单模态事件检测性能。
2023-11-14 cs.CV
FlexiD-Fuse: Flexible number of inputs multi-modal medical image fusion based on diffusion model
School of Physics（物理学院）；Optoelectronic Engineering, Foshan University（光电工程学院，佛山大学）；Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology（粤港澳联合智能微纳光电技术实验室）；Guangdong Provincial Key Laboratory of Industrial Intelligent Inspection Technology（广东省工业智能检测技术重点实验室）；School of Information Engineering（信息工程学院）；Automation, Kunming University of Science（自动化系，昆明理工大学）
针对现有医学图像融合方法无法处理可变输入数量的问题，提出基于扩散模型和期望最大化算法的FlexiD-Fuse网络，实现灵活数量的双/三模态融合，在哈佛数据集上取得最优性能。
2025-09-11 cs.CV
Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective
Northeastern University（东北大学）；CATL（宁德时代）
该研究针对多模态异常检测中被忽视的跨模态融合偏差问题，提出即插即用框架UCFB，经实验验证在多种设置下均实现性能提升。
2026-08-04 cs.CV
Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry and Fusion
Hefei University of Technology（合肥工业大学）
随着Web技术的发展，多模态或多视图数据已经成为大数据的主流，其中每个模态/视图编码数据对象的个体属性。不同的模式往往是相辅相成的。这一事实激发了大量的研究关注融合多模态特征空间，以全面描述数据对象。现有的大多数最先进的技术集中在如何融合来自多模态空间的能量或信息，以提供优于单模态空间的性能。最近，深度神经网络已经表现出作为一个强大的架构，很好地捕捉高维多媒体数据的非线性分布，自然也为多模态数据。大量的实证研究表明，它的优势，受益于深多模态方法，它可以从本质上加深融合多模态深特征空间。在本文中，我们提供了一个实质性的概述，现有的国家的最先进的领域的多模态数据分析从浅到深的空间。在整个调查中，我们进一步指出，该领域的关键组成部分是多模态空间的合作，对抗性竞争和融合。最后，我们分享了我们对这一领域未来发展方向的看法。
2020-06-15 cs.CV
CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion
Xi’an Jiaotong University（西安交通大学）；ETH Zürich（苏黎世联邦理工学院）；Northwestern Polytechnical University（西北工业大学）；Research and Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；Harvard University（哈佛大学）；University of Würzburg（维尔茨堡大学）
提出CDDFuse网络，通过双分支Transformer-CNN提取高低频特征并利用相关性驱动损失进行特征分解，在多模态图像融合及下游任务中取得优异效果。
2023-04-10 cs.CV
Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset
Anhui University（安徽大学）
针对RGB与近红外跨模态跟踪中缺乏模态切换信号的问题，提出MAFNet自适应融合网络，并构建大规模数据集，实验验证其达到最先进性能。
2023-12-22 cs.CV
Generative-based Fusion Mechanism for Multi-Modal Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
本文提出一种基于条件生成对抗网络和扩散模型的生成式融合机制，通过向多模态特征注入随机噪声构造更难样本以增强判别性，在多模态跟踪基准上取得最先进性能。
2023-11-30 cs.CV
LASSNet: Level-Aware Availability-Conditioned Spatial-Semantic Fusion for Brain Tumor Segmentation with Missing MRI Modalities
University of Science and Technology of China (USTC)（中国科学技术大学）；Suzhou Institute for Advanced Research, USTC（中国科学技术大学苏州高等研究院）；Donghua University（东华大学）
针对多模态MRI缺失问题，提出LASSNet，通过层级感知可用性条件融合和三尺度关系-空间融合，在BraTS2019和BraTS2023上分别取得76.7%和83.2%的平均Dice分数。
2026-09-09 cs.CV
CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Zhejiang University（浙江大学）
本文提出CFSum，一种基于Transformer的多模态视频摘要框架，通过两阶段粗细特征融合机制深度融合视频、文本和音频特征，克服了现有方法模态融合不足及忽视音频的局限，实验证实了其有效性与优越性。
2025-03-01 cs.CV
MMFNet: A Multi-modality MRI Fusion Network for Segmentation of Nasopharyngeal Carcinoma
Shanghai Jiao Tong University（上海交通大学）；Shandong Cancer Hospital Affiliated to Shandong University（山东大学附属山东省肿瘤医院）；Deepwise AI Lab（深睿医疗人工智能实验室）
从核磁共振图像中分割鼻咽癌是鼻咽癌放射治疗的重要前提。然而，手动分割NPC是耗时且劳动密集型的。此外，单模态MRI通常不能提供足够的信息来精确描绘。因此，本文提出了一种基于T1、T2和对比增强T1三种MRI模态的多模态MRI融合网络（MMFNet）来完成NPC的精确分割。MMFNet的主干被设计为一个基于多编码器的网络，由多个编码器和一个解码器组成，编码器用于捕获特定于模态的特征，解码器用于融合这些特征并获得NPC分割的高级特征。提出了一种有效融合多模态MRI特征的融合模块。该算法首先对特定模态编码器捕获的低层特征进行重新校准，突出信息特征和感兴趣区域，然后通过残差融合块对加权特征进行融合，以保持融合特征与解码器输出的高层特征之间的平衡。此外，一个名为自传输的训练策略，它利用预先训练的特定模态的编码器初始化多编码器为基础的网络，提出了充分挖掘的信息从不同的MRI模态。该方法基于多模态MRI，能够有效地分割NPC，并通过大量的实验验证了其优越性。
2019-10-22 cs.CV
TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis
Beihang University（北京航空航天大学）
利用基于深度卷积的现代计算机辅助诊断技术，多模态皮肤病变诊断（MSLD）取得了显著的成功。然而，由于严重性不一致的空间分辨率（例如，皮肤镜图像和临床图像）和异质数据（例如，皮肤镜图像和患者的元数据）。受限于固有的局部注意力，大多数使用纯卷积的最新MSLD管道难以捕获浅层中的代表性特征，因此跨不同模态的融合通常在管道的末端完成，甚至在最后一层，导致信息聚合不足。为了解决这个问题，我们引入了一个纯粹的基于transformer的方法，我们称之为“贯穿融合Transformer（TFormer）”，用于在MSLD中进行充分的信息集成。与现有的卷积方法不同，所提出的网络利用Transformer作为特征提取的骨干，带来了更具代表性的浅层特征。然后，我们仔细设计了一个堆栈的双分支分层多模态Transformer（HMT）块融合信息在不同的图像模态在一个阶段的方式。利用图像模态的聚合信息，设计了一个多模态Transformer后融合（MTP）模块，以整合图像和非图像数据的特征。首先融合图像模态的信息，然后融合异构模态的信息，这样的策略使我们能够更好地区分和克服这两个主要挑战，同时确保模态间动态有效地建模。
2023-03-02 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
