An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）
医学图像在临床应用中发挥着重要作用。多模态医学图像可以为医生提供丰富的患者信息，便于医生进行诊断。图像融合技术能够将来自多模态图像的互补信息合成到单个图像中。这项技术将防止放射科医生在不同图像之间来回切换，并在诊断过程中节省大量时间。在本文中，我们介绍了一种新的扩张剩余注意力网络的医学图像融合任务。我们的网络能够提取多尺度的深层语义特征。此外，我们提出了一种新的固定融合策略称为Softmax加权策略的基础上Softmax权重和矩阵核范数。大量的实验表明，我们提出的网络和融合策略超过了国家的最先进的性能相比，参考图像融合方法的四个常用的融合度量。
2022-12-09 cs.CV
IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；University of Macau（澳门大学）；The University of Hong Kong（香港大学）；Inceptio（嬴彻科技）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Zhejiang University（浙江大学）
针对BEV表示中目标小、点云稀疏导致3D感知困难的问题，提出多模态融合框架IS-Fusion，通过分层场景融合和实例引导融合模块联合捕获实例与场景级上下文，生成实例感知BEV表示，在nuScenes基准上超越现有方法。
2024-03-22 cs.CV
Incomplete Multimodal Learning for Remote Sensing Data Fusion
University of Trento（特伦托大学）
针对遥感融合中推理模态缺失问题，提出支持监督与自监督预训练的不完整多模态学习模型，利用融合 token、Bi-LSTM 注意力、掩码自注意力及重建与对比损失，在两类数据集上达到最先进性能。
2023-04-22 cs.CV
TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots
School of Data Science and Engineering, East China Normal University（东华大学数据科学与工程学院）；School of Computer Science, Peking University（北京大学计算机学院）
本文提出 TTTFusion，一种基于测试时训练的图像融合策略，通过在推理阶段动态调整模型参数优化多模态医学图像融合，显著提升了细粒度特征提取与边缘保留的融合质量，为外科机器人实时图像处理提供了新方案。
2025-04-29 cs.CV
Multimodal Prediction based on Graph Representations
University of Campinas (UNICAMP)（坎皮纳斯州立大学）；Université de Lorraine（洛林大学）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种学习模型，基于秩融合图，在多模态预测任务，如多模态回归和图像分类的普遍适用性。等级融合图对来自多个描述符和检索模型的信息进行编码，从而能够捕获模态、样本和集合本身之间的潜在关系。该解决方案基于根据不同标准定义的查询（或测试样本）的多个排名编码到图中。之后，我们将生成的图投影到诱导向量空间中，创建融合向量，以实现更广泛的通用性和效率。然后构建融合向量估计器以推断多模态输入对象是否涉及类。我们的方法能够比早期融合和后期融合替代方案更好地促进融合模型。在多个多模态和视觉数据集以及几个描述符和检索模型的背景下进行的实验表明，我们的学习模型对于涉及视觉，文本和多模态特征的不同预测场景非常有效，比最先进的方法更有效。
2020-07-03 cs.CV
Feature Selection based on PCA and PSO for Multimodal Medical Image Fusion using DTCWT
NMAM Institute of Technology（NMAM 理工学院）；MSR Institute of Technology（MSR 理工学院）
多模态医学图像融合有助于提高医学诊断的效率。本文提出了多模态医学图像融合，通过选择相关的功能，使用主成分分析（PCA）和粒子群优化技术（PSO）。DTCWT用于将图像分解成低频系数和高频系数。融合规则，如最小值，最大值和简单平均的组合应用于近似和详细的系数。融合后的图像通过逆DTCWT重构。性能指标进行了评估，它表明DTCWT-PCA表现优于DTCWT-PSO的结构相似性指数测量（SSIM）和互相关（CC）。与DTCWT-PSO相比，DTCWT-PCA在特征选择方面减少了计算时间和特征向量大小，证明了其鲁棒性和存储容量。
2017-01-31 cs.CV
U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
提出U3M无偏多尺度模态融合模型，利用模型自身能力寻找最优融合平衡，通过无偏整合与多尺度特征融合提升多模态语义分割的鲁棒性和泛化性，在多个数据集上表现优越。
2024-05-24 cs.CV
FGU3R: Fine-Grained Fusion via Unified 3D Representation for Multimodal 3D Object Detection
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）
针对多模态3D检测中3D点与2D像素粗融合导致的维度不匹配问题，提出FGU3R框架，利用PRConv和CAAF在统一3D表示上实现细粒度自适应融合，并在KITTI与nuScenes上验证有效。
2025-01-08 cs.CV
SwimVG: Step-wise Multimodal Fusion and Adaption for Visual Grounding
Hefei University of Technology（合肥工业大学）；National University of Defense Technology（国防科技大学）；Nanjing University of Science and Technology（南京理工大学）
针对视觉定位中跨模态融合不足和计算成本高的问题，提出SwimVG框架，通过逐步多模态提示和跨模态交互适配器实现参数高效的多模态融合，在四个基准上取得显著效果。
2025-02-28 cs.CV
GraFT: Gradual Fusion Transformer for Multimodal Re-Identification
Modern Intelligence（现代智能公司）
本文提出渐进融合Transformer（GraFT），通过可学习融合令牌和增强三元组损失提升多模态重识别性能，并结合剪枝实现模型大小与性能的平衡。
2023-10-25 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
Multimodal Industrial Anomaly Detection via Hybrid Fusion
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对多模态工业异常检测中特征直接拼接导致干扰的问题，提出采用混合融合方案的M3DM模型，通过对比学习、决策层融合及点特征对齐提升检测精度，在MVTec-3D AD数据集上优于SOTA方法。
2023-09-07 cs.CV
Towards a Generalizable Fusion Architecture for Multimodal Object Detection
Université Grenoble Alpes（格勒诺布尔大学）；Université Sorbonne Paris Nord（巴黎-萨克勒大学）；INRIA（法国国家信息与自动化研究所）
本文提出 FMCAF 预处理架构，结合频域滤波与交叉注意力融合，在无需数据集专用调优的情况下提升 RGB-红外目标检测性能。
2025-10-20 cs.CV
MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning
CVIU Lab, University of Arkansas, USA（大学实验室，亚利桑那大学，美国）；University of Florida, USA（佛罗里达大学，美国）；COSMOS Research Center, University of Arkansas, Little Rock, USA（研究机构，亚利桑那大学，小石城，美国）；ICSI, University of California, Berkeley, USA（研究机构，加州大学伯克利分校，美国）
MANGO提出了一种基于归一化流和可逆交叉注意力机制的多模态融合学习方法，通过三种新型交叉注意力机制提升多模态数据的建模能力。
2025-11-25 cs.CV
Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective
Northeastern University（东北大学）；CATL（宁德时代）
该研究针对多模态异常检测中被忽视的跨模态融合偏差问题，提出即插即用框架UCFB，经实验验证在多种设置下均实现性能提升。
2026-08-04 cs.CV
MambaTrans: Multimodal Fusion Image Translation via Large Language Model Priors for Downstream Visual Tasks
School of Physics and Optoelectronic Engineering（物理与光电工程学院）；Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology（粤港澳联合智能微纳光电技术实验室）；School of Information Engineering and Automation（信息工程与自动化学院）
本文提出MambaTrans，一种多模态融合图像模态翻译器，利用多模态大语言模型描述和语义分割掩码作为输入，通过Multi-Model State Space Block捕获跨模态依赖，在不调整预训练模型参数的情况下提升下游视觉任务性能。
2025-08-11 cs.CV
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering
University of Central Florida（中佛罗里达大学）
我们提出了MMFT-BERT（多模态融合Transformer with BERT encodings），以解决视觉问答（Visual Question Questioning，VQA）问题，确保对多个输入模态的单独和组合处理。我们的方法受益于处理多模态数据（视频和文本），分别采用BERT编码，并使用一种新的基于变换的融合方法将它们融合在一起。我们的方法分解不同来源的模态，到不同的BERT实例具有相似的架构，但可变的权重。这在TVQA数据集上实现了SOTA结果。此外，我们提供TVQA视觉，TVQA的一个孤立的诊断子集，它严格要求基于人类注释者的判断的视觉（V）模态的知识。这组问题有助于我们研究模型的行为以及TVQA为防止实现超人类性能而提出的挑战。大量的实验表明了该方法的有效性和优越性。
2020-10-27 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
Mercedes-Benz AG（梅赛德斯-奔驰公司）；Algolux（Algolux公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
多模态传感器流（如摄像机、激光雷达和雷达测量）的融合在自主车辆的目标检测中起着关键作用，自主车辆基于这些输入进行决策。虽然现有的方法在良好的环境条件下利用冗余信息，但它们在感觉流可能不对称失真的恶劣天气中失败。这些罕见的“边缘情况”的情况下，没有表示在可用的数据集，现有的融合架构并没有设计来处理它们。为了应对这一挑战，我们提出了一个新的多模式数据集，在北欧超过10,000公里的驾驶中获得。尽管该数据集是恶劣天气下的第一个大型多模态数据集，其中包括激光雷达、相机、雷达和门控近红外传感器的10万个标签，但由于极端天气罕见，它并不便于训练。为此，我们提出了一种深度融合网络，用于鲁棒融合，而无需覆盖所有非对称失真的大量标记训练数据。从提议级融合出发，我们提出了一个单次模型，自适应融合功能，由测量熵驱动。我们验证了所提出的方法，在干净的数据上训练，在我们广泛的验证数据集上。代码和数据可在https://github.com/princeton-computational-imaging/SeeingThroughFog获得。
2020-06-30 cs.CV
Multimodal Fusion Learning with Dual Attention for Medical Imaging
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Deakin University（迪肯大学）；Queensland University of Technology（昆士兰科技大学）；NIMS University（NIMS大学）；Jio Institute（吉奥学院）；RMIT University（皇家墨尔本理工大学）
本文提出含多分支融合与多模态信息融合双注意力模块的DRIFA机制，构建可嵌入任意深度网络的DRIFA-Net，并用集成Monte Carlo dropout估计不确定性，在五个多模态医学数据集上取得优于现有方法的表现。
2024-12-02 cs.CV
FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection
Beihang University（北京航空航天大学）；Baidu Research（百度研究院）；Beijing Institute of Technology（北京理工大学）
三维障碍物的精确检测是自动驾驶和智能交通的重要任务。在这项工作中，我们提出了一个通用的多模态融合框架FusionPainting融合的2D RGB图像和3D点云在语义水平上提高3D目标检测任务。特别是，FusionPainting框架由三个主要模块组成：多模态语义分割模块、基于注意力的自适应语义融合模块和3D对象检测器。首先，基于2D和3D分割方法获得2D图像和3D激光雷达点云的语义信息。然后基于所提出的基于注意力的语义融合模块对不同传感器的分割结果进行自适应融合。最后，将绘制有融合语义标签的点云发送到3D检测器以获得3D对象结果。通过与三个不同的基线进行比较，在大规模nuScenes检测基准上验证了所提出的框架的有效性。实验结果表明，与仅使用点云的方法相比，该融合策略能显著提高检测性能，且仅使用点云的方法只需要绘制二维分割信息。此外，所提出的方法优于其他国家的最先进的方法在nuScenes测试基准。
2021-08-10 cs.CV
MCFNet: A Multimodal Collaborative Fusion Network for Fine-Grained Semantic Classification
School of Integrated Circuits, Jiangnan University, Wuxi 214122, China（集成电路学院，江南大学，无锡214122，中国）
提出MCFNet多模态协同融合网络，通过正则化集成融合模块与多模态决策分类模块，有效捕捉细粒度跨模态语义交互，显著提升高精度图像分类性能。
2025-05-29 cs.CV
Parkinson's Disease Classification Using Contrastive Graph Cross-View Learning with Multimodal Fusion of SPECT Images and Clinical Features
School of Systems and Enterprises, Stevens Institute of Technology（史蒂文斯理工大学系统与企业学院）；Kaohsiung Chang Gung Memorial Hospital（高雄长庚纪念医院）
提出结合SPECT图像与临床特征的多模态对比跨视图图融合方法，通过共注意力模块与对比损失提升特征提取与融合，在帕金森病分类中实现0.91准确率和0.93 AUC，优于传统机器学习方法。
2024-08-24 cs.CV
Multimodal Image Fusion based on Hybrid CNN-Transformer and Non-local Cross-modal Attention
Shanghai Jiao Tong University（上海交通大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Calgary（卡尔加里大学）
对多传感器图像进行融合，可以丰富图像信息，提高成像质量。在这篇文章中，我们提出了一个混合模型，由卷积编码器和基于transformer的解码器融合多模态图像。在编码器中，提出了一种非局部跨模态注意块来捕获多个源图像的局部和全局依赖性。设计了分支融合模块，对两个分支的特征进行自适应融合。我们在解码器中嵌入一个线性复杂度的Transformer模块，以增强所提出的网络的重构能力。定性和定量的实验证明了该方法的有效性，通过比较它与现有的国家的最先进的融合模型。我们工作的源代码可以在https://github.com/pandayuanyu/HCFusion上找到。
2022-10-18 cs.CV
Registration-Free Hybrid Learning Empowers Simple Multimodal Imaging System for High-quality Fusion Detection
School of Electronics and Information Engineering, Wuxi University（无锡大学电子与信息工程学院）；Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）
本文提出 CNN-Transformer 混合框架 IA-VFDnet，通过 AKM 特征匹配与 WDAF 融合模块协同实现免配准红外-可见光融合检测，并在 M3FD 及新公开的未配准烟雾野火基准上取得最优性能。
2023-07-07 cs.CV
GatedCLIP: Gated Multimodal Fusion for Hateful Memes Detection
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
GatedCLIP通过门控融合和对比学习提升多模态仇恨表情包检测性能，实现0.66 AUROC优于CLIP基线。
2026-02-24 cs.CV
Attention Bottlenecks for Multimodal Fusion
Google Research（谷歌研究院）
人类通过同时处理和融合来自视觉和音频等多种模态的高维输入来感知世界。与此形成鲜明对比的是，机器感知模型通常是特定于模态的，并且针对单峰基准进行了优化，因此来自每个模态的最终表示或预测的后期融合（“后期融合”）仍然是多模态视频分类的主导范例。相反，我们引入了一种新的Transformer为基础的架构，使用“融合瓶颈”的模态融合在多个层次。与传统的成对自我注意相比，我们的模型迫使不同模态之间的信息通过少量的瓶颈潜伏期，要求模型整理和浓缩每个模态中最相关的信息，只共享必要的信息。我们发现，这样的策略提高了融合性能，同时降低了计算成本。我们进行了彻底的消融研究，并在多个视听分类基准上取得了最先进的结果，包括Audioset，Epic-Kitsound和VGGSound。所有代码和模型都将被发布。
2022-11-30 cs.CV
A review of deep learning-based information fusion techniques for multimodal medical image classification
Inserm（法国国家健康与医学研究院）；University of Western Brittany（西布列塔尼大学）；IMT Atlantique（大西洋电信学院）；Sorbonne University（索邦大学）；Lariboisière Hospital（拉里布瓦西耶尔医院）；AP-HP（巴黎公共医疗集团）；Paris Cité University（巴黎城市大学）；CHRU Brest（布雷斯特大学中心医院）；LaTIM UMR 1101（LaTIM联合研究单位1101）
本文综述了基于深度学习的多模态医学图像分类融合技术，详细分析了输入、中间和输出三种融合方案及其网络架构适用性，并探讨了当前挑战与基于Transformer的未来研究方向。
2024-04-23 cs.AI cs.CV
Efficient Multimodal Fusion via Interactive Prompting
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
本文提出高效多模态融合方法PMF，通过模块化框架和三类提示交互，仅在深层添加提示向量，以少于3%的可训练参数和高达66%的训练内存节省实现与现有方法相当的性能。
2023-05-15 cs.CV
Provable Dynamic Fusion for Low-Quality Multimodal Data
Tianjin University（天津大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Sichuan University（四川大学）
针对低质量多模态数据下动态融合缺乏理论保证的问题，本文从泛化角度分析主流融合框架，提出基于不确定性估计的 QMF，以提升分类准确率与模型鲁棒性。
2023-06-06 cs.CV cs.LG
Deep Equilibrium Multimodal Fusion
针对现有融合方法无法充分捕捉复杂模态间交互动态的问题，提出深度均衡(DEQ)多模态融合方法，通过寻找动态融合过程的不动点并自适应递归地建模特征相关性，在多个多模态基准上取得了最先进的性能。
2023-06-29 cs.CV cs.MM
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
School of Computer Science and Communication Engineering（计算机与通信工程学院）；Harbin University of Commerce（哈尔滨商业大学）
针对多模态情感识别中异构数据融合和模态相关性利用的挑战，提出融合对比学习与视觉序列压缩的DeepMSI-MER方法，在IEMOCAP和MELD数据集上显著提升识别准确性与鲁棒性。
2025-02-12 cs.AI cs.CV
FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
Anhui University（安徽大学）；Institute of Plasma Physics, Chinese Academy of Sciences（中国科学院等离子体物理研究所）
针对核聚变托卡马克诊断中多模态多任务学习框架缺失的问题，提出FusionMMT统一框架，集成视觉与时间序列数据，在EAST-VTD640数据集上实现破裂预测、ELM识别和H98回归，性能优于现有方法。
2026-09-23 cs.AI cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
MSAF: Multimodal Split Attention Fusion
University of Waterloo（滑铁卢大学）；Shenzhen University（深圳大学）
多模态学习模仿人类多感官系统的推理过程，该系统用于感知周围世界。在做出预测时，人类大脑倾向于将来自多个信息源的关键线索联系起来。在这项工作中，我们提出了一种新的多模态融合模块，学习强调所有模态的贡献功能。具体而言，建议的多模态分割注意力融合（MSAF）模块将每个模态分割成通道方式相等的特征块，并创建一个联合表示，用于跨特征块为每个通道生成软注意力。此外，MSAF模块被设计为与各种空间维度和序列长度的特征兼容，适用于CNN和RNN。因此，可以很容易地添加MSAF来融合任何单峰网络的特征，并利用现有的预训练单峰模型权重。为了证明我们的融合模块的有效性，我们设计了三个多模态网络与MSAF的情感识别，情感分析，动作识别任务。我们的方法在每个任务中都取得了有竞争力的结果，并且优于其他特定于应用的网络和多模态融合基准。
2021-06-26 cs.CV cs.LG
Multimodal Fusion Refiner Networks
Facebook AI
依赖于多模态信息的任务通常包括组合来自不同模态的信息的融合模块。在这项工作中，我们开发了一个细化融合网络（ReFNet），使融合模块能够将强单峰表示与强多峰表示相结合。ReFNet将融合网络与解码/解除模块相结合，该模块施加了以模态为中心的责任条件。该方法通过确保单峰和融合表示都在潜在融合空间中被强编码，解决了现有多模态融合框架中的巨大差距。我们证明，精炼融合网络可以提高性能强大的基线融合模块，如多模态Transformers。细化网络使诱导图形表示的融合嵌入在潜在的空间，我们证明在一定的条件下，并支持强有力的经验结果的数值实验。通过将ReFNet与多相似性对比损失函数相结合，进一步加强了这些图形结构。Refiner Fusion Network的模块化特性使其能够轻松地与不同的融合架构相结合，此外，Refiner步骤可以应用于未标记数据集的预训练，从而利用无监督数据来提高性能。我们在三个数据集上展示了Refiner Fusion Networks的强大功能，并进一步表明它们可以仅用一小部分标记数据保持性能。
2021-04-08 cs.AI cs.CV
Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling
Instituto Politécnico Nacional（国立理工学院）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
多模态情感分析是一个非常活跃的研究领域。该领域中一个有希望的机会领域是改进多模态融合机制。我们提出了一种新的功能融合策略，在一个层次的方式进行，首先融合的方式在两个，然后才融合所有三种方式。在对单个话语进行多模态情感分析时，我们的策略比传统的特征串联方法的性能高1%，相当于出错率降低了5%。在话语级多模态情感分析的多话语视频剪辑，其中当前国家的最先进的技术，将上下文信息从其他话语的同一个剪辑，我们的分层融合给出了2.4%（几乎10%的出错率减少），目前使用的级联。我们的方法的实现是公开的开源代码的形式。
2018-06-16 cs.CL cs.CV
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Saratoga High School（萨拉托加高中）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
多模态分类是以人为中心的机器学习的核心任务。我们观察到，信息是高度互补的方式，因此单峰信息可以大大稀疏之前，多模态融合，而不会损失的准确性。为此，我们提出了稀疏融合Transformers（SFT），一种新的多模态融合方法的变压器，执行并行现有的国家的最先进的方法，同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块，它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估，用于广泛的分类任务。在类似的实验条件下，在多个基准测试中获得了最先进的性能，同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构，并设计三种融合模型，在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV
Multimodal Fusion with Pre-Trained Model Features in Affective Behaviour Analysis In-the-wild
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文提出结合多模态融合与预训练模型特征的方法，利用预训练模型的最终隐藏层特征，经预处理和对齐后进行模态融合，解决Aff-Wild2数据库上的表情识别和效价-唤醒度估计任务。
2024-03-22 cs.AI cs.CV
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题，提出基于元学习的动态融合框架MetaMMF，为每个微视频动态生成专属融合函数，在三个基准数据集上优于多个现有模型，还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
本文提出DepMamba，通过分层上下文建模和渐进式多模态融合解决长程时序建模与多模态融合的局限，在抑郁症检测任务上取得优于现有方法的性能。
2024-09-24 cs.CV cs.CY cs.HC
Self-MI: Efficient Multimodal Fusion via Self-Supervised Multi-Task Learning with Auxiliary Mutual Information Maximization
VNU - University of Engineering and Technology, Hanoi, Vietnam（越南国立大学-工程技术大学）
针对现有多模态表示学习难以利用各模态独特特性的问题，提出自监督的Self-MI方法，借助CPC最大化互信息并设计自监督标签生成模块，经三个基准数据集验证有效提升了多模态融合效果。
2023-11-07 cs.CV cs.MM
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis
National Technical University of Athens（雅典国家技术大学）；Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
当前用于多模态融合的深度学习方法依赖于高级和中级潜在模态表示（后期/中期融合）或低级感觉输入（早期融合）的自自底向上的【形】融合。人类感知模型强调了自上而下融合的重要性，其中高级表示影响感知输入的方式，即认知影响感知。这些自上而下的交互在当前的深度学习模型中没有被捕获。在这项工作中，我们提出了一种神经架构，它可以捕获自上而下的跨模态交互，并在网络训练期间的前向传递中使用反馈机制。所提出的机制提取每个模态的高级表示，并使用这些表示来屏蔽感官输入，允许模型执行自上而下的特征屏蔽。我们将所提出的模型应用于CMU-MOSEI上的多模态情感识别。我们的方法显示出一致的改进，超过了完善的MulT和我们强大的后期融合基线，实现了最先进的结果。
2022-01-24 cs.CV cs.LG
LoRA-Based Cascaded Multimodal Fusion for Action Recognition in Medical Training Environments
Quince（Quince公司）；Vanderbilt University（范德堡大学）
研究面向医疗训练环境的动作识别，提出基于LoRA的级联多模态融合框架，结合特定模态适应与顺序融合，无需重新训练组件，在两个数据集上评估，结果显示该策略优于单模态模型且性能有竞争力。
2026-07-14 cs.AI cs.CV
FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
Tübingen AI Center University of Tübingen（图宾根人工智能中心大学）；EPFL（瑞士联邦理工学院）
本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。
2026-08-18 cs.CV cs.LG
Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance
Beijing Jiaotong University（北京交通大学）
图像外画技术生成视觉上可信的内容，而不管真实性如何，这使得它在实际应用中不可靠。因此，我们提出了一个可靠的图像outpainting任务，从激光雷达的稀疏深度外推真实的RGB场景。LiDAR的大视野使其能够用于数据增强和进一步的多模式任务。具体地说，我们提出了一个深度引导的外绘网络模型的两个模态的不同特征表示，并学习结构感知的跨模态融合。设计了两个模块：1）多模态学习模块从不同模态特征的角度产生独特的深度和RGB特征表示。2)深度引导融合模块利用完整的深度模态通过渐进的多模态特征融合来引导RGB内容的建立。此外，我们特别设计了一个额外的约束策略，包括跨模态损失和边缘损失，以增强模糊的轮廓，加快可靠的内容生成。在KITTI和Waymo数据集上进行的大量实验证明了我们在定量和定性方面优于最先进的方法。
2023-02-16 cs.CV cs.MM
Dynamic Multimodal Fusion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出动态多模态融合方法DynMM，通过门控函数和资源感知损失函数自适应生成数据相关的前向路径，在保证精度的同时显著降低计算成本并提升性能。
2023-04-06 cs.AI cs.CV cs.MM
Beyond Modality Fusion: Deep Ensembles for Multimodal Classification
ScaDS.AI, Technische Universität Dresden（ScaDS.AI，德累斯顿工业大学）；Constructor University Bremen（不来梅建造者大学）
研究多模态分类，对比深度集成与模态融合网络，证明单模态网络深度集成可有效分类，提出选模型数量方法，还给出合成框架探索优化挑战，估计集成渐近性能。
2026-07-08 cs.CV cs.LG
Research on facial expression recognition based on Multimodal data fusion and neural network
Huazhong University of Science and Technology（华中科技大学）；Anyang Institute of Technology（安阳工学院）
人脸表情识别是神经网络应用于模式识别的一个具有挑战性的课题。目前的人脸识别研究大多基于单源人脸数据，普遍存在识别准确率低、鲁棒性差的缺点。提出了一种基于多模态数据融合的人脸表情识别神经网络算法。该算法基于多模态数据，以人脸图像、图像方向梯度直方图和人脸特征点为输入，建立CNN、LNN和HNN三个子神经网络进行数据特征提取，利用多模态数据特征融合机制提高人脸表情识别的准确率。实验结果表明，得益于多模态数据的互补性，该算法与传统的人脸表情识别算法相比，在准确性、鲁棒性和检测速度上都有很大的提高。特别是在部分遮挡、光照和头部姿态变换的情况下，该算法也表现出较高的置信度。
2021-09-26 cs.AI cs.CV
A Multimodal Late Fusion Model for E-Commerce Product Classification
Ping An Technology(Shenzhen)（平安科技（深圳））
产品列表的编目是大多数电子商业平台的基本问题。尽管基于单峰的方法获得了有前途的结果，可以预期，他们的表现可以进一步提高多模态产品信息的考虑。在这项研究中，我们研究了多模态后期融合方法的基础上，文本和图像模态分类电子商业产品乐天。具体来说，我们为每个输入模态开发了模态特定的最先进的深度神经网络，然后在决策层融合它们。SIGIR 2020电子商业研讨会数据挑战赛多模态产品分类任务的实验结果表明，与单模态和其他多模态方法相比，我们提出的方法具有优越性和有效性。我们的团队名为pa_curis赢得了第一名的宏F1的0.9144在最终排行榜上。
2020-08-14 cs.CV cs.IR
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo（滑铁卢大学）
由于多模态数据的异构性，来自多模态（诸如视频、语音和文本）的数据的有效融合是具有挑战性的。在本文中，我们提出了自适应融合技术，旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作，比如级联，而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络：1）自动融合，它学习压缩来自不同模态的信息，同时保留上下文，以及2）GAN-Fusion，它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明，我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文，其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis
针对多模态情感分析中简单融合无法应对模态质量波动的问题，提出基于信息熵和模态重要性的双门自适应融合网络AGFN，在两个基准数据集上准确率优于强基线，且特征泛化性更强。
2025-10-02 cs.CV cs.LG
Multimodal and Multiview Deep Fusion for Autonomous Marine Navigation
Technical University of Denmark（丹麦技术大学）；independent contributor（独立研究者）
本文提出基于交叉注意力Transformer的多模态融合方法，融合RGB、红外、LiDAR、雷达和电子海图数据生成船舶周围鸟瞰视图，提升自主海上导航的精度与鲁棒性，并通过真实海试验证其在恶劣天气下的有效性。
2025-05-02 cs.AI cs.CV
