Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题，提出基于元学习的动态融合框架MetaMMF，为每个微视频动态生成专属融合函数，在三个基准数据集上优于多个现有模型，还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning
KAIST（韩国科学技术院）
多模态数据融合在深度学习中的成功似乎归因于多个输入数据之间的互补信息的使用。相对于它们的预测性能，相对较少的注意力已经致力于多模态融合模型的鲁棒性。在本文中，我们研究了当前的多模态融合模型是否利用互补智能防御对抗攻击。我们在MFNet上应用了基于梯度的白盒攻击，如FGSM和PGD，MFNet是用于语义分割的主要多光谱（RGB，热）融合深度学习模型。我们验证了为更好的预测而优化的多模态融合模型仍然容易受到对抗攻击，即使只有一个传感器受到攻击。因此，很难说现有的多模态数据融合模型在对抗鲁棒性方面充分利用了多模态之间的互补关系。我们相信，我们的观察打开了一个新的视野对抗攻击研究多模态数据融合。
2020-05-22 cs.CV
Dynamic Multimodal Fusion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出动态多模态融合方法DynMM，通过门控函数和资源感知损失函数自适应生成数据相关的前向路径，在保证精度的同时显著降低计算成本并提升性能。
2023-04-06 cs.AI cs.CV cs.MM
A novel multimodal fusion network based on a joint coding model for lane line segmentation
Tsinghua University（清华大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
最近，利用多模态传感器来实现鲁棒的车道线分割的兴趣越来越大。在本文中，我们介绍了一种新的多模态融合架构从信息论的角度来看，并证明其实际效用使用光探测和测距（LiDAR）相机融合网络。特别是，我们开发的，第一次，一个多模态融合网络作为一个联合编码模型，其中每个单一的节点，层和管道表示为一个通道。因此，前向传播等于信道中的信息传输。然后，我们可以定性和定量地分析不同的融合方法的效果。我们认为，最佳的融合架构是有关的基本容量和分配的基础上的源和信道。为了测试这个多模态融合假设，我们逐步确定一系列的多模态模型的基础上提出的融合方法，并评估他们的KITTI和A2D2数据集。我们的最佳融合网络实现了85%以上的车道线准确度和98.7%以上的整体。模型之间的性能差距将为未来继续研究深度多模态学习社区的最佳融合算法提供信息。
2021-03-20 cs.CV
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标，从而留下了严重影响跨模态融合的模态缺口。在本文中，我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的，为了减少模态差距，我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外，我们施加额外的约束嵌入空间，通过引入重建损失和分类损失。然后，我们融合的编码表示使用层次图神经网络，明确探索单峰，双峰和三峰的相互作用，在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明，通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得：\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective
Northeastern University（东北大学）；CATL（宁德时代）；City University of Hong Kong（香港城市大学）
本文系统研究了多模态融合架构设计对3D异常检测的影响，涵盖模块内和模块间融合层级，并提出3D-ADNAS首次同时搜索多模态融合策略与模态特定模块，在准确率、帧率和内存上取得一致提升且在少样本任务中潜力显著。
2024-12-23 cs.CV
Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion
Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
我们提出了一个紧凑而有效的框架，在一个单一的网络中的多个层融合多模态特征。该框架包括两个创新的融合方案。首先，不像现有的多模态方法，需要单独的编码器为不同的模态，我们验证，多模态功能可以在一个共享的单一网络中学习，只需保持特定于模态的批量归一化层的编码器，这也使隐式融合通过联合特征表示学习。其次，我们提出了一个双向的多层融合方案，多模态功能可以逐步开发。为了利用这种方案，我们引入了两个不对称的融合操作，包括通道洗牌和像素移位，学习不同的融合功能相对于不同的融合方向。这两个操作是无参数的，并且加强了跨通道的多模态特征交互，以及增强了通道内的空间特征区分。我们进行了广泛的实验语义分割和图像翻译任务，基于三个公开的数据集，涵盖不同的方式。结果表明，我们提出的框架是通用的，紧凑的，是优于国家的最先进的融合框架。
2021-08-11 cs.CV
A review of deep learning-based information fusion techniques for multimodal medical image classification
Inserm（法国国家健康与医学研究院）；University of Western Brittany（西布列塔尼大学）；IMT Atlantique（大西洋电信学院）；Sorbonne University（索邦大学）；Lariboisière Hospital（拉里布瓦西耶尔医院）；AP-HP（巴黎公共医疗集团）；Paris Cité University（巴黎城市大学）；CHRU Brest（布雷斯特大学中心医院）；LaTIM UMR 1101（LaTIM联合研究单位1101）
本文综述了基于深度学习的多模态医学图像分类融合技术，详细分析了输入、中间和输出三种融合方案及其网络架构适用性，并探讨了当前挑战与基于Transformer的未来研究方向。
2024-04-23 cs.AI cs.CV
Provable Dynamic Fusion for Low-Quality Multimodal Data
Tianjin University（天津大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Sichuan University（四川大学）
针对低质量多模态数据下动态融合缺乏理论保证的问题，本文从泛化角度分析主流融合框架，提出基于不确定性估计的 QMF，以提升分类准确率与模型鲁棒性。
2023-06-06 cs.CV cs.LG
Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation
School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
针对现有RGB-T多模态分割方法参数和计算开销大的问题，提出基于早期融合与特征聚类的EFNet网络及轻量级多尺度解码器，以更低成本超越现有最优方法。
2025-01-19 cs.CV
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications（南京邮电大学）
由于单模态生物识别系统的不稳定性和局限性，多模态系统越来越受到研究者的关注。然而，如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法（Fingerprint Finger Veins-Channel Spatial Attention Fusion Module，FPV-CSAFM）。具体来说，对于每一对指纹和手指静脉图像，我们首先提出了一个简单而有效的卷积神经网络（CNN）来提取特征。然后，我们建立了一个多模态特征融合模块（通道空间注意力融合模块，CSAFM），充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同，该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重，从而更好地融合不同模态之间的信息，提高整体识别性能。为了评估我们的方法的性能，我们在多个公共数据集上进行了一系列实验。实验结果表明，该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）
医学图像在临床应用中发挥着重要作用。多模态医学图像可以为医生提供丰富的患者信息，便于医生进行诊断。图像融合技术能够将来自多模态图像的互补信息合成到单个图像中。这项技术将防止放射科医生在不同图像之间来回切换，并在诊断过程中节省大量时间。在本文中，我们介绍了一种新的扩张剩余注意力网络的医学图像融合任务。我们的网络能够提取多尺度的深层语义特征。此外，我们提出了一种新的固定融合策略称为Softmax加权策略的基础上Softmax权重和矩阵核范数。大量的实验表明，我们提出的网络和融合策略超过了国家的最先进的性能相比，参考图像融合方法的四个常用的融合度量。
2022-12-09 cs.CV
CentralNet: a Multilayer Approach for Multimodal Fusion
Orange Labs（奥兰治实验室）；Normandie Univ.（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
本文提出了一种新的多模态融合方法，旨在通过整合来自多个媒体的信息来产生最佳可能的决策。虽然大多数过去的多模态方法要么通过将不同模态的特征投射到同一空间中，要么通过使用约束来协调每种模态的表示，但我们的方法借鉴了这两种观点。更具体地说，假设每种模态都可以由一个单独的深度卷积网络处理，允许独立于每种模态做出决策，我们引入了一个连接模态特定网络的中央网络。这个中央网络不仅提供了一个共同的特征嵌入，而且还通过使用多任务学习来正则化特定于模态的网络。该方法在4个不同的计算机视觉任务上进行了验证，它始终提高了现有多模态融合方法的准确性。
2018-08-22 cs.AI cs.CV cs.MM
Depression Diagnosis and Analysis via Multimodal Multi-order Factor Fusion
Wuhan University（武汉大学）
抑郁症是世界范围内死亡的主要原因，抑郁症的诊断是不平凡的。多模态学习是一种流行的抑郁症自动诊断解决方案，现有的工作存在两个主要缺点：1）不能很好地利用不同模态之间的高阶交互; 2）模型的可解释性较弱。为了弥补这些缺点，我们提出了一种多模态多阶因子融合（MMFF）方法。我们的方法可以很好地利用高阶之间的相互作用，通过提取和组装模态因素的指导下，一个共享的潜在代理。我们在两个最近流行的数据集E-DAIC-WOZ和CMDC上进行了广泛的实验，结果表明，与其他现有方法相比，我们的方法具有更好的性能。此外，通过对因素组合过程的分析，模型可以直观地反映出各因素的贡献。这有助于我们理解融合机制。
2022-12-31 cs.AI cs.CV cs.MM
IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；University of Macau（澳门大学）；The University of Hong Kong（香港大学）；Inceptio（嬴彻科技）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Zhejiang University（浙江大学）
针对BEV表示中目标小、点云稀疏导致3D感知困难的问题，提出多模态融合框架IS-Fusion，通过分层场景融合和实例引导融合模块联合捕获实例与场景级上下文，生成实例感知BEV表示，在nuScenes基准上超越现有方法。
2024-03-22 cs.CV
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
School of Computer Science and Communication Engineering（计算机与通信工程学院）；Harbin University of Commerce（哈尔滨商业大学）
针对多模态情感识别中异构数据融合和模态相关性利用的挑战，提出融合对比学习与视觉序列压缩的DeepMSI-MER方法，在IEMOCAP和MELD数据集上显著提升识别准确性与鲁棒性。
2025-02-12 cs.AI cs.CV
Incomplete Multimodal Learning for Remote Sensing Data Fusion
University of Trento（特伦托大学）
针对遥感融合中推理模态缺失问题，提出支持监督与自监督预训练的不完整多模态学习模型，利用融合 token、Bi-LSTM 注意力、掩码自注意力及重建与对比损失，在两类数据集上达到最先进性能。
2023-04-22 cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots
School of Data Science and Engineering, East China Normal University（东华大学数据科学与工程学院）；School of Computer Science, Peking University（北京大学计算机学院）
本文提出 TTTFusion，一种基于测试时训练的图像融合策略，通过在推理阶段动态调整模型参数优化多模态医学图像融合，显著提升了细粒度特征提取与边缘保留的融合质量，为外科机器人实时图像处理提供了新方案。
2025-04-29 cs.CV
Multimodal Prediction based on Graph Representations
University of Campinas (UNICAMP)（坎皮纳斯州立大学）；Université de Lorraine（洛林大学）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种学习模型，基于秩融合图，在多模态预测任务，如多模态回归和图像分类的普遍适用性。等级融合图对来自多个描述符和检索模型的信息进行编码，从而能够捕获模态、样本和集合本身之间的潜在关系。该解决方案基于根据不同标准定义的查询（或测试样本）的多个排名编码到图中。之后，我们将生成的图投影到诱导向量空间中，创建融合向量，以实现更广泛的通用性和效率。然后构建融合向量估计器以推断多模态输入对象是否涉及类。我们的方法能够比早期融合和后期融合替代方案更好地促进融合模型。在多个多模态和视觉数据集以及几个描述符和检索模型的背景下进行的实验表明，我们的学习模型对于涉及视觉，文本和多模态特征的不同预测场景非常有效，比最先进的方法更有效。
2020-07-03 cs.CV
Feature Selection based on PCA and PSO for Multimodal Medical Image Fusion using DTCWT
NMAM Institute of Technology（NMAM 理工学院）；MSR Institute of Technology（MSR 理工学院）
多模态医学图像融合有助于提高医学诊断的效率。本文提出了多模态医学图像融合，通过选择相关的功能，使用主成分分析（PCA）和粒子群优化技术（PSO）。DTCWT用于将图像分解成低频系数和高频系数。融合规则，如最小值，最大值和简单平均的组合应用于近似和详细的系数。融合后的图像通过逆DTCWT重构。性能指标进行了评估，它表明DTCWT-PCA表现优于DTCWT-PSO的结构相似性指数测量（SSIM）和互相关（CC）。与DTCWT-PSO相比，DTCWT-PCA在特征选择方面减少了计算时间和特征向量大小，证明了其鲁棒性和存储容量。
2017-01-31 cs.CV
U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
提出U3M无偏多尺度模态融合模型，利用模型自身能力寻找最优融合平衡，通过无偏整合与多尺度特征融合提升多模态语义分割的鲁棒性和泛化性，在多个数据集上表现优越。
2024-05-24 cs.CV
FGU3R: Fine-Grained Fusion via Unified 3D Representation for Multimodal 3D Object Detection
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）
针对多模态3D检测中3D点与2D像素粗融合导致的维度不匹配问题，提出FGU3R框架，利用PRConv和CAAF在统一3D表示上实现细粒度自适应融合，并在KITTI与nuScenes上验证有效。
2025-01-08 cs.CV
FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
Anhui University（安徽大学）；Institute of Plasma Physics, Chinese Academy of Sciences（中国科学院等离子体物理研究所）
针对核聚变托卡马克诊断中多模态多任务学习框架缺失的问题，提出FusionMMT统一框架，集成视觉与时间序列数据，在EAST-VTD640数据集上实现破裂预测、ELM识别和H98回归，性能优于现有方法。
2026-09-23 cs.AI cs.CV
DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
本文提出DepMamba，通过分层上下文建模和渐进式多模态融合解决长程时序建模与多模态融合的局限，在抑郁症检测任务上取得优于现有方法的性能。
2024-09-24 cs.CV cs.CY cs.HC
MSAF: Multimodal Split Attention Fusion
University of Waterloo（滑铁卢大学）；Shenzhen University（深圳大学）
多模态学习模仿人类多感官系统的推理过程，该系统用于感知周围世界。在做出预测时，人类大脑倾向于将来自多个信息源的关键线索联系起来。在这项工作中，我们提出了一种新的多模态融合模块，学习强调所有模态的贡献功能。具体而言，建议的多模态分割注意力融合（MSAF）模块将每个模态分割成通道方式相等的特征块，并创建一个联合表示，用于跨特征块为每个通道生成软注意力。此外，MSAF模块被设计为与各种空间维度和序列长度的特征兼容，适用于CNN和RNN。因此，可以很容易地添加MSAF来融合任何单峰网络的特征，并利用现有的预训练单峰模型权重。为了证明我们的融合模块的有效性，我们设计了三个多模态网络与MSAF的情感识别，情感分析，动作识别任务。我们的方法在每个任务中都取得了有竞争力的结果，并且优于其他特定于应用的网络和多模态融合基准。
2021-06-26 cs.CV cs.LG
Multimodal Fusion Refiner Networks
Facebook AI
依赖于多模态信息的任务通常包括组合来自不同模态的信息的融合模块。在这项工作中，我们开发了一个细化融合网络（ReFNet），使融合模块能够将强单峰表示与强多峰表示相结合。ReFNet将融合网络与解码/解除模块相结合，该模块施加了以模态为中心的责任条件。该方法通过确保单峰和融合表示都在潜在融合空间中被强编码，解决了现有多模态融合框架中的巨大差距。我们证明，精炼融合网络可以提高性能强大的基线融合模块，如多模态Transformers。细化网络使诱导图形表示的融合嵌入在潜在的空间，我们证明在一定的条件下，并支持强有力的经验结果的数值实验。通过将ReFNet与多相似性对比损失函数相结合，进一步加强了这些图形结构。Refiner Fusion Network的模块化特性使其能够轻松地与不同的融合架构相结合，此外，Refiner步骤可以应用于未标记数据集的预训练，从而利用无监督数据来提高性能。我们在三个数据集上展示了Refiner Fusion Networks的强大功能，并进一步表明它们可以仅用一小部分标记数据保持性能。
2021-04-08 cs.AI cs.CV
GraFT: Gradual Fusion Transformer for Multimodal Re-Identification
Modern Intelligence（现代智能公司）
本文提出渐进融合Transformer（GraFT），通过可学习融合令牌和增强三元组损失提升多模态重识别性能，并结合剪枝实现模型大小与性能的平衡。
2023-10-25 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau（科布伦茨-兰道大学）
在本文中，我们提出了融合-GCN，一种使用图卷积网络（GCN）的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN，我们建议将各种传感器数据模式集成到一个图中，该图使用GCN模型进行训练，用于多模式动作识别。附加的传感器测量被合并到图形表示中，或者在通道维度（引入附加节点属性）上或者在空间维度（引入新节点）上。Fusion-GCN在两个公共可用数据集（UTD-MHAD和MMACT数据集）上进行了评估，并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果，并通过融合骨骼估计和加速度计测量，将大规模MMACT数据集的基线提高了高达12.37%（F1-Measure）的显著幅度。
2021-09-27 cs.CV
Multimodal Industrial Anomaly Detection via Hybrid Fusion
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对多模态工业异常检测中特征直接拼接导致干扰的问题，提出采用混合融合方案的M3DM模型，通过对比学习、决策层融合及点特征对齐提升检测精度，在MVTec-3D AD数据集上优于SOTA方法。
2023-09-07 cs.CV
Towards a Generalizable Fusion Architecture for Multimodal Object Detection
Université Grenoble Alpes（格勒诺布尔大学）；Université Sorbonne Paris Nord（巴黎-萨克勒大学）；INRIA（法国国家信息与自动化研究所）
本文提出 FMCAF 预处理架构，结合频域滤波与交叉注意力融合，在无需数据集专用调优的情况下提升 RGB-红外目标检测性能。
2025-10-20 cs.CV
Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling
Instituto Politécnico Nacional（国立理工学院）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
多模态情感分析是一个非常活跃的研究领域。该领域中一个有希望的机会领域是改进多模态融合机制。我们提出了一种新的功能融合策略，在一个层次的方式进行，首先融合的方式在两个，然后才融合所有三种方式。在对单个话语进行多模态情感分析时，我们的策略比传统的特征串联方法的性能高1%，相当于出错率降低了5%。在话语级多模态情感分析的多话语视频剪辑，其中当前国家的最先进的技术，将上下文信息从其他话语的同一个剪辑，我们的分层融合给出了2.4%（几乎10%的出错率减少），目前使用的级联。我们的方法的实现是公开的开源代码的形式。
2018-06-16 cs.CL cs.CV
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Saratoga High School（萨拉托加高中）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
多模态分类是以人为中心的机器学习的核心任务。我们观察到，信息是高度互补的方式，因此单峰信息可以大大稀疏之前，多模态融合，而不会损失的准确性。为此，我们提出了稀疏融合Transformers（SFT），一种新的多模态融合方法的变压器，执行并行现有的国家的最先进的方法，同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块，它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估，用于广泛的分类任务。在类似的实验条件下，在多个基准测试中获得了最先进的性能，同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning
CVIU Lab, University of Arkansas, USA（大学实验室，亚利桑那大学，美国）；University of Florida, USA（佛罗里达大学，美国）；COSMOS Research Center, University of Arkansas, Little Rock, USA（研究机构，亚利桑那大学，小石城，美国）；ICSI, University of California, Berkeley, USA（研究机构，加州大学伯克利分校，美国）
MANGO提出了一种基于归一化流和可逆交叉注意力机制的多模态融合学习方法，通过三种新型交叉注意力机制提升多模态数据的建模能力。
2025-11-25 cs.CV
Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective
Northeastern University（东北大学）；CATL（宁德时代）
该研究针对多模态异常检测中被忽视的跨模态融合偏差问题，提出即插即用框架UCFB，经实验验证在多种设置下均实现性能提升。
2026-08-04 cs.CV
MambaTrans: Multimodal Fusion Image Translation via Large Language Model Priors for Downstream Visual Tasks
School of Physics and Optoelectronic Engineering（物理与光电工程学院）；Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology（粤港澳联合智能微纳光电技术实验室）；School of Information Engineering and Automation（信息工程与自动化学院）
本文提出MambaTrans，一种多模态融合图像模态翻译器，利用多模态大语言模型描述和语义分割掩码作为输入，通过Multi-Model State Space Block捕获跨模态依赖，在不调整预训练模型参数的情况下提升下游视觉任务性能。
2025-08-11 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
Mercedes-Benz AG（梅赛德斯-奔驰公司）；Algolux（Algolux公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
多模态传感器流（如摄像机、激光雷达和雷达测量）的融合在自主车辆的目标检测中起着关键作用，自主车辆基于这些输入进行决策。虽然现有的方法在良好的环境条件下利用冗余信息，但它们在感觉流可能不对称失真的恶劣天气中失败。这些罕见的“边缘情况”的情况下，没有表示在可用的数据集，现有的融合架构并没有设计来处理它们。为了应对这一挑战，我们提出了一个新的多模式数据集，在北欧超过10,000公里的驾驶中获得。尽管该数据集是恶劣天气下的第一个大型多模态数据集，其中包括激光雷达、相机、雷达和门控近红外传感器的10万个标签，但由于极端天气罕见，它并不便于训练。为此，我们提出了一种深度融合网络，用于鲁棒融合，而无需覆盖所有非对称失真的大量标记训练数据。从提议级融合出发，我们提出了一个单次模型，自适应融合功能，由测量熵驱动。我们验证了所提出的方法，在干净的数据上训练，在我们广泛的验证数据集上。代码和数据可在https://github.com/princeton-computational-imaging/SeeingThroughFog获得。
2020-06-30 cs.CV
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构，并设计三种融合模型，在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV
Multimodal Fusion with Pre-Trained Model Features in Affective Behaviour Analysis In-the-wild
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文提出结合多模态融合与预训练模型特征的方法，利用预训练模型的最终隐藏层特征，经预处理和对齐后进行模态融合，解决Aff-Wild2数据库上的表情识别和效价-唤醒度估计任务。
2024-03-22 cs.AI cs.CV
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo（滑铁卢大学）
由于多模态数据的异构性，来自多模态（诸如视频、语音和文本）的数据的有效融合是具有挑战性的。在本文中，我们提出了自适应融合技术，旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作，比如级联，而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络：1）自动融合，它学习压缩来自不同模态的信息，同时保留上下文，以及2）GAN-Fusion，它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明，我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文，其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
Multimodal Fusion Learning with Dual Attention for Medical Imaging
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Deakin University（迪肯大学）；Queensland University of Technology（昆士兰科技大学）；NIMS University（NIMS大学）；Jio Institute（吉奥学院）；RMIT University（皇家墨尔本理工大学）
本文提出含多分支融合与多模态信息融合双注意力模块的DRIFA机制，构建可嵌入任意深度网络的DRIFA-Net，并用集成Monte Carlo dropout估计不确定性，在五个多模态医学数据集上取得优于现有方法的表现。
2024-12-02 cs.CV
FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection
Beihang University（北京航空航天大学）；Baidu Research（百度研究院）；Beijing Institute of Technology（北京理工大学）
三维障碍物的精确检测是自动驾驶和智能交通的重要任务。在这项工作中，我们提出了一个通用的多模态融合框架FusionPainting融合的2D RGB图像和3D点云在语义水平上提高3D目标检测任务。特别是，FusionPainting框架由三个主要模块组成：多模态语义分割模块、基于注意力的自适应语义融合模块和3D对象检测器。首先，基于2D和3D分割方法获得2D图像和3D激光雷达点云的语义信息。然后基于所提出的基于注意力的语义融合模块对不同传感器的分割结果进行自适应融合。最后，将绘制有融合语义标签的点云发送到3D检测器以获得3D对象结果。通过与三个不同的基线进行比较，在大规模nuScenes检测基准上验证了所提出的框架的有效性。实验结果表明，与仅使用点云的方法相比，该融合策略能显著提高检测性能，且仅使用点云的方法只需要绘制二维分割信息。此外，所提出的方法优于其他国家的最先进的方法在nuScenes测试基准。
2021-08-10 cs.CV
MCFNet: A Multimodal Collaborative Fusion Network for Fine-Grained Semantic Classification
School of Integrated Circuits, Jiangnan University, Wuxi 214122, China（集成电路学院，江南大学，无锡214122，中国）
提出MCFNet多模态协同融合网络，通过正则化集成融合模块与多模态决策分类模块，有效捕捉细粒度跨模态语义交互，显著提升高精度图像分类性能。
2025-05-29 cs.CV
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis
National Technical University of Athens（雅典国家技术大学）；Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
当前用于多模态融合的深度学习方法依赖于高级和中级潜在模态表示（后期/中期融合）或低级感觉输入（早期融合）的自自底向上的【形】融合。人类感知模型强调了自上而下融合的重要性，其中高级表示影响感知输入的方式，即认知影响感知。这些自上而下的交互在当前的深度学习模型中没有被捕获。在这项工作中，我们提出了一种神经架构，它可以捕获自上而下的跨模态交互，并在网络训练期间的前向传递中使用反馈机制。所提出的机制提取每个模态的高级表示，并使用这些表示来屏蔽感官输入，允许模型执行自上而下的特征屏蔽。我们将所提出的模型应用于CMU-MOSEI上的多模态情感识别。我们的方法显示出一致的改进，超过了完善的MulT和我们强大的后期融合基线，实现了最先进的结果。
2022-01-24 cs.CV cs.LG
Parkinson's Disease Classification Using Contrastive Graph Cross-View Learning with Multimodal Fusion of SPECT Images and Clinical Features
School of Systems and Enterprises, Stevens Institute of Technology（史蒂文斯理工大学系统与企业学院）；Kaohsiung Chang Gung Memorial Hospital（高雄长庚纪念医院）
提出结合SPECT图像与临床特征的多模态对比跨视图图融合方法，通过共注意力模块与对比损失提升特征提取与融合，在帕金森病分类中实现0.91准确率和0.93 AUC，优于传统机器学习方法。
2024-08-24 cs.CV
Enhancing Modal Fusion by Alignment and Label Matching for Multimodal Emotion Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对多模态情感识别中模态融合效果不佳的问题，提出含音视频情感对齐、跨模态标签匹配双辅助任务的Foal-Net框架，先对齐再融合，在IEMOCAP上性能超越现有最优方法，验证了融合前对齐的必要性。
2024-08-18 cs.AI cs.CV cs.MM
Multimodal Image Fusion based on Hybrid CNN-Transformer and Non-local Cross-modal Attention
Shanghai Jiao Tong University（上海交通大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Calgary（卡尔加里大学）
对多传感器图像进行融合，可以丰富图像信息，提高成像质量。在这篇文章中，我们提出了一个混合模型，由卷积编码器和基于transformer的解码器融合多模态图像。在编码器中，提出了一种非局部跨模态注意块来捕获多个源图像的局部和全局依赖性。设计了分支融合模块，对两个分支的特征进行自适应融合。我们在解码器中嵌入一个线性复杂度的Transformer模块，以增强所提出的网络的重构能力。定性和定量的实验证明了该方法的有效性，通过比较它与现有的国家的最先进的融合模型。我们工作的源代码可以在https://github.com/pandayuanyu/HCFusion上找到。
2022-10-18 cs.CV
Registration-Free Hybrid Learning Empowers Simple Multimodal Imaging System for High-quality Fusion Detection
School of Electronics and Information Engineering, Wuxi University（无锡大学电子与信息工程学院）；Academy for Engineering and Technology, Fudan University（复旦大学工程与技术学院）
本文提出 CNN-Transformer 混合框架 IA-VFDnet，通过 AKM 特征匹配与 WDAF 融合模块协同实现免配准红外-可见光融合检测，并在 M3FD 及新公开的未配准烟雾野火基准上取得最优性能。
2023-07-07 cs.CV
MFAS: Multimodal Fusion Architecture Search
Orange Labs（法国电信Orange实验室）；Université Caen Normandie（卡昂诺曼底大学）；Samsung AI Centre（三星人工智能中心）
我们解决的问题，找到好的架构多模态分类问题。我们提出了一种新的和通用的搜索空间，跨越了大量的可能的融合架构。为了在建议的搜索空间中找到给定数据集的最佳架构，我们利用了一种高效的基于顺序模型的探索方法，该方法是针对该问题量身定制的。我们证明了作为一个神经架构搜索问题的多模态融合的玩具数据集和其他两个真正的多模态数据集上的广泛实验的价值。我们发现融合架构对于不同领域和数据集大小的问题表现出最先进的性能，包括NTU RGB+D数据集，这是最大的多模态动作识别数据集。
2019-03-15 cs.CV cs.LG cs.NE
Attention Bottlenecks for Multimodal Fusion
Google Research（谷歌研究院）
人类通过同时处理和融合来自视觉和音频等多种模态的高维输入来感知世界。与此形成鲜明对比的是，机器感知模型通常是特定于模态的，并且针对单峰基准进行了优化，因此来自每个模态的最终表示或预测的后期融合（“后期融合”）仍然是多模态视频分类的主导范例。相反，我们引入了一种新的Transformer为基础的架构，使用“融合瓶颈”的模态融合在多个层次。与传统的成对自我注意相比，我们的模型迫使不同模态之间的信息通过少量的瓶颈潜伏期，要求模型整理和浓缩每个模态中最相关的信息，只共享必要的信息。我们发现，这样的策略提高了融合性能，同时降低了计算成本。我们进行了彻底的消融研究，并在多个视听分类基准上取得了最先进的结果，包括Audioset，Epic-Kitsound和VGGSound。所有代码和模型都将被发布。
2022-11-30 cs.CV
Efficient Multimodal Fusion via Interactive Prompting
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
本文提出高效多模态融合方法PMF，通过模块化框架和三类提示交互，仅在深层添加提示向量，以少于3%的可训练参数和高达66%的训练内存节省实现与现有方法相当的性能。
2023-05-15 cs.CV
Coupled Feature Learning for Multimodal Medical Image Fusion
Aalto University（阿尔托大学）；CentraleSupelec（巴黎中央理工-高等电力学院）
多模态图像融合的目的是将不同传感器获取的图像中的相关信息进行融合。在医学成像中，融合图像在标准诊断和自动诊断中起着至关重要的作用。提出了一种基于耦合字典学习的多模态图像融合方法。所提出的方法是通用的，可以用于不同的医学成像模式。与目前的许多医学融合方法不同，该方法不会受到强度衰减，也不会丢失关键信息。具体地说，要融合的图像被分解成耦合和独立的组件估计使用稀疏表示相同的支持和皮尔逊相关约束，分别。交替最小化算法的设计，以解决由此产生的优化问题。最后的融合步骤使用最大绝对值规则。实验进行使用各种对多模态输入，包括真正的MR-CT和MR-PET图像。所得到的性能和执行时间显示的竞争力，所提出的方法相比，国家的最先进的医学图像融合方法。
2021-02-17 cs.CV cs.LG eess.IV
LoRA-Based Cascaded Multimodal Fusion for Action Recognition in Medical Training Environments
Quince（Quince公司）；Vanderbilt University（范德堡大学）
研究面向医疗训练环境的动作识别，提出基于LoRA的级联多模态融合框架，结合特定模态适应与顺序融合，无需重新训练组件，在两个数据集上评估，结果显示该策略优于单模态模型且性能有竞争力。
2026-07-14 cs.AI cs.CV
