MMTM: Multimodal Transfer Module for CNN Fusion
Microsoft（微软）；Georgia Tech（佐治亚理工学院）；CU Boulder（科罗拉多大学博尔德分校）
在后期融合中，在单独的单峰卷积神经网络（CNN）流中处理每种模态，并且在最后融合每种模态的分数。由于其简单性，后期融合仍然是许多最先进的多模态应用中的主要方法。在本文中，我们提出了一个简单的神经网络模块，用于利用卷积神经网络中多种模态的知识。建议的单元，命名为多模态传输模块（MMTM），可以添加在不同级别的功能层次结构，使缓慢的模态融合。使用挤压和激励操作，MMTM利用多种模态的知识来重新校准每个CNN流中的通道特征。尽管有其他中间融合方法，所提出的模块可以用于具有不同空间维度的卷积层中的特征模态融合。所提出的方法的另一个优点是，它可以添加到单峰分支之间，其网络架构的变化最小，允许每个分支使用现有的预训练权重进行初始化。实验结果表明，我们的框架提高了知名的多模态网络的识别精度。我们在四个数据集上展示了最先进或具有竞争力的性能，这些数据集跨越了动态手势识别，语音增强和RGB和身体关节动作识别的任务领域。
2020-03-30 cs.CV cs.LG
Human Action Recognition Using Deep Multilevel Multimodal (M2) Fusion of Depth and Inertial Sensors
多年来，已经提出了使用深度和惯性传感器数据的用于人类动作识别（HAR）的多模态融合框架。在大多数现有的作品中，融合是在一个单一的水平（特征级或决策级），错过了机会融合丰富的中级功能，更好的分类。为了解决这个问题，在本文中，我们提出了三种新的深度多级多模态融合框架，利用不同的融合策略在不同的阶段，并利用多级融合的优势。在输入时，我们将深度数据转换为称为序列前视图图像（SFI）的深度图像，并将惯性传感器数据转换为信号图像。通过与Prewitt滤波器进行卷积，进一步使每个输入模态（深度和惯性）成为多模态。创建“模态中的模态”使得能够通过卷积神经网络（CNN）进行进一步的互补和区分特征提取。CNN在每种模态的输入图像上进行训练，以学习低级，高级和复杂的特征。在所提出的框架的不同阶段提取和融合学习特征，以结合鉴别和互补信息。这些高度信息化的特征被用作多类支持向量机（SVM）的输入。我们在三个公开的多模态HAR数据集上评估了所提出的框架，即UTD多模态人类动作数据集（MHAD），伯克利MHAD和UTD-MHAD Kinect V2。实验结果表明，所提出的融合框架优于现有的方法。
2019-10-25 cs.CV cs.LG stat.ML
Graph Convolutional Networks for Hyperspectral Image Classification
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Xi’an Jiaotong University（西安交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Extremadura（埃斯特雷马杜拉大学）
要阅读最终版本，请访问IEEE Xplore上的IEEE TGRS。卷积神经网络（CNN）由于其能够捕获空间-光谱特征表示的能力，在高光谱（HS）图像分类中受到越来越多的关注。然而，他们在样本之间的关系建模的能力仍然有限。除了网格采样的局限性，图卷积网络（GCN）最近已被提出并成功地应用于不规则（或非网格）数据表示和分析。在本文中，我们彻底研究了CNN和GCN（定性和定量）的HS图像分类。传统的GCN算法需要在所有数据上构造邻接矩阵，计算量大，特别是在大规模遥感问题中。为此，我们开发了一种新的小批量GCN（以下称为miniGCN），它允许以小批量的方式训练大规模的GCN。更重要的是，我们的miniGCN能够推断样本外数据，而无需重新训练网络并提高分类性能。此外，由于CNN和GCN可以提取不同类型的HS特征，因此打破单个模型性能瓶颈的直观解决方案是将它们融合。由于miniGCN可以执行批量网络训练（使CNN和GCN相结合），我们探索了三种融合策略：加法融合，逐元素乘法融合和级联融合，以衡量所获得的性能增益。在三个HS数据集上进行的大量实验证明了miniGCN相对于GCN的优势以及所测试的融合策略相对于单个CNN或GCN模型的优越性。为了便于再现，本工作的代码将在https://github.com/danfenghong/IEEE_TGRS_GCN上提供。
2021-01-15 cs.CV
Multiplex Graph Networks for Multimodal Brain Network Analysis
Lehigh University（理海大学）；Beihang University（北京航空航天大学）；University of Pittsburgh（匹兹堡大学）；Perelman School of Medicine（佩雷尔曼医学院）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了MGNet，一个简单而有效的多路复用图卷积网络（GCN）模型的多模态脑网络分析。该方法将张量表示集成到多通道GCN模型中，以提取一组多通道脑网络的潜在结构，从而可以直观地“掌握”多通道数据的公共空间。然后用多重GCN生成多模态表示以捕获特定的图结构。我们对两个具有挑战性的真实世界数据集（HIV和双相情感障碍）进行分类任务，与竞争性基准方法相比，所提出的MGNet表现出最先进的性能。除了客观的评价外，本研究对网络理论在不同形态下的人类连接体的理解也具有特殊的意义。该代码可在https://github.com/ZhaomingKong/MGNets上获得。
2021-07-31 cs.CV
HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic Joint Infection Diagnosis Using CT Images and Text
针对CT图像噪声及图文数据量差异导致的PJI诊断难题，提出HGT多模态融合模型，利用USA机制和基于GCN的融合网络整合CT与数值文本特征，在自建数据集上以68M参数实现91.4% ACC和95.9% AUC。
2023-07-15 cs.CV
GCN-MIF: Graph Convolutional Network with Multi-Information Fusion for Low-dose CT Denoising
University of Electronic Science and Technology of China（电子科技大学）；West China Hospital, Sichuan University（四川大学华西医院）；West China No.4 Hospital, Sichuan University（四川大学华西第四医院）
低剂量计算机断层扫描（LDCT）辐射暴露低，对健康危害小，已被广泛用于肺癌和COVID-19的早期筛查。LDCT图像不可避免地受到复杂噪声的影响。据报道，使用卷积神经网络（CNN）的基于深度学习（DL）的LDCT去噪方法实现了令人印象深刻的去噪性能。尽管大多数现有的基于DL的方法（例如，编码器-解码器框架）可以经由下采样算子和3D CNN隐式地利用非局部和上下文信息，显式多信息（即，本地的、非本地的和上下文的）整合可能没有被充分地探索。为了解决这个问题，我们提出了一种新的基于图卷积网络的LDCT去噪模型，即GCN-MIF，显式地执行多信息融合去噪的目的。具体地说，通过构造片内和片间图，引入图卷积网络来利用像素之间的非局部和上下文关系。采用传统的CNN进行局部信息的提取。最后，建议GCN-MIF模型融合所有提取的本地，非本地和上下文信息。大量的实验表明，我们提出的GCN-MIF模型的有效性，定量和可视化的结果。此外，还对公共临床数据集进行了双盲读者研究，以验证去噪结果在结构保真度，噪声抑制和总体得分方面的可用性。模型和代码可在www.example.com上获得。
2022-04-17 cs.CV eess.IV
EHGCN: Hierarchical Euclidean-Hyperbolic Fusion via Motion-Aware GCN for Hybrid Event Stream Perception
提出首个联合欧氏与双曲空间建模的双空间事件感知方法EHGCN，通过多尺度体素事件筛选、MRF优化的运动感知超边生成及双空间GCN融合，在事件检测等任务中展现有效性。
2026-07-31 cs.CV
Adaptive Cross-Attention-Driven Spatial-Spectral Graph Convolutional Network for Hyperspectral Image Classification
Southwest Jiaotong University（西南交通大学）；Southwest Institute of Electronic Technology（西南电子技术研究所）；Mississippi State University（密西西比州立大学）
近年来，图卷积网络（GCN）被用来探索像素之间的空间关系，从而获得更好的高光谱图像（HSI）分类性能。然而，这些方法未能充分利用HSI数据中光谱带之间的关系。因此，我们提出了一种自适应交叉注意力驱动的空间-频谱图卷积网络（ACSS-GCN），它由一个空间GCN（Sa-GCN）子网络，一个频谱GCN（Se-GCN）子网络，和一个图形交叉注意力融合模块（GCAFM）。具体而言，Sa-GCN和Se-GCN提出了提取空间和光谱特征，通过建模空间像素之间的相关性和光谱波段之间，分别。然后，将注意力机制引入到图的信息聚合中，提出了一种基于注意力机制的GCAFM，设计了空间图关注块、谱图关注块和融合块，融合了Sa-GCN和Se-GCN的空间和谱特征，抑制了噪声干扰。此外，自适应图的思想被引入到探索一个最佳的图，通过反向传播在训练过程中。在两个HSI数据集上的实验表明，该方法取得了比其他分类方法更好的性能。
2022-04-12 cs.AI cs.CV
PR-GCN: A Deep Graph Convolutional Network with Point Refinement for 6D Pose Estimation
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
基于RGB-D的6D姿态估计最近取得了显著的进展，但仍然受到两个主要限制：（1）深度数据的无效表示和（2）不同模态的不充分整合。本文提出了一种新的深度学习方法，即带有点精化的图卷积网络（PR-GCN），以统一的方式同时解决上述问题。它首先引入了点细化网络（PRN）来抛光3D点云，恢复丢失的部分并去除噪声。随后，提出了多模态融合图卷积网络（MMF-GCN）来增强RGB-D组合，它通过图卷积网络中的局部信息传播来捕获几何感知的模态间相关性。在三个广泛使用的基准上进行了大量的实验，并达到了最先进的性能。此外，它也表明，提出的PRN和MMF-GCN模块是很好的推广到其他框架。
2021-08-23 cs.CV
Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning
KAIST（韩国科学技术院）
多模态数据融合在深度学习中的成功似乎归因于多个输入数据之间的互补信息的使用。相对于它们的预测性能，相对较少的注意力已经致力于多模态融合模型的鲁棒性。在本文中，我们研究了当前的多模态融合模型是否利用互补智能防御对抗攻击。我们在MFNet上应用了基于梯度的白盒攻击，如FGSM和PGD，MFNet是用于语义分割的主要多光谱（RGB，热）融合深度学习模型。我们验证了为更好的预测而优化的多模态融合模型仍然容易受到对抗攻击，即使只有一个传感器受到攻击。因此，很难说现有的多模态数据融合模型在对抗鲁棒性方面充分利用了多模态之间的互补关系。我们相信，我们的观察打开了一个新的视野对抗攻击研究多模态数据融合。
2020-05-22 cs.CV
A novel multimodal fusion network based on a joint coding model for lane line segmentation
Tsinghua University（清华大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
最近，利用多模态传感器来实现鲁棒的车道线分割的兴趣越来越大。在本文中，我们介绍了一种新的多模态融合架构从信息论的角度来看，并证明其实际效用使用光探测和测距（LiDAR）相机融合网络。特别是，我们开发的，第一次，一个多模态融合网络作为一个联合编码模型，其中每个单一的节点，层和管道表示为一个通道。因此，前向传播等于信道中的信息传输。然后，我们可以定性和定量地分析不同的融合方法的效果。我们认为，最佳的融合架构是有关的基本容量和分配的基础上的源和信道。为了测试这个多模态融合假设，我们逐步确定一系列的多模态模型的基础上提出的融合方法，并评估他们的KITTI和A2D2数据集。我们的最佳融合网络实现了85%以上的车道线准确度和98.7%以上的整体。模型之间的性能差距将为未来继续研究深度多模态学习社区的最佳融合算法提供信息。
2021-03-20 cs.CV
Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective
Northeastern University（东北大学）；CATL（宁德时代）；City University of Hong Kong（香港城市大学）
本文系统研究了多模态融合架构设计对3D异常检测的影响，涵盖模块内和模块间融合层级，并提出3D-ADNAS首次同时搜索多模态融合策略与模态特定模块，在准确率、帧率和内存上取得一致提升且在少样本任务中潜力显著。
2024-12-23 cs.CV
Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion
Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
我们提出了一个紧凑而有效的框架，在一个单一的网络中的多个层融合多模态特征。该框架包括两个创新的融合方案。首先，不像现有的多模态方法，需要单独的编码器为不同的模态，我们验证，多模态功能可以在一个共享的单一网络中学习，只需保持特定于模态的批量归一化层的编码器，这也使隐式融合通过联合特征表示学习。其次，我们提出了一个双向的多层融合方案，多模态功能可以逐步开发。为了利用这种方案，我们引入了两个不对称的融合操作，包括通道洗牌和像素移位，学习不同的融合功能相对于不同的融合方向。这两个操作是无参数的，并且加强了跨通道的多模态特征交互，以及增强了通道内的空间特征区分。我们进行了广泛的实验语义分割和图像翻译任务，基于三个公开的数据集，涵盖不同的方式。结果表明，我们提出的框架是通用的，紧凑的，是优于国家的最先进的融合框架。
2021-08-11 cs.CV
VN-Net: Vision-Numerical Fusion Graph Convolutional Network for Sparse Spatio-Temporal Meteorological Forecasting
Beijing University of Posts and Telecommunications（北京邮电大学）
针对稀疏气象预测，提出VN-Net模型，通过融合时空数值数据与卫星视觉图像，并利用N-GCN、V-LSTM和GCN解码器进行多模态特征提取与预测，在Weather2k数据集上显著优于现有方法。
2024-01-26 cs.CV cs.LG physics.ao-ph
Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation
School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
针对现有RGB-T多模态分割方法参数和计算开销大的问题，提出基于早期融合与特征聚类的EFNet网络及轻量级多尺度解码器，以更低成本超越现有最优方法。
2025-01-19 cs.CV
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications（南京邮电大学）
由于单模态生物识别系统的不稳定性和局限性，多模态系统越来越受到研究者的关注。然而，如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法（Fingerprint Finger Veins-Channel Spatial Attention Fusion Module，FPV-CSAFM）。具体来说，对于每一对指纹和手指静脉图像，我们首先提出了一个简单而有效的卷积神经网络（CNN）来提取特征。然后，我们建立了一个多模态特征融合模块（通道空间注意力融合模块，CSAFM），充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同，该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重，从而更好地融合不同模态之间的信息，提高整体识别性能。为了评估我们的方法的性能，我们在多个公共数据集上进行了一系列实验。实验结果表明，该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）
医学图像在临床应用中发挥着重要作用。多模态医学图像可以为医生提供丰富的患者信息，便于医生进行诊断。图像融合技术能够将来自多模态图像的互补信息合成到单个图像中。这项技术将防止放射科医生在不同图像之间来回切换，并在诊断过程中节省大量时间。在本文中，我们介绍了一种新的扩张剩余注意力网络的医学图像融合任务。我们的网络能够提取多尺度的深层语义特征。此外，我们提出了一种新的固定融合策略称为Softmax加权策略的基础上Softmax权重和矩阵核范数。大量的实验表明，我们提出的网络和融合策略超过了国家的最先进的性能相比，参考图像融合方法的四个常用的融合度量。
2022-12-09 cs.CV
IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；University of Macau（澳门大学）；The University of Hong Kong（香港大学）；Inceptio（嬴彻科技）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Zhejiang University（浙江大学）
针对BEV表示中目标小、点云稀疏导致3D感知困难的问题，提出多模态融合框架IS-Fusion，通过分层场景融合和实例引导融合模块联合捕获实例与场景级上下文，生成实例感知BEV表示，在nuScenes基准上超越现有方法。
2024-03-22 cs.CV
Structure fusion based on graph convolutional networks for semi-supervised classification
Xi'an University of Technology（西安理工大学）
针对多视点数据多样性和半监督分类复杂性的问题，现有的图卷积网络大多关注于网络结构的构建或显著图结构的保持，而忽略了完整图结构对半监督分类的贡献。为了从多视图数据中挖掘出更完整的分布结构，同时兼顾特殊性和共性，提出了基于图卷积网络的结构融合方法（SF-GCN），以提高半监督分类的性能。SF-GCN不仅可以通过谱嵌入来保留各个视图数据的特征，而且可以通过多图结构之间的距离度量来捕捉多视图数据的共同风格。假设多图结构之间存在线性关系，通过平衡特殊性损失和通用性损失，构造结构融合模型的优化函数。通过求解该函数，可以同时得到多视点数据的融合谱嵌入和融合结构作为邻接矩阵输入到图卷积网络进行半监督分类。实验结果表明，SF-GCN在引文网络中的Cora、Citeseer和Pubmed三个具有挑战性的数据集上的性能优于现有技术。
2019-07-02 cs.CV cs.LG stat.ML
Incomplete Multimodal Learning for Remote Sensing Data Fusion
University of Trento（特伦托大学）
针对遥感融合中推理模态缺失问题，提出支持监督与自监督预训练的不完整多模态学习模型，利用融合 token、Bi-LSTM 注意力、掩码自注意力及重建与对比损失，在两类数据集上达到最先进性能。
2023-04-22 cs.CV
TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots
School of Data Science and Engineering, East China Normal University（东华大学数据科学与工程学院）；School of Computer Science, Peking University（北京大学计算机学院）
本文提出 TTTFusion，一种基于测试时训练的图像融合策略，通过在推理阶段动态调整模型参数优化多模态医学图像融合，显著提升了细粒度特征提取与边缘保留的融合质量，为外科机器人实时图像处理提供了新方案。
2025-04-29 cs.CV
Multimodal Prediction based on Graph Representations
University of Campinas (UNICAMP)（坎皮纳斯州立大学）；Université de Lorraine（洛林大学）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种学习模型，基于秩融合图，在多模态预测任务，如多模态回归和图像分类的普遍适用性。等级融合图对来自多个描述符和检索模型的信息进行编码，从而能够捕获模态、样本和集合本身之间的潜在关系。该解决方案基于根据不同标准定义的查询（或测试样本）的多个排名编码到图中。之后，我们将生成的图投影到诱导向量空间中，创建融合向量，以实现更广泛的通用性和效率。然后构建融合向量估计器以推断多模态输入对象是否涉及类。我们的方法能够比早期融合和后期融合替代方案更好地促进融合模型。在多个多模态和视觉数据集以及几个描述符和检索模型的背景下进行的实验表明，我们的学习模型对于涉及视觉，文本和多模态特征的不同预测场景非常有效，比最先进的方法更有效。
2020-07-03 cs.CV
Feature Selection based on PCA and PSO for Multimodal Medical Image Fusion using DTCWT
NMAM Institute of Technology（NMAM 理工学院）；MSR Institute of Technology（MSR 理工学院）
多模态医学图像融合有助于提高医学诊断的效率。本文提出了多模态医学图像融合，通过选择相关的功能，使用主成分分析（PCA）和粒子群优化技术（PSO）。DTCWT用于将图像分解成低频系数和高频系数。融合规则，如最小值，最大值和简单平均的组合应用于近似和详细的系数。融合后的图像通过逆DTCWT重构。性能指标进行了评估，它表明DTCWT-PCA表现优于DTCWT-PSO的结构相似性指数测量（SSIM）和互相关（CC）。与DTCWT-PSO相比，DTCWT-PCA在特征选择方面减少了计算时间和特征向量大小，证明了其鲁棒性和存储容量。
2017-01-31 cs.CV
U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation
Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
提出U3M无偏多尺度模态融合模型，利用模型自身能力寻找最优融合平衡，通过无偏整合与多尺度特征融合提升多模态语义分割的鲁棒性和泛化性，在多个数据集上表现优越。
2024-05-24 cs.CV
FGU3R: Fine-Grained Fusion via Unified 3D Representation for Multimodal 3D Object Detection
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications（北京邮电大学网络与交换技术国家重点实验室）；School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）
针对多模态3D检测中3D点与2D像素粗融合导致的维度不匹配问题，提出FGU3R框架，利用PRConv和CAAF在统一3D表示上实现细粒度自适应融合，并在KITTI与nuScenes上验证有效。
2025-01-08 cs.CV
SwimVG: Step-wise Multimodal Fusion and Adaption for Visual Grounding
Hefei University of Technology（合肥工业大学）；National University of Defense Technology（国防科技大学）；Nanjing University of Science and Technology（南京理工大学）
针对视觉定位中跨模态融合不足和计算成本高的问题，提出SwimVG框架，通过逐步多模态提示和跨模态交互适配器实现参数高效的多模态融合，在四个基准上取得显著效果。
2025-02-28 cs.CV
Multi-QuAD: Multi-Level Quality-Adaptive Dynamic Network for Reliable Multimodal Classification
针对多模态样本质量差异影响可靠分类的问题，本文提出 Multi-QuAD，通过模态与特征级质量估计及 GCND、LGP 动态机制，在四个数据集上显著提升分类性能与可靠性。
2025-05-10 cs.CV
GraFT: Gradual Fusion Transformer for Multimodal Re-Identification
Modern Intelligence（现代智能公司）
本文提出渐进融合Transformer（GraFT），通过可学习融合令牌和增强三元组损失提升多模态重识别性能，并结合剪枝实现模型大小与性能的平衡。
2023-10-25 cs.CV
Graph Representation Learning for Infrared and Visible Image Fusion
本文提出将红外与可见光图像转换到图空间，利用图卷积网络级联提取模态内和模态间非局部自相似性，以克服CNN信息损失和transformer信息冗余问题，并在三个数据集上验证了方法的有效性和优越性。
2023-11-01 cs.CV
Multimodal Industrial Anomaly Detection via Hybrid Fusion
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对多模态工业异常检测中特征直接拼接导致干扰的问题，提出采用混合融合方案的M3DM模型，通过对比学习、决策层融合及点特征对齐提升检测精度，在MVTec-3D AD数据集上优于SOTA方法。
2023-09-07 cs.CV
Towards a Generalizable Fusion Architecture for Multimodal Object Detection
Université Grenoble Alpes（格勒诺布尔大学）；Université Sorbonne Paris Nord（巴黎-萨克勒大学）；INRIA（法国国家信息与自动化研究所）
本文提出 FMCAF 预处理架构，结合频域滤波与交叉注意力融合，在无需数据集专用调优的情况下提升 RGB-红外目标检测性能。
2025-10-20 cs.CV
MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning
CVIU Lab, University of Arkansas, USA（大学实验室，亚利桑那大学，美国）；University of Florida, USA（佛罗里达大学，美国）；COSMOS Research Center, University of Arkansas, Little Rock, USA（研究机构，亚利桑那大学，小石城，美国）；ICSI, University of California, Berkeley, USA（研究机构，加州大学伯克利分校，美国）
MANGO提出了一种基于归一化流和可逆交叉注意力机制的多模态融合学习方法，通过三种新型交叉注意力机制提升多模态数据的建模能力。
2025-11-25 cs.CV
Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective
Northeastern University（东北大学）；CATL（宁德时代）
该研究针对多模态异常检测中被忽视的跨模态融合偏差问题，提出即插即用框架UCFB，经实验验证在多种设置下均实现性能提升。
2026-08-04 cs.CV
MambaTrans: Multimodal Fusion Image Translation via Large Language Model Priors for Downstream Visual Tasks
School of Physics and Optoelectronic Engineering（物理与光电工程学院）；Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology（粤港澳联合智能微纳光电技术实验室）；School of Information Engineering and Automation（信息工程与自动化学院）
本文提出MambaTrans，一种多模态融合图像模态翻译器，利用多模态大语言模型描述和语义分割掩码作为输入，通过Multi-Model State Space Block捕获跨模态依赖，在不调整预训练模型参数的情况下提升下游视觉任务性能。
2025-08-11 cs.CV
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering
University of Central Florida（中佛罗里达大学）
我们提出了MMFT-BERT（多模态融合Transformer with BERT encodings），以解决视觉问答（Visual Question Questioning，VQA）问题，确保对多个输入模态的单独和组合处理。我们的方法受益于处理多模态数据（视频和文本），分别采用BERT编码，并使用一种新的基于变换的融合方法将它们融合在一起。我们的方法分解不同来源的模态，到不同的BERT实例具有相似的架构，但可变的权重。这在TVQA数据集上实现了SOTA结果。此外，我们提供TVQA视觉，TVQA的一个孤立的诊断子集，它严格要求基于人类注释者的判断的视觉（V）模态的知识。这组问题有助于我们研究模型的行为以及TVQA为防止实现超人类性能而提出的挑战。大量的实验表明了该方法的有效性和优越性。
2020-10-27 cs.CV
Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
Mercedes-Benz AG（梅赛德斯-奔驰公司）；Algolux（Algolux公司）；Ulm University（乌尔姆大学）；Princeton University（普林斯顿大学）
多模态传感器流（如摄像机、激光雷达和雷达测量）的融合在自主车辆的目标检测中起着关键作用，自主车辆基于这些输入进行决策。虽然现有的方法在良好的环境条件下利用冗余信息，但它们在感觉流可能不对称失真的恶劣天气中失败。这些罕见的“边缘情况”的情况下，没有表示在可用的数据集，现有的融合架构并没有设计来处理它们。为了应对这一挑战，我们提出了一个新的多模式数据集，在北欧超过10,000公里的驾驶中获得。尽管该数据集是恶劣天气下的第一个大型多模态数据集，其中包括激光雷达、相机、雷达和门控近红外传感器的10万个标签，但由于极端天气罕见，它并不便于训练。为此，我们提出了一种深度融合网络，用于鲁棒融合，而无需覆盖所有非对称失真的大量标记训练数据。从提议级融合出发，我们提出了一个单次模型，自适应融合功能，由测量熵驱动。我们验证了所提出的方法，在干净的数据上训练，在我们广泛的验证数据集上。代码和数据可在https://github.com/princeton-computational-imaging/SeeingThroughFog获得。
2020-06-30 cs.CV
A review of deep learning-based information fusion techniques for multimodal medical image classification
Inserm（法国国家健康与医学研究院）；University of Western Brittany（西布列塔尼大学）；IMT Atlantique（大西洋电信学院）；Sorbonne University（索邦大学）；Lariboisière Hospital（拉里布瓦西耶尔医院）；AP-HP（巴黎公共医疗集团）；Paris Cité University（巴黎城市大学）；CHRU Brest（布雷斯特大学中心医院）；LaTIM UMR 1101（LaTIM联合研究单位1101）
本文综述了基于深度学习的多模态医学图像分类融合技术，详细分析了输入、中间和输出三种融合方案及其网络架构适用性，并探讨了当前挑战与基于Transformer的未来研究方向。
2024-04-23 cs.AI cs.CV
Provable Dynamic Fusion for Low-Quality Multimodal Data
Tianjin University（天津大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Sichuan University（四川大学）
针对低质量多模态数据下动态融合缺乏理论保证的问题，本文从泛化角度分析主流融合框架，提出基于不确定性估计的 QMF，以提升分类准确率与模型鲁棒性。
2023-06-06 cs.CV cs.LG
Deep Equilibrium Multimodal Fusion
针对现有融合方法无法充分捕捉复杂模态间交互动态的问题，提出深度均衡(DEQ)多模态融合方法，通过寻找动态融合过程的不动点并自适应递归地建模特征相关性，在多个多模态基准上取得了最先进的性能。
2023-06-29 cs.CV cs.MM
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
School of Computer Science and Communication Engineering（计算机与通信工程学院）；Harbin University of Commerce（哈尔滨商业大学）
针对多模态情感识别中异构数据融合和模态相关性利用的挑战，提出融合对比学习与视觉序列压缩的DeepMSI-MER方法，在IEMOCAP和MELD数据集上显著提升识别准确性与鲁棒性。
2025-02-12 cs.AI cs.CV
FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
Anhui University（安徽大学）；Institute of Plasma Physics, Chinese Academy of Sciences（中国科学院等离子体物理研究所）
针对核聚变托卡马克诊断中多模态多任务学习框架缺失的问题，提出FusionMMT统一框架，集成视觉与时间序列数据，在EAST-VTD640数据集上实现破裂预测、ELM识别和H98回归，性能优于现有方法。
2026-09-23 cs.AI cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
Feature Fusion for Human Activity Recognition using Parameter-Optimized Multi-Stage Graph Convolutional Network and Transformer Models
Khalifa University of Science and Technology（哈利法科学技术大学）；Abu Dhabi University（阿布扎比大学）
本研究针对人体行为识别任务，提出结合PO-MS-GCN与Transformer的特征融合方法，在四个公开数据集上验证了其有效性，且PO-MS-GCN性能优于现有最优模型。
2024-06-24 cs.AI cs.CV
Multimodal Fusion Refiner Networks
Facebook AI
依赖于多模态信息的任务通常包括组合来自不同模态的信息的融合模块。在这项工作中，我们开发了一个细化融合网络（ReFNet），使融合模块能够将强单峰表示与强多峰表示相结合。ReFNet将融合网络与解码/解除模块相结合，该模块施加了以模态为中心的责任条件。该方法通过确保单峰和融合表示都在潜在融合空间中被强编码，解决了现有多模态融合框架中的巨大差距。我们证明，精炼融合网络可以提高性能强大的基线融合模块，如多模态Transformers。细化网络使诱导图形表示的融合嵌入在潜在的空间，我们证明在一定的条件下，并支持强有力的经验结果的数值实验。通过将ReFNet与多相似性对比损失函数相结合，进一步加强了这些图形结构。Refiner Fusion Network的模块化特性使其能够轻松地与不同的融合架构相结合，此外，Refiner步骤可以应用于未标记数据集的预训练，从而利用无监督数据来提高性能。我们在三个数据集上展示了Refiner Fusion Networks的强大功能，并进一步表明它们可以仅用一小部分标记数据保持性能。
2021-04-08 cs.AI cs.CV
Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling
Instituto Politécnico Nacional（国立理工学院）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
多模态情感分析是一个非常活跃的研究领域。该领域中一个有希望的机会领域是改进多模态融合机制。我们提出了一种新的功能融合策略，在一个层次的方式进行，首先融合的方式在两个，然后才融合所有三种方式。在对单个话语进行多模态情感分析时，我们的策略比传统的特征串联方法的性能高1%，相当于出错率降低了5%。在话语级多模态情感分析的多话语视频剪辑，其中当前国家的最先进的技术，将上下文信息从其他话语的同一个剪辑，我们的分层融合给出了2.4%（几乎10%的出错率减少），目前使用的级联。我们的方法的实现是公开的开源代码的形式。
2018-06-16 cs.CL cs.CV
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Saratoga High School（萨拉托加高中）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
多模态分类是以人为中心的机器学习的核心任务。我们观察到，信息是高度互补的方式，因此单峰信息可以大大稀疏之前，多模态融合，而不会损失的准确性。为此，我们提出了稀疏融合Transformers（SFT），一种新的多模态融合方法的变压器，执行并行现有的国家的最先进的方法，同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块，它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估，用于广泛的分类任务。在类似的实验条件下，在多个基准测试中获得了最先进的性能，同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
本文提出一种结合BERT文本特征与DINOv2图像特征的多模态情感分析架构，并设计三种融合模型，在三个数据集上验证了其可行性与实用性。
2025-03-11 cs.CL cs.CV
Multimodal Fusion with Pre-Trained Model Features in Affective Behaviour Analysis In-the-wild
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文提出结合多模态融合与预训练模型特征的方法，利用预训练模型的最终隐藏层特征，经预处理和对齐后进行模态融合，解决Aff-Wild2数据库上的表情识别和效价-唤醒度估计任务。
2024-03-22 cs.AI cs.CV
Self-MI: Efficient Multimodal Fusion via Self-Supervised Multi-Task Learning with Auxiliary Mutual Information Maximization
VNU - University of Engineering and Technology, Hanoi, Vietnam（越南国立大学-工程技术大学）
针对现有多模态表示学习难以利用各模态独特特性的问题，提出自监督的Self-MI方法，借助CPC最大化互信息并设计自监督标签生成模块，经三个基准数据集验证有效提升了多模态融合效果。
2023-11-07 cs.CV cs.MM
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题，提出基于元学习的动态融合框架MetaMMF，为每个微视频动态生成专属融合函数，在三个基准数据集上优于多个现有模型，还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis
National Technical University of Athens（雅典国家技术大学）；Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
当前用于多模态融合的深度学习方法依赖于高级和中级潜在模态表示（后期/中期融合）或低级感觉输入（早期融合）的自自底向上的【形】融合。人类感知模型强调了自上而下融合的重要性，其中高级表示影响感知输入的方式，即认知影响感知。这些自上而下的交互在当前的深度学习模型中没有被捕获。在这项工作中，我们提出了一种神经架构，它可以捕获自上而下的跨模态交互，并在网络训练期间的前向传递中使用反馈机制。所提出的机制提取每个模态的高级表示，并使用这些表示来屏蔽感官输入，允许模型执行自上而下的特征屏蔽。我们将所提出的模型应用于CMU-MOSEI上的多模态情感识别。我们的方法显示出一致的改进，超过了完善的MulT和我们强大的后期融合基线，实现了最先进的结果。
2022-01-24 cs.CV cs.LG
DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
本文提出DepMamba，通过分层上下文建模和渐进式多模态融合解决长程时序建模与多模态融合的局限，在抑郁症检测任务上取得优于现有方法的性能。
2024-09-24 cs.CV cs.CY cs.HC
Multimodal brain age estimation using interpretable adaptive population-graph learning
Imperial College London（伦敦帝国理工学院）；King’s College London（伦敦国王学院）；Technical University of Munich（慕尼黑工业大学）
针对静态群体图构建难、影响GCN性能的问题，提出端到端自适应群体图学习框架，用注意力机制加权多模态特征建图，提升可解释性，在UK Biobank脑年龄任务上性能优于现有方法。
2023-07-19 cs.CV cs.LG
FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
Tübingen AI Center University of Tübingen（图宾根人工智能中心大学）；EPFL（瑞士联邦理工学院）
本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。
2026-08-18 cs.CV cs.LG
