Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective
Northeastern University（东北大学）；CATL（宁德时代）；City University of Hong Kong（香港城市大学）
本文系统研究了多模态融合架构设计对3D异常检测的影响，涵盖模块内和模块间融合层级，并提出3D-ADNAS首次同时搜索多模态融合策略与模态特定模块，在准确率、帧率和内存上取得一致提升且在少样本任务中潜力显著。
2024-12-23 cs.CV
Sensor Fusion: Gated Recurrent Fusion to Learn Driving Behavior from Temporal Multimodal Data
Honda Research Institute, USA（美国本田研究院）；Carnegie Mellon University（卡内基梅隆大学）
战术驾驶员行为建模问题需要从丰富的多模态信号（包括视频、LiDAR和CAN总线数据流）中理解复杂城市场景中的驾驶员行为。然而，大多数深度学习研究都集中在学习车辆/环境状态（传感器融合）或驾驶员策略（从时间数据）上，而不是两者兼而有之。端到端学习这两项任务提供了最丰富的知识精华，但在制定和成功培训方面存在挑战。在这项工作中，我们提出了朝着这个方向迈出的有希望的第一步。受LSTM中的门控机制的启发，我们提出了门控递归融合单元（GRFU），它同时学习融合加权和时间加权。我们证明了它在监督回归和分类任务中优于多模态和时间基线的性能，所有这些都在自主导航领域。我们注意到HDD数据集中战术驾驶员行为分类的mAP得分比最先进的提高了10%，TORCS数据集上转向动作回归的总体均方误差下降了20%。
2020-01-21 cs.CV cs.LG
FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
Anhui University（安徽大学）；Institute of Plasma Physics, Chinese Academy of Sciences（中国科学院等离子体物理研究所）
针对核聚变托卡马克诊断中多模态多任务学习框架缺失的问题，提出FusionMMT统一框架，集成视觉与时间序列数据，在EAST-VTD640数据集上实现破裂预测、ELM识别和H98回归，性能优于现有方法。
2026-09-23 cs.AI cs.CV
Multimodal Fusion with Deep Neural Networks for Audio-Video Emotion Recognition
École de Technologie Supérieure, University of Québec（魁北克大学高等技术学院）
本文提出了一种新的深度神经网络（DNN），用于情感识别的音频，视频和文本模态的多模态融合。所提出的DNN架构具有独立和共享的层，旨在学习每种模态的表示，以及最佳组合表示以实现最佳预测。在Wild数据集中的AVEC情感分析上的实验结果表明，所提出的DNN可以实现比在特征级执行模态早期融合的其他最先进的系统更高水平的一致性相关系数（CCC）（即，级联）和在分数级的后期融合（即，加权平均）融合。所提出的DNN在用于预测唤醒、效价和喜欢的数据集的发育分区上分别实现了0.606、0.534和0.170的CCC。
2019-07-06 cs.CV eess.AS eess.IV
Incomplete Multimodal Learning for Remote Sensing Data Fusion
University of Trento（特伦托大学）
针对遥感融合中推理模态缺失问题，提出支持监督与自监督预训练的不完整多模态学习模型，利用融合 token、Bi-LSTM 注意力、掩码自注意力及重建与对比损失，在两类数据集上达到最先进性能。
2023-04-22 cs.CV
Multimodal Polynomial Fusion for Detecting Driver Distraction
Carnegie Mellon University（卡内基梅隆大学）
分心驾驶是致命的，仅在2015年就在美国夺去了3，477条生命。虽然已经有相当数量的研究在各种条件下的驾驶员的分心行为建模，准确的自动检测使用多种形式，特别是使用语音模态，以提高准确性的贡献很少受到关注。本文介绍了一种新的多模态数据集分心驾驶行为，并讨论了自动分心检测使用的特征，从三个模态：面部表情，语音和汽车信号。详细的多模态特征分析表明，增加更多的模态单调增加模型的预测精度。最后，一个简单而有效的多模态融合技术，使用多项式融合层显示出优越的分心检测结果相比，基线SVM和神经网络模型。
2018-10-24 cs.AI cs.CV cs.HC
An Evolutionary Network Architecture Search Framework with Adaptive Multimodal Fusion for Hand Gesture Recognition
Xiangtan University（湘潭大学）；De Montfort University（德蒙福特大学）
本文提出AMF-ENAS框架，通过设计考虑融合位置和比例的编码空间，自动搜索适用于多模态手势识别的网络架构，在Ninapro DB2、DB3和DB7数据集上达到最先进性能。
2024-03-27 cs.AI cs.CV cs.NE
When Does Multimodal Learning Help in Healthcare? A Benchmark on EHR and Chest X-Ray Fusion
Department of Computer Science（计算机科学系）；Hong Kong Baptist University（香港 Baptist 大学）；Division of Artificial Intelligence（人工智能 division）；Lingnan University（Lingnan 大学）；School of Nursing（护理学院）；The Hong Kong Polytechnic University（香港理工大学）
本文通过基准测试评估了电子健康记录与胸部X光融合在医疗中的有效性，揭示了多模态学习在不同模态缺失情况下的性能差异及公平性问题。
2026-02-27 cs.AI cs.LG
MULTIBENCH++: A Unified and Comprehensive Multimodal Fusion Benchmarking Across Specialized Domains
针对多模态融合评估基准不足导致模型泛化差、方法难比较的问题，开发整合30+数据集、15种模态和20项任务的MULTIBENCH++基准及自动化评估管道，通过大规模实验建立新基线，推动领域发展。
2025-11-14 cs.LG
Rethinking Multimodal Fusion for Time Series: Text Modalities Need Constrained Fusion
LG AI Research（LG人工智能研究）
针对多模态时间序列预测中朴素融合方法效果不佳的问题，提出受约束融合方法及受控融合适配器（CFA），通过低秩适配器过滤无关文本信息，在多种数据集和模型上验证了有效性。
2026-07-16 cs.AI cs.LG
MTPareto: A MultiModal Targeted Pareto Framework for Fake News Detection
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
针对多模态假新闻检测中模态差异导致的优化冲突问题，提出MTPareto框架，采用目标帕累托优化算法进行分层融合，在FakeSV和FVC数据集上分别提升准确率2.40%和1.89%。
2025-01-24 cs.LG
UkrMeme: Multimodal Explainable Persuasion Detection in Ukrainian Memes
Ukrainian Catholic University（乌克兰天主教大学）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古滕贝格大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
该研究针对乌克兰战时模因，构建标注说服技巧的UkrMeme数据集与保留视觉内容的PTM-UA基准，用VLMs结合分层F1评估零样本性能，对比LRP与模型归因并分析证据语义类别。
2026-10-12 cs.AI cs.CL cs.CV
BCAmirs at SemEval-2024 Task 4: Beyond Words: A Multimodal and Multilingual Exploration of Persuasion in Memes
University of British Columbia（不列颠哥伦比亚大学）
本文针对 SemEval-2024 任务 4 的迷因说服技巧识别问题，提出引入 GPT-4 字幕生成步骤，并结合 RoBERTa 与 CLIP 多模态微调，在全部 12 个子任务中大幅超越基线。
2024-06-11 cs.CL cs.CV cs.IT
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo（滑铁卢大学）
由于多模态数据的异构性，来自多模态（诸如视频、语音和文本）的数据的有效融合是具有挑战性的。在本文中，我们提出了自适应融合技术，旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作，比如级联，而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络：1）自动融合，它学习压缩来自不同模态的信息，同时保留上下文，以及2）GAN-Fusion，它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明，我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文，其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
Can MLLMs Reason About Visual Persuasion? Evaluating the Efficacy and Faithfulness of Reasoning
Seoul National University（首尔国立大学）
本文研究大语言模型在视觉说服推理中的有效性与忠实性，提出通过多样化的教师生成推理进行监督微调以提升预测性能，并引入三维忠实性评估框架。
2026-10-09 cs.CV
Active Speaker Detection as a Multi-Objective Optimization with Uncertainty-based Multimodal Fusion
NXP Semiconductors（恩智浦半导体）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
现在从各种研究中已经很好地建立了，在检测活动说话者时，结合视频和音频数据有显著的好处。然而，任何一种形式都可能通过诱导不可靠或欺骗性的信息来误导视听融合。本文概述了主动说话人检测作为一个多目标的学习问题，利用最好的每一个模态使用一种新的自注意，基于不确定性的多模态融合计划。结果表明，所提出的多目标学习架构在提高mAP和AUC分数方面优于传统方法。我们进一步证明，我们的融合策略超越，在主动说话人检测，其他模态融合方法在各个学科的报告。我们最后表明，该方法显着提高了AVA-ActiveSpeaker数据集的最新技术水平。
2021-09-15 cs.CL cs.CV cs.SD
Provable Dynamic Fusion for Low-Quality Multimodal Data
Tianjin University（天津大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Sichuan University（四川大学）
针对低质量多模态数据下动态融合缺乏理论保证的问题，本文从泛化角度分析主流融合框架，提出基于不确定性估计的 QMF，以提升分类准确率与模型鲁棒性。
2023-06-06 cs.CV cs.LG
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标，从而留下了严重影响跨模态融合的模态缺口。在本文中，我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的，为了减少模态差距，我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外，我们施加额外的约束嵌入空间，通过引入重建损失和分类损失。然后，我们融合的编码表示使用层次图神经网络，明确探索单峰，双峰和三峰的相互作用，在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明，通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得：\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
Deep Equilibrium Multimodal Fusion
针对现有融合方法无法充分捕捉复杂模态间交互动态的问题，提出深度均衡(DEQ)多模态融合方法，通过寻找动态融合过程的不动点并自适应递归地建模特征相关性，在多个多模态基准上取得了最先进的性能。
2023-06-29 cs.CV cs.MM
Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）
本文提出混合Transformer模型MKGformer，通过统一输入输出架构和多级融合机制整合视觉与文本表示，在多模态知识图谱补全的四个数据集上取得SOTA性能。
2023-09-18 cs.AI cs.CL cs.CV
Exploring Fusion Techniques in Multimodal AI-Based Recruitment: Insights from FairCVdb
Research Institute CODE, University of the Bundeswehr Munich（慕尼黑联邦国防军大学CODE研究院）；Institute of Computer Science, Free University Berlin（柏林自由大学计算机科学研究所）
本研究基于FairCVdb数据集调查多模态AI招聘中的融合技术，发现早期融合比晚期融合MAE更低，在存在偏见时仍能实现更准确公平的评估。
2024-06-17 cs.CL cs.CV cs.CY
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
多模态学习管道受益于预训练语言模型的成功。然而，这是以增加模型参数为代价的。在这项工作中，我们提出了适应多模态BERT（AMB），BERT为基础的架构，多模态任务，使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型，而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间，预训练的语言模型参数保持冻结，从而允许快速、参数高效的训练。在我们的消融中，我们看到这种方法导致了高效的模型，可以优于其微调的同行，并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明，AMB优于目前最先进的跨指标，与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题，提出基于元学习的动态融合框架MetaMMF，为每个微视频动态生成专属融合函数，在三个基准数据集上优于多个现有模型，还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
MSAF: Multimodal Split Attention Fusion
University of Waterloo（滑铁卢大学）；Shenzhen University（深圳大学）
多模态学习模仿人类多感官系统的推理过程，该系统用于感知周围世界。在做出预测时，人类大脑倾向于将来自多个信息源的关键线索联系起来。在这项工作中，我们提出了一种新的多模态融合模块，学习强调所有模态的贡献功能。具体而言，建议的多模态分割注意力融合（MSAF）模块将每个模态分割成通道方式相等的特征块，并创建一个联合表示，用于跨特征块为每个通道生成软注意力。此外，MSAF模块被设计为与各种空间维度和序列长度的特征兼容，适用于CNN和RNN。因此，可以很容易地添加MSAF来融合任何单峰网络的特征，并利用现有的预训练单峰模型权重。为了证明我们的融合模块的有效性，我们设计了三个多模态网络与MSAF的情感识别，情感分析，动作识别任务。我们的方法在每个任务中都取得了有竞争力的结果，并且优于其他特定于应用的网络和多模态融合基准。
2021-06-26 cs.CV cs.LG
Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning
KAIST（韩国科学技术院）
多模态数据融合在深度学习中的成功似乎归因于多个输入数据之间的互补信息的使用。相对于它们的预测性能，相对较少的注意力已经致力于多模态融合模型的鲁棒性。在本文中，我们研究了当前的多模态融合模型是否利用互补智能防御对抗攻击。我们在MFNet上应用了基于梯度的白盒攻击，如FGSM和PGD，MFNet是用于语义分割的主要多光谱（RGB，热）融合深度学习模型。我们验证了为更好的预测而优化的多模态融合模型仍然容易受到对抗攻击，即使只有一个传感器受到攻击。因此，很难说现有的多模态数据融合模型在对抗鲁棒性方面充分利用了多模态之间的互补关系。我们相信，我们的观察打开了一个新的视野对抗攻击研究多模态数据融合。
2020-05-22 cs.CV
Multimodal Sentiment Analysis using Hierarchical Fusion with Context Modeling
Instituto Politécnico Nacional（国立理工学院）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
多模态情感分析是一个非常活跃的研究领域。该领域中一个有希望的机会领域是改进多模态融合机制。我们提出了一种新的功能融合策略，在一个层次的方式进行，首先融合的方式在两个，然后才融合所有三种方式。在对单个话语进行多模态情感分析时，我们的策略比传统的特征串联方法的性能高1%，相当于出错率降低了5%。在话语级多模态情感分析的多话语视频剪辑，其中当前国家的最先进的技术，将上下文信息从其他话语的同一个剪辑，我们的分层融合给出了2.4%（几乎10%的出错率减少），目前使用的级联。我们的方法的实现是公开的开源代码的形式。
2018-06-16 cs.CL cs.CV
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Saratoga High School（萨拉托加高中）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
多模态分类是以人为中心的机器学习的核心任务。我们观察到，信息是高度互补的方式，因此单峰信息可以大大稀疏之前，多模态融合，而不会损失的准确性。为此，我们提出了稀疏融合Transformers（SFT），一种新的多模态融合方法的变压器，执行并行现有的国家的最先进的方法，同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块，它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估，用于广泛的分类任务。在类似的实验条件下，在多个基准测试中获得了最先进的性能，同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
A review of deep learning-based information fusion techniques for multimodal medical image classification
Inserm（法国国家健康与医学研究院）；University of Western Brittany（西布列塔尼大学）；IMT Atlantique（大西洋电信学院）；Sorbonne University（索邦大学）；Lariboisière Hospital（拉里布瓦西耶尔医院）；AP-HP（巴黎公共医疗集团）；Paris Cité University（巴黎城市大学）；CHRU Brest（布雷斯特大学中心医院）；LaTIM UMR 1101（LaTIM联合研究单位1101）
本文综述了基于深度学习的多模态医学图像分类融合技术，详细分析了输入、中间和输出三种融合方案及其网络架构适用性，并探讨了当前挑战与基于Transformer的未来研究方向。
2024-04-23 cs.AI cs.CV
Dynamic Multimodal Fusion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出动态多模态融合方法DynMM，通过门控函数和资源感知损失函数自适应生成数据相关的前向路径，在保证精度的同时显著降低计算成本并提升性能。
2023-04-06 cs.AI cs.CV cs.MM
A novel multimodal fusion network based on a joint coding model for lane line segmentation
Tsinghua University（清华大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
最近，利用多模态传感器来实现鲁棒的车道线分割的兴趣越来越大。在本文中，我们介绍了一种新的多模态融合架构从信息论的角度来看，并证明其实际效用使用光探测和测距（LiDAR）相机融合网络。特别是，我们开发的，第一次，一个多模态融合网络作为一个联合编码模型，其中每个单一的节点，层和管道表示为一个通道。因此，前向传播等于信道中的信息传输。然后，我们可以定性和定量地分析不同的融合方法的效果。我们认为，最佳的融合架构是有关的基本容量和分配的基础上的源和信道。为了测试这个多模态融合假设，我们逐步确定一系列的多模态模型的基础上提出的融合方法，并评估他们的KITTI和A2D2数据集。我们的最佳融合网络实现了85%以上的车道线准确度和98.7%以上的整体。模型之间的性能差距将为未来继续研究深度多模态学习社区的最佳融合算法提供信息。
2021-03-20 cs.CV
Self-MI: Efficient Multimodal Fusion via Self-Supervised Multi-Task Learning with Auxiliary Mutual Information Maximization
VNU - University of Engineering and Technology, Hanoi, Vietnam（越南国立大学-工程技术大学）
针对现有多模态表示学习难以利用各模态独特特性的问题，提出自监督的Self-MI方法，借助CPC最大化互信息并设计自监督标签生成模块，经三个基准数据集验证有效提升了多模态融合效果。
2023-11-07 cs.CV cs.MM
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis
National Technical University of Athens（雅典国家技术大学）；Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
当前用于多模态融合的深度学习方法依赖于高级和中级潜在模态表示（后期/中期融合）或低级感觉输入（早期融合）的自自底向上的【形】融合。人类感知模型强调了自上而下融合的重要性，其中高级表示影响感知输入的方式，即认知影响感知。这些自上而下的交互在当前的深度学习模型中没有被捕获。在这项工作中，我们提出了一种神经架构，它可以捕获自上而下的跨模态交互，并在网络训练期间的前向传递中使用反馈机制。所提出的机制提取每个模态的高级表示，并使用这些表示来屏蔽感官输入，允许模型执行自上而下的特征屏蔽。我们将所提出的模型应用于CMU-MOSEI上的多模态情感识别。我们的方法显示出一致的改进，超过了完善的MulT和我们强大的后期融合基线，实现了最先进的结果。
2022-01-24 cs.CV cs.LG
Coupled Feature Learning for Multimodal Medical Image Fusion
Aalto University（阿尔托大学）；CentraleSupelec（巴黎中央理工-高等电力学院）
多模态图像融合的目的是将不同传感器获取的图像中的相关信息进行融合。在医学成像中，融合图像在标准诊断和自动诊断中起着至关重要的作用。提出了一种基于耦合字典学习的多模态图像融合方法。所提出的方法是通用的，可以用于不同的医学成像模式。与目前的许多医学融合方法不同，该方法不会受到强度衰减，也不会丢失关键信息。具体地说，要融合的图像被分解成耦合和独立的组件估计使用稀疏表示相同的支持和皮尔逊相关约束，分别。交替最小化算法的设计，以解决由此产生的优化问题。最后的融合步骤使用最大绝对值规则。实验进行使用各种对多模态输入，包括真正的MR-CT和MR-PET图像。所得到的性能和执行时间显示的竞争力，所提出的方法相比，国家的最先进的医学图像融合方法。
2021-02-17 cs.CV cs.LG eess.IV
Enhancing Modal Fusion by Alignment and Label Matching for Multimodal Emotion Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
针对多模态情感识别中模态融合效果不佳的问题，提出含音视频情感对齐、跨模态标签匹配双辅助任务的Foal-Net框架，先对齐再融合，在IEMOCAP上性能超越现有最优方法，验证了融合前对齐的必要性。
2024-08-18 cs.AI cs.CV cs.MM
FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
Tübingen AI Center University of Tübingen（图宾根人工智能中心大学）；EPFL（瑞士联邦理工学院）
本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。
2026-08-18 cs.CV cs.LG
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
School of Computer Science and Communication Engineering（计算机与通信工程学院）；Harbin University of Commerce（哈尔滨商业大学）
针对多模态情感识别中异构数据融合和模态相关性利用的挑战，提出融合对比学习与视觉序列压缩的DeepMSI-MER方法，在IEMOCAP和MELD数据集上显著提升识别准确性与鲁棒性。
2025-02-12 cs.AI cs.CV
Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal Fusion with Depth Guidance
Beijing Jiaotong University（北京交通大学）
图像外画技术生成视觉上可信的内容，而不管真实性如何，这使得它在实际应用中不可靠。因此，我们提出了一个可靠的图像outpainting任务，从激光雷达的稀疏深度外推真实的RGB场景。LiDAR的大视野使其能够用于数据增强和进一步的多模式任务。具体地说，我们提出了一个深度引导的外绘网络模型的两个模态的不同特征表示，并学习结构感知的跨模态融合。设计了两个模块：1）多模态学习模块从不同模态特征的角度产生独特的深度和RGB特征表示。2)深度引导融合模块利用完整的深度模态通过渐进的多模态特征融合来引导RGB内容的建立。此外，我们特别设计了一个额外的约束策略，包括跨模态损失和边缘损失，以增强模糊的轮廓，加快可靠的内容生成。在KITTI和Waymo数据集上进行的大量实验证明了我们在定量和定性方面优于最先进的方法。
2023-02-16 cs.CV cs.MM
Beyond Modality Fusion: Deep Ensembles for Multimodal Classification
ScaDS.AI, Technische Universität Dresden（ScaDS.AI，德累斯顿工业大学）；Constructor University Bremen（不来梅建造者大学）
研究多模态分类，对比深度集成与模态融合网络，证明单模态网络深度集成可有效分类，提出选模型数量方法，还给出合成框架探索优化挑战，估计集成渐近性能。
2026-07-08 cs.CV cs.LG
Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion
Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
我们提出了一个紧凑而有效的框架，在一个单一的网络中的多个层融合多模态特征。该框架包括两个创新的融合方案。首先，不像现有的多模态方法，需要单独的编码器为不同的模态，我们验证，多模态功能可以在一个共享的单一网络中学习，只需保持特定于模态的批量归一化层的编码器，这也使隐式融合通过联合特征表示学习。其次，我们提出了一个双向的多层融合方案，多模态功能可以逐步开发。为了利用这种方案，我们引入了两个不对称的融合操作，包括通道洗牌和像素移位，学习不同的融合功能相对于不同的融合方向。这两个操作是无参数的，并且加强了跨通道的多模态特征交互，以及增强了通道内的空间特征区分。我们进行了广泛的实验语义分割和图像翻译任务，基于三个公开的数据集，涵盖不同的方式。结果表明，我们提出的框架是通用的，紧凑的，是优于国家的最先进的融合框架。
2021-08-11 cs.CV
Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis
针对多模态情感分析中简单融合无法应对模态质量波动的问题，提出基于信息熵和模态重要性的双门自适应融合网络AGFN，在两个基准数据集上准确率优于强基线，且特征泛化性更强。
2025-10-02 cs.CV cs.LG
DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
本文提出DepMamba，通过分层上下文建模和渐进式多模态融合解决长程时序建模与多模态融合的局限，在抑郁症检测任务上取得优于现有方法的性能。
2024-09-24 cs.CV cs.CY cs.HC
URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection
School of Artificial Intelligence, China University of Mining and Technology-Beijing（中国矿业大学（北京）人工智能学院）
本文提出URMF框架，通过建模模态可靠性提升多模态讽刺检测的准确性和鲁棒性，采用多头交叉注意力和自注意力机制，并结合不确定性建模和联合训练目标，在公开基准上优于现有基线。
2026-04-08 cs.AI cs.CV cs.MM
Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）；College of Health and Life Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学健康与生命科学学院）
医疗保健数据本质上是多模态的，包括电子健康记录（EHR），医学图像和多组学数据。结合这些多模态数据源有助于更好地了解人类健康，并提供最佳的个性化医疗保健。人工智能（AI）技术的进步，特别是机器学习（ML），使这些不同的数据模态的融合，以提供多模态的见解。为此，在这篇范围审查中，我们专注于综合和分析使用AI技术融合多模态医学数据以用于不同临床应用的文献。更具体地说，我们专注于仅将EHR与医学成像数据融合的研究，以开发用于临床应用的各种AI方法。我们对各种融合策略、使用多模态融合的疾病和临床结果、用于为每个临床应用执行多模态融合的ML算法以及可用的多模式医学数据集进行了全面分析。我们遵循PRISMA-ScR指南。我们检索了Embase、PubMed、Scopus和Google Scholar以检索相关研究。我们从34项符合纳入标准的研究中提取了数据。在我们的分析中，观察到一个典型的工作流程：输入原始数据，通过应用传统的机器学习（ML）或深度学习（DL）算法融合不同的数据模态，最后通过临床结果预测评估多模态融合。具体来说，早期融合是多模态学习的大多数应用中最常用的技术（34项研究中有22项）。我们发现，对于相同的任务，多模态融合模型的性能优于传统的单模态模型。从临床结局的角度来看，疾病诊断和预测是最常见的临床结局（分别在20项和10项研究中报告）。
2022-10-23 cs.AI cs.CV cs.LG
Rethinking Early-Fusion Strategies for Improved Multimodal Image Segmentation
School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院）
针对现有RGB-T多模态分割方法参数和计算开销大的问题，提出基于早期融合与特征聚类的EFNet网络及轻量级多尺度解码器，以更低成本超越现有最优方法。
2025-01-19 cs.CV
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications（南京邮电大学）
由于单模态生物识别系统的不稳定性和局限性，多模态系统越来越受到研究者的关注。然而，如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法（Fingerprint Finger Veins-Channel Spatial Attention Fusion Module，FPV-CSAFM）。具体来说，对于每一对指纹和手指静脉图像，我们首先提出了一个简单而有效的卷积神经网络（CNN）来提取特征。然后，我们建立了一个多模态特征融合模块（通道空间注意力融合模块，CSAFM），充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同，该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重，从而更好地融合不同模态之间的信息，提高整体识别性能。为了评估我们的方法的性能，我们在多个公共数据集上进行了一系列实验。实验结果表明，该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
MMTM: Multimodal Transfer Module for CNN Fusion
Microsoft（微软）；Georgia Tech（佐治亚理工学院）；CU Boulder（科罗拉多大学博尔德分校）
在后期融合中，在单独的单峰卷积神经网络（CNN）流中处理每种模态，并且在最后融合每种模态的分数。由于其简单性，后期融合仍然是许多最先进的多模态应用中的主要方法。在本文中，我们提出了一个简单的神经网络模块，用于利用卷积神经网络中多种模态的知识。建议的单元，命名为多模态传输模块（MMTM），可以添加在不同级别的功能层次结构，使缓慢的模态融合。使用挤压和激励操作，MMTM利用多种模态的知识来重新校准每个CNN流中的通道特征。尽管有其他中间融合方法，所提出的模块可以用于具有不同空间维度的卷积层中的特征模态融合。所提出的方法的另一个优点是，它可以添加到单峰分支之间，其网络架构的变化最小，允许每个分支使用现有的预训练权重进行初始化。实验结果表明，我们的框架提高了知名的多模态网络的识别精度。我们在四个数据集上展示了最先进或具有竞争力的性能，这些数据集跨越了动态手势识别，语音增强和RGB和身体关节动作识别的任务领域。
2020-03-30 cs.CV cs.LG
Volta at SemEval-2021 Task 6: Towards Detecting Persuasive Texts and Images using Textual and Multimodal Ensemble
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）
模因是用于在线传播信息的最受欢迎的内容类型之一。他们可以通过修辞和心理技巧影响大量的人。本文的任务，文本和图像中说服技巧的检测，就是检测模因中的这些说服技巧。它由三个子任务组成：（A）使用文本内容的多标签分类，（B）使用文本内容的多标签分类和跨度识别，以及（C）使用视觉和文本内容的多标签分类。在本文中，我们提出了一种迁移学习方法来微调不同模态的BERT模型。我们还探讨了在不同模式下训练的模型集合的有效性。我们在相应的子任务中获得了57.0、48.2和52.1的F1分数。
2021-06-01 cs.CL cs.CV
An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）
医学图像在临床应用中发挥着重要作用。多模态医学图像可以为医生提供丰富的患者信息，便于医生进行诊断。图像融合技术能够将来自多模态图像的互补信息合成到单个图像中。这项技术将防止放射科医生在不同图像之间来回切换，并在诊断过程中节省大量时间。在本文中，我们介绍了一种新的扩张剩余注意力网络的医学图像融合任务。我们的网络能够提取多尺度的深层语义特征。此外，我们提出了一种新的固定融合策略称为Softmax加权策略的基础上Softmax权重和矩阵核范数。大量的实验表明，我们提出的网络和融合策略超过了国家的最先进的性能相比，参考图像融合方法的四个常用的融合度量。
2022-12-09 cs.CV
A New Multimodal Medical Image Fusion based on Laplacian Autoencoder with Channel Attention
Visvesvaraya National Institute of Technology Nagpur（那格浦尔维斯瓦拉亚国家理工学院）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；All India Institute of Medical Sciences Nagpur（那格浦尔全印医学科学学院）
针对现有深度学习医学图像融合模型因下采样导致关键细节丢失的问题，提出基于拉普拉斯-高斯级联与注意力池化的新型融合模型，有效保留了互补信息和重要组织结构。
2023-10-18 cs.CV cs.LG eess.IV
CentralNet: a Multilayer Approach for Multimodal Fusion
Orange Labs（奥兰治实验室）；Normandie Univ.（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
本文提出了一种新的多模态融合方法，旨在通过整合来自多个媒体的信息来产生最佳可能的决策。虽然大多数过去的多模态方法要么通过将不同模态的特征投射到同一空间中，要么通过使用约束来协调每种模态的表示，但我们的方法借鉴了这两种观点。更具体地说，假设每种模态都可以由一个单独的深度卷积网络处理，允许独立于每种模态做出决策，我们引入了一个连接模态特定网络的中央网络。这个中央网络不仅提供了一个共同的特征嵌入，而且还通过使用多任务学习来正则化特定于模态的网络。该方法在4个不同的计算机视觉任务上进行了验证，它始终提高了现有多模态融合方法的准确性。
2018-08-22 cs.AI cs.CV cs.MM
Multimodal Information Fusion for Glaucoma and DR Classification
Inserm（法国国家健康与医学研究院）；University of Western Brittany（西布列塔尼大学）；IMT Atlantique（大西洋国立高等工业技术学院）；Rothschild Foundation Hospital（罗斯柴尔德基金会医院）；Carl Zeiss Meditec Inc（卡尔蔡司医疗科技公司）；Lariboisière Hospital（拉里博瓦西耶医院）；CHRU Brest（布雷斯特大学中心医院）
多模态信息在医疗任务中经常可用。通过结合多个来源的信息，临床医生能够做出更准确的判断。近年来，多种成像技术已被用于临床实践中的视网膜分析：2D眼底照片，3D光学相干断层扫描（OCT）和3D OCT血管造影等。本文研究了三种基于深度学习的多模态信息融合策略，以解决视网膜分析任务：早期融合，中期融合和分层融合。常用的早期和中期融合是简单的，但没有充分利用模态之间的互补信息。我们开发了一种分层融合方法，专注于跨网络的多个维度组合特征，以及探索模态之间的相关性。这些方法被应用于青光眼和糖尿病视网膜病变分类，使用公共GAMMA数据集（眼底照片和OCT）和PlexElite 9000（Carl Zeis Meditec Inc.）OCT血管造影采集。我们的分层融合方法在这两种情况下表现最好，为更好的临床诊断铺平了道路。
2022-09-05 cs.CV cs.LG eess.IV
Predictive Dynamic Fusion
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Tianjin Key Lab of Machine Learning（天津市机器学习重点实验室）
针对动态多模态融合缺乏理论保证的问题，提出预测性动态融合框架，从泛化角度推导可预测协作信念并降低误差上界，经实验验证其优越性。
2024-11-05 cs.CV cs.LG
Multimodal Fusion Refiner Networks
Facebook AI
依赖于多模态信息的任务通常包括组合来自不同模态的信息的融合模块。在这项工作中，我们开发了一个细化融合网络（ReFNet），使融合模块能够将强单峰表示与强多峰表示相结合。ReFNet将融合网络与解码/解除模块相结合，该模块施加了以模态为中心的责任条件。该方法通过确保单峰和融合表示都在潜在融合空间中被强编码，解决了现有多模态融合框架中的巨大差距。我们证明，精炼融合网络可以提高性能强大的基线融合模块，如多模态Transformers。细化网络使诱导图形表示的融合嵌入在潜在的空间，我们证明在一定的条件下，并支持强有力的经验结果的数值实验。通过将ReFNet与多相似性对比损失函数相结合，进一步加强了这些图形结构。Refiner Fusion Network的模块化特性使其能够轻松地与不同的融合架构相结合，此外，Refiner步骤可以应用于未标记数据集的预训练，从而利用无监督数据来提高性能。我们在三个数据集上展示了Refiner Fusion Networks的强大功能，并进一步表明它们可以仅用一小部分标记数据保持性能。
2021-04-08 cs.AI cs.CV
UrbanFusion: Stochastic Multimodal Fusion for Contrastive Learning of Robust Spatial Representations
ETH Zurich（苏黎世联邦理工学院）
提出UrbanFusion模型，通过随机多模态融合（SMF）和Transformer模块整合街景、遥感、地图和POI数据，在56个城市41项任务中优于现有GeoAI模型。
2026-05-29 cs.CV cs.LG
