Variational Fusion for Multimodal Sentiment Analysis
A*STAR AI Initiative, Institute of High Performance Computing（A*STAR人工智能计划、高性能计算研究院）；Adobe Research（奥多比研究院）；University of Michigan（密歇根大学）；Centro de Investigación en Computación, Instituto Politécnico Nacional（国立理工学院计算研究中心）；SUTD（新加坡科技设计大学）
多模态融合被认为是诸如情感分析、情感检测、问答等多模态任务中的关键步骤。大多数关于多模态融合的最新工作不能保证多模态表示相对于单峰表示的保真度。在本文中，我们提出了一个变分自编码器为基础的方法，模态融合，最大限度地减少单峰和多峰表示之间的信息损失。我们的经验表明，这种方法在几个流行的数据集上的表现优于最先进的方法。
2019-08-13 cs.AI cs.CL cs.LG
Human Action Recognition Using Deep Multilevel Multimodal (M2) Fusion of Depth and Inertial Sensors
多年来，已经提出了使用深度和惯性传感器数据的用于人类动作识别（HAR）的多模态融合框架。在大多数现有的作品中，融合是在一个单一的水平（特征级或决策级），错过了机会融合丰富的中级功能，更好的分类。为了解决这个问题，在本文中，我们提出了三种新的深度多级多模态融合框架，利用不同的融合策略在不同的阶段，并利用多级融合的优势。在输入时，我们将深度数据转换为称为序列前视图图像（SFI）的深度图像，并将惯性传感器数据转换为信号图像。通过与Prewitt滤波器进行卷积，进一步使每个输入模态（深度和惯性）成为多模态。创建“模态中的模态”使得能够通过卷积神经网络（CNN）进行进一步的互补和区分特征提取。CNN在每种模态的输入图像上进行训练，以学习低级，高级和复杂的特征。在所提出的框架的不同阶段提取和融合学习特征，以结合鉴别和互补信息。这些高度信息化的特征被用作多类支持向量机（SVM）的输入。我们在三个公开的多模态HAR数据集上评估了所提出的框架，即UTD多模态人类动作数据集（MHAD），伯克利MHAD和UTD-MHAD Kinect V2。实验结果表明，所提出的融合框架优于现有的方法。
2019-10-25 cs.CV cs.LG stat.ML
Multimodal Language Analysis with Recurrent Multistage Fusion
Carnegie Mellon University（卡内基梅隆大学）
人类多模态语言的计算建模是自然语言处理中一个新兴的研究领域，涵盖了语言、视觉和听觉模态。理解多模态语言不仅需要建模每个模态内的交互（模态内交互），而且更重要的是模态之间的交互（跨模态交互）。在本文中，我们提出了递归多级融合网络（RMFN），它将融合问题分解为多个阶段，每个阶段都集中在一个子集的多模态信号的专业，有效的融合。跨模态的相互作用建模使用这种多级融合的方法，建立在前几个阶段的中间表示。通过将我们提出的融合方法与递归神经网络系统相结合，对时间和模态内的相互作用进行建模。RMFN在与多模态情感分析、情感识别和说话人特征识别相关的三个公共数据集上展示了人类多模态语言建模的最新性能。我们提供可视化显示，融合的每个阶段集中在不同的子集的多模态信号，学习越来越多的歧视性多模态表示。
2018-08-12 cs.AI cs.CL cs.LG
EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition
Yonsei University（延世大学）
使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中，我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据，将特征与EmbraceNet架构相结合，并对融合的特征进行后处理以预测活动。此外，我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战，团队名称为“Yonsei-MCML”。"
2020-04-29 cs.LG eess.SP stat.ML
Provable Dynamic Fusion for Low-Quality Multimodal Data
Tianjin University（天津大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Sichuan University（四川大学）
针对低质量多模态数据下动态融合缺乏理论保证的问题，本文从泛化角度分析主流融合框架，提出基于不确定性估计的 QMF，以提升分类准确率与模型鲁棒性。
2023-06-06 cs.CV cs.LG
Multimodal Sentiment Analysis with Word-Level Fusion and Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
随着YouTube和Facebook等视频分享网站的日益普及，多模态情感分析越来越受到科学界的关注。与以前的多模态情感分析的工作，专注于整体信息的语音段，如袋的话表示和平均面部表情强度，我们开发了一种新的深度架构多模态情感分析，执行模态融合在单词级别。在本文中，我们提出了具有时间注意力的门控多模态嵌入LSTM（GME-LSTM（A））模型，该模型由2个模块组成。门控多模态嵌入技术解决了多模态噪声情况下的融合问题。具有时间注意力的LSTM以输入模态之间更精细的融合分辨率执行单词级融合，并关注最重要的时间步长。因此，GME-LSTM（A）能够更好地对语音的多模态结构进行建模，并执行更好的情感理解。我们通过实现最先进的情感分类和回归结果，在公开的情感强度和主观性分析（CMU-MOSI）数据集上证明了这种方法的有效性。对我们的模型的定性分析强调了时间注意层在情感预测中的重要性，因为附加的声学和视觉模态是嘈杂的。我们还证明了门控多模态嵌入的有效性，有选择地过滤这些嘈杂的方式。我们的研究结果和分析开辟了人类交流中情感分析研究的新领域，并为多模态融合提供了新的模型。
2018-02-03 cs.AI cs.CL cs.LG
Meta Fusion: A Unified Framework For Multimodality Fusion with Mutual Learning
Department of Statistics, University of California, Irvine, CA, USA（统计学系，加州大学伊维奇分校）；Department of Statistics and Applied Probability, University of California, Santa Barbara, CA, USA（统计学与应用概率系，加州大学圣巴巴拉分校）
针对传统多模态融合策略各有局限的问题，提出统一框架Meta Fusion，通过跨模态潜表征组合建模型集群与软信息共享提升性能，理论上降低泛化误差，实验与实际应用效果均优于传统方法。
2025-07-27 cs.LG stat.ME stat.ML
MixMAS: A Framework for Sampling-Based Mixer Architecture Search for Multimodal Fusion and Learning
Higher School of Computer Science（高等计算机科学学院）；Aix-Marseille Univ（艾克斯-马赛大学）；IRD（法国发展研究所）
MixMAS提出基于采样的微基准测试框架，自动搜索最优MLP架构，以有效整合多模态数据并提升融合学习性能。
2024-12-24 cs.LG
On the Benefits of Early Fusion in Multimodal Representation Learning
California Institute of Technology（加州理工学院）
对世界进行智能推理通常需要整合来自多个模态的数据，因为任何单个模态都可能包含不可靠或不完整的信息。先前的工作在多模态学习融合输入模态后，显着的独立处理。另一方面，大脑几乎立即执行多模态处理。传统多模态学习和神经科学之间的这种划分表明，对早期多模态融合的详细研究可以改善人工多模态表示。为了促进早期多模态融合的研究，我们创建了一个卷积LSTM网络架构，可以同时处理音频和视觉输入，并允许我们选择音频和视觉信息组合的层。我们的研究结果表明，在初始C-LSTM层中立即融合音频和视觉输入会产生更高性能的网络，这些网络对音频和视觉输入中的白噪声具有更强的鲁棒性。
2020-11-14 cs.AI cs.LG
Conditional Information Bottleneck for Multimodal Fusion: Overcoming Shortcut Learning in Sarcasm Detection
IEIT SYSTEMS Co., Ltd.（IEIT SYSTEMS公司）
针对多模态讽刺检测中模型依赖捷径学习、泛化能力弱及现有融合策略不足的问题，本文构建去捷径数据集MUStARD++$^{R}$，提出MCIB模型实现高效融合，在无捷径依赖下取得最优性能。
2025-11-17 cs.LG
Evidential Fusion Network for Multimodal Survival Prediction under Missing Modalities
National University of Singapore（新加坡国立大学）；Imperial College London（帝国理工学院）
提出EMMS模型，利用Dempster-Shafer理论和高斯随机模糊数融合多模态决策，处理缺失模态下的生存预测，无需生成缺失数据，在四个癌症数据集上达到最优性能并提供校准的不确定性估计。
2026-09-23 cs.LG
Fusion Anything: A Generalized Multimodal Foundation Model
Tianjin University（天津大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出广义多模态基础模型，通过合成多模态数据训练，编码可迁移相关性，在18个数据集上无需适配即可媲美专门模型。
2026-10-01 cs.CL cs.LG
MSAF: Multimodal Split Attention Fusion
University of Waterloo（滑铁卢大学）；Shenzhen University（深圳大学）
多模态学习模仿人类多感官系统的推理过程，该系统用于感知周围世界。在做出预测时，人类大脑倾向于将来自多个信息源的关键线索联系起来。在这项工作中，我们提出了一种新的多模态融合模块，学习强调所有模态的贡献功能。具体而言，建议的多模态分割注意力融合（MSAF）模块将每个模态分割成通道方式相等的特征块，并创建一个联合表示，用于跨特征块为每个通道生成软注意力。此外，MSAF模块被设计为与各种空间维度和序列长度的特征兼容，适用于CNN和RNN。因此，可以很容易地添加MSAF来融合任何单峰网络的特征，并利用现有的预训练单峰模型权重。为了证明我们的融合模块的有效性，我们设计了三个多模态网络与MSAF的情感识别，情感分析，动作识别任务。我们的方法在每个任务中都取得了有竞争力的结果，并且优于其他特定于应用的网络和多模态融合基准。
2021-06-26 cs.CV cs.LG
Sparsely Multimodal Data Fusion
Syntensor, Inc.（森腾公司）
本文比较了MCA、Zorro和EAO三种多模态嵌入技术在稀疏多模态数据上的表现，发现MCA通过融合所有模态组合并保持嵌入均匀性，在多数任务上优于其他方法。
2025-01-02 cs.AI cs.LG
Unimodal-driven Distillation in Multimodal Emotion Recognition with Dynamic Fusion
East China University of Science and Technology（华东理工大学）；South China Agricultural University（华南农业大学）
提出SUMMER框架，通过混合专家、分层跨模态融合和交互式知识蒸馏解决多模态情感识别中的模态异构问题，在IEMOCAP和MELD数据集上优于现有方法。
2025-03-31 cs.AI cs.LG
Robust Multimodal Fusion for Human Activity Recognition
University of Alberta（阿尔伯塔大学）
配备异构传感器的物联网和移动设备的激增使新的应用程序依赖于融合由具有不同模态的多个传感器生成的时间序列数据。虽然有很有前途的深度神经网络架构用于多模态融合，但在多个模态/传感器之间存在连续缺失数据和噪声的情况下，它们的性能会迅速下降，这些问题在现实世界中普遍存在。我们提出了Centaur，一个多模态融合模型，用于人类活动识别（HAR），对这些数据质量问题具有鲁棒性。Centaur结合了一个数据清理模块，这是一个带有卷积层的去噪自动编码器，以及一个多模态融合模块，这是一个带有自注意机制的深度卷积神经网络，用于捕获交叉传感器相关性。我们训练Centaur使用随机数据腐败计划，并评估它的三个数据集，包含多个惯性测量单元生成的数据。Centaur的数据清理模块优于2个最先进的基于自动编码器的模型，其多模态融合模块优于4个强大的基线。与2个相关的鲁棒融合架构相比，Centaur更鲁棒，在HAR中实现了11.59-17.52%的精度，特别是在多个传感器通道中存在连续缺失数据的情况下。
2023-03-08 cs.LG eess.SP
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Saratoga High School（萨拉托加高中）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
多模态分类是以人为中心的机器学习的核心任务。我们观察到，信息是高度互补的方式，因此单峰信息可以大大稀疏之前，多模态融合，而不会损失的准确性。为此，我们提出了稀疏融合Transformers（SFT），一种新的多模态融合方法的变压器，执行并行现有的国家的最先进的方法，同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块，它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估，用于广泛的分类任务。在类似的实验条件下，在多个基准测试中获得了最先进的性能，同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
Adaptive Confidence-weighted Expansion for Trustworthy Multi-Omics Multimodal Fusion
Faculty of Engineering, University of Ottawa（渥太华大学工程学院）；RIV Lab, Department of Computer Engineering, Bu-Ali Sina University（布阿里·西纳大学计算机工程系RIV实验室）；School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
针对多模态学习模型在噪声或无信息数据流下性能不佳及缺乏数据质量评估机制的问题，提出自适应置信加权扩展（ACE）框架，通过生成互补模态和双层置信机制提升性能，在多组学数据集评估中显著优于现有算法。
2026-09-23 cs.LG
Fusion or Confusion? Multimodal Complexity Is Not All You Need
Berlin Institute of Health, Charité - Universitätsmedizin Berlin（柏林健康研究所，柏林查理医院）；Intelligent Medicine Institute, Fudan University（复旦大学智能医学研究院）；Department of Mathematics and Computer Science, Freie Universität Berlin（柏林自由大学数学与计算机科学系）
本文通过大规模实验挑战多模态学习中复杂架构提升性能的假设，发现增加复杂性常导致混淆而非有效融合，强调需转向方法论严谨性。
2026-11-02 cs.LG
MULTIBENCH++: A Unified and Comprehensive Multimodal Fusion Benchmarking Across Specialized Domains
针对多模态融合评估基准不足导致模型泛化差、方法难比较的问题，开发整合30+数据集、15种模态和20项任务的MULTIBENCH++基准及自动化评估管道，通过大规模实验建立新基线，推动领域发展。
2025-11-14 cs.LG
Query-Driven Knowledge Base Completion using Multimodal Path Fusion over Multimodal Knowledge Graph
University of Florida（佛罗里达大学）
提出一种查询驱动的知识库补全系统，通过构建多模态知识图谱并采用多模态路径融合算法，有效融合非结构化与结构化信息，显著提升补全性能与效率。
2023-05-10 cs.AI cs.DB cs.LG
Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition
Apple（苹果公司）；MIT（麻省理工学院）；Johns Hopkins（约翰霍普金斯大学）
利用大语言模型进行晚阶段多模态融合，实现零样本和单样本活动分类，无需特定任务训练。
2025-12-19 cs.LG
Progressive Fusion for Multimodal Integration
University of Massachusetts（马萨诸塞大学）
来自各种来源的多模态信息的集成已被证明可以提高机器学习模型的性能，因此近年来受到越来越多的关注。通常，这样的模型使用深度模态特定网络来获得单峰特征，这些单峰特征被组合以获得“后期融合”表示。然而，这些设计在各自的单峰管道中存在信息丢失的风险。另一方面，“早期融合”的方法，结合功能早，遭受与功能异质性和高样本复杂性的问题。在这项工作中，我们提出了一种迭代表示细化方法，称为渐进融合，它缓解了后期融合表示的问题。我们的模型不可知技术引入了向后连接，使后期融合表示可用于早期层，提高了这些阶段的表示的表现力，同时保留了后期融合设计的优势。我们测试渐进式融合的任务，包括情感情感检测，多媒体分析，并与不同的模型的时间序列融合，展示了它的多功能性。我们表明，我们的方法不断提高性能，例如，实现了5%的MSE降低和40%的多模态时间序列预测的鲁棒性提高。
2022-11-21 cs.LG cs.MM
MTPareto: A MultiModal Targeted Pareto Framework for Fake News Detection
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
针对多模态假新闻检测中模态差异导致的优化冲突问题，提出MTPareto框架，采用目标帕累托优化算法进行分层融合，在FakeSV和FVC数据集上分别提升准确率2.40%和1.89%。
2025-01-24 cs.LG
TIER-MoE: Trust-Informed Expert Routing via Conditional Modality Risk for Multimodal Fusion in Biomedical Classification
该研究提出TIER-MoE风险引导子空间混合专家模型，用于生物医学分类多模态融合，可提升预测性能与概率校准，在多数据集上优于现有最优方法且具备强零样本泛化能力。
2026-07-31 cs.LG
Feature Entanglement-based Quantum Multimodal Fusion Neural Network
Northwestern Polytechnical University（西北工业大学）
本文提出基于特征纠缠的量子多模态融合神经网络，通过量子计算框架解决多模态学习中的精度、可解释性和复杂性矛盾，实现高效且可解释的多模态融合。
2026-01-09 cs.AI cs.LG quant-ph
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文提出基于监督角度间隔的对比学习框架，通过关注同类情感分数差异和单模态重要性，增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo（滑铁卢大学）
由于多模态数据的异构性，来自多模态（诸如视频、语音和文本）的数据的有效融合是具有挑战性的。在本文中，我们提出了自适应融合技术，旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作，比如级联，而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络：1）自动融合，它学习压缩来自不同模态的信息，同时保留上下文，以及2）GAN-Fusion，它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明，我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文，其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
CL-DMDF:Dynamic Multimodal Data Fusion Model Based on Contrastive Learning
Tsinghua University（清华大学）
针对多模态数据融合中模态缺失和局部交互忽视全局互补线索的问题，提出基于对比学习的动态多模态数据融合模型（CL-DMDF），通过跨特征和模态维度的注意力机制、实体质心对比学习模块和自适应融合模块，提升动态融合的效率和准确性。
2026-06-01 cs.AI cs.LG
Multimodal sensor fusion in the latent representation space
University of Bristol（布里斯托大学）
提出基于无标签数据构建生成模型的两阶段多模态传感器融合方法，将其作为重构先验与搜索流形，在分类、去噪及子采样观测恢复等任务中表现优异。
2022-08-03 cs.AI cs.HC cs.LG
Stabilizing Multimodal Autoencoders: A Theoretical and Empirical Analysis of Fusion Strategies
本文研究多模态自编码器的稳定性与鲁棒性，提出基于理论分析的正则化注意力融合方法，通过实验验证其在一致性、收敛速度和精度上的优势。
2025-12-23 cs.AI cs.LG
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis
National Technical University of Athens（雅典国家技术大学）；Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
当前用于多模态融合的深度学习方法依赖于高级和中级潜在模态表示（后期/中期融合）或低级感觉输入（早期融合）的自自底向上的【形】融合。人类感知模型强调了自上而下融合的重要性，其中高级表示影响感知输入的方式，即认知影响感知。这些自上而下的交互在当前的深度学习模型中没有被捕获。在这项工作中，我们提出了一种神经架构，它可以捕获自上而下的跨模态交互，并在网络训练期间的前向传递中使用反馈机制。所提出的机制提取每个模态的高级表示，并使用这些表示来屏蔽感官输入，允许模型执行自上而下的特征屏蔽。我们将所提出的模型应用于CMU-MOSEI上的多模态情感识别。我们的方法显示出一致的改进，超过了完善的MulT和我们强大的后期融合基线，实现了最先进的结果。
2022-01-24 cs.CV cs.LG
MFAS: Multimodal Fusion Architecture Search
Orange Labs（法国电信Orange实验室）；Université Caen Normandie（卡昂诺曼底大学）；Samsung AI Centre（三星人工智能中心）
我们解决的问题，找到好的架构多模态分类问题。我们提出了一种新的和通用的搜索空间，跨越了大量的可能的融合架构。为了在建议的搜索空间中找到给定数据集的最佳架构，我们利用了一种高效的基于顺序模型的探索方法，该方法是针对该问题量身定制的。我们证明了作为一个神经架构搜索问题的多模态融合的玩具数据集和其他两个真正的多模态数据集上的广泛实验的价值。我们发现融合架构对于不同领域和数据集大小的问题表现出最先进的性能，包括NTU RGB+D数据集，这是最大的多模态动作识别数据集。
2019-03-15 cs.CV cs.LG cs.NE
Coupled Feature Learning for Multimodal Medical Image Fusion
Aalto University（阿尔托大学）；CentraleSupelec（巴黎中央理工-高等电力学院）
多模态图像融合的目的是将不同传感器获取的图像中的相关信息进行融合。在医学成像中，融合图像在标准诊断和自动诊断中起着至关重要的作用。提出了一种基于耦合字典学习的多模态图像融合方法。所提出的方法是通用的，可以用于不同的医学成像模式。与目前的许多医学融合方法不同，该方法不会受到强度衰减，也不会丢失关键信息。具体地说，要融合的图像被分解成耦合和独立的组件估计使用稀疏表示相同的支持和皮尔逊相关约束，分别。交替最小化算法的设计，以解决由此产生的优化问题。最后的融合步骤使用最大绝对值规则。实验进行使用各种对多模态输入，包括真正的MR-CT和MR-PET图像。所得到的性能和执行时间显示的竞争力，所提出的方法相比，国家的最先进的医学图像融合方法。
2021-02-17 cs.CV cs.LG eess.IV
Fuse It or Lose It: Deep Fusion for Multimodal Simulation-Based Inference
University of Stuttgart（斯图加特大学）；TU Dortmund University（多特蒙德工业大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出多模态神经后验估计（MultiNPE），通过早期、晚期和混合三种深度融合策略整合异构数据，在认知神经科学和心脏病学模型中优于单源基线，并指出晚期和混合融合为实际应用首选。
2024-11-04 cs.AI cs.LG
FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
Tübingen AI Center University of Tübingen（图宾根人工智能中心大学）；EPFL（瑞士联邦理工学院）
本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。
2026-08-18 cs.CV cs.LG
LLM-Fusion: A Novel Multimodal Fusion Model for Accelerated Material Discovery
IBM Research - Tokyo（IBM 东京研究院）
本文提出LLM-Fusion，一种基于大型语言模型的多模态融合模型，通过整合SMILES、SELFIES、文本描述和分子指纹等多样化表示进行材料属性预测，在多个数据集和任务上优于单模态与简单拼接基线。
2025-03-02 cond-mat.mtrl-sci cs.AI cs.LG
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标，从而留下了严重影响跨模态融合的模态缺口。在本文中，我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的，为了减少模态差距，我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外，我们施加额外的约束嵌入空间，通过引入重建损失和分类损失。然后，我们融合的编码表示使用层次图神经网络，明确探索单峰，双峰和三峰的相互作用，在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明，通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得：\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
Beyond Modality Fusion: Deep Ensembles for Multimodal Classification
ScaDS.AI, Technische Universität Dresden（ScaDS.AI，德累斯顿工业大学）；Constructor University Bremen（不来梅建造者大学）
研究多模态分类，对比深度集成与模态融合网络，证明单模态网络深度集成可有效分类，提出选模型数量方法，还给出合成框架探索优化挑战，估计集成渐近性能。
2026-07-08 cs.CV cs.LG
Exploring Fusion Techniques in Multimodal AI-Based Recruitment: Insights from FairCVdb
Research Institute CODE, University of the Bundeswehr Munich（慕尼黑联邦国防军大学CODE研究院）；Institute of Computer Science, Free University Berlin（柏林自由大学计算机科学研究所）
本研究基于FairCVdb数据集调查多模态AI招聘中的融合技术，发现早期融合比晚期融合MAE更低，在存在偏见时仍能实现更准确公平的评估。
2024-06-17 cs.CL cs.CV cs.CY
Explainable Deep Neural Network for Multimodal ECG Signals: Intermediate vs Late Fusion
Morgan State University（摩根州立大学）；Yale University（耶鲁大学）；Yale University School of Medicine（耶鲁大学医学院）
本研究比较了ECG多模态深度神经网络中的中间融合与后期融合策略，发现中间融合在准确率和可解释性上均表现更优，为心血管疾病分类提供了超越现有技术的医疗AI解决方案。
2025-10-12 cs.LG eess.SP
Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis
针对多模态情感分析中简单融合无法应对模态质量波动的问题，提出基于信息熵和模态重要性的双门自适应融合网络AGFN，在两个基准数据集上准确率优于强基线，且特征泛化性更强。
2025-10-02 cs.CV cs.LG
Multimodal Fusion on Low-quality Data: A Comprehensive Survey
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；College of Computer Science, Sichuan University（四川大学计算机学院）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）
该综述聚焦低质量数据下多模态融合的可靠性问题，从数据视角归纳出四类核心挑战并构建分类体系，梳理了领域进展，同时指出了开放问题与未来研究方向。
2024-11-01 cs.AI cs.LG
Sensor Fusion: Gated Recurrent Fusion to Learn Driving Behavior from Temporal Multimodal Data
Honda Research Institute, USA（美国本田研究院）；Carnegie Mellon University（卡内基梅隆大学）
战术驾驶员行为建模问题需要从丰富的多模态信号（包括视频、LiDAR和CAN总线数据流）中理解复杂城市场景中的驾驶员行为。然而，大多数深度学习研究都集中在学习车辆/环境状态（传感器融合）或驾驶员策略（从时间数据）上，而不是两者兼而有之。端到端学习这两项任务提供了最丰富的知识精华，但在制定和成功培训方面存在挑战。在这项工作中，我们提出了朝着这个方向迈出的有希望的第一步。受LSTM中的门控机制的启发，我们提出了门控递归融合单元（GRFU），它同时学习融合加权和时间加权。我们证明了它在监督回归和分类任务中优于多模态和时间基线的性能，所有这些都在自主导航领域。我们注意到HDD数据集中战术驾驶员行为分类的mAP得分比最先进的提高了10%，TORCS数据集上转向动作回归的总体均方误差下降了20%。
2020-01-21 cs.CV cs.LG
ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors
Southwest Jiaotong University（西南交通大学）；Microsoft Research Asia（微软亚洲研究院）；Southwestern University of Finance and Economics（西南财经大学）；Ocean University of China（中国海洋大学）；Tencent（腾讯）
融合技术是多模态情感分析中的一个关键研究课题。最近的基于注意力的融合展示了简单的基于操作的融合的进步。然而，这些融合工作采用单尺度，即，标记级或话语级的单峰表示。这种单尺度融合是次优的，因为不同的模态应该与不同的粒度对齐。本文提出了一种融合模型ScaleVLAD，利用局部聚集描述符的共享向量从文本、视频和音频中收集多尺度表示，以改善非对齐的多模态情感分析。这些共享向量可以被视为共享主题，以对齐不同的模态。此外，我们提出了一个自我监督的移动聚类损失，以保持样本之间的融合特征的差异。骨干是对应于三种模态的三个Transformer编码器，并且从融合模块生成的聚合特征被馈送到Transformer加上完整连接以完成任务预测。三个流行的情感分析基准，IEMOCAP，MOSI和MOSEI的实验，表现出显着的收益超过基线。
2021-12-02 cs.AI cs.CL cs.LG
When Does Multimodal Learning Help in Healthcare? A Benchmark on EHR and Chest X-Ray Fusion
Department of Computer Science（计算机科学系）；Hong Kong Baptist University（香港 Baptist 大学）；Division of Artificial Intelligence（人工智能 division）；Lingnan University（Lingnan 大学）；School of Nursing（护理学院）；The Hong Kong Polytechnic University（香港理工大学）
本文通过基准测试评估了电子健康记录与胸部X光融合在医疗中的有效性，揭示了多模态学习在不同模态缺失情况下的性能差异及公平性问题。
2026-02-27 cs.AI cs.LG
HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data
University of Cambridge（剑桥大学）
本文提出HEALNet多模态早期融合注意力架构，在共享潜在空间中保留模态结构并捕捉跨模态交互，可处理缺失模态且支持直观检查；在TCGA四个癌症数据集的WSI与多组学生存分析中达到最先进性能。
2024-10-28 cs.AI cs.LG
Rethinking Multimodal Fusion for Time Series: Text Modalities Need Constrained Fusion
LG AI Research（LG人工智能研究）
针对多模态时间序列预测中朴素融合方法效果不佳的问题，提出受约束融合方法及受控融合适配器（CFA），通过低秩适配器过滤无关文本信息，在多种数据集和模型上验证了有效性。
2026-07-16 cs.AI cs.LG
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
多模态学习管道受益于预训练语言模型的成功。然而，这是以增加模型参数为代价的。在这项工作中，我们提出了适应多模态BERT（AMB），BERT为基础的架构，多模态任务，使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型，而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间，预训练的语言模型参数保持冻结，从而允许快速、参数高效的训练。在我们的消融中，我们看到这种方法导致了高效的模型，可以优于其微调的同行，并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明，AMB优于目前最先进的跨指标，与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
MMTM: Multimodal Transfer Module for CNN Fusion
Microsoft（微软）；Georgia Tech（佐治亚理工学院）；CU Boulder（科罗拉多大学博尔德分校）
在后期融合中，在单独的单峰卷积神经网络（CNN）流中处理每种模态，并且在最后融合每种模态的分数。由于其简单性，后期融合仍然是许多最先进的多模态应用中的主要方法。在本文中，我们提出了一个简单的神经网络模块，用于利用卷积神经网络中多种模态的知识。建议的单元，命名为多模态传输模块（MMTM），可以添加在不同级别的功能层次结构，使缓慢的模态融合。使用挤压和激励操作，MMTM利用多种模态的知识来重新校准每个CNN流中的通道特征。尽管有其他中间融合方法，所提出的模块可以用于具有不同空间维度的卷积层中的特征模态融合。所提出的方法的另一个优点是，它可以添加到单峰分支之间，其网络架构的变化最小，允许每个分支使用现有的预训练权重进行初始化。实验结果表明，我们的框架提高了知名的多模态网络的识别精度。我们在四个数据集上展示了最先进或具有竞争力的性能，这些数据集跨越了动态手势识别，语音增强和RGB和身体关节动作识别的任务领域。
2020-03-30 cs.CV cs.LG
ECG Heartbeat Classification Using Multimodal Fusion
Ryerson University（瑞尔森大学）
心电图（ECG）是诊断和应对心律失常和心肌梗死（MI）等严重心血管综合征的权威来源。当前的机器学习技术要么依赖于手动提取的特征，要么依赖于仅直接利用1D ECG信号的大型且复杂的深度学习网络。由于智能多模态融合可以在最先进的水平上使用高效的深度网络执行，因此，在本文中，我们提出了两种用于ECG心跳分类的计算高效的多模态融合框架，称为多模态图像融合（MIF）和多模态特征融合（MFF）。在这些框架的输入端，我们使用Gramian角场（GAF），递归图（RP）和马尔可夫转移场（MTF）将原始ECG数据转换为三种不同的图像。在MIF中，我们首先通过组合三种成像模态来执行图像融合，以创建单个图像模态，该图像模态用作卷积神经网络（CNN）的输入。在MFF中，我们从CNN的倒数第二层提取特征，并将它们融合，以获得更好的分类器性能所需的唯一且相互依赖的信息。这些信息特征最终被用来训练一个用于ECG心跳分类的支持向量机（SVM）分类器。我们通过在PhysioNets MIT-BIH数据集上进行实验来证明所提出的融合模型的优越性，该数据集用于五种不同的心律失常条件，这些心律失常条件与AAMI EC 57协议和PTB诊断数据集用于心肌梗死（MI）分类是一致的。我们在心律失常和MI分类上分别实现了99.7%和99.2%的分类准确率。
2021-07-21 cs.LG cs.NE eess.SP
Structure-Aware Fusion with Progressive Injection for Multimodal Molecular Representation Learning
Western University（韦仕敦大学）
针对多模态分子模型的3D构象不可靠与模态坍缩问题，提出融合框架MuMo，通过结构化融合流水线与渐进注入机制优化分子表示，在29项基准任务上性能显著优于现有基线。
2025-10-24 cs.AI cs.LG
Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）；College of Health and Life Sciences, Hamad Bin Khalifa University（哈马德·本·哈利法大学健康与生命科学学院）
医疗保健数据本质上是多模态的，包括电子健康记录（EHR），医学图像和多组学数据。结合这些多模态数据源有助于更好地了解人类健康，并提供最佳的个性化医疗保健。人工智能（AI）技术的进步，特别是机器学习（ML），使这些不同的数据模态的融合，以提供多模态的见解。为此，在这篇范围审查中，我们专注于综合和分析使用AI技术融合多模态医学数据以用于不同临床应用的文献。更具体地说，我们专注于仅将EHR与医学成像数据融合的研究，以开发用于临床应用的各种AI方法。我们对各种融合策略、使用多模态融合的疾病和临床结果、用于为每个临床应用执行多模态融合的ML算法以及可用的多模式医学数据集进行了全面分析。我们遵循PRISMA-ScR指南。我们检索了Embase、PubMed、Scopus和Google Scholar以检索相关研究。我们从34项符合纳入标准的研究中提取了数据。在我们的分析中，观察到一个典型的工作流程：输入原始数据，通过应用传统的机器学习（ML）或深度学习（DL）算法融合不同的数据模态，最后通过临床结果预测评估多模态融合。具体来说，早期融合是多模态学习的大多数应用中最常用的技术（34项研究中有22项）。我们发现，对于相同的任务，多模态融合模型的性能优于传统的单模态模型。从临床结局的角度来看，疾病诊断和预测是最常见的临床结局（分别在20项和10项研究中报告）。
2022-10-23 cs.AI cs.CV cs.LG
Predictive Dynamic Fusion
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Tianjin Key Lab of Machine Learning（天津市机器学习重点实验室）
针对动态多模态融合缺乏理论保证的问题，提出预测性动态融合框架，从泛化角度推导可预测协作信念并降低误差上界，经实验验证其优越性。
2024-11-05 cs.CV cs.LG
