FGU3R: Fine-Grained Fusion via Unified 3D Representation for Multimodal 3D Object Detection
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
针对多模态3D检测中3D点与2D像素粗融合导致的维度不匹配问题,提出FGU3R框架,利用PRConv和CAAF在统一3D表示上实现细粒度自适应融合,并在KITTI与nuScenes上验证有效。
2025-01-08 cs.CV
Towards a Generalizable Fusion Architecture for Multimodal Object Detection
Université Grenoble Alpes(格勒诺布尔大学);Université Sorbonne Paris Nord(巴黎-萨克勒大学);INRIA(法国国家信息与自动化研究所)
本文提出 FMCAF 预处理架构,结合频域滤波与交叉注意力融合,在无需数据集专用调优的情况下提升 RGB-红外目标检测性能。
2025-10-20 cs.CV
MambaTrans: Multimodal Fusion Image Translation via Large Language Model Priors for Downstream Visual Tasks
School of Physics and Optoelectronic Engineering(物理与光电工程学院);Guangdong-HongKong-Macao Joint Laboratory for Intelligent Micro-Nano Optoelectronic Technology(粤港澳联合智能微纳光电技术实验室);School of Information Engineering and Automation(信息工程与自动化学院)
本文提出MambaTrans,一种多模态融合图像模态翻译器,利用多模态大语言模型描述和语义分割掩码作为输入,通过Multi-Model State Space Block捕获跨模态依赖,在不调整预训练模型参数的情况下提升下游视觉任务性能。
2025-08-11 cs.CV
Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
Mercedes-Benz AG(梅赛德斯-奔驰公司);Algolux(Algolux公司);Ulm University(乌尔姆大学);Princeton University(普林斯顿大学)
多模态传感器流(如摄像机、激光雷达和雷达测量)的融合在自主车辆的目标检测中起着关键作用,自主车辆基于这些输入进行决策。虽然现有的方法在良好的环境条件下利用冗余信息,但它们在感觉流可能不对称失真的恶劣天气中失败。这些罕见的“边缘情况”的情况下,没有表示在可用的数据集,现有的融合架构并没有设计来处理它们。为了应对这一挑战,我们提出了一个新的多模式数据集,在北欧超过10,000公里的驾驶中获得。尽管该数据集是恶劣天气下的第一个大型多模态数据集,其中包括激光雷达、相机、雷达和门控近红外传感器的10万个标签,但由于极端天气罕见,它并不便于训练。为此,我们提出了一种深度融合网络,用于鲁棒融合,而无需覆盖所有非对称失真的大量标记训练数据。从提议级融合出发,我们提出了一个单次模型,自适应融合功能,由测量熵驱动。我们验证了所提出的方法,在干净的数据上训练,在我们广泛的验证数据集上。代码和数据可在https://github.com/princeton-computational-imaging/SeeingThroughFog获得。
2020-06-30 cs.CV
FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection
Beihang University(北京航空航天大学);Baidu Research(百度研究院);Beijing Institute of Technology(北京理工大学)
三维障碍物的精确检测是自动驾驶和智能交通的重要任务。在这项工作中,我们提出了一个通用的多模态融合框架FusionPainting融合的2D RGB图像和3D点云在语义水平上提高3D目标检测任务。特别是,FusionPainting框架由三个主要模块组成:多模态语义分割模块、基于注意力的自适应语义融合模块和3D对象检测器。首先,基于2D和3D分割方法获得2D图像和3D激光雷达点云的语义信息。然后基于所提出的基于注意力的语义融合模块对不同传感器的分割结果进行自适应融合。最后,将绘制有融合语义标签的点云发送到3D检测器以获得3D对象结果。通过与三个不同的基线进行比较,在大规模nuScenes检测基准上验证了所提出的框架的有效性。实验结果表明,与仅使用点云的方法相比,该融合策略能显著提高检测性能,且仅使用点云的方法只需要绘制二维分割信息。此外,所提出的方法优于其他国家的最先进的方法在nuScenes测试基准。
2021-08-10 cs.CV
Dynamic Multimodal Fusion
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出动态多模态融合方法DynMM,通过门控函数和资源感知损失函数自适应生成数据相关的前向路径,在保证精度的同时显著降低计算成本并提升性能。
2023-04-06 cs.AI cs.CV cs.MM
HiddenObject: Modality-Agnostic Fusion for Multimodal Hidden Object Detection
提出基于Mamba的模态无关融合框架HiddenObject,整合RGB、热成像和深度数据,有效解决多模态环境下的隐藏目标检测问题,并在多个基准数据集上取得领先性能。
2025-09-12 cs.AI cs.CV
Exchanging-based Multimodal Fusion with Transformer
Meituan Inc.(美团公司);National University of Singapore(新加坡国立大学);East China Normal University(华东师范大学);NetEase Fuxi AI Lab(网易伏羲AI实验室)
提出基于交换的多模态融合模型MuSE,利用Transformer和CrossTransformer实现文本-视觉知识交换,在多模态命名实体识别和情感分析任务上优于现有方法。
2023-09-05 cs.AI cs.CV
Provable Dynamic Fusion for Low-Quality Multimodal Data
Tianjin University(天津大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Sichuan University(四川大学)
针对低质量多模态数据下动态融合缺乏理论保证的问题,本文从泛化角度分析主流融合框架,提出基于不确定性估计的 QMF,以提升分类准确率与模型鲁棒性。
2023-06-06 cs.CV cs.LG
MSAF: Multimodal Split Attention Fusion
University of Waterloo(滑铁卢大学);Shenzhen University(深圳大学)
多模态学习模仿人类多感官系统的推理过程,该系统用于感知周围世界。在做出预测时,人类大脑倾向于将来自多个信息源的关键线索联系起来。在这项工作中,我们提出了一种新的多模态融合模块,学习强调所有模态的贡献功能。具体而言,建议的多模态分割注意力融合(MSAF)模块将每个模态分割成通道方式相等的特征块,并创建一个联合表示,用于跨特征块为每个通道生成软注意力。此外,MSAF模块被设计为与各种空间维度和序列长度的特征兼容,适用于CNN和RNN。因此,可以很容易地添加MSAF来融合任何单峰网络的特征,并利用现有的预训练单峰模型权重。为了证明我们的融合模块的有效性,我们设计了三个多模态网络与MSAF的情感识别,情感分析,动作识别任务。我们的方法在每个任务中都取得了有竞争力的结果,并且优于其他特定于应用的网络和多模态融合基准。
2021-06-26 cs.CV cs.LG
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara(加州大学圣巴巴拉分校);Saratoga High School(萨拉托加高中);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
多模态分类是以人为中心的机器学习的核心任务。我们观察到,信息是高度互补的方式,因此单峰信息可以大大稀疏之前,多模态融合,而不会损失的准确性。为此,我们提出了稀疏融合Transformers(SFT),一种新的多模态融合方法的变压器,执行并行现有的国家的最先进的方法,同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块,它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估,用于广泛的分类任务。在类似的实验条件下,在多个基准测试中获得了最先进的性能,同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis
National Technical University of Athens(雅典国家技术大学);Institute for Language and Speech Processing, Athena Research Center(雅典娜研究中心语言与语音处理研究所);Behavioral Signal Technologies(行为信号技术公司)
当前用于多模态融合的深度学习方法依赖于高级和中级潜在模态表示(后期/中期融合)或低级感觉输入(早期融合)的自自底向上的【形】融合。人类感知模型强调了自上而下融合的重要性,其中高级表示影响感知输入的方式,即认知影响感知。这些自上而下的交互在当前的深度学习模型中没有被捕获。在这项工作中,我们提出了一种神经架构,它可以捕获自上而下的跨模态交互,并在网络训练期间的前向传递中使用反馈机制。所提出的机制提取每个模态的高级表示,并使用这些表示来屏蔽感官输入,允许模型执行自上而下的特征屏蔽。我们将所提出的模型应用于CMU-MOSEI上的多模态情感识别。我们的方法显示出一致的改进,超过了完善的MulT和我们强大的后期融合基线,实现了最先进的结果。
2022-01-24 cs.CV cs.LG
FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens
Tübingen AI Center University of Tübingen(图宾根人工智能中心大学);EPFL(瑞士联邦理工学院)
本研究提出FuseLIP架构,通过文本与图像令牌的统一词汇表实现早期融合,收集新数据集并设计挑战性任务,在多模态及单模态嵌入任务中优于后期融合方法。
2026-08-18 cs.CV cs.LG
Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles
ScaDS.AI, Technische Universität Dresden(ScaDS.AI,德累斯顿工业大学);Constructor University Bremen(不来梅建造者大学)
研究多模态分类,对比深度集成与模态融合网络,证明单模态网络深度集成可有效分类,提出选模型数量方法,还给出合成框架探索优化挑战,估计集成渐近性能。
2026-11-16 cs.CV cs.LG
Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis
针对多模态情感分析中简单融合无法应对模态质量波动的问题,提出基于信息熵和模态重要性的双门自适应融合网络AGFN,在两个基准数据集上准确率优于强基线,且特征泛化性更强。
2025-10-02 cs.CV cs.LG
Sensor Fusion: Gated Recurrent Fusion to Learn Driving Behavior from Temporal Multimodal Data
Honda Research Institute, USA(美国本田研究院);Carnegie Mellon University(卡内基梅隆大学)
战术驾驶员行为建模问题需要从丰富的多模态信号(包括视频、LiDAR和CAN总线数据流)中理解复杂城市场景中的驾驶员行为。然而,大多数深度学习研究都集中在学习车辆/环境状态(传感器融合)或驾驶员策略(从时间数据)上,而不是两者兼而有之。端到端学习这两项任务提供了最丰富的知识精华,但在制定和成功培训方面存在挑战。在这项工作中,我们提出了朝着这个方向迈出的有希望的第一步。受LSTM中的门控机制的启发,我们提出了门控递归融合单元(GRFU),它同时学习融合加权和时间加权。我们证明了它在监督回归和分类任务中优于多模态和时间基线的性能,所有这些都在自主导航领域。我们注意到HDD数据集中战术驾驶员行为分类的mAP得分比最先进的提高了10%,TORCS数据集上转向动作回归的总体均方误差下降了20%。
2020-01-21 cs.CV cs.LG
MMTM: Multimodal Transfer Module for CNN Fusion
Microsoft(微软);Georgia Tech(佐治亚理工学院);CU Boulder(科罗拉多大学博尔德分校)
在后期融合中,在单独的单峰卷积神经网络(CNN)流中处理每种模态,并且在最后融合每种模态的分数。由于其简单性,后期融合仍然是许多最先进的多模态应用中的主要方法。在本文中,我们提出了一个简单的神经网络模块,用于利用卷积神经网络中多种模态的知识。建议的单元,命名为多模态传输模块(MMTM),可以添加在不同级别的功能层次结构,使缓慢的模态融合。使用挤压和激励操作,MMTM利用多种模态的知识来重新校准每个CNN流中的通道特征。尽管有其他中间融合方法,所提出的模块可以用于具有不同空间维度的卷积层中的特征模态融合。所提出的方法的另一个优点是,它可以添加到单峰分支之间,其网络架构的变化最小,允许每个分支使用现有的预训练权重进行初始化。实验结果表明,我们的框架提高了知名的多模态网络的识别精度。我们在四个数据集上展示了最先进或具有竞争力的性能,这些数据集跨越了动态手势识别,语音增强和RGB和身体关节动作识别的任务领域。
2020-03-30 cs.CV cs.LG
Predictive Dynamic Fusion
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Tianjin Key Lab of Machine Learning(天津市机器学习重点实验室)
针对动态多模态融合缺乏理论保证的问题,提出预测性动态融合框架,从泛化角度推导可预测协作信念并降低误差上界,经实验验证其优越性。
2024-11-05 cs.CV cs.LG
UrbanFusion: Stochastic Multimodal Fusion for Contrastive Learning of Robust Spatial Representations
ETH Zurich(苏黎世联邦理工学院)
提出UrbanFusion模型,通过随机多模态融合(SMF)和Transformer模块整合街景、遥感、地图和POI数据,在56个城市41项任务中优于现有GeoAI模型。
2026-05-29 cs.CV cs.LG
MFAS: Multimodal Fusion Architecture Search
Orange Labs(法国电信Orange实验室);Université Caen Normandie(卡昂诺曼底大学);Samsung AI Centre(三星人工智能中心)
我们解决的问题,找到好的架构多模态分类问题。我们提出了一种新的和通用的搜索空间,跨越了大量的可能的融合架构。为了在建议的搜索空间中找到给定数据集的最佳架构,我们利用了一种高效的基于顺序模型的探索方法,该方法是针对该问题量身定制的。我们证明了作为一个神经架构搜索问题的多模态融合的玩具数据集和其他两个真正的多模态数据集上的广泛实验的价值。我们发现融合架构对于不同领域和数据集大小的问题表现出最先进的性能,包括NTU RGB+D数据集,这是最大的多模态动作识别数据集。
2019-03-15 cs.CV cs.LG cs.NE
A novel multimodal fusion network based on a joint coding model for lane line segmentation
Tsinghua University(清华大学);Edinburgh Napier University(爱丁堡龙比亚大学)
最近,利用多模态传感器来实现鲁棒的车道线分割的兴趣越来越大。在本文中,我们介绍了一种新的多模态融合架构从信息论的角度来看,并证明其实际效用使用光探测和测距(LiDAR)相机融合网络。特别是,我们开发的,第一次,一个多模态融合网络作为一个联合编码模型,其中每个单一的节点,层和管道表示为一个通道。因此,前向传播等于信道中的信息传输。然后,我们可以定性和定量地分析不同的融合方法的效果。我们认为,最佳的融合架构是有关的基本容量和分配的基础上的源和信道。为了测试这个多模态融合假设,我们逐步确定一系列的多模态模型的基础上提出的融合方法,并评估他们的KITTI和A2D2数据集。我们的最佳融合网络实现了85%以上的车道线准确度和98.7%以上的整体。模型之间的性能差距将为未来继续研究深度多模态学习社区的最佳融合算法提供信息。
2021-03-20 cs.CV
Coupled Feature Learning for Multimodal Medical Image Fusion
Aalto University(阿尔托大学);CentraleSupelec(巴黎中央理工-高等电力学院)
多模态图像融合的目的是将不同传感器获取的图像中的相关信息进行融合。在医学成像中,融合图像在标准诊断和自动诊断中起着至关重要的作用。提出了一种基于耦合字典学习的多模态图像融合方法。所提出的方法是通用的,可以用于不同的医学成像模式。与目前的许多医学融合方法不同,该方法不会受到强度衰减,也不会丢失关键信息。具体地说,要融合的图像被分解成耦合和独立的组件估计使用稀疏表示相同的支持和皮尔逊相关约束,分别。交替最小化算法的设计,以解决由此产生的优化问题。最后的融合步骤使用最大绝对值规则。实验进行使用各种对多模态输入,包括真正的MR-CT和MR-PET图像。所得到的性能和执行时间显示的竞争力,所提出的方法相比,国家的最先进的医学图像融合方法。
2021-02-17 cs.CV cs.LG eess.IV
Human Action Recognition Using Deep Multilevel Multimodal (M2) Fusion of Depth and Inertial Sensors
多年来,已经提出了使用深度和惯性传感器数据的用于人类动作识别(HAR)的多模态融合框架。在大多数现有的作品中,融合是在一个单一的水平(特征级或决策级),错过了机会融合丰富的中级功能,更好的分类。为了解决这个问题,在本文中,我们提出了三种新的深度多级多模态融合框架,利用不同的融合策略在不同的阶段,并利用多级融合的优势。在输入时,我们将深度数据转换为称为序列前视图图像(SFI)的深度图像,并将惯性传感器数据转换为信号图像。通过与Prewitt滤波器进行卷积,进一步使每个输入模态(深度和惯性)成为多模态。创建“模态中的模态”使得能够通过卷积神经网络(CNN)进行进一步的互补和区分特征提取。CNN在每种模态的输入图像上进行训练,以学习低级,高级和复杂的特征。在所提出的框架的不同阶段提取和融合学习特征,以结合鉴别和互补信息。这些高度信息化的特征被用作多类支持向量机(SVM)的输入。我们在三个公开的多模态HAR数据集上评估了所提出的框架,即UTD多模态人类动作数据集(MHAD),伯克利MHAD和UTD-MHAD Kinect V2。实验结果表明,所提出的融合框架优于现有的方法。
2019-10-25 cs.CV cs.LG stat.ML
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University(中山大学电子与信息工程学院)
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标,从而留下了严重影响跨模态融合的模态缺口。在本文中,我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的,为了减少模态差距,我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外,我们施加额外的约束嵌入空间,通过引入重建损失和分类损失。然后,我们融合的编码表示使用层次图神经网络,明确探索单峰,双峰和三峰的相互作用,在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明,通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得:\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective
Northeastern University(东北大学);CATL(宁德时代);City University of Hong Kong(香港城市大学)
本文系统研究了多模态融合架构设计对3D异常检测的影响,涵盖模块内和模块间融合层级,并提出3D-ADNAS首次同时搜索多模态融合策略与模态特定模块,在准确率、帧率和内存上取得一致提升且在少样本任务中潜力显著。
2024-12-23 cs.CV
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo(滑铁卢大学)
由于多模态数据的异构性,来自多模态(诸如视频、语音和文本)的数据的有效融合是具有挑战性的。在本文中,我们提出了自适应融合技术,旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作,比如级联,而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络:1)自动融合,它学习压缩来自不同模态的信息,同时保留上下文,以及2)GAN-Fusion,它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明,我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文,其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心)
多模态学习管道受益于预训练语言模型的成功。然而,这是以增加模型参数为代价的。在这项工作中,我们提出了适应多模态BERT(AMB),BERT为基础的架构,多模态任务,使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型,而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间,预训练的语言模型参数保持冻结,从而允许快速、参数高效的训练。在我们的消融中,我们看到这种方法导致了高效的模型,可以优于其微调的同行,并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明,AMB优于目前最先进的跨指标,与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
Artificial Intelligence-Based Methods for Fusion of Electronic Health Records and Imaging Data
College of Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学科学与工程学院);College of Health and Life Sciences, Hamad Bin Khalifa University(哈马德·本·哈利法大学健康与生命科学学院)
医疗保健数据本质上是多模态的,包括电子健康记录(EHR),医学图像和多组学数据。结合这些多模态数据源有助于更好地了解人类健康,并提供最佳的个性化医疗保健。人工智能(AI)技术的进步,特别是机器学习(ML),使这些不同的数据模态的融合,以提供多模态的见解。为此,在这篇范围审查中,我们专注于综合和分析使用AI技术融合多模态医学数据以用于不同临床应用的文献。更具体地说,我们专注于仅将EHR与医学成像数据融合的研究,以开发用于临床应用的各种AI方法。我们对各种融合策略、使用多模态融合的疾病和临床结果、用于为每个临床应用执行多模态融合的ML算法以及可用的多模式医学数据集进行了全面分析。我们遵循PRISMA-ScR指南。我们检索了Embase、PubMed、Scopus和Google Scholar以检索相关研究。我们从34项符合纳入标准的研究中提取了数据。在我们的分析中,观察到一个典型的工作流程:输入原始数据,通过应用传统的机器学习(ML)或深度学习(DL)算法融合不同的数据模态,最后通过临床结果预测评估多模态融合。具体来说,早期融合是多模态学习的大多数应用中最常用的技术(34项研究中有22项)。我们发现,对于相同的任务,多模态融合模型的性能优于传统的单模态模型。从临床结局的角度来看,疾病诊断和预测是最常见的临床结局(分别在20项和10项研究中报告)。
2022-10-23 cs.AI cs.CV cs.LG
A New Multimodal Medical Image Fusion based on Laplacian Autoencoder with Channel Attention
Visvesvaraya National Institute of Technology Nagpur(那格浦尔维斯瓦拉亚国家理工学院);Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);All India Institute of Medical Sciences Nagpur(那格浦尔全印医学科学学院)
针对现有深度学习医学图像融合模型因下采样导致关键细节丢失的问题,提出基于拉普拉斯-高斯级联与注意力池化的新型融合模型,有效保留了互补信息和重要组织结构。
2023-10-18 cs.CV cs.LG eess.IV
A review of deep learning-based information fusion techniques for multimodal medical image classification
Inserm(法国国家健康与医学研究院);University of Western Brittany(西布列塔尼大学);IMT Atlantique(大西洋电信学院);Sorbonne University(索邦大学);Lariboisière Hospital(拉里布瓦西耶尔医院);AP-HP(巴黎公共医疗集团);Paris Cité University(巴黎城市大学);CHRU Brest(布雷斯特大学中心医院);LaTIM UMR 1101(LaTIM联合研究单位1101)
本文综述了基于深度学习的多模态医学图像分类融合技术,详细分析了输入、中间和输出三种融合方案及其网络架构适用性,并探讨了当前挑战与基于Transformer的未来研究方向。
2024-04-23 cs.AI cs.CV
Multimodal Information Fusion for Glaucoma and DR Classification
Inserm(法国国家健康与医学研究院);University of Western Brittany(西布列塔尼大学);IMT Atlantique(大西洋国立高等工业技术学院);Rothschild Foundation Hospital(罗斯柴尔德基金会医院);Carl Zeiss Meditec Inc(卡尔蔡司医疗科技公司);Lariboisière Hospital(拉里博瓦西耶医院);CHRU Brest(布雷斯特大学中心医院)
多模态信息在医疗任务中经常可用。通过结合多个来源的信息,临床医生能够做出更准确的判断。近年来,多种成像技术已被用于临床实践中的视网膜分析:2D眼底照片,3D光学相干断层扫描(OCT)和3D OCT血管造影等。本文研究了三种基于深度学习的多模态信息融合策略,以解决视网膜分析任务:早期融合,中期融合和分层融合。常用的早期和中期融合是简单的,但没有充分利用模态之间的互补信息。我们开发了一种分层融合方法,专注于跨网络的多个维度组合特征,以及探索模态之间的相关性。这些方法被应用于青光眼和糖尿病视网膜病变分类,使用公共GAMMA数据集(眼底照片和OCT)和PlexElite 9000(Carl Zeis Meditec Inc.)OCT血管造影采集。我们的分层融合方法在这两种情况下表现最好,为更好的临床诊断铺平了道路。
2022-09-05 cs.CV cs.LG eess.IV
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications(南京邮电大学)
由于单模态生物识别系统的不稳定性和局限性,多模态系统越来越受到研究者的关注。然而,如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法(Fingerprint Finger Veins-Channel Spatial Attention Fusion Module,FPV-CSAFM)。具体来说,对于每一对指纹和手指静脉图像,我们首先提出了一个简单而有效的卷积神经网络(CNN)来提取特征。然后,我们建立了一个多模态特征融合模块(通道空间注意力融合模块,CSAFM),充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同,该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重,从而更好地融合不同模态之间的信息,提高整体识别性能。为了评估我们的方法的性能,我们在多个公共数据集上进行了一系列实验。实验结果表明,该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
Deep Learning in Multimodal Remote Sensing Data Fusion: A Comprehensive Review
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Liaocheng University(聊城大学)
随着遥感技术的飞速发展,大量的地球观测数据呈现出复杂的非均匀性,这为研究人员提供了一种全新的方法来解决当前的地学应用问题。近年来,随着光电数据的联合利用,多模式遥感数据融合的研究取得了很大进展,但传统的融合算法由于缺乏对这些强异构数据的综合分析和解释能力,不可避免地遇到了性能瓶颈。因此,这种不可忽视的限制进一步引起了对具有强大处理能力的替代工具的强烈需求。深度学习(Deep Learning,DL)作为一种前沿技术,由于其在数据表示和重构方面的卓越能力,在众多计算机视觉任务中取得了显著的突破。自然,它已成功地应用于多模式遥感数据融合领域,与传统的方法相比,产生了很大的改善。本调查旨在提出一个系统的概述,在DL为基础的多模式遥感数据融合。更具体地说,首先给出了关于这个主题的一些基本知识。最后,通过文献综述分析了该领域的发展趋势。然后,根据待融合的数据模态,即,空间光谱、时空、光探测和测距-光学、合成孔径雷达-光学和RS-地理空间大数据融合。此外,我们还收集和总结了一些有价值的资源,为多模式遥感数据融合的发展提供参考。最后,强调了剩余的挑战和未来的潜在方向。
2022-05-03 cs.CV cs.LG eess.SP
An Attention-based Multi-Scale Feature Learning Network for Multimodal Medical Image Fusion
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院)
医学图像在临床应用中发挥着重要作用。多模态医学图像可以为医生提供丰富的患者信息,便于医生进行诊断。图像融合技术能够将来自多模态图像的互补信息合成到单个图像中。这项技术将防止放射科医生在不同图像之间来回切换,并在诊断过程中节省大量时间。在本文中,我们介绍了一种新的扩张剩余注意力网络的医学图像融合任务。我们的网络能够提取多尺度的深层语义特征。此外,我们提出了一种新的固定融合策略称为Softmax加权策略的基础上Softmax权重和矩阵核范数。大量的实验表明,我们提出的网络和融合策略超过了国家的最先进的性能相比,参考图像融合方法的四个常用的融合度量。
2022-12-09 cs.CV
Exploring Fusion Techniques in Multimodal AI-Based Recruitment: Insights from FairCVdb
Research Institute CODE, University of the Bundeswehr Munich(慕尼黑联邦国防军大学CODE研究院);Institute of Computer Science, Free University Berlin(柏林自由大学计算机科学研究所)
本研究基于FairCVdb数据集调查多模态AI招聘中的融合技术,发现早期融合比晚期融合MAE更低,在存在偏见时仍能实现更准确公平的评估。
2024-06-17 cs.CL cs.CV cs.CY
Deep Equilibrium Multimodal Fusion
针对现有融合方法无法充分捕捉复杂模态间交互动态的问题,提出深度均衡(DEQ)多模态融合方法,通过寻找动态融合过程的不动点并自适应递归地建模特征相关性,在多个多模态基准上取得了最先进的性能。
2023-06-29 cs.CV cs.MM
IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);University of Macau(澳门大学);The University of Hong Kong(香港大学);Inceptio(嬴彻科技);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Zhejiang University(浙江大学)
针对BEV表示中目标小、点云稀疏导致3D感知困难的问题,提出多模态融合框架IS-Fusion,通过分层场景融合和实例引导融合模块联合捕获实例与场景级上下文,生成实例感知BEV表示,在nuScenes基准上超越现有方法。
2024-03-22 cs.CV
Incomplete Multimodal Learning for Remote Sensing Data Fusion
University of Trento(特伦托大学)
针对遥感融合中推理模态缺失问题,提出支持监督与自监督预训练的不完整多模态学习模型,利用融合 token、Bi-LSTM 注意力、掩码自注意力及重建与对比损失,在两类数据集上达到最先进性能。
2023-04-22 cs.CV
Multimodal Local-Global Ranking Fusion for Emotion Recognition
Carnegie Mellon University(卡内基梅隆大学)
情感识别是人工智能和人类交流分析交叉的核心研究领域。这是一个重大的技术挑战,因为人类通过语言,视觉和声学形式的复杂特质组合来表达他们的情感。与传统的多模态融合技术相比,我们从直接的人独立和相对的人依赖的角度来处理情感识别。直接的人独立的角度遵循传统的情感识别方法,直接推断绝对的情感标签从观察到的多模态功能。相对依赖于人的视角通过比较部分视频片段以确定情感强度是否增加或减少来以相对方式接近情感识别。我们提出的模型集成了这些直接和相对预测的角度分为三个更容易的子任务的情感识别任务。第一个子任务涉及一个多模态的本地排名的相对情绪强度之间的两个短段的视频。第二子任务使用局部排名来推断全局相对情绪排名与贝叶斯排名算法。第三个子任务结合了直接预测观察到的多模态行为和相对情绪排名从本地全球排名的最终情绪预测。我们的方法显示出优异的性能,视听情感识别基准和改善其他算法的多模态融合。
2018-08-12 cs.CV cs.HC cs.LG
A Novel Approach to for Multimodal Emotion Recognition : Multimodal semantic information fusion
School of Computer Science and Communication Engineering(计算机与通信工程学院);Harbin University of Commerce(哈尔滨商业大学)
针对多模态情感识别中异构数据融合和模态相关性利用的挑战,提出融合对比学习与视觉序列压缩的DeepMSI-MER方法,在IEMOCAP和MELD数据集上显著提升识别准确性与鲁棒性。
2025-02-12 cs.AI cs.CV
TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots
School of Data Science and Engineering, East China Normal University(东华大学数据科学与工程学院);School of Computer Science, Peking University(北京大学计算机学院)
本文提出 TTTFusion,一种基于测试时训练的图像融合策略,通过在推理阶段动态调整模型参数优化多模态医学图像融合,显著提升了细粒度特征提取与边缘保留的融合质量,为外科机器人实时图像处理提供了新方案。
2025-04-29 cs.CV
Multimodal Prediction based on Graph Representations
University of Campinas (UNICAMP)(坎皮纳斯州立大学);Université de Lorraine(洛林大学);Norwegian University of Science and Technology (NTNU)(挪威科技大学)
本文提出了一种学习模型,基于秩融合图,在多模态预测任务,如多模态回归和图像分类的普遍适用性。等级融合图对来自多个描述符和检索模型的信息进行编码,从而能够捕获模态、样本和集合本身之间的潜在关系。该解决方案基于根据不同标准定义的查询(或测试样本)的多个排名编码到图中。之后,我们将生成的图投影到诱导向量空间中,创建融合向量,以实现更广泛的通用性和效率。然后构建融合向量估计器以推断多模态输入对象是否涉及类。我们的方法能够比早期融合和后期融合替代方案更好地促进融合模型。在多个多模态和视觉数据集以及几个描述符和检索模型的背景下进行的实验表明,我们的学习模型对于涉及视觉,文本和多模态特征的不同预测场景非常有效,比最先进的方法更有效。
2020-07-03 cs.CV
Feature Selection based on PCA and PSO for Multimodal Medical Image Fusion using DTCWT
NMAM Institute of Technology(NMAM 理工学院);MSR Institute of Technology(MSR 理工学院)
多模态医学图像融合有助于提高医学诊断的效率。本文提出了多模态医学图像融合,通过选择相关的功能,使用主成分分析(PCA)和粒子群优化技术(PSO)。DTCWT用于将图像分解成低频系数和高频系数。融合规则,如最小值,最大值和简单平均的组合应用于近似和详细的系数。融合后的图像通过逆DTCWT重构。性能指标进行了评估,它表明DTCWT-PCA表现优于DTCWT-PSO的结构相似性指数测量(SSIM)和互相关(CC)。与DTCWT-PSO相比,DTCWT-PCA在特征选择方面减少了计算时间和特征向量大小,证明了其鲁棒性和存储容量。
2017-01-31 cs.CV
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology(香港科技大学)
本文提出轻量级多模态数据集ERIT,包含老年人情绪反应的文本、图像及七类情绪标签,并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
FusionMMT: A Unified Multimodal and Multitask Learning Framework for Nuclear Fusion
Anhui University(安徽大学);Institute of Plasma Physics, Chinese Academy of Sciences(中国科学院等离子体物理研究所)
针对核聚变托卡马克诊断中多模态多任务学习框架缺失的问题,提出FusionMMT统一框架,集成视觉与时间序列数据,在EAST-VTD640数据集上实现破裂预测、ELM识别和H98回归,性能优于现有方法。
2026-09-23 cs.AI cs.CV
SwimVG: Step-wise Multimodal Fusion and Adaption for Visual Grounding
Hefei University of Technology(合肥工业大学);National University of Defense Technology(国防科技大学);Nanjing University of Science and Technology(南京理工大学)
针对视觉定位中跨模态融合不足和计算成本高的问题,提出SwimVG框架,通过逐步多模态提示和跨模态交互适配器实现参数高效的多模态融合,在四个基准上取得显著效果。
2025-02-28 cs.CV
GraFT: Gradual Fusion Transformer for Multimodal Re-Identification
Modern Intelligence(现代智能公司)
本文提出渐进融合Transformer(GraFT),通过可学习融合令牌和增强三元组损失提升多模态重识别性能,并结合剪枝实现模型大小与性能的平衡。
2023-10-25 cs.CV
Fusion-GCN: Multimodal Action Recognition using Graph Convolutional Networks
University of Koblenz-Landau(科布伦茨-兰道大学)
在本文中,我们提出了融合-GCN,一种使用图卷积网络(GCN)的多模式动作识别方法。基于GCN的动作识别方法最近为基于GCN的动作识别提供了最先进的性能。使用Fusion-GCN,我们建议将各种传感器数据模式集成到一个图中,该图使用GCN模型进行训练,用于多模式动作识别。附加的传感器测量被合并到图形表示中,或者在通道维度(引入附加节点属性)上或者在空间维度(引入新节点)上。Fusion-GCN在两个公共可用数据集(UTD-MHAD和MMACT数据集)上进行了评估,并展示了RGB序列、惯性测量和骨架序列的灵活融合。我们的方法在UTD-MHAD数据集上获得了可比的结果,并通过融合骨骼估计和加速度计测量,将大规模MMACT数据集的基线提高了高达12.37%(F1-Measure)的显著幅度。
2021-09-27 cs.CV
Multimodal Industrial Anomaly Detection via Hybrid Fusion
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对多模态工业异常检测中特征直接拼接导致干扰的问题,提出采用混合融合方案的M3DM模型,通过对比学习、决策层融合及点特征对齐提升检测精度,在MVTec-3D AD数据集上优于SOTA方法。
2023-09-07 cs.CV
Dynamic Multimodal Fusion via Meta-Learning Towards Micro-Video Recommendation
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对微视频推荐中静态多模态融合无法适配不同微视频模态关系的问题,提出基于元学习的动态融合框架MetaMMF,为每个微视频动态生成专属融合函数,在三个基准数据集上优于多个现有模型,还通过规范多变量分解提升了训练效率。
2025-01-13 cs.CV cs.IR cs.MM
Multimodal Fusion Refiner Networks
Facebook AI
依赖于多模态信息的任务通常包括组合来自不同模态的信息的融合模块。在这项工作中,我们开发了一个细化融合网络(ReFNet),使融合模块能够将强单峰表示与强多峰表示相结合。ReFNet将融合网络与解码/解除模块相结合,该模块施加了以模态为中心的责任条件。该方法通过确保单峰和融合表示都在潜在融合空间中被强编码,解决了现有多模态融合框架中的巨大差距。我们证明,精炼融合网络可以提高性能强大的基线融合模块,如多模态Transformers。细化网络使诱导图形表示的融合嵌入在潜在的空间,我们证明在一定的条件下,并支持强有力的经验结果的数值实验。通过将ReFNet与多相似性对比损失函数相结合,进一步加强了这些图形结构。Refiner Fusion Network的模块化特性使其能够轻松地与不同的融合架构相结合,此外,Refiner步骤可以应用于未标记数据集的预训练,从而利用无监督数据来提高性能。我们在三个数据集上展示了Refiner Fusion Networks的强大功能,并进一步表明它们可以仅用一小部分标记数据保持性能。
2021-04-08 cs.AI cs.CV
MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning
CVIU Lab, University of Arkansas, USA(大学实验室,亚利桑那大学,美国);University of Florida, USA(佛罗里达大学,美国);COSMOS Research Center, University of Arkansas, Little Rock, USA(研究机构,亚利桑那大学,小石城,美国);ICSI, University of California, Berkeley, USA(研究机构,加州大学伯克利分校,美国)
MANGO提出了一种基于归一化流和可逆交叉注意力机制的多模态融合学习方法,通过三种新型交叉注意力机制提升多模态数据的建模能力。
2025-11-25 cs.CV
Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition
University of Bristol(布里斯托大学)
Wi-Fi信号的普及为医疗保健等领域的人类感知和活动识别提供了重要机会。最常用于无源Wi-Fi感测的传感器基于无源Wi-Fi雷达(PWR)和信道状态信息(CSI)数据,然而,当前系统不能有效地利用通过多个传感器获取的信息来识别不同的活动。在本文中,我们探索新的性能的Transformer架构的多模态传感器融合。我们研究了不同的信号处理技术,从PWR和CSI数据中提取多个基于图像的特征,如频谱图,尺度图和马尔可夫转移场(MTF)。首先,我们提出了融合Transformer,注意力为基础的多模态和多传感器融合模型。实验结果表明,我们的融合Transformer的方法可以实现有竞争力的结果相比,ResNet架构,但更少的资源。为了进一步改进我们的模型,我们提出了一个简单有效的多模态和多传感器自监督学习(SSL)框架。自监督Fusion Transformer的性能优于基线,达到了95.9%的F1分数。最后,我们展示了这种方法在使用1%(2分钟)到20%(40分钟)的标记训练数据进行训练时,如何显着优于其他方法。
2022-08-15 cs.CV cs.HC cs.LG
Understanding and Overcoming Cross-modal Fusion Bias in Multimodal Anomaly Detection From A Fisher Information Perspective
Northeastern University(东北大学);CATL(宁德时代)
该研究针对多模态异常检测中被忽视的跨模态融合偏差问题,提出即插即用框架UCFB,经实验验证在多种设置下均实现性能提升。
2026-08-04 cs.CV