MM-ViT: Multi-Modal Video Transformer for Compressed Video Action Recognition
OPPO US Research Center(OPPO美国研究中心)
本文提出了一种纯粹的基于transformer的方法,被称为多模态视频Transformer(MM-ViT),视频动作识别。与仅利用解码的RGB帧的其他方案不同,MM-ViT仅在压缩视频域中操作,并利用所有容易获得的模态,即,I帧、运动矢量、残差和音频波形。为了处理大量的时空令牌提取的多个模态,我们开发了几个可扩展的模型变量,分解跨空间,时间和模态维度的自我注意。此外,为了进一步探索丰富的跨模态相互作用及其影响,我们开发并比较了三种不同的跨模态注意力机制,这些机制可以无缝集成到Transformer构建块中。在三个公共动作识别基准(UCF-101,Something-Something-v2,Kinetics-600)上的广泛实验表明,MM-ViT在效率和准确性方面优于最先进的视频Transformers,并且在计算量大的光流方面表现得更好或与最先进的CNN相当。
2021-11-12 cs.CV
CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection
Beihang University(北京航空航天大学)
在自动驾驶中,LiDAR点云和RGB图像是两种主要的数据形式,具有用于3D目标检测的互补线索。然而,由于各种运输方式之间的差异很大,很难充分利用它们。为了解决这个问题,我们提出了一个新的框架,即对比增强的Transformer多模态三维目标检测(CAT-Det)。具体而言,CAT-Det采用了由Pointformer(PT)分支、Imageformer(IT)分支以及跨模态Transformer(CMT)模块组成的双流结构。PT、IT和CMT联合编码用于表示对象的模态内和模态间长距离上下文,从而充分探索用于检测的多模态信息。此外,我们提出了一种有效的单向多模态数据增强(OMDA)的方法,通过分层对比学习在点和对象的水平,显着提高准确性,只有通过增加点云,这是免费的复杂生成的成对样本的两种方式。在KITTI基准上进行的大量实验表明,CAT-Det达到了一个新的最先进水平,突出了其有效性。
2022-04-04 cs.CV
TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis
Beihang University(北京航空航天大学)
利用基于深度卷积的现代计算机辅助诊断技术,多模态皮肤病变诊断(MSLD)取得了显著的成功。然而,由于严重性不一致的空间分辨率(例如,皮肤镜图像和临床图像)和异质数据(例如,皮肤镜图像和患者的元数据)。受限于固有的局部注意力,大多数使用纯卷积的最新MSLD管道难以捕获浅层中的代表性特征,因此跨不同模态的融合通常在管道的末端完成,甚至在最后一层,导致信息聚合不足。为了解决这个问题,我们引入了一个纯粹的基于transformer的方法,我们称之为“贯穿融合Transformer(TFormer)”,用于在MSLD中进行充分的信息集成。与现有的卷积方法不同,所提出的网络利用Transformer作为特征提取的骨干,带来了更具代表性的浅层特征。然后,我们仔细设计了一个堆栈的双分支分层多模态Transformer(HMT)块融合信息在不同的图像模态在一个阶段的方式。利用图像模态的聚合信息,设计了一个多模态Transformer后融合(MTP)模块,以整合图像和非图像数据的特征。首先融合图像模态的信息,然后融合异构模态的信息,这样的策略使我们能够更好地区分和克服这两个主要挑战,同时确保模态间动态有效地建模。
2023-03-02 cs.CV
Multi-Modal Learning for AU Detection Based on Multi-Head Fused Transformers
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
近年来,多模态学习得到了加强,特别是在面部分析和动作单元检测中的应用,同时在1)用于表示的相关特征学习和2)多模态的有效融合方面仍然存在两个主要挑战。最近,有一些工作已经显示出利用注意力机制进行AU检测的有效性,然而,他们中的大多数是将感兴趣区域(ROI)与特征相结合,而很少在每个AU的特征之间应用注意力。另一方面,利用更有效的自注意力机制的Transformer已被广泛用于自然语言处理和计算机视觉任务中,但在AU检测任务中没有被充分开发。本文提出了一种新的端到端的Multi-Head Fusion Transformer(MFT)AU检测方法,该方法通过Transformer编码器从不同模态中学习AU编码特征表示,并通过另一个融合Transformer模块进行模态融合。在融合Transformer模块中设计了多头融合注意力,实现了多模态的有效融合。我们的方法是在两个公共的多模态AU数据库,BP 4D,和BP 4D+上进行评估,结果优于最先进的算法和基线模型。我们进一步分析了AU检测的性能从不同的方式。
2022-03-22 cs.CV
Transformer-based Cross-Modal Recipe Embeddings with Large Batch Training
The University of Electro-Communications(电气通信大学)
本文在ACME~(Adversarial Cross-Modal Embedding)和H-T~(Hierarchical Transformer)的启发下,提出了一个跨模态菜谱检索框架--基于transformer的大批量训练网络(Transformer-based Network for Large Batch Training,TNLBT)。TNLBT旨在完成检索任务,同时从食谱嵌入生成图像。我们应用了基于Hierarchical Transformer的菜谱文本编码器、基于视觉Transformer ~(ViT)的菜谱图像编码器和对抗网络架构,以实现菜谱文本和图像的更好的跨模态嵌入学习。此外,我们使用自监督学习来利用没有对应图像的食谱文本中的丰富信息。根据最近关于自监督学习的文献,由于对比学习可以从较大的批量中受益,因此我们在训练过程中采用了较大的批量,并验证了其有效性。在实验中,所提出的框架显着优于目前国家的最先进的框架在跨模态的食谱检索和图像生成任务的基准Recipe 1 M。这是第一个证实大批量训练对跨模态配方嵌入的有效性的工作。
2022-12-16 cs.CV
Multi-modal Transformer for Video Retrieval
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室);Google Research(谷歌研究院)
检索与自然语言查询相关的视频内容的任务在有效处理互联网规模的数据集方面起着关键作用。大多数现有的方法,这个标题到视频检索问题没有充分利用跨模态提示存在于视频。此外,他们聚合每帧的视觉功能有限或没有时间信息。在本文中,我们提出了一个多模态的Transformer联合编码的不同形式的视频,这使得他们中的每一个参加其他。还利用Transformer架构对时间信息进行编码和建模。在自然语言方面,我们研究了联合优化语言嵌入和多模态Transformer的最佳实践。这个新的框架使我们能够在三个数据集上建立最先进的视频检索结果。更多详情请访问http://thoth.inrialpes.fr/research/MMT。
2020-07-21 cs.CV
TransMed: Transformers Advance Multi-modal Medical Image Classification
Northeastern University(东北大学)
在过去的十年中,卷积神经网络(CNN)在医学图像分析任务中表现出非常有竞争力的性能,例如疾病分类,肿瘤分割和病变检测。CNN在提取图像局部特征方面具有很大的优势。但由于卷积运算的局部性,不能很好地处理长程关系。近年来,Transformers被应用于计算机视觉,并在大规模数据集上取得了显著的成功。与自然图像相比,多模态医学图像具有显式和重要的长程依赖性,有效的多模态融合策略可以大大提高深度模型的性能。这促使我们研究基于transformer的结构,并将其应用于多模态医学图像。现有的基于transformer的网络架构需要大规模的数据集来实现更好的性能。然而,医学图像数据集相对较小,这使得很难将纯Transformers应用于医学图像分析。因此,我们提出了多模态医学图像分类的transMed。TransMed结合了CNN和Transformer的优势,可有效提取图像的低级别特征,并在模态之间建立长期依赖关系。我们评估了我们的模型的腮腺肿瘤的术前诊断的挑战性问题,实验结果表明,我们提出的方法的优势。我们认为,CNN和Transformer的组合在大量的医学图像分析任务中具有巨大的潜力。据我们所知,这是第一个将Transformers应用于医学图像分类的工作。
2021-03-10 cs.CV
A Multi-Modal Transformer Network for Action Detection
University of Virginia(弗吉尼亚大学)
本文提出一种多模态Transformer网络,通过新型多模态注意力机制和摄像机运动失真校正算法增强动作特征,在THUMOS14和ActivityNet上取得领先性能,并构建了小学课堂视频数据集进行验证。
2023-05-31 cs.CV
Cross Modal Transformer: Towards Fast and Robust 3D Object Detection
MEGVII Technology(旷视科技)
本文提出跨模态Transformer(CMT),通过直接融合图像与点云token实现端到端3D目标检测,无需显式视图变换,在nuScenes上达到74.1% NDS,并具备LiDAR缺失时的鲁棒性。
2023-09-18 cs.CV
FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Baidu Research(百度研究院);Great Bay University(大湾区大学);Mininglamp Academy of Sciences, Mininglamp Technology(明略科技明略科学院);Macau University of Science and Technology(澳门科技大学);Westlake University(西湖大学)
针对多模态人脸反欺骗模型部署模态受限、ConvNet模型性能不足的问题,提出纯Transformer架构的FM-ViT框架,通过跨模态注意力机制实现单模型灵活适配多/单模态场景,性能优于单模态框架且参数量和计算量更低。
2023-05-05 cs.CV
CFSum: A Transformer-Based Multi-Modal Video Summarization Framework With Coarse-Fine Fusion
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Zhejiang University(浙江大学)
本文提出CFSum,一种基于Transformer的多模态视频摘要框架,通过两阶段粗细特征融合机制深度融合视频、文本和音频特征,克服了现有方法模态融合不足及忽视音频的局限,实验证实了其有效性与优越性。
2025-03-01 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University(东国大学)
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中,我们提出了一种多模态的面部表情识别方法,利用音频信息以及面部图像提供了一个重要的线索,以区分一些模糊的面部表情。具体来说,我们引入了模态融合模块(MFM)融合视听信息,其中图像和音频特征提取Swin Transformer。此外,我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为(ABAW)挑战中进行了评估。
2023-03-19 cs.CV
Multimodal Token Fusion for Vision Transformers
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
已经出现了许多Transformers的适应性来解决单模态视觉任务,其中自我注意模块被堆叠以处理图像等输入源。直觉上,将多模态数据馈送到视觉Transformer可以提高性能,但是模态内注意力权重也可能被稀释,这可能因此破坏最终性能。在本文中,我们提出了一种多模态令牌融合方法(TokenFusion),专为基于变换器的视觉任务。为了有效地融合多种模态,TokenFusion动态检测无信息的令牌,并将这些令牌替换为投影和聚合的模态间特征。残差位置对准也被采用,以使融合后的模态间对准的明确利用。TokenFusion的设计允许Transformer学习多模态特征之间的相关性,而单模态Transformer架构在很大程度上保持不变。在各种同质和异构模态上进行了大量实验,并证明TokenFusion在三个典型的视觉任务中超越了最先进的方法:多模态图像到图像转换,RGB深度语义分割和点云和图像的3D目标检测。我们的代码可在https://github.com/yikaiw/TokenFusion上获得。
2022-07-15 cs.CV
ACIT: Attention-Guided Cross-Modal Interaction Transformer for Pedestrian Crossing Intention Prediction
Technische Universität Berlin(柏林工业大学)
ACIT通过跨模态交互和注意力机制提升行人过街意图预测的准确性,实验显示在两个数据集上均优于现有方法。
2025-11-25 cs.CV
MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);Research Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院)
针对多光谱行人检测中的错位与模态不平衡问题,提出MS-DETR,采用松散耦合融合和实例感知模态平衡优化,在KAIST、CVC-14和LLVIP上取得优越性能。
2024-11-05 cs.CV
MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出MoVieDrive,通过多模态多视角视频扩散变换器生成城市驾驶场景视频,实现多模态数据生成与可控生成。
2026-03-13 cs.CV
Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);University of Rochester(罗切斯特大学)
视觉语言预训练(VLP)旨在从图像-文本对中学习多模态表示,并以微调的方式为下游视觉语言任务服务。主流的VLP模型采用CNN-Transformer架构,它用CNN嵌入图像,然后用Transformer对齐图像和文本。视觉内容之间的视觉关系在图像理解中起着重要的作用,是进行通道间对齐学习的基础。然而,由于局部感受野在建模远程依赖性方面的弱点,CNN在视觉关系学习方面存在局限性。因此,学习视觉关系和模态间对齐这两个目标被封装在同一个Transformer网络中。这样的设计可能会限制Transformer中的模态间对齐学习,忽略了每个目标的专用特性。为了解决这个问题,我们提出了一个完整的Transformer视觉嵌入VLP更好地学习视觉关系,并进一步促进跨模态对齐。具体来说,我们提出了一个名为通道间流(IMF)的指标来衡量视觉和语言通道之间的相互作用(即,模态间)。我们还在Transformer中设计了一种新的掩蔽优化机制--掩蔽特征回归(Masked Feature Regression,MFR),以进一步促进通道间学习。据我们所知,这是第一项研究,探讨Transformer的视觉特征学习VLP的好处。我们验证了我们的方法在广泛的视觉语言任务,包括图像文本检索,视觉问答(VQA),视觉蕴涵和视觉推理。我们的方法不仅优于最先进的VLP性能,而且还显示出对IMF指标的好处。
2021-11-09 cs.CV
Matching of SAR and optical images based on transformation to shared modality
Samara National Research University(萨马拉国立研究大学)
本文提出了一种基于共享模态的SAR与光学图像匹配方法,通过转换图像到共同模态提升匹配精度和灵活性。
2026-02-13 cs.CV
ModalFormer: Multimodal Transformer for Low-Light Image Enhancement
Department of Computer Science University of Manchester(计算机科学系曼彻斯特大学);Department of Computer and Information Technology Politehnica University of Timisoara(计算机与信息科技系蒂米什瓦拉工业大学)
本文提出首个大规模多模态 LLIE 框架 ModalFormer,通过 CM-T、CM-MSA 及辅助子网络融合 RGB 与九种辅助模态,在多个基准上达到最先进性能。
2025-07-27 cs.CV
M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection
Fudan University(复旦大学);Huya Inc(虎牙公司);Meta AI
Deepfakes的广泛传播需要有效的方法来检测感知上令人信服的伪造图像。在本文中,我们的目标是捕捉微妙的操纵文物在不同尺度上使用Transformer模型。特别是,我们引入了一个多模态多尺度Transformer(M2 TR),它操作在不同大小的补丁,以检测在不同的空间级别的图像中的局部不一致。M2 TR进一步学习在频域中检测伪造伪影,以通过精心设计的交叉模态融合块补充RGB信息。此外,为了刺激Deepfake检测研究,我们引入了一个高质量的Deepfake数据集SR-DF,该数据集由最先进的面部交换和面部重现方法生成的4,000个DeepFake视频组成。我们进行了大量的实验来验证所提出的方法的有效性,该方法通过清晰的边缘优于最先进的Deepfake检测方法。
2022-04-19 cs.CV
Autoencoders as Cross-Modal Teachers: Can Pretrained 2D Image Transformers Help 3D Representation Learning?
Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学);MEGVII Technology(旷视科技);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
深度学习的成功在很大程度上依赖于具有全面标签的大规模数据,与2D图像或自然语言相比,在3D中获取这些数据更加昂贵和耗时。这促进了利用超过3D的数据预训练的模型作为跨模态知识转移的教师的潜力。在本文中,我们以知识蒸馏的统一方式重新审视掩蔽建模,我们表明,使用2D图像或自然语言预训练的基础Transformers可以通过将自动编码器训练为跨模态教师(ACT)来帮助自监督3D表示学习。使用离散变分自编码自我监督将预训练的Transformers转换为跨模态3D教师,在此期间,Transformers通过提示微调被冻结以获得更好的知识继承。由3D教师编码的潜在特征被用作掩蔽点建模的目标,其中暗知识被提取给3D Transformer学生作为基础几何理解。我们的ACT预训练3D学习器在各种下游基准中实现了最先进的泛化能力,例如,ScanObjectNN的总体准确率为88.21%。代码已在https://github.com/RunpeiDong/ACT上发布。
2023-02-02 cs.CV
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon(亚马逊)
由于食物在人们生活中的重要性,以及大量数字烹饪食谱和食物图像可用于训练机器学习模型,跨模态食谱检索最近获得了大量关注。在这项工作中,我们重新审视了现有的跨模态食谱检索方法,并提出了一个简化的端到端模型,该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer,它专注地编码各个配方组件(标题,成分和说明)。此外,我们提出了一个自我监督的损失函数计算上对个人的配方组件,这是能够利用配方内的语义关系,并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究,以验证我们的设计选择。因此,我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University(索邦大学);Meta AI;Meero(Meero公司)
近年来,跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入,这允许在大规模数据库中进行有效检索,而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架,T-食品(Transformer解码器与多模态正则化跨模态食品检索),利用模态之间的相互作用,在一个新的正则化方案,而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器,并提出了新的变体的三重损失与动态利润率,适应任务的难度。最后,我们利用最新的视觉和语言预训练(VLP)模型(如CLIP)用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言,我们在1 k和10 k测试集上分别实现了8.1%(72.6 R@1)和+10.9%(44.6 R@1)的绝对改进。代码可以在这里找到:https://github.com/mshukor/TFood
2022-04-20 cs.CV
Comparative Evaluation of Traditional and Deep Learning Feature Matching Algorithms using Chandrayaan-2 Lunar Data
Manipal University Jaipur(斋浦尔马尼帕尔大学);Space Applications Centre ISRO(印度空间研究组织空间应用中心)
针对月球多传感器跨模态图像配准难题,评估了五种特征匹配算法并提出预处理流程,发现深度学习方法SuperGlue性能最优,验证了预处理与学习型方法对鲁棒月球图像配准的价值。
2025-09-05 cs.CV
Multi-modal Multi-label Facial Action Unit Detection with Transformer
University of Electronic Science and Technology of China(中国电子科技大学)
面部动作编码系统是面部表情分析的一种重要方法,本文介绍了我们参加2022年第三届情感行为分析(ABAW)竞赛的情况。提出了一种基于人脸识别器的人脸动作单元检测模型。具体来说,我们首先训练了一个多模态模型来提取音频和视觉特征。在此基础上,提出了一个动作单元关联模块来学习各个动作单元标签之间的关系,并对动作单元检测结果进行细化。在验证数据集上的实验结果表明,该方法比基线模型具有更好的性能,验证了该网络的有效性。
2022-03-28 cs.CV
Local Area Transform for Cross-Modality Correspondence Matching and Deep Scene Recognition
Yonsei University(延世大学)
建立对应关系是各种图像处理和计算机视觉应用中的基本任务。特别是,找到由不同模态条件引起的非线性变形图像对之间的对应关系是一个具有挑战性的问题。本文介绍了一种高效而强大的图像变换称为局部区域变换(LAT)的模态鲁棒对应估计。具体而言,LAT将图像从强度域变换到局部区域域,该局部区域域在非线性强度变形(特别是辐射、光度和光谱变形)下是不变的。此外,强大的特征描述符与LAT重新制定了几个实际应用。此外,提出了LAT卷积层和接收块,并利用这些新组件,提出了称为LAT网络的深度神经网络,特别是用于场景识别任务。实验结果表明,LA变换的图像提供了一致的非线性变形的图像,即使在随机强度变形。与传统方法相比,LAT降低了平均绝对差。此外,与LAT的描述符的重新制定显示出优越性,传统的方法,这是一个很有前途的结果的任务,跨频谱和模态对应匹配。局部区域可以被认为是强度域的替代域,以实现鲁棒的对应匹配、图像识别和许多应用:例如特征匹配、立体匹配、密集对应匹配、图像识别和图像检索。
2019-01-03 cs.CV
MMDiff: Extending Diffusion Transformers for Multi-Modal Generation
University of Oxford, Visual Geometry Group(牛津大学视觉几何组)
提出MMDiff框架,利用冻结的扩散变换器通过轻量解码器联合生成图像及多种密集感知模态,发现多时间步特征融合与空间变化聚合权重是关键,在语义分割等任务上取得优异性能。
2026-07-09 cs.CV
Multi-Modal Vision Transformers for Crop Mapping from Satellite Image Time Series
BIFOLD - Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
针对卫星图像时间序列作物制图任务,提出多种多模态多时相Transformer架构,在TSViT中探究三类融合策略的效果,性能显著优于现有主流架构。
2024-06-24 cs.CV
MultiTSF: Transformer-based Sensor Fusion for Human-Centric Multi-view and Multi-modal Action Recognition
本文提出MultiTSF,通过Transformer动态建模多视角关系并引入人体检测模块生成伪标签,在多视角多模态动作识别中超越现有方法。
2025-04-07 cs.CV
HM-ViT: Hetero-modal Vehicle-to-Vehicle Cooperative perception with vision transformer
University of California, Los Angeles(加州大学洛杉矶分校)
针对不同车辆传感器模态不一的协同感知问题,提出统一框架 HM-ViT,通过异质三维图 Transformer 融合图像与 LiDAR 特征,并在 OPV2V 上超越现有 SOTA 方法。
2023-04-20 cs.CV
Multimodal Image Fusion based on Hybrid CNN-Transformer and Non-local Cross-modal Attention
Shanghai Jiao Tong University(上海交通大学);University of Electronic Science and Technology of China(电子科技大学);University of Calgary(卡尔加里大学)
对多传感器图像进行融合,可以丰富图像信息,提高成像质量。在这篇文章中,我们提出了一个混合模型,由卷积编码器和基于transformer的解码器融合多模态图像。在编码器中,提出了一种非局部跨模态注意块来捕获多个源图像的局部和全局依赖性。设计了分支融合模块,对两个分支的特征进行自适应融合。我们在解码器中嵌入一个线性复杂度的Transformer模块,以增强所提出的网络的重构能力。定性和定量的实验证明了该方法的有效性,通过比较它与现有的国家的最先进的融合模型。我们工作的源代码可以在https://github.com/pandayuanyu/HCFusion上找到。
2022-10-18 cs.CV
Paths: Prompt-aware Spatio-temporal Transformer with Hierarchical Multi-modal Fusion for RGB-Event Video Person Re-Identification
Dalian University of Technology(大连理工大学)
针对现有RE-VReID方法时空建模解耦、多模态融合不足的问题,提出含MAB、PST、HMF模块的Paths框架,在三个基准上验证了有效性。
2026-08-14 cs.CV
M6-UFC: Unifying Multi-Modal Controls for Conditional Image Synthesis via Non-Autoregressive Generative Transformers
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Tsinghua University(清华大学)
条件图像合成的目的是根据一些多模态的指导,以文本描述,参考图像和图像块保存的形式,以及它们的组合来创建图像。在本文中,而不是单独调查这些控制信号,我们提出了一个新的两级架构,M6-UFC,统一任何数量的多模态控制。在M6-UFC中,不同的控制信号和合成图像都被统一表示为要由Transformer处理的离散令牌序列。与已有的DALL-E和VQGAN等两阶段自回归方法不同,M6-UFC在第二阶段采用非自回归生成(NAR),以增强合成图像的整体一致性,支持特定图像块的保持,提高合成速度。此外,我们设计了一个渐进的算法,迭代地提高了非自回归生成的图像,与两个估计开发的控制和评估的合成图像的保真度,分别评估的帮助。在新收集的大规模服装数据集M2 C-Fashion和面部数据集Multi-Modal CelebA-HQ上进行的大量实验验证了M6-UFC可以合成符合灵活多模态控制的高保真图像。
2022-02-19 cs.CV
NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation
Tianjin University(天津大学);The University of Hong Kong(香港大学);Huanhu Hospital(环湖医院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
多模态MR成像在临床实践中常规用于通过提供丰富的互补信息来诊断和研究脑肿瘤。以前的多模态MRI分割方法通常通过在网络的早期/中期连接多模态MRI来执行模态融合,这几乎不探索模态之间的非线性依赖关系。在这项工作中,我们提出了一种新的嵌套模态感知的Transformer(NestedFormer)明确探索内模态和模态间的关系,多模态MRI脑肿瘤分割。建立在基于变换的多编码器和单解码器结构上,我们对不同模态的高级表示进行嵌套多模态融合,并在较低尺度上应用模态敏感门控(MSG)以实现更有效的跳过连接。具体而言,多模态融合进行我们提出的嵌套模态感知特征聚合(NMaFA)模块,增强长期依赖性的个人模态通过三向空间注意力Transformer,并进一步补充关键上下文信息之间的模态通过跨模态注意力Transformer。在BraTS 2020基准和私人脑膜瘤分割(MeniSeg)数据集上进行的大量实验表明,NestedFormer的性能明显优于最先进的技术。该代码可在https://github.com/920232796/NestedFormer上获得。
2022-08-31 cs.CV eess.IV
Hierarchical Multi-modal Transformer for Cross-modal Long Document Classification
Beijing University of Technology(北京工业大学);The University of Sydney(悉尼大学)
针对长文档多模态数据利用不足、层级结构文本与嵌入图像分类难的问题,提出分层多模态Transformer HMT,通过分层特征交互融合及动态掩码转移模块建模多模态关系,在四类数据集上性能优于现有单/多模态方法。
2024-07-14 cs.AI cs.CV
Transformer-based Multi-Modal Learning for Multi Label Remote Sensing Image Classification
Faculty of Electrical Engineering and Computer Science, Technische Universität Berlin(柏林工业大学电机工程与计算机科学学院);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
提出 SCT Fusion 架构,通过在各 transformer 编码器块后用可训练变换同步类令牌来融合多模态遥感信息,并在多标签分类数据集上验证其优于单模态和早期融合方法。
2023-06-02 cs.CV cs.LG
Random smooth gray value transformations for cross modality learning with gray value invariant networks
Radboud University Medical Center(拉德布德大学医学中心);Nijmegen(奈梅亨(注:Nijmegen是城市名,通常不单独作为机构,但根据上下文可能是指拉德布德大学医学中心所在城市,此处仅按原文提取))
随机变换通常用于增强训练数据,目的是降低训练样本的均匀性。这些变换通常针对在来自相同模态的图像中可以预期的变化。在这里,我们提出了一个简单的方法来转换图像的灰度值,以减少跨模态差异的目标。这种方法能够使用专门用MR图像训练的网络分割CT图像中的腰椎椎体。源代码可在https://github.com/nlessmann/rsgt上获得
2020-03-13 cs.CV eess.IV
Towards Multi-modal Transformers in Federated Learning
University of Central Florida(中佛罗里达大学);Center for Research in Computer Vision(计算机视觉研究中心)
针对联邦学习中多模态 Transformer 训练的数据孤岛问题,提出 FedCola 框架,通过解决模态内与跨模态差距,在多种 FL 设置下显著优于现有方法。
2024-07-16 cs.CV cs.LG
Anticipative Feature Fusion Transformer for Multi-Modal Action Anticipation
Fraunhofer IOSB(弗劳恩霍夫光学、电子与精密工程研究所);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
虽然人类动作预测是一项固有的多模态任务,但众所周知的动作预测数据集上的最新方法通过应用集成方法和平均单峰预测网络的分数来利用这些数据。在这项工作中,我们介绍了Transformer为基础的模态融合技术,统一多模态数据在早期阶段。我们的预期特征融合Transformer(AFFT)被证明优于流行的评分融合方法,并在EpicKitchen-100和EGTEA Gaze+上呈现出优于以前方法的最新结果。我们的模型是很容易扩展,并允许添加新的模式,而无需架构的变化。因此,我们在EpicKitchen-100上提取了音频特征,并将其添加到社区中常用的特征集中。
2022-10-23 cs.CV cs.RO
Multi-Modal Transformer for Accelerated MR Imaging
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Northwestern Polytechnical University(西北工业大学);Terminus Group(特斯联集团);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所)
加速多模态磁共振(MR)成像是快速MR成像的一种新的有效解决方案,在辅助模态的引导下,从采样不足的对应模态恢复目标模态时具有卓越的性能。然而,现有的工作只是简单地结合了辅助模态作为先验信息,缺乏深入的调查的潜在机制,融合不同的模态。此外,它们通常依赖于卷积神经网络(CNN),这在捕获长距离依赖性方面受到固有局部性的限制。为此,我们提出了一种多模态Transformer(MTrans),它能够将多尺度特征从目标模态转移到辅助模态,用于加速MR成像。为了捕获深层多模态信息,我们的MTrans采用了一种改进的多头注意机制,称为交叉注意模块,它从辅助模态中吸收有助于目标模态的特征。我们的框架提供了三个有吸引力的好处:(i)我们的MTRAN使用改进的Transformers进行多模态MR成像,与现有的基于CNN的方法相比,提供更多的全局信息。(ii)提出了一种新的交叉注意模块,以利用不同尺度下每种模态中的有用信息。目标模态中的小块用于保持更精细的细节,辅助模态中的大块用于从更大的区域中获取更高层次的上下文特征,有效地补充目标模态。(iii)我们通过各种加速多模态MR成像任务评估MTRans,例如,MR图像重建和超分辨率,其中MTrans在快速MRI和真实世界临床数据集上的表现优于最先进的方法。
2022-05-11 cs.CV eess.IV
Flat Multi-modal Interaction Transformer for Named Entity Recognition
South China University of Technology(华南理工大学);International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
多模态命名实体识别(MNER)旨在借助图像识别社交媒体帖子中的实体跨度并识别其类别。然而,在主流的MNER方法中,不同模态之间的交互通常是通过自我注意和交叉注意的交替或过度依赖选通机制来进行的,这导致文本和图像的细粒度语义单元之间的对应不精确和有偏见。为了解决这个问题,我们提出了一个平面多模态交互Transformer(FMIT)的MNER。具体来说,我们首先利用句子中的名词短语和一般领域词来获得视觉线索。然后,我们将视觉和文本的细粒度语义表示转换为统一的格结构,并设计一种新型的相对位置编码来匹配Transformer中的不同模态。同时,我们建议利用实体边界检测作为辅助任务,以减轻视觉偏见。实验表明,我们的方法实现了新的国家的最先进的性能在两个基准数据集。
2023-03-09 cs.CL cs.CV
TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction
Queensland Brain Institute, University of Queensland(昆士兰大学昆士兰脑研究所);Southern University of Science and Technology(南方科技大学)
本文提出 Triformer 多模态 Transformer 框架,通过图像、临床和模态融合三个专用模块预测 MCI 是否进展为 AD,并在 ADNI 数据集上超越现有方法。
2023-07-14 cs.AI cs.CV
Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data
Queensland Brain Institute, The University of Queensland(昆士兰脑研究所,昆士兰大学);School of Information Technology and Electrical Engineering, The University of Queensland(信息技术与电气工程学院,昆士兰大学)
针对阿尔茨海默病分类中多模态数据缺失导致数据利用率低、模型性能受限的问题,提出带交叉注意力与模态丢弃机制的3MT模型,可处理任意数量模态与缺失数据,在ADNI、AIBL数据集上取得优异表现。
2023-07-16 cs.CV eess.IV
Fast-StrucTexT: An Efficient Hourglass Transformer with Modality-guided Dynamic Token Merge for Document Understanding
Beijing Institute of Technology(北京理工大学);Baidu Inc(百度公司);Shenzhen MSU-BIT University(深圳北理莫斯科大学)
提出Fast-StrucTexT高效多模态框架,采用沙漏Transformer架构与模态引导动态token合并块,结合对称交叉注意力模块实现多粒度表示与冗余token剪枝,在三个数据集上达到SOTA性能且推理速度提升1.9倍。
2023-05-19 cs.CL cs.CV
UniColor: A Unified Framework for Multi-Modal Colorization with Transformer
City University of Hong Kong(香港城市大学);University of Bath(巴斯大学)
我们提出了第一个统一的框架UniColor,以支持多种形式的着色,包括无条件和有条件的,如中风,样本,文本,甚至它们的混合。我们不是为每种类型的条件学习一个单独的模型,而是引入一个两阶段的着色框架,将各种条件合并到一个模型中。在第一阶段中,多模态条件被转换为提示点的共同表示。特别是,我们提出了一种新的基于CLIP的方法来转换文本的提示点。在第二阶段,我们提出了一个由Chroma-VQGAN和Hybrid-Transformer组成的基于Transformer的网络,以生成以提示点为条件的多样化和高质量的着色结果。定性和定量的比较表明,我们的方法优于国家的最先进的方法,在每一个控制模式,并进一步实现多模态彩色化,这是不可行的。此外,我们还设计了一个交互式界面,展示了我们的统一框架在实际使用中的有效性,包括自动着色,混合控制着色,局部着色和迭代颜色编辑。我们的代码和模型可以在https://luckyhzt.github.io/unicolor上找到。
2022-09-22 cs.CV cs.GR
CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with Modality-Correlated Cross-Attention for Brain Tumor Segmentation
South China University of Technology(华南理工大学);Guangdong Provincial People’s Hospital, Guangdong Academy of Medical Sciences(广东省人民医院,广东省医学科学院)
磁共振图像中的脑肿瘤分割(BTS)对于脑肿瘤的诊断、治疗和研究具有重要意义。随着十年BraTS挑战赛的巨大成功以及CNN和Transformer算法的进步,人们提出了许多优秀的BTS模型来解决BTS在不同技术方面的困难。然而,现有的研究很少考虑如何以合理的方式融合多模态图像。在本文中,我们利用放射科医生如何从多种MRI模式诊断脑肿瘤的临床知识,并提出了一个临床知识驱动的脑肿瘤分割模型,称为CKD-TransBTS。而不是直接连接所有的模态,我们重新组织的输入模态分为两组,根据MRI的成像原理。提出了一种基于模态相关交叉注意块(MCCA)的双分支混合编码器,用于提取多模态图像特征。该模型继承了Transformer和CNN的优点,具有精确病变边界的局部特征表示能力和3D体积图像的远程特征提取能力。为了弥合Transformer和CNN特征之间的差距,我们在解码器中提出了一个Trans&CNN特征校准块(TCFC)。我们将所提出的模型与BraTS 2021挑战数据集上的五个基于CNN的模型和六个基于transformer的模型进行了比较。大量的实验表明,该模型实现了国家的最先进的脑肿瘤分割性能相比,所有的竞争对手。
2022-07-15 cs.CV eess.IV
HaploVL: A Single-Transformer Baseline for Multi-Modal Understanding
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);Tsinghua University(清华大学)
针对单Transformer原生大多模态模型资源消耗高、性能弱于组合式模型的问题,提出早期融合的HaploVL及高效训练方案,提升单Transformer LMM性能并缩小与组合式模型的差距。
2025-03-12 cs.CL cs.CV
Distilled Mid-Fusion Transformer Networks for Multi-Modal Human Activity Recognition
University of New South Wales(新南威尔士大学)
提出基于知识蒸馏的多模态中间融合方法DMFT,通过教师模型提取时空特征并蒸馏至轻量学生模型,在公开数据集上实现高效且鲁棒的活动识别。
2023-05-05 cs.CV cs.HC
Multi-modal Spatio-Temporal Transformer for High-resolution Land Subsidence Prediction
ADAPT SFI Research Centre, School of Computer Science, University College Dublin(ADAPT SFI研究所以及计算机科学学院,都柏林大学学院)
针对现有高分辨率地面沉降预测方法单模态范式局限、长程依赖建模不足的问题,提出融合动态位移与静态物理先验的多模态时空Transformer,凭借联合时空注意力机制在EGMS数据集上将长程预测RMSE降低一个数量级,刷新SOTA。
2025-10-01 cs.AI cs.CV
MH-DETR: Video Moment and Highlight Detection with Cross-modal Transformer
Nanjing University(南京大学);Hubei Normal University(湖北师范大学);MedAI Technology (Wuxi) Co., Ltd.(无锡医渡云科技有限公司);Technical University of Munich(慕尼黑工业大学)
针对现有基于DETR的视频片段与高光检测方法存在的模态融合粗糙、跨模态交互不足问题,提出MH-DETR,通过单模态池化算子和跨模态交互模块提升性能,在多个数据集上超越现有SOTA方法。
2023-04-29 cs.AI cs.CV
TAMFormer: Multi-Modal Transformer with Learned Attention Mask for Early Intent Prediction
University of Padova(帕多瓦大学)
人类意图预测是一个不断增长的研究领域,其中视频中的活动必须由基于视觉的系统来预测。为此,该模型创建了过去的表示,随后,它产生了关于即将到来的情景的未来假设。在这项工作中,我们专注于行人的早期意图预测,其中,从目前的观察城市场景,该模型预测未来的活动,接近街道的行人。我们的方法是基于一个多模态的Transformer,编码过去的意见,并产生多个预测在不同的预期时间。此外,我们建议学习我们的基于transformer的模型(时间自适应掩码Transformer)的注意力掩码,以不同地权衡现在和过去的时间依赖性。我们研究了我们的方法在几个公共基准的早期意图预测,提高预测性能在不同的预期时间相比,以前的作品。
2022-10-26 cs.CV cs.MM
Hyper-Connected Transformer Network for Multi-Modality PET-CT Segmentation
Department of Nuclear Medicine, Fudan University Shanghai Cancer Center(复旦大学附属上海癌症中心核医学科)
本文提出超连接Transformer网络(HCT),通过多分支Transformer分别提取PET-CT特征,并以超连接融合迭代整合上下文与互补信息,在两个临床数据集上实现了优于现有方法的肿瘤分割精度。
2023-08-07 cs.CV eess.IV
Multi-scale multi-modal micro-expression recognition algorithm based on transformer
微表情是一种自发的无意识的面部肌肉运动,可以揭示人们试图隐藏的真实情绪。尽管人工方法已经取得了很好的进展,而且深度学习也越来越突出。由于微表情的持续时间短,且人脸区域表达的尺度不同,现有算法无法在提取多模态多尺度人脸区域特征的同时,考虑上下文信息学习底层特征。为此,针对上述问题,本文提出了一种基于Transformer网络的多模态多尺度算法,旨在通过微表情的两种模态特征--运动特征和纹理特征,充分学习微表情的局部多粒度特征。为了获得不同尺度下的人脸局部区域特征,首先学习两种模式下不同尺度下的斑块特征,然后融合多层多头注意力权重,通过对斑块特征加权获得有效特征,并结合跨模式对比学习进行模型优化。在3个自发数据集上进行了综合实验,结果表明,该算法在SMIC单测量数据库上的准确率达到78.73%,在CASMEII上的F1值达到0.9071,处于领先水平。
2023-01-11 cs.AI cs.CV
Multi-Modal Fusion Transformer for Visual Question Answering in Remote Sensing
Technische Universitat Berlin(柏林工业大学)
随着新一代卫星技术的发展,遥感(RS)图像档案的增长非常快。为了使每幅遥感图像的内在信息易于获取,视觉问答(VQA)被引入到遥感中。VQA允许用户制定一个自由形式的问题,有关内容的RS图像提取通用信息。已经表明,输入模态的融合(即,图像和文本)对于VQA系统的性能至关重要。目前的融合方法大多使用特定于模态的表示来代替联合表示学习。然而,为了发现图像和问题模态之间的潜在关系,模型需要学习联合表示,而不是简单地组合(例如,连接、相加或相乘)模态特定表示。我们提出了一个多模态变压器为基础的架构,以克服这个问题。我们提出的架构由三个主要模块组成:i)用于提取模态特定特征的特征提取模块; ii)融合模块,它利用VisualBERT模型(VB)的用户定义数量的多模态Transformer层; iii)分类模块,以获得答案。在RSVQAxBEN和RSVQA-LR数据集(由Sentinel-2图像的RGB波段组成)上获得的实验结果证明了VBFusion在RS中用于VQA任务的有效性。为了分析在VQA框架中使用其他光谱波段描述RS图像复杂内容的重要性,我们扩展了RSVQAxBEN数据集,以包括具有10 m和20 m空间分辨率的Sentinel-2图像的所有光谱波段。
2022-10-10 cs.AI cs.CV