FSATFusion: Frequency-Spatial Attention Transformer for Infrared and Visible Image Fusion
针对现有卷积网络融合红外与可见光图像时全局信息捕捉不足的问题，提出含频率-空间注意力模块与改进Transformer的FSATFusion网络，在融合效果、效率、泛化性及下游检测任务上均优于前沿方法。
2025-06-12 cs.CV
SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration
Xinjiang University（新疆大学）；Shandong University of Technology（山东理工大学）
尽管卷积神经网络（CNN）在图像复原方面取得了很好的进展，但卷积的内在等价性和局部性仍然制约着图像质量的进一步提高。最近的视觉Transformer和自我注意力在各种计算机视觉任务上取得了可喜的成果。然而，直接利用Transformer进行图像复原是一项具有挑战性的任务。在本文中，我们介绍了一种有效的混合架构的沙子图像复原任务，它利用本地功能从CNN和远程依赖捕获的Transformer，以进一步改善结果。针对Transformer和CNN之间的特征不一致问题，提出了一种有效的沙尘图像复原混合结构。该框架通过调制基于CNN和基于Transformer的分支的特征来补充每个表示，而不是简单地添加或连接特征。实验表明，与以往的沙粒图像复原方法相比，SandFormer在合成和真实沙尘场景中的复原性能都有了显著的提高。
2023-03-08 cs.CV
TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning
Digital Medical Research Center, School of Basic Medical Science, Fudan University（复旦大学基础医学院数字医学研究中心）；Shanghai Key Lab of Medical Image Computing and Computer Assisted Intervention（上海市医学图像计算与计算机辅助干预重点实验室）
在本文中，我们提出了transMEF，一个基于transformer的多曝光图像融合框架，使用自监督多任务学习。该框架基于编码器-解码器网络，该网络可以在大型自然图像数据集上进行训练，并且不需要地面真值融合图像。根据多次曝光图像的特点，设计了三个自监督重建任务，并采用多任务学习的方法同时进行这些任务，通过这个过程，网络可以学习多次曝光图像的特征，并提取更广义的特征。此外，为了弥补在基于CNN的架构中建立远程依赖关系的缺陷，我们设计了一个编码器，该编码器将CNN模块与Transformer模块相结合。这种组合使网络能够同时关注本地和全球信息。我们在最新发布的多曝光图像融合基准数据集上对我们的方法进行了评估，并将其与11种具有竞争力的传统方法和基于深度学习的方法进行了比较，我们的方法在主观和客观评估中均取得了最佳性能。
2021-12-15 cs.CV
TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning
Fudan University（复旦大学）
图像融合是一种将多个源图像的信息与互补信息相结合，以提高单个图像的丰富性的技术。现有的端到端图像融合方法由于缺乏针对特定任务的训练数据和相应的地面真值，容易陷入过拟合或繁琐的参数优化过程。两阶段方法通过在大规模自然图像数据集上训练编解码器网络，并利用提取的特征进行融合，避免了对大量特定任务训练数据的需求，但自然图像与不同融合任务之间的领域差距导致了性能的限制。在这项研究中，我们设计了一种新的基于编码器-解码器的图像融合框架，并提出了一种基于破坏-重建的自监督训练方案，以鼓励网络学习特定于任务的特征。具体而言，我们提出了三种破坏-重建自监督辅助任务，分别用于基于像素强度非线性变换、亮度变换和噪声变换的多模态图像融合、多曝光图像融合和多聚焦图像融合。为了鼓励不同的融合任务相互促进，提高训练网络的泛化能力，我们通过随机选择其中一个来整合三个自监督辅助任务，以在模型训练中破坏自然图像。此外，我们设计了一个新的编码器，结合CNN和Transformer进行特征提取，使训练的模型可以利用局部和全局信息。在多模态图像融合、多曝光图像融合和多聚焦图像融合任务上的大量实验表明，该方法在主观和客观评价方面都达到了最先进的性能。该代码将很快公开。
2022-01-19 cs.CV
DreamFuse: Adaptive Image Fusion with Diffusion Transformer
Sun Yat-sen University（中山大学）；ByteDance Intelligent Creation（字节跳动智能创作）；Peng Cheng Laboratory（鹏城实验室）
DreamFuse提出基于扩散Transformer的自适应图像融合方法，通过人在回路数据生成流程、位置仿射机制和局部化直接偏好优化，实现前景与背景的和谐交互融合，并在多个指标上超越现有方法。
2025-04-11 cs.CV
MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer
Shanghai University（上海大学）；Fudan University（复旦大学）；Sun Yat-sen University（中山大学）
本文提出MATCNN方法，通过多尺度卷积与注意力Transformer结合局部和全局特征提取，并利用信息掩码引导优化，以提升红外与可见光图像融合质量。
2025-02-04 cs.CV
Array Camera Image Fusion using Physics-Aware Transformers
Duke University（杜克大学）；University of Arizona（亚利桑那大学）
我们展示了一个物理感知的Transformer，用于从具有不同分辨率、颜色空间、焦平面、焦距和曝光的相机进行基于特征的数据融合。我们还展示了一个可扩展的解决方案，合成训练数据生成的Transformer使用开源计算机图形软件。我们展示了不同的光谱响应，瞬时视场和帧速率的阵列上的图像合成。
2022-07-05 cs.CV eess.IV
Towards Unified Semantic and Controllable Image Fusion: A Diffusion Transformer Approach
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Electronic Information School, Wuhan University（武汉大学电子信息学院）
DiTFuse通过融合图像与自然语言指令，实现端到端、语义感知的图像融合，统一了多种融合任务并在多个基准测试中表现出色。
2025-12-08 cs.AI cs.CV
Transformer-Based Sensor Fusion for Autonomous Driving: A Survey
Motional（莫蒂安）
传感器融合是自动驾驶和机器人等许多感知系统中的一个重要课题。根据数据集排行榜，基于变换器的检测头和基于CNN的特征编码器从原始传感器数据中提取特征，已成为性能最佳的传感器融合3D检测框架之一。在这项工作中，我们提供了一个深入的文献调查Transformer为基础的3D-目标检测任务在最近的过去，主要集中在传感器融合。我们还简要介绍了视觉Transformer（ViT）的基础知识，以便读者可以轻松地阅读本文。此外，我们还简要介绍了几种基于非变压器的不太占主导地位的自动驾驶传感器融合方法。最后，我们总结了传感器融合的发展趋势，以遵循和引发未来的研究。更多更新的摘要可以在https://github.com/ApoorvRoboticist/Transformers-Sensor-Fusion上找到
2023-02-22 cs.CV
TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network
Jiangnan University（江南大学）；University of Surrey（萨里大学）
端到端图像融合框架已经取得了令人鼓舞的性能，专用卷积网络聚合了多模态局部外观。然而，在现有的CNN融合方法中，直接忽略了长距离依赖性，从而阻碍了平衡复杂场景融合的整个图像级感知。因此，在本文中，我们提出了一种基于轻量级Transformer模块和对抗学习的红外和可见光图像融合算法。受全局相互作用势的启发，我们使用Transformer技术来学习有效的全局融合关系。特别地，由CNN提取的浅层特征在所提出的Transformer融合模块中相互作用，以同时在空间范围内和跨通道地细化融合关系。此外，在训练过程中设计了对抗性学习，通过引入输入的竞争一致性来提高输出的区分度，体现了红外和可见光图像的特殊性。实验性能证明了所提出的模块的有效性，具有对最先进技术的卓越改进，通过融合任务中的Transformer和对抗学习来推广新的范例。
2022-02-04 cs.CV
Learned Fusion: 3D Object Detection using Calibration-Free Transformer Feature Fusion
RPTU - University of Kaiserslautern-Landau（莱茵兰-普法尔茨理工大学凯泽斯劳滕-兰道分校）；DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对现有3D目标检测传感器融合高度依赖标定、难大规模部署的问题，提出首个免校准方法，用transformer跨传感器多抽象层级映射特征，BEV mAP较单模态提升14.1%，且对旋转平移变化鲁棒，为免校准融合研究提供新方向。
2023-12-14 cs.CV
FusionViT: Hierarchical 3D Object Detection via LiDAR-Camera Vision Transformer Fusion
University of California, Davis（加州大学戴维斯分校）
针对3D目标检测的多模态数据融合需求，提出纯ViT架构的分层检测模型FusionViT，通过Transformer嵌入图像与点云并经融合ViT融合特征，在KITTI、Waymo Open数据集上达到SOTA性能。
2023-11-07 cs.CV
SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images
Taiyuan University of Science and Technology（太原科技大学）；Jiangnan University（江南大学）；Nanyang Normal University（南阳师范学院）
现有的深度学习融合方法主要集中在卷积神经网络上，很少尝试使用Transformer。同时，卷积运算是图像和卷积核之间的内容无关的交互，这可能会丢失一些重要的上下文，并进一步限制融合性能。为此，我们提出了一个简单而强大的融合基线红外和可见光图像，即\textit{ Residual Swin Transformer Fusion Network}，被称为Swinspiral。该算法包括全局特征提取、融合层和特征重构三部分。特别地，我们构建了一个完全注意力特征编码骨干来建模长距离依赖，它是一个纯Transformer网络，与卷积神经网络相比具有更强的表示能力。设计了一种基于序列矩阵$L_{1}$ -范数的特征融合策略，从行向量和列向量两个维度度量相应的活性水平，能够较好地保留红外亮度和可见光细节。最后，通过主观观察和客观比较，在3个不同的数据集上分别使用9种传统方法和深度学习方法对Swincloud进行了验证，实验结果表明，Swincloud融合算法具有较强的泛化能力和较好的计算效率，获得了令人惊讶的融合性能.该代码将在https://github.com/Zhishe-Wang/SwinFuse上提供。
2022-04-25 cs.CV
A Fusion Model for Artwork Identification Based on Convolutional Neural Networks and Transformers
The School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）
本文提出一种融合CNN与Transformer的艺术品识别模型，结合局部与全局特征，在中国画和油画数据集上分类准确率分别提升9.7%和7.1%，F1分数提升0.06和0.05。
2025-02-27 cs.CV
A Novel Vision Transformer for Camera-LiDAR Fusion based Traffic Object Segmentation
Tallinn University of Technology（塔林理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本研究提出基于视觉Transformer的相机-激光雷达融合模型CLFT，可实现多类交通目标分割并适配多种天气，提升了自动驾驶感知水平，但恶劣环境下的性能仍待优化。
2025-01-06 cs.CV
Feature Representation Learning with Adaptive Displacement Generation and Transformer Fusion for Micro-Expression Recognition
Wuhan University（武汉大学）；Meta Reality Labs（Meta现实实验室）；OPPO US Research Center, InnoPeak Technology Inc（OPPO美国研究中心，InnoPeak科技公司）；FiberHome Telecommunication Technologies Co., Ltd（烽火通信科技股份有限公司）
针对微表情识别中目标特征学习与高效融合不足的问题，提出FRL-DGT框架，利用自适应位移生成模块提取动态特征，并结合Transformer融合机制提取多层次信息特征，实验证明其优于现有方法。
2023-04-10 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
HTMNet: A Hybrid Network with Transformer-Mamba Bottleneck Multimodal Fusion for Transparent and Reflective Objects Depth Completion
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology（机器人系统国家重点实验室，哈尔滨工业大学）
提出HTMNet混合模型，通过融合CNN、Transformer与Mamba架构的编码器、瓶颈和解码器模块，首次将Mamba应用于透明与反射物体深度补全，在多个公开数据集上达到SOTA性能。
2025-05-28 cs.CV
Semantic-aligned Fusion Transformer for One-shot Object Detection
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）
单次目标检测的目的是仅根据一个给定实例来检测新的目标。在数据极度稀缺的情况下，目前的方法探索各种特征融合以获得可直接转移的元知识。然而，他们的表现往往不能令人满意。在本文中，我们把这归因于不适当的相关方法，不一致的查询支持语义忽略空间结构和规模的变化。经过分析，我们利用注意力机制，并提出了一个简单而有效的架构命名为语义对齐的融合Transformer（SaFT）来解决这些问题。具体来说，我们配备了一个垂直融合模块（VFM）的跨尺度语义增强和水平融合模块（HFM）的跨样本特征融合的SaFT。总之，它们将每个特征点的视野从支持扩展到查询的整个增强特征金字塔，促进语义对齐的关联。在多个基准上的大量实验证明了我们框架的优越性。在不对新类进行微调的情况下，它为单阶段基线带来了显着的性能提升，将最先进的结果提升到更高的水平。
2022-03-20 cs.CV
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering
University of Central Florida（中佛罗里达大学）
我们提出了MMFT-BERT（多模态融合Transformer with BERT encodings），以解决视觉问答（Visual Question Questioning，VQA）问题，确保对多个输入模态的单独和组合处理。我们的方法受益于处理多模态数据（视频和文本），分别采用BERT编码，并使用一种新的基于变换的融合方法将它们融合在一起。我们的方法分解不同来源的模态，到不同的BERT实例具有相似的架构，但可变的权重。这在TVQA数据集上实现了SOTA结果。此外，我们提供TVQA视觉，TVQA的一个孤立的诊断子集，它严格要求基于人类注释者的判断的视觉（V）模态的知识。这组问题有助于我们研究模型的行为以及TVQA为防止实现超人类性能而提出的挑战。大量的实验表明了该方法的有效性和优越性。
2020-10-27 cs.CV
DA-DETR: Domain Adaptive Detection Transformer with Information Fusion
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Black Sesame Technologies（黑芝麻科技）；Wenzhou University（温州大学）
最近的检测Transformer（DETR）通过去除传统两级对象检测器中采用的手工设计和超参数来简化目标检测流水线。然而，如何利用简单而有效的DETR架构在域自适应目标检测很大程度上被忽视。受独特的DETR注意力机制的启发，我们设计了DA-DETR，一个域自适应目标检测Transformer，它引入了信息融合，用于从标记的源域到未标记的目标域的有效转移。DA-DETR引入了一种新颖的CNN-Transformer Blender（CTBlender），它巧妙地融合了CNN特征和Transformer特征，以实现跨领域的有效特征对齐和知识转移。具体而言，CTBlender采用Transformer特征来跨多个尺度调制CNN特征，其中高级语义信息和低级空间信息被融合以进行准确的对象识别和定位。大量的实验表明，DA-DETR实现了卓越的检测性能，在多个广泛采用的领域自适应基准一致。
2023-03-22 cs.CV
TransCAR: Transformer-based Camera-And-Radar Fusion for 3D Object Detection
Michigan State University（密歇根州立大学）
针对现有3D目标检测融合研究多聚焦激光雷达与相机的问题，提出基于Transformer的相机-雷达融合方案TransCAR，通过双模块特征交互与软关联机制，在nuScenes数据集上超越同类方法，还可无时序信息提升速度估计。
2023-04-30 cs.CV
Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
无监督对象发现（UOD）最近通过采用预训练的Transformer特征取得了令人鼓舞的进展。然而，基于Transformers的当前方法主要集中于设计定位头（例如，种子选择-扩展和标准化切割），而忽略了改进Transformer特性的重要性。在这项工作中，我们从特征增强的角度处理UOD任务，并提出FOREground指导和多层特征融合的无监督对象发现，称为FORMULA。首先，我们提出了一种前景指导策略，使用现成的UOD检测器来突出特征图上的前景区域，然后以迭代的方式细化对象位置。此外，为了解决目标检测中的尺度变化问题，我们设计了一个多层特征融合模块，将不同尺度下的目标特征进行融合。在VOC 07、VOC 12和COCO 20 k上的实验表明，所提出的FORMULA算法在无监督对象发现方面取得了新的成果。该代码将在https://github.com/VDIGPKU/FORMULA上发布。
2022-10-24 cs.CV
UniFusion: Unified Multi-view Fusion Transformer for Spatial-Temporal Representation in Bird's-Eye-View
Zhejiang University（浙江大学）；DJI（大疆创新）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Lab（上海人工智能实验室）
鸟瞰图（BEV）表示是一种基于空间融合的新的自动驾驶感知形式。此外，时间融合也被引入到BEV表示中，并取得了很大的成功。在这项工作中，我们提出了一种新的方法，统一了空间和时间融合，并将它们合并成一个统一的数学公式。统一融合不仅可以为BEV融合提供新的视角，还可以带来新的能力。通过提出的统一时空融合，我们的方法可以支持远程融合，这是很难实现在传统的BEV方法。此外，我们的工作中的BEV融合是时间自适应的，时间融合的权重是可学习的。相比之下，传统的方法主要使用固定和相等的权重进行时间融合。此外，提出的统一融合方法可以避免传统BEV融合方法中的信息丢失，并充分利用特征。在NuScenes数据集上的大量实验和消融研究表明了所提出方法的有效性，并且我们的方法在地图分割任务中获得了最先进的性能。
2023-03-20 cs.CV
TFormer: A throughout fusion transformer for multi-modal skin lesion diagnosis
Beihang University（北京航空航天大学）
利用基于深度卷积的现代计算机辅助诊断技术，多模态皮肤病变诊断（MSLD）取得了显著的成功。然而，由于严重性不一致的空间分辨率（例如，皮肤镜图像和临床图像）和异质数据（例如，皮肤镜图像和患者的元数据）。受限于固有的局部注意力，大多数使用纯卷积的最新MSLD管道难以捕获浅层中的代表性特征，因此跨不同模态的融合通常在管道的末端完成，甚至在最后一层，导致信息聚合不足。为了解决这个问题，我们引入了一个纯粹的基于transformer的方法，我们称之为“贯穿融合Transformer（TFormer）”，用于在MSLD中进行充分的信息集成。与现有的卷积方法不同，所提出的网络利用Transformer作为特征提取的骨干，带来了更具代表性的浅层特征。然后，我们仔细设计了一个堆栈的双分支分层多模态Transformer（HMT）块融合信息在不同的图像模态在一个阶段的方式。利用图像模态的聚合信息，设计了一个多模态Transformer后融合（MTP）模块，以整合图像和非图像数据的特征。首先融合图像模态的信息，然后融合异构模态的信息，这样的策略使我们能够更好地区分和克服这两个主要挑战，同时确保模态间动态有效地建模。
2023-03-02 cs.CV
Multimodal Token Fusion for Vision Transformers
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））
已经出现了许多Transformers的适应性来解决单模态视觉任务，其中自我注意模块被堆叠以处理图像等输入源。直觉上，将多模态数据馈送到视觉Transformer可以提高性能，但是模态内注意力权重也可能被稀释，这可能因此破坏最终性能。在本文中，我们提出了一种多模态令牌融合方法（TokenFusion），专为基于变换器的视觉任务。为了有效地融合多种模态，TokenFusion动态检测无信息的令牌，并将这些令牌替换为投影和聚合的模态间特征。残差位置对准也被采用，以使融合后的模态间对准的明确利用。TokenFusion的设计允许Transformer学习多模态特征之间的相关性，而单模态Transformer架构在很大程度上保持不变。在各种同质和异构模态上进行了大量实验，并证明TokenFusion在三个典型的视觉任务中超越了最先进的方法：多模态图像到图像转换，RGB深度语义分割和点云和图像的3D目标检测。我们的代码可在https://github.com/yikaiw/TokenFusion上获得。
2022-07-15 cs.CV
Unified Contrastive Fusion Transformer for Multimodal Human Action Recognition
Hanyang University（汉阳大学）
本文提出多模态融合架构UCFFormer，通过Unified Transformer捕获时间与模态依赖，结合对比学习对齐特征，在UTD-MHAD和NTU RGB+D数据集上实现了最先进的人类动作识别性能。
2023-09-10 cs.CV
A Multimodal Fusion Network For Student Emotion Recognition Based on Transformer and Tensor Product
Stevens Institute of Technology（史蒂文斯理工学院）；University of Southern California（南加州大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出基于Transformer和张量积融合的多模态模型，结合BERT文本与ViT图像向量识别学生心理状况，准确率达93.65%，优于CLIP和ViLBERT。
2024-11-16 cs.CV
Fusion of Foundation and Vision Transformer Model Features for Dermatoscopic Image Classification
Research Center for Medical Image Analysis and Artificial Intelligence, Department of Medicine, Faculty of Medicine and Dentistry, Danube Private University（医学影像分析与人工智能研究中心、医学部、医学与牙科学院、多瑙私人大学）；Department of Research and Development, TissueGnostics GmbH（研发部、TissueGnostics GmbH）
本研究比较皮肤病学基础模型PanDerm与两种视觉Transformer在皮肤病变分类中的表现，发现PanDerm-MLP与微调Swin相当，且两者融合可进一步提升分类性能。
2025-05-22 cs.CV
FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection
Cainiao Network（菜鸟网络）；Westlake University（西湖大学）
针对现有多传感器3D目标检测方法转换到鸟瞰图空间易丢失Z轴信息的问题，提出融合可变形注意力与残差结构的FusionFormer框架，在nuScenes数据集上取得了最优单模型性能。
2023-10-09 cs.CV
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院和人工智能学院，上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择，提出 FlatFusion 框架，通过优化映射策略、注意力分组和微结构，在 nuScenes 上以 10.1 FPS 达到 73.7 NDS，显著超越现有方法。
2025-06-30 cs.CV
Knowledge Fusion Transformers for Video Action Recognition
Indian Institute of Technology Dharwad（达瓦德印度理工学院）；Indian Institute of Techonology Roorkee（鲁尔基印度理工学院）；UltraInstinct AI（超本能人工智能公司）
我们介绍了知识融合Transformers的视频动作分类。我们提出了一个自我关注的特征增强器融合动作知识的三维初始基于时空背景的视频片段打算进行分类。我们展示了如何只使用一个流网络，并且很少或没有预训练，可以为接近当前最先进的性能铺平道路。此外，我们还展示了如何在网络的不同级别使用不同的自注意力架构，以增强特征表示。我们的架构在UCF-101和Charades数据集上进行了训练和评估，与最先进的技术相比具有竞争力。它也超过了没有或更少预训练的单流网络。
2020-09-30 cs.CV
FutrTrack: A Camera-LiDAR Fusion Transformer for 3D Multiple Object Tracking
University of Wuppertal（乌珀塔尔大学）；Institute of Computer Science, Osnabrück University（计算机科学研究所，奥斯纳布鲁克大学）
FutrTrack通过融合相机与激光雷达数据，利用基于变压器的跟踪框架，在多目标跟踪中实现了高效且鲁棒的跟踪性能。
2025-12-15 cs.CV
Transformer based Multi-task Fusion Network for Food Spoilage Detection and Shelf life Forecasting
SRM University（SRM大学）
本文提出基于Transformer的多任务融合网络，用于蔬菜分类、腐败检测和保质期预测，通过结合CNN、LSTM和DeiT transformer，实现高精度检测与预测。
2026-01-20 cs.CV
GraFT: Gradual Fusion Transformer for Multimodal Re-Identification
Modern Intelligence（现代智能公司）
本文提出渐进融合Transformer（GraFT），通过可学习融合令牌和增强三元组损失提升多模态重识别性能，并结合剪枝实现模型大小与性能的平衡。
2023-10-25 cs.CV
Fusion Transformer with Object Mask Guidance for Image Forgery Analysis
Information Technologies Institute, CERTH（CERTH信息技术研究所）；VRG, FEE, Czech Technical University in Prague（捷克布拉格技术大学电气工程学院VRG）
提出基于融合Transformer的OMG-Fuser网络，利用对象掩码引导处理任意数量取证信号，在七个数据集上的图像伪造检测和定位中超越现有技术。
2024-04-27 cs.CV
Leveraging TCN and Transformer for effective visual-audio fusion in continuous emotion recognition
Chinatelecom Cloud（天翼云科技有限公司）
本文提出一种结合TCN和Transformer的多模态融合模型，有效整合视觉与音频信息以提升连续情感识别准确率，在ABAW竞赛的表情分类挑战中优于基线并获第3名。
2023-09-06 cs.CV
MAFormer: A Transformer Network with Multi-scale Attention Fusion for Visual Recognition
Baidu Inc（百度公司）；Beihang University（北京航空航天大学）
视觉Transformer及其变体在各种计算机视觉任务中表现出巨大的潜力。但是传统的视觉Transformer通常集中在粗糙级别的全局依赖性上，这在令牌级别上遭受全局关系和细粒度表示的学习挑战。在本文中，我们引入多尺度注意力融合到Transformer（MAFormer），它探讨了本地聚合和全球特征提取在视觉识别的双流框架。我们开发了一个简单但有效的模块，通过在令牌级别学习细粒度和粗粒度特征并动态融合它们，来探索Transformers在视觉表示方面的全部潜力。我们的多尺度注意力融合（MAF）模块包括：i）局部窗口注意力分支，学习窗口内的短程交互，聚合细粒度的局部特征; ii）全局特征提取，通过新颖的全局下采样学习（GLD）操作，有效地捕获整个图像内的长程上下文信息; iii）通过注意力自我探索两个特征的整合的融合模块。我们的MAFormer在常见的视觉任务上实现了最先进的性能。特别是，MAFormer-L在ImageNet上达到了85.9 $\%$ Top-1的准确度，分别超过CSWin-B和LV-ViT-L 1.7 $\%$和0.6 $\%$。在MSCOCO上，MAFormer在目标检测上优于现有技术CSWin 1.7个$\%$ mAP，并且在具有类似大小的参数的实例分割上优于现有技术CSWin 1.4个$\%$，从而证明了成为通用骨干网络的潜力。
2022-08-31 cs.CV
Multi-Modal Learning for AU Detection Based on Multi-Head Fused Transformers
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
近年来，多模态学习得到了加强，特别是在面部分析和动作单元检测中的应用，同时在1）用于表示的相关特征学习和2）多模态的有效融合方面仍然存在两个主要挑战。最近，有一些工作已经显示出利用注意力机制进行AU检测的有效性，然而，他们中的大多数是将感兴趣区域（ROI）与特征相结合，而很少在每个AU的特征之间应用注意力。另一方面，利用更有效的自注意力机制的Transformer已被广泛用于自然语言处理和计算机视觉任务中，但在AU检测任务中没有被充分开发。本文提出了一种新的端到端的Multi-Head Fusion Transformer（MFT）AU检测方法，该方法通过Transformer编码器从不同模态中学习AU编码特征表示，并通过另一个融合Transformer模块进行模态融合。在融合Transformer模块中设计了多头融合注意力，实现了多模态的有效融合。我们的方法是在两个公共的多模态AU数据库，BP 4D，和BP 4D+上进行评估，结果优于最先进的算法和基线模型。我们进一步分析了AU检测的性能从不同的方式。
2022-03-22 cs.CV
Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization for 3D Instance Segmentation
University of Science and Technology of China（中国科学技术大学）
本文提出BFL方法，通过智能体插值初始化模块和层次化查询融合解码器，解决三维实例分割中查询初始化位置与内容信息难以兼顾及深层物体消失问题，在多个数据集上取得优越性能。
2025-02-06 cs.CV
MIND: Multimodal Intent-Driven Network via Diffusion Transformers for Medical Image Fusion
Transvascular Implantation Devices Research Institute, Zhejiang University（浙江大学血管内植入器械研究院）；Zhejiang University（浙江大学）；Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院）；Hangzhou Dianzi University（杭州电子科技大学）
该研究针对现有医学图像融合方法缺乏对诊断意图深度理解的问题，提出基于DiTs的MIND网络，通过BioMedGPT、多尺度潜在适配器和医学语义一致性损失优化，在多数据集上取得优异效果，可提升脑肿瘤分割精度并支持交互式融合。
2026-07-31 cs.CV
Dual Selective Fusion Transformer Network for Hyperspectral Image Classification
Institute of Artificial Intelligence, School of Computer Science, Wuhan University（武汉大学计算机学院人工智能研究所）；Hubei Luojia Laboratory（湖北珞珈实验室）；Aerospace Information Research Institute, Henan Academy of Sciences（河南省科学院航天信息研究所）
提出双选择性融合Transformer网络（DSFormer），通过核选择与令牌选择融合机制解决固定感受野和无效自注意力问题，在四个高光谱数据集上显著提升分类精度。
2025-02-26 cs.CV
Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer
Technische Universität Berlin（柏林工业大学）
针对手机引发的行人分心问题，提出多模态融合Transformer（MFT），融合骨骼动态与视觉特征，利用跨模态和时间注意力，在287个行人实例数据集上达到95%准确率，超越六种基线6%。
2026-09-22 cs.CV
FreDFT: Frequency Domain Fusion Transformer for Visible-Infrared Object Detection
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）
针对可见光-红外目标检测中信息不平衡及现有方法忽略频域优势的问题，提出FreDFT频域融合Transformer，通过多模态频域注意力等模块增强特征融合，在公开数据集上性能优于先进方法。
2025-11-14 cs.CV
DFTR: Depth-supervised Fusion Transformer for Salient Object Detection
Tencent Jarvis Lab（腾讯Jarvis实验室）；University of Science and Technology of China（中国科学技术大学）
自动显著目标检测（SOD）在计算机视觉的许多应用中起着越来越重要的作用。深度监督卷积神经网络（CNN）通过将深度信息重新表达为监督而不是输入，在RGB和RGB-D SOD场景下都取得了令人满意的结果，其优点是在推理阶段不需要额外的深度网络和深度输入。本文首次寻求将深度监督的适用性扩展到Transformer架构。具体来说，我们开发了深度监督融合Transformer（DFTR），以进一步提高RGB和RGB-D SOD的准确性。本文提出的DFTR包含三个主要特征：1）DFTR是第一个基于transformer的深度监督SOD模型; 2）提出了多尺度特征聚合（MFA）模块，充分利用Swin Transformer编码的多尺度特征; 3）为了实现不同特征流之间的双向信息流，一种新的多阶段特征融合（MFF）模块进一步集成到我们的DFTR中，重点关注不同网络学习阶段的显著区域。我们广泛地评估了十个基准数据集的建议DFTR。实验结果表明，我们的DFTR始终优于现有的最先进的方法，RGB和RGB-D SOD任务。代码和模型将公开提供。
2022-04-11 cs.CV
MultiTSF: Transformer-based Sensor Fusion for Human-Centric Multi-view and Multi-modal Action Recognition
本文提出MultiTSF，通过Transformer动态建模多视角关系并引入人体检测模块生成伪标签，在多视角多模态动作识别中超越现有方法。
2025-04-07 cs.CV
SeaDATE: Remedy Dual-Attention Transformer with Semantic Alignment via Contrast Learning for Multimodal Object Detection
Xidian University（西安电子科技大学）；University of Technology Sydney（悉尼科技大学）
本文提出SeaDATE多模态目标检测方法，设计双注意力特征融合模块强化浅层特征融合，并引入对比学习模块弥补深层语义特征提取的不足，在FLIR、LLVIP和M3FD数据集上实现了最先进的检测性能。
2024-10-15 cs.CV
GSDC Transformer: An Efficient and Effective Cue Fusion for Monocular Multi-Frame Depth Estimation
Zhejiang University（浙江大学）
针对单目多帧深度估计中注意力融合复杂、显式融合依赖精确分割的问题，提出 GSDC Transformer，通过可变形与稀疏注意力及超级 token 局部稠密融合，在 KITTI 上实现高效的最先进性能。
2023-12-05 cs.CV
TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Microsoft（微软）；JD Explore Academy（京东探索研究院）；Amazon（亚马逊）；University of Sydney（悉尼大学）；Shanghai Artificial Intelligent Laboratory（上海人工智能实验室）
在这项工作中，我们探索了简洁而有效的基于transformer的框架，用于视觉基础。先前的方法通常解决视觉基础的核心问题，即，多模态融合和推理，手动设计的机制。这种启发式设计不仅复杂，而且使模型很容易过拟合特定的数据分布。为了避免这一点，我们首先提出了transVG，它建立多模态对应的Transformers和本地化的直接回归框坐标的区域。我们的经验表明，复杂的融合模块可以取代一个简单的堆栈的Transformer编码器层具有更高的性能。然而，TransVG中的核心融合Transformer是针对单峰编码器的独立的，因此应该在有限的视觉基础数据上从头开始训练，这使得它难以优化并导致次优性能。为此，我们进一步引入了TransVG++来进行两方面的改进。首先，我们通过利用视觉Transformer（ViT）进行视觉特征编码，将我们的框架升级为纯粹基于变换器的框架。另一方面，我们设计了语言条件视觉Transformer，去除外部融合模块，并重用的视觉语言融合的中间层的单模态ViT。我们在五个流行的数据集上进行了广泛的实验，并报告了一系列最先进的记录。
2022-06-14 cs.CV
Frequency-Domain Fusion Transformer for Image Inpainting
本文提出一种频域融合Transformer图像修复方法，通过结合小波变换与Gabor滤波的注意力机制及可学习频域滤波器，提升高频细节保留与修复质量。
2025-06-23 cs.CV
CTRL-F: Pairing Convolution with Transformer for Image Classification via Multi-Level Feature Cross-Attention and Representation Learning Fusion
Department of Scientific Computing, Ain Shams University（科学计算系，艾因·夏姆斯大学）
针对Transformer数据需求量大、低数据场景泛化能力弱的问题，提出轻量级混合网络CTRL-F，通过多级特征交叉注意力（MFCA）模块结合卷积与Transformer，并利用自适应/协作知识融合技术，在有限及大数据集上均实现最优分类性能。
2025-08-23 cs.CV
Tri-FusionNet: Enhancing Image Description Generation with Transformer-based Fusion Network and Dual Attention Mechanism
Department of Information Technology, Delhi Technological University（信息科技系，德里技术大学）
提出Tri-FusionNet，融合ViT编码器、RoBERTa解码器与CLIP模块，结合双注意力机制，在多个数据集上显著提升图像描述生成的准确性与丰富性。
2025-04-23 cs.CV
Feature Fusion Vision Transformer for Fine-Grained Visual Categorization
University of Warwick（华威大学）；Griffith University（格里菲斯大学）
解决细粒度视觉分类问题的核心是学习细微而有区别的特征。以往的研究大多通过显式地选择有区别的部分或通过基于CNN的方法集成注意力机制来实现这一点，但这些方法增加了计算复杂性，使模型由包含大多数对象的区域所支配。最近，视觉转换器（ViT）在一般图像识别任务上实现了SOTA性能。自注意力机制将来自所有补丁的信息聚合并加权到分类令牌，使其非常适合FGVC。然而，深层的分类标记更多地关注全局信息，缺乏FGVC所必需的局部和低级特征。在这项工作中，我们提出了一个新的纯基于transformer的框架特征融合视觉Transformer（FFVT），我们聚集的重要令牌从每个Transformer层，以补偿本地，低级别和中间级别的信息。我们设计了一种新的标记选择模型，称为相互注意权重选择（MAWS），以指导网络有效地和高效地选择有区别的标记，而不引入额外的参数。我们在三个基准测试中验证了FFVT的有效性，其中FFVT达到了最先进的性能。
2022-02-28 cs.CV
CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；ByteDance Ltd（字节跳动有限公司）；Nanjing University（南京大学）
基于范例的图像翻译是指在特定输入图像的条件下生成具有所需风格的图像的任务。目前的方法大多学习两个输入域之间的对应关系，缺乏对域内信息的挖掘。在本文中，我们提出了一个更一般的学习方法，考虑两个领域的功能作为一个整体，学习域间的对应关系和域内潜在的信息交互。具体来说，我们提出了一个跨域特征融合Transformer（CFFT）学习域间和域内特征融合。基于CFFT，提出的CFFT-GAN在基于范例的图像翻译中表现良好。此外，CFFT-GAN能够通过级联CFFT模块来解耦和融合来自多个域的特征。我们对几个图像翻译任务进行了丰富的定量和定性实验，结果证明了我们的方法与最先进的方法相比的优越性。烧蚀研究表明，我们提出的CFFT的重要性。应用实验结果反映了我们的方法的潜力。
2023-02-03 cs.CV
