Airport Delay Prediction with Temporal Fusion Transformers
University of California at Berkeley(加利福尼亚大学伯克利分校)
针对以往航班延误预测多为分类式且粒度粗的问题,本研究采用Temporal Fusion Transformer模型,基于多类输入实现美国前30机场一刻钟粒度的数值型到达延误预测,性能良好且可识别关键影响因素。
2024-10-07 cs.LG
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
School of Computer Science and Technology(计算机科学与技术学院);Harbin Institute of Technology(哈尔滨工业大学)
本文研究了Transformer中位置编码融合机制对长序列性能的影响,发现融合策略的选择对长文档有显著提升,且提出了轻量级卷积门控机制以增强模型效果。
2026-01-09 cs.CL cs.LG
Transformer Fusion with Optimal Transport
ETH Zurich(苏黎世联邦理工学院)
本文提出利用Optimal Transport软对齐架构组件的系统方法,实现多个Transformer模型的融合(含异构融合),在图像与语言任务上优于普通融合及父模型,为模型压缩与重组提供新范式。
2024-04-22 cs.LG stat.ML
VoRTX: Volumetric 3D Reconstruction With Transformers for Voxelwise View Selection and Fusion
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近的体积3D重建方法可以产生非常准确的结果,甚至对于未观察到的表面也具有合理的几何形状。然而,当涉及到多视图融合时,它们面临着不期望的权衡。它们可以通过全局平均来融合所有可用的视图信息,从而丢失精细的细节,或者它们可以对局部融合的视图进行聚类,从而限制它们联合考虑所有视图的能力。我们的关键见解是,可以保留更多的细节,而不限制视图的多样性,通过学习相机姿势和图像内容的条件下的视图融合功能。我们建议使用Transformer来学习这种多视图融合。为此,我们引入了VoRTX,这是一种端到端的体积3D重建网络,使用Transformers进行宽基线,多视图特征融合。我们的模型是闭塞意识,利用Transformer架构来预测一个初始的,投影场景的几何估计。该估计用于避免通过表面将图像特征反向投影到被遮挡区域中。我们在ScanNet上对我们的模型进行了训练,并表明它比最先进的方法产生了更好的重建。我们还展示了泛化,没有任何微调,优于其他两个数据集,TUM-RGBD和ICL-NUIM相同的最先进的方法。
2021-12-01 cs.CV cs.LG
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology(佐治亚理工学院)
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而,用于层间映射空间(aka层融合映射空间)的映射器很少被讨论。在这项工作中,我们提出了一个映射器,DNNFuser,专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器,但据我们所知,这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构,将层融合优化作为序列建模问题进行学习。此外,经过训练的DNNFuser可以概括其知识,并为看不见的条件推断新的解决方案。在一次推理过程中,DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案,同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
Sparse Fusion for Multimodal Transformers
University of California, Santa Barbara(加州大学圣巴巴拉分校);Saratoga High School(萨拉托加高中);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
多模态分类是以人为中心的机器学习的核心任务。我们观察到,信息是高度互补的方式,因此单峰信息可以大大稀疏之前,多模态融合,而不会损失的准确性。为此,我们提出了稀疏融合Transformers(SFT),一种新的多模态融合方法的变压器,执行并行现有的国家的最先进的方法,同时大大减少了内存占用和计算成本。我们的想法的关键是一个稀疏池块,它在跨模态建模之前减少了单峰令牌集。对多个多模态基准数据集进行评估,用于广泛的分类任务。在类似的实验条件下,在多个基准测试中获得了最先进的性能,同时报告计算成本和内存需求降低了六倍。广泛的消融研究展示了我们结合稀疏化和多模态学习的优势。这为在低资源设备上实现多模式学习铺平了道路。
2021-11-24 cs.CV cs.LG
Data Fusion and Machine Learning Integration for Transformer Loss of Life Estimation
University of Denver(丹佛大学)
本文通过数据融合与机器学习技术,结合IEEE标准,利用ANFIS和RBF网络估算变压器寿命,并采用OWA和序列卡尔曼滤波提高精度。
2017-11-08 cs.LG cs.SY eess.SY
Beyond the Permutation Symmetry of Transformers: The Role of Rotation for Model Fusion
University of Virginia(弗吉尼亚大学)
本文提出用于 Transformer 的旋转对称性,通过在连续域旋转自注意力层参数矩阵扩大等价集,并据此提出理论上最优的即插即用参数匹配算法,显著提升了自然语言与视觉任务中的模型融合效果。
2025-05-28 cs.CV cs.LG
An Approach for GCI Fusion With Labeled Multitarget Densities
研究了标号随机有限集的广义协方差交(GCI)融合方法。我们提出了一个联合标签空间的融合标记的随机有限集的支持来表示不同的代理之间的标签关联,避免标签的GCI融合算法的标签一致性条件。具体来说,我们设计的联合标签空间的直接产品的所有标签空间为每个代理。然后应用GCI融合方法得到联合标记的多目标密度。联合标记的RFS然后被边缘化成一般标记的RFS,只要每个目标由具有唯一标签的单个伯努利分量表示。证明了用于融合来自不同药剂的LMB RFS的联合标记GCI(JL-GCI)。考虑到场景中目标分离良好的假设,我们还提出了简化的JL-GCI方法。仿真结果表明,标签不一致性的有效性和良好的性能,在具有挑战性的跟踪场景。
2020-10-28 cs.LG eess.SP
Deep Fusion: Capturing Dependencies in Contrastive Learning via Transformer Projection Heads
Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究首次将Transformer用作对比学习的投影头,发现Deep Fusion现象并构建理论框架解释,实验证明该方法性能优于传统前馈层投影头方案。
2024-10-07 cs.AI cs.LG
Self-Supervised Multimodal Fusion Transformer for Passive Activity Recognition
University of Bristol(布里斯托大学)
Wi-Fi信号的普及为医疗保健等领域的人类感知和活动识别提供了重要机会。最常用于无源Wi-Fi感测的传感器基于无源Wi-Fi雷达(PWR)和信道状态信息(CSI)数据,然而,当前系统不能有效地利用通过多个传感器获取的信息来识别不同的活动。在本文中,我们探索新的性能的Transformer架构的多模态传感器融合。我们研究了不同的信号处理技术,从PWR和CSI数据中提取多个基于图像的特征,如频谱图,尺度图和马尔可夫转移场(MTF)。首先,我们提出了融合Transformer,注意力为基础的多模态和多传感器融合模型。实验结果表明,我们的融合Transformer的方法可以实现有竞争力的结果相比,ResNet架构,但更少的资源。为了进一步改进我们的模型,我们提出了一个简单有效的多模态和多传感器自监督学习(SSL)框架。自监督Fusion Transformer的性能优于基线,达到了95.9%的F1分数。最后,我们展示了这种方法在使用1%(2分钟)到20%(40分钟)的标记训练数据进行训练时,如何显着优于其他方法。
2022-08-15 cs.CV cs.HC cs.LG
Multi-Encoder Learning and Stream Fusion for Transformer-Based End-to-End Automatic Speech Recognition
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
流融合,也称为系统组合,是传统混合隐马尔可夫模型方法的自动语音识别中的一种常用技术,但对于现代深度神经网络端到端模型架构来说,大多数尚未探索。在这里,我们研究各种融合技术的所有注意力为基础的编码器-解码器架构称为Transformer,努力实现最佳融合,通过研究不同的融合水平,在一个示例单麦克风设置与融合的标准幅度和相位功能。我们引入了一种新的多编码器学习方法,该方法仅在训练期间执行两个编码器-解码器多头注意力输出的加权组合。在推理中只使用幅度特征编码器,我们能够在不增加运行时间或参数的情况下,用语言模型和Libripeech在华尔街日报(WSJ)上显示出一致的改进。通过简单的后期融合推理将两个这样的多编码器训练模型结合起来,我们在WSJ上实现了基于transformer的模型的最新性能,与当前的基准方法相比,WER显著降低了19%。
2021-07-14 cs.CL cs.LG cs.SD
Synergistic Fusion of Graph and Transformer Features for Enhanced Molecular Property Prediction
Quantiphi(Quantiphi公司)
针对GNN和Transformer在分子性质预测中的局限,提出SYN-FUSION方法协同融合二者预训练特征,在MoleculeNet基准上取得优异性能,验证了协同融合的有效性。
2023-08-25 cs.AI cs.LG physics.chem-ph
Spatially-Enhanced Temporal Fusion Transformer: Interpretable Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
研究具有时变输入的参数动力系统的多输出预测问题,通过调整扩展现有TFT模型得到SE-TFT,能准确预测多输出序列,推广了可解释性,其注意力权重矩阵可探索时间及多输出间相互作用。
2026-07-27 cs.LG cs.NA math.NA
Temporal Fusion Transformers for Streamflow Prediction: Value of Combining Attention with Recurrence
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
本研究首次将结合注意力与循环机制的Temporal Fusion Transformer应用于径流预测,在2,610个流域上证明其超越LSTM和Transformers,并作为可解释AI提供径流过程洞察。
2023-05-21 cs.LG physics.geo-ph
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能,嘈杂的环境。因此,需要探索一种有效的视听融合策略,以保证视听对齐和模态可靠性。不同于以前的端到端的方法,其中的视听融合进行编码后,每一个模态,在本文中,我们建议将一个专注的融合块到编码过程中。结果表明,在编码器模块中提出的视听融合方法可以丰富视听表示,因为这两种模态之间的相关性被利用。根据基于变换器的架构,我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流,削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明,与现有方法相比,该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
SiamixFormer: a fully-transformer Siamese network with temporal Fusion for accurate building detection and change detection in bi-temporal remote sensing images
提出SiamixFormer连体模型,用灾后和灾前遥感图像作输入,有双编码器和分层变压器架构,通过时间变压器融合特征,能更好保持大感受野,在多数据集上检测性能优于现有模型。
2026-07-07 cs.AI cs.CV cs.LG
Modulated Fusion using Transformer for Linguistic-Acoustic Emotion Recognition
Stanford University(斯坦福大学);University of Mons(蒙斯大学)
本文旨在为情感识别和情感分析的任务带来一个新的轻量级但功能强大的解决方案。我们的动机是提出两个架构的基础上Transformers和调制,结合语言和声学输入从广泛的数据集的挑战,有时超越,国家的最先进的领域。为了证明我们的模型的效率,我们仔细评估了它们在IEMOCAP,MOSI,MOSEI和MELD数据集上的性能。实验可以直接复制,代码完全开放,供未来研究使用。
2020-10-05 cs.CL cs.HC cs.LG
Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion
University of California, Berkeley(加州大学伯克利分校)
本文提出一种多域傅里叶小波注意力(MDFWA)机制,以次二次复杂度替代Transformer中的自注意力,在PubMed摘要任务上验证了其高效性与表达能力的提升。
2025-04-22 cs.CL cs.LG
AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation
University of California, Irvine(加州大学尔湾分校)
基于transformer的模型的最新进展已经引起了人们对在医学图像分割中探索这些技术的关注,特别是结合U-Net模型(或其变体),该模型在2D和3D设置下的医学图像分割中取得了巨大成功。当前基于2D的方法要么直接用纯Transformers替换卷积层,要么将Transformer视为U-Net的编码器和解码器之间的附加中间编码器。然而,这些方法仅考虑在一个单一切片内的注意编码,并且不利用由3D体积自然提供的轴向信息。在3D设置中,体积数据的卷积和Transformers都消耗大量的GPU内存。必须对图像进行下采样或使用裁剪的局部补丁来减少GPU内存使用,这限制了其性能。在本文中,我们提出了轴向融合Transformer UNet(AFTer-UNet),它既利用卷积层提取细节特征的能力,又利用Transformers在长序列建模上的优势。它考虑切片内和切片间的长距离线索来指导分割。同时,它具有更少的参数,并采取更少的GPU内存训练比以前的基于transformer的模型。在三个多器官分割数据集上的大量实验表明,我们的方法优于当前最先进的方法。
2021-10-20 cs.CV cs.LG eess.IV
Dual Stream Graph Transformer Fusion Networks for Enhanced Brain Decoding
Utrecht University(乌得勒支大学)
本文提出Dual Stream Graph-Transformer Fusion(DS-GTF)架构,通过双流分别提取MEG数据的空间与时间特征并融合,有效提升了脑解码分类性能并降低了跨被试标准差。
2024-09-23 cs.LG eess.SP q-bio.NC
Transformer-based Multi-Modal Learning for Multi Label Remote Sensing Image Classification
Faculty of Electrical Engineering and Computer Science, Technische Universität Berlin(柏林工业大学电机工程与计算机科学学院);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
提出 SCT Fusion 架构,通过在各 transformer 编码器块后用可训练变换同步类令牌来融合多模态遥感信息,并在多标签分类数据集上验证其优于单模态和早期融合方法。
2023-06-02 cs.CV cs.LG
A Transformer-based Multimodal Fusion Model for Efficient Crowd Counting Using Visual and Wireless Signals
School of Electrical and Electronic Engineering, University College Dublin(都柏林大学电子与电气工程学院);College of Electrical Engineering and Automation, Shandong University of Science and Technology(山东科技大学电气工程与自动化学院)
针对单模态人群计数信息丢失问题,提出融合CSI与图像的多模态模型TransFusion,结合Transformer全局特征与CNN局部特征,实现高精度、低误差且高效的人群计数。
2025-04-28 cs.CV cs.LG
Strategic Fusion Optimizes Transformer Compression
本文提出融合层激活、互信息、梯度、权重和注意力等剪枝信号的策略融合方法,并结合知识蒸馏压缩 Transformer,在九个数据集上显著提升准确率与规模效率。
2025-01-05 cs.AI cs.CL cs.LG
Relating CNN-Transformer Fusion Network for Change Detection
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
RCTNet通过早期融合骨干、跨阶段聚合、多尺度特征融合和高效自解密注意力模块,结合CNN与Transformer优势,在遥感变化检测中实现了精度与计算成本的最佳平衡。
2024-07-03 cs.CV cs.LG cs.MM
HiLO: High-Level Object Fusion for Autonomous Driving using Transformers
Institute of Control Theory and Systems Engineering, TU Dortmund University(控制理论与系统工程研究所,杜伊斯堡-埃森大学)
本文提出基于Transformer的高层级目标融合方法HiLO,并改进自适应卡尔曼滤波,在自动驾驶感知中显著提升F1分数和平均IoU,且具备跨域泛化能力。
2025-06-03 cs.AI cs.CV cs.LG
MobileViTv3: Mobile-Friendly Vision Transformer with Simple and Effective Fusion of Local, Global and Input Features
Micron Technology Inc.(美光科技公司)
MobileViT(MobileViTv 1)结合了卷积神经网络(CNN)和视觉Transformer(ViTs),为移动视觉任务创建轻量级模型。虽然主MobileViTv 1-block有助于实现具有竞争力的最先进的结果,但MobileViTv 1-block内部的融合块会带来扩展挑战,并且具有复杂的学习任务。我们建议对融合块进行修改,以简单有效地创建MobileViTv 3块,从而解决缩放问题并简化学习任务。我们提出的MobileViTv 3-block用于创建MobileViTv 3-XXS,XS和S模型,在ImageNet-1 k,ADE 20 K,COCO和PascalVOC 2012数据集上优于MobileViTv 1。在ImageNet-1 K上,MobileViTv 3-XXS和MobileViTv 3-XS分别超过MobileViTv 1-XXS和MobileViTv 1-XS 2%和1.9%。最近发布的MobileViTv 2架构删除了融合块,并使用线性复杂度Transformers来执行比MobileViTv 1更好。我们将我们提出的融合块添加到MobileViTv 2中,以创建MobileViTv 3 -0.5,0.75和1.0模型。与MobileViTv 2相比,这些新模型在ImageNet-1 k,ADE 20 K,COCO和PascalVOC 2012…
2022-10-06 cs.AI cs.CV cs.LG
Transformer-Driven Triple Fusion Framework for Enhanced Multimodal Author Intent Classification in Low-Resource Bangla
Department of Computer Science(计算机科学系);Engineering Chittagong University of Engineering(工程学院恰尔达格工程大学)
本文提出基于Transformer的三融合框架BangACMM,通过结合文本和视觉数据,在低资源孟加拉语社交媒体中实现作者意图分类,达到84.11%的宏F1得分,提升8.4个百分点。
2025-11-28 cs.CL cs.LG
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
如何将互补传感器的表示集成到自动驾驶中?基于几何特征的传感器融合在诸如目标检测和运动预测等感知任务中显示出巨大的前景。然而,对于实际驾驶任务,3D场景的全局上下文是关键,例如交通灯状态的变化可能会影响在几何上远离该交通灯的车辆的行为。因此,单独的几何形状可能不足以有效地融合端到端驾驶模型中的表示。在这项工作中,我们证明了模仿学习政策的基础上现有的传感器融合方法下执行的动态代理和复杂的情况下,需要全局上下文推理,如处理交通迎面而来的多个方向在不受控制的十字路口的存在下。因此,我们提出了transFuser,一种新的多模态融合Transformer,集成图像和激光雷达表示使用注意。我们的实验验证了我们的方法在城市环境中的有效性,涉及复杂的情况下,使用CARLA城市驾驶模拟器。我们的方法实现了最先进的驾驶性能,同时与基于几何的融合相比,减少了76%的碰撞。
2021-04-19 cs.AI cs.CV cs.LG
Transformer-based Multisensor Data Fusion of Ultrasonic Guided Wave and FBG-based Strain Measurements for Multitask Aerospace Structural Health Monitoring
针对航空航天结构健康监测中异质传感模态采样频率不一致的融合难题,提出Transformer融合框架整合PZT超声导波与FBG应变数据,在健康指标预测、损伤定位任务上性能远超单传感器及基线深度学习模型。
2026-07-07 cs.LG eess.SP
Temporal convolutional and fusional transformer model with Bi-LSTM encoder-decoder for multi-time-window remaining useful life prediction
本文提出一种结合时序卷积网络和改进的时序融合变换器的模型,通过多时间窗口方法提升工业系统剩余寿命预测的准确性。
2025-11-06 cs.AI cs.LG
SSTAF: Spatial-Spectral-Temporal Attention Fusion Transformer for Motor Imagery Classification
Department of Electrical and Electronic Engineering, BRAC University(电子与电气工程系,布拉克大学);Department of Electrical and Computer Engineering, University of Maryland College Park(电气与计算机工程系,马里兰大学学院公园分校)
针对 EEG 运动想象分类中的跨受试者差异问题,提出融合空间、频谱与时间注意力的 SSTAF Transformer,并在两个公开数据集上取得优于 CNN 和现有 transformer 方法的准确率。
2025-04-17 cs.CV cs.LG
Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
University of Oxford(牛津大学);Google Cloud AI Research(谷歌云人工智能研究院);Google Cloud AI(谷歌云人工智能)
多视野预测问题通常包含复杂的输入组合-包括静态(即时不变)协变量,已知的未来输入,以及其他仅在历史上观察到的外生时间序列-没有任何关于它们如何与目标相互作用的先验信息。虽然已经提出了几种用于多步预测的深度学习模型,但它们通常包括黑盒模型,这些模型不能考虑常见场景中存在的全部输入。在本文中,我们介绍了时间融合Transformer(TFT)-一种新的基于注意力的架构,它结合了高性能的多水平预测与时间动态的可解释的见解。为了学习不同尺度下的时间关系,TFT利用递归层进行本地处理,并利用可解释的自我注意层来学习长期依赖关系。TFT还使用专门的组件来明智地选择相关功能,并使用一系列选通层来抑制不必要的组件,从而在广泛的范围内实现高性能。在各种真实世界的数据集上,我们展示了与现有基准相比的显着性能改进,并展示了TFT的三个实际可解释性用例。
2020-09-27 cs.LG stat.ML
TransforMerger: Transformer-based Voice-Gesture Fusion for Robust Human-Robot Communication
Czech Technical University in Prague(布拉格捷克技术大学);Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人学与控制论研究所)
提出基于Transformer的TransforMerger模型,通过将语音和手势融合为统一句子并结合概率嵌入与场景理解推断机器人动作命令,显著提升了在噪声和模糊指代场景下人机通信的鲁棒性与灵活性。
2025-04-02 cs.HC cs.LG cs.RO
TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们应该如何整合来自互补传感器的表示以实现自动驾驶?基于几何的融合已经显示出感知(例如,目标检测、运动预测)的前景。然而,在端到端驾驶的情况下,我们发现,模仿学习基于现有的传感器融合方法在复杂的驾驶场景中表现不佳,具有高密度的动态代理。因此,我们提出了TransFuser,这是一种使用自我注意力整合图像和LiDAR表示的机制。我们的方法使用多分辨率的Transformer模块来融合透视图和鸟瞰图特征图。我们通过实验验证了其在具有长路线和密集交通的具有挑战性的新基准上的有效性,以及CARLA城市驾驶模拟器的官方排行榜。在提交时,TransFuser在驾驶分数方面远远超过了CARLA排行榜上的所有先前工作。与基于几何的融合相比,TransFuser将每公里的平均碰撞减少了48%。
2022-05-31 cs.AI cs.CV cs.LG
Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation
NVIDIA(英伟达)
基于会话的推荐是电子商业服务中的一项重要任务,其中大量用户匿名浏览或可能对不同的会话具有非常不同的兴趣。在本文中,我们介绍了SIGIR 2021电子商业数据挑战研讨会推荐任务的获奖解决方案之一。我们的解决方案受到NLP技术的启发,由两个Transformer架构的集合组成- Transformer-XL和XLNet -使用自回归和自编码方法进行训练。为了利用比赛中提供的大部分丰富数据集,我们描述了如何通过将表格事件与文本和图像向量相结合来准备多模型特征。我们还提出了一个模型预测分析,以更好地了解我们的架构的有效性,基于会话的建议。
2021-07-11 cs.IR cs.LG cs.NE
Noise-reducing attention cross fusion learning transformer for histological image classification of osteosarcoma
Hunan University(湖南大学);Prince of Songkla University(宋卡王子大学)
骨肉瘤的恶性程度及其转移/扩散的趋势主要取决于病理分级(通过在显微镜下观察肿瘤的形态来确定)。本研究的目的是利用人工智能对骨肉瘤组织学图像进行分类,评估肿瘤存活和坏死,这将有助于医生减轻工作量,提高骨肉瘤癌症检测的准确性,为患者做出更好的预后。该研究提出了一个典型的Transformer图像分类框架,通过集成降噪卷积自动编码器和特征交叉融合学习(NRCA-FCFL)来分类骨肉瘤组织学图像。去噪卷积自编码器能够很好地去除骨肉瘤组织学图像的噪声,从而获得更纯净的骨肉瘤分类图像。此外,我们引入了特征交叉融合学习,它集成了两个尺度的图像块,通过使用额外的分类标记来充分探索它们之间的相互作用。因此,生成了一个细化的融合特征,该特征被馈送到残差神经网络进行标签预测。我们进行了广泛的实验,以评估所提出的方法的性能。实验结果表明,我们的方法在各种评估指标上优于传统和深度学习方法,准确率为99.17%,以支持骨肉瘤诊断。
2022-04-29 cs.CV cs.LG eess.IV
MSF3DDETR: Multi-Sensor Fusion 3D Detection Transformer for Autonomous Driving
Institute of System and Robotics(系统与机器人研究所);University of Coimbra(科英布拉大学)
3D目标检测是自动驾驶的重要任务。近年来随着视觉Transformer的发展,2D目标检测问题正以集合到集合的损失来处理。受这些二维目标检测方法和多视角三维目标检测方法DETR 3D的启发,我们提出了MSF 3DDETR:Multi-Sensor Fusion 3D Detection Transformer架构,融合图像和LiDAR特征,提高检测精度。我们的端到端单级、无锚点和无NMS网络可以接收多视图图像和LiDAR点云,并预测3D边界框。首先,我们使用一种新的MSF 3DDETR交叉注意块将从数据中学习到的对象查询与图像和LiDAR特征联系起来。其次,对象查询在多头自注意块中相互交互。最后,将MSF 3DDETR块重复$L$多次以细化对象查询。MSF 3DDETR网络使用基于匈牙利算法的二分匹配和受DETR启发的集到集损失在nuScenes数据集上进行端到端训练。我们提出了定量和定性的结果,这是有竞争力的国家的最先进的方法。
2022-10-27 cs.CV cs.LG cs.RO
IsoNet: Causal Analysis of Multimodal Transformers for Neuromuscular Gesture Classification
Dept. of Electrical and Computer Engineering(电气与计算机工程系);New York University(纽约大学);Tandon School of Engineering(坦顿工程学院)
本研究提出IsoNet因果分析方法,通过隔离注意力路径揭示跨模态交互贡献约30%决策信号,证明分层Transformer融合策略在手势分类中显著优于单模态基线。
2025-06-20 cs.LG cs.RO eess.SP
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University(计算机科学与工程学院,维洛雷理工学院(VIT大学))
本文提出AVT-CA模型,通过音频-视频Transformer融合与交叉注意力机制,提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
3D Brainformer: 3D Fusion Transformer for Brain Tumor Segmentation
针对卷积网络长程依赖建模不足及现有Transformer分割方法多基于2D切片、多头独立计算的问题,提出带融合头自注意力和可变形模块的3D融合Transformer脑肿瘤分割方法,在BRATS数据集上取得优于现有先进方法的性能。
2023-04-28 cs.CV cs.LG eess.IV
Movie Recommendation with Poster Attention via Multi-modal Transformer Feature Fusion
BNU-HKBU United International College(北师港浸会联合国际学院);Research Center for Mathematics, Beijing Normal University(北京师范大学数学研究中心)
本研究提出融合BERT文本特征、ViT海报特征的多模态Transformer电影推荐模型,在MovieLens数据集上验证了其相比基线算法更高的评分预测准确率,为跨模态视频推荐提供了可行方案。
2024-07-12 cs.AI cs.IR cs.LG
Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室)
本文提出混合Transformer模型MKGformer,通过统一输入输出架构和多级融合机制整合视觉与文本表示,在多模态知识图谱补全的四个数据集上取得SOTA性能。
2023-09-18 cs.AI cs.CL cs.CV
Multi-View Fusion Transformer for Sensor-Based Human Activity Recognition
Alibaba Group(阿里巴巴集团)
基于传感器的人类活动识别(HAR)作为泛在计算和机器学习的基础问题,近年来引起了广泛关注并取得了长足进展。HAR的目标是根据从多模态传感器(如加速度计和陀螺仪)收集的丰富时间序列数据的可用性来识别人类活动。然而,最近的深度学习方法专注于数据的一个视图,即,时间视图,而浅层方法倾向于利用手工特征进行识别,例如,统计观点。在本文中,提取一个更好的功能,以提高性能,我们提出了一种新的方法,即多视图融合Transformer(MVFT)以及一种新的注意力机制。首先,MVFT编码三个信息视图,即,时间、频繁和统计视图以生成多视图特征。其次,新的注意机制揭示内部和跨视图的线索,催化三个视图之间的相互作用,详细的关系建模。此外,在两个数据集上的大量实验表明,我们的方法优于几个国家的最先进的方法。
2022-02-16 cs.AI cs.CV cs.LG
Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer
SenseTime Research(商汤科技研究院);University of Toronto(多伦多大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
由于安全问题,自动驾驶汽车的大规模部署一直被推迟。一方面,全面的场景理解是必不可少的,缺乏这种理解将导致对罕见但复杂的交通情况的脆弱性,例如突然出现的未知物体。然而,从全局上下文中进行推理需要访问多种类型的传感器和多模态传感器信号的充分融合,这是难以实现的。另一方面,学习模型缺乏可解释性也阻碍了无法验证故障原因的安全性。在本文中,我们提出了一个安全增强的自动驾驶框架,命名为可解释的传感器融合Transformer(InterFuser),充分处理和融合来自多模态多视角传感器的信息,以实现全面的场景理解和对抗性事件检测。此外,从我们的框架中生成的中间可解释的功能,提供更多的语义和利用,以更好地约束行动内的安全集。我们对CARLA基准进行了广泛的实验,我们的模型优于以前的方法,在公共CARLA排行榜上排名第一。我们的代码将在https://github.com/opendilab/InterFuser上提供
2022-12-07 cs.AI cs.CV cs.LG
Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers
Brandenburg University of Technology Cottbus-Senftenberg(科特布斯-森夫滕贝格勃兰登堡工业大学);University of Zanjan(赞詹大学);Humboldt University(洪堡大学);Tallinn University of Technology(塔林理工大学)
研究视觉Transformer计算冗余问题,提出Fusion框架,通过有序协调令牌合并、提前退出和修剪机制,配合轻量级路由模块,在多数据集上实验,展现良好性能。
2026-07-07 cs.AI cs.AR cs.CV
MUSE: Flexible Voiceprint Receptive Fields and Multi-Path Fusion Enhanced Taylor Transformer for U-Net-based Speech Enhancement
School of Electronic Information, Sichuan University(四川大学电子信息学院);School of Software, Yunnan University(云南大学软件学院)
针对语音增强中轻量化与高性能难平衡的问题,提出基于U-net的MUSE网络,通过带可变形嵌入的MET Transformer模块融合通道空间注意力分支,在VoiceBank+DEMAND数据集上以0.51M参数量实现有竞争力的性能并降低成本。
2024-06-19 cs.IR cs.IT cs.LG
Multimodal Audio-based Disease Prediction with Transformer-based Hierarchical Fusion Network
Purdue University(普渡大学);Beijing University of Chemical Technology(北京化工大学);New York University(纽约大学);University of Cincinnati(辛辛那提大学);Indiana University(印第安纳大学)
提出基于Transformer的层次化融合网络,整合模态内与模态间融合,在COVID-19、帕金森病和病理性构音障碍预测上达到最先进性能。
2024-12-14 cs.AI cs.LG cs.SD
Unveiling the Power of Audio-Visual Early Fusion Transformers with Dense Interactions through Masked Modeling
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出利用掩码重建框架训练视听早期融合Transformer,并通过分解局部表示降低注意力融合的计算复杂度,在多个视听任务上取得优越性能。
2023-12-02 cs.AI cs.CV cs.LG