HRIR-Former: Grid-Free Time-Domain Reconstruction of Head-Related Impulse Responses with a Spatially Encoded Transformer
The Australian National University(澳大利亚国立大学);The University of Queensland(昆士兰大学)
提出HRIR-Former,一种时域无网格双耳Transformer,从稀疏测量中预测任意方向HRIR,采用正弦空间特征、Conv1D细化模块及ITD/ILD辅助头,在SONICOM数据集上优于现有方法。
2026-11-13 cs.LG eess.AS
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited(香港应用科技研究院有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于Transformer的神经网络由于其固有的基于结构的优势,在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构,但很少关注位置编码模块。在本文中,我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外,我们提出了一种增强的Transformer架构,该架构编码有额外的语言知识,例如词性(POS)标记,以提高某些自然语言生成任务的性能,例如,自动翻译和摘要任务。实验表明,该架构达到不断优于香草相比,Transformer的结果。
2019-10-30 cs.CL cs.LG
From Colors to Classes: Emergence of Concepts in Vision Transformers
Technical University of Denmark(丹麦技术大学);UiT The Arctic University of Norway(挪威北极大学);University of Copenhagen(哥本哈根大学);Norwegian Computing Center(挪威计算中心)
本研究利用神经元标记技术对视觉Transformer进行逐层分析,发现ViTs各层编码的概念复杂度逐渐增加,且预训练和微调策略会影响编码概念的数量与类别。
2025-03-31 cs.CV cs.LG
Spatioformer: A Geo-encoded Transformer for Large-Scale Plant Species Richness Prediction
CSIRO Environment(联邦科学与工业研究组织环境所);CSIRO Robotics(联邦科学与工业研究组织机器人所);Data61(Data61研究院);Queensland University of Technology(昆士兰科技大学)
本文提出Spatioformer模型,通过地理编码器与Transformer结合将地理位置信息融入遥感影像,在包含68,170个样本的HAVPlot数据集上超越现有方法,并生成了澳大利亚2015至2023年植物物种丰富度地图,为植物多样性保护提供依据。
2025-03-11 cs.LG
Attention-Guided Dual-Stream Learning for Group Engagement Recognition: Fusing Transformer-Encoded Motion Dynamics with Scene Context via Adaptive Gating
University of Dhaka(达卡大学);Qatar University(卡塔尔大学)
本文提出DualEngage双流框架,通过融合变换器编码的运动动态与场景上下文,实现课堂群体参与识别,采用自适应门控融合提升识别精度,实验表明在五折交叉验证中达到96.21%的平均分类准确率。
2026-04-11 cs.CV cs.LG
PRISM: Position-encoded Regressive Inverse Spectral Model for Multilayer Thin-Film Design
Independent Researcher(独立研究者);Work does not relate to position at Amazon(与亚马逊职位无关的工作)
提出PRISM,一种解码器仅自回归变压器,通过联合预测离散材料选择和连续厚度回归,解决多层薄膜光学涂层设计的逆问题,相比其他变压器基线MAE降低50%以上,参数仅为其五分之一。
2026-05-29 cs.LG physics.optics
BERT for Joint Multichannel Speech Dereverberation with Spatial-aware Tasks
University of Maryland, College Park(马里兰大学帕克分校)
提出了一种联合多通道语音去混响的方法,该方法具有两个空间感知任务:到达方向(DOA)估计和语音分离。所提出的方法将所涉及的任务作为序列到序列映射问题来处理,这对于各种前端语音增强任务来说是足够通用的。所提出的方法的灵感来自优秀的序列建模能力的双向编码器表示从Transformers(BERT)。我们不是以自我监督的方式利用来自预训练的显式表示,而是以监督的方式利用Transformer编码的隐藏表示。对不同长度话语的多通道频谱幅度和频谱相位信息进行编码。实验结果证明了该方法的有效性。
2020-10-22 cs.CL cs.LG cs.SD
HydroVision: LiDAR-Guided Hydrometric Prediction with Vision Transformers and Hybrid Graph Learning
Concordia University(康考迪亚大学);Gina Cody School of Engineering and Computer Science(吉娜·科迪工程与计算机科学学院)
提出HydroVision水文预测框架,利用ViT编码LiDAR地形高程数据,结合静态与动态混合图学习及GRU模块捕捉时空特征,在魁北克多站实验中使未来12天预测误差平均降低10%。
2024-09-23 cs.CV cs.LG
Fine-grained Attention in Hierarchical Transformers for Tabular Time-series
EURECOM(欧洲通信学院);Huawei Technologies(华为技术有限公司)
针对分层 Transformer 难以跨行列学习字段级模式的问题,本文提出 Fieldy,在行级与列级同时进行字段上下文化,并在公开表格时间序列任务上验证其可在不增加模型规模的情况下提升性能。
2024-08-02 cs.LG
Are More Layers Beneficial to Graph Transformers?
Peking University(北京大学);Microsoft Research(微软研究院)
尽管在许多神经架构中已经证明了深入是成功的,但现有的图形Transformers相对较浅。在这项工作中,我们探讨了更多的层是否有利于图形Transformers,并发现目前的图形Transformers遭受的瓶颈,提高性能的增加深度。我们进一步分析发现,这是因为深度图Transformers受到全局注意力消失能力的限制,限制了图Transformer对关键子结构的关注,无法获得表达特征。为此,我们提出了一种新的图形Transformer模型DeepGraph,它在编码表示中显式地使用子结构标记,并在相关节点上应用局部注意力以获得基于子结构的注意力编码。我们的模型增强了全局注意力集中在子结构上的能力,并提高了表示的表达能力,解决了自注意力随着图Transformer的深化而受到限制的问题。实验表明,我们的方法解开了图Transformers的深度限制,并在具有更深模型的各种图基准测试中获得了最先进的性能。
2023-03-01 cs.LG
GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations
Applied Research, Quantiphi(Quantiphi应用研究)
本研究提出了由混合图Transformer和Transformer神经算子组成的GITO架构,可高效学习不规则几何与非均匀网格上的复杂偏微分方程,性能优于现有同类神经算子,为工程领域网格无关的代理求解器提供了新方案。
2025-06-16 cs.LG
On Identifiability in Transformers
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
在本文中,我们深入研究了Transformer架构,通过研究其两个核心组件:自我注意力和上下文嵌入。特别是,我们研究了注意力权重和令牌嵌入的可识别性,以及将上下文聚合为隐藏令牌。我们发现,序列长度超过注意头尺寸,注意权重是不可识别的。我们提出有效注意作为一种补充工具,以改善解释性解释的基础上注意。此外,我们表明,输入标记在很大程度上保留了它们在整个模型中的身份。我们还发现证据表明,身份信息主要是在嵌入的角度编码,并随着深度逐渐减少。最后,我们展示了强混合的输入信息的生成上下文嵌入通过一种新的量化方法的基础上梯度属性。总的来说,我们表明,自我注意力分布是不能直接解释和目前的工具,以更好地理解和进一步研究Transformer模型。
2020-02-07 cs.CL cs.LG
De-SaTE: Denoising Self-attention Transformer Encoders for Li-ion Battery Health Prognostics
San José State University(圣何塞州立大学)
本研究提出De-SaTE方法,结合去噪自编码器与小波去噪器及自注意力Transformer编码器,在NASA和CALCE数据上准确预测锂离子电池剩余使用寿命,性能达到或超越最新水平。
2023-11-11 cs.AI cs.LG
Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对Transformer在低复杂度数据上过拟合的问题,提出SQ-Transformer,通过结构化量化嵌入和系统性注意力层,在低复杂度数据集上实现更强的组合泛化能力。
2024-02-09 cs.AI cs.CL cs.LG
TT-BLIP: Enhancing Fake News Detection Using BLIP and Tri-Transformer
TT-BLIP利用BLIP和三重Transformer融合文本、图像及多模态特征,在Weibo和Gossipcop数据集上超越现有模型,提升假新闻检测性能。
2025-01-23 cs.CV cs.LG
Graph Set Transformer
Bioinformatics Group Wageningen University(瓦赫宁根大学生物信息学组);Department of Physics Technical University of Munich(慕尼黑技术大学物理系)
提出图集变换器(GST),通过层间交织节点级特征传播与跨图上下文建模,解决图集合学习任务中局部结构与集合上下文融合问题,在合成和真实基准上优于基线。
2026-06-03 cs.LG
SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
University of Bristol(布里斯托尔大学);Sabe Technology Limited(萨贝科技有限公司)
针对动力系统场变量估计中序列网络滚动误差累积的问题,提出状态交换注意力模块与类ViT网格自编码器,集成后的Transformer实现了当前最优的滚动误差表现,大幅降低多类基线模型的误差。
2024-10-29 cs.AI cs.LG
Li3DeTr: A LiDAR based 3D Detection Transformer
Institute of Systems and Robotics(系统与机器人研究所);University of Coimbra(科英布拉大学)
受用于目标检测的视觉Transformer的最新进展的启发,我们提出了Li3DeTr,这是一种用于自动驾驶的基于端到端LiDAR的3D检测Transformer,它输入LiDAR点云并回归3D边界框。分别采用稀疏卷积和多尺度可变形注意对LiDAR的局部和全局特征进行编码。在解码器头中,首先,在新的Li3DeTr交叉关注块中,我们将LiDAR全局特征与利用从数据中学习的稀疏对象查询集的3D预测相关联。其次,对象查询交互公式化使用多头自注意。最后,解码器层被重复$L_{dec}$多次以细化对象查询。受DETR的启发,我们采用集到集损失来训练Li3DeTr网络。在没有花哨的情况下,Li3DeTr网络在nuScenes数据集上实现了61.3%的mAP和67.6%的NDS,超过了具有非最大抑制(NMS)的最先进方法,并且在KITTI数据集上也实现了具有竞争力的性能。我们还采用了知识蒸馏(KD),使用教师和学生模型,稍微提高了我们的网络的性能。
2022-10-27 cs.CV cs.LG
A Generalization of Transformer Networks to Graphs
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
我们提出了一个推广的Transformer神经网络架构的任意图形。最初的Transformer是为自然语言处理(NLP)设计的,它对表示序列中单词之间所有连接的全连接图进行操作。这样的架构不利用图连接性归纳偏差,并且当图拓扑很重要并且尚未被编码到节点特征中时可能表现不佳。我们引入了一个图Transformer,与标准模型相比,它具有四个新的属性。首先,注意力机制是图中每个节点的邻域连通性的函数。其次,位置编码由拉普拉斯特征向量表示,其自然地概括了NLP中经常使用的正弦位置编码。第三,层归一化被批量归一化层取代,这提供了更快的训练和更好的泛化性能。最后,该架构扩展到边缘特征表示,这可能是关键的任务,例如。化学(键类型)或链接预测(知识图谱中的实体关系)。在一个图形基准上的数值实验证明了所提出的图形Transformer架构的性能。这项工作缩小了原来的Transformer,这是专为线图的有限情况下,和图神经网络,可以与任意图形之间的差距。由于我们的架构是简单和通用的,我们相信它可以作为一个黑盒,为未来的应用程序,希望考虑Transformer和图形。
2021-01-24 cs.LG
Crossfusor: A Cross-Attention Transformer Enhanced Conditional Diffusion Model for Car-Following Trajectory Prediction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Texas A&M University(德克萨斯农工大学)
针对现有车辆轨迹预测模型忽略精细跟车行为与车际交互的问题,提出融合GRU、位置注意力、傅里叶嵌入与交叉注意力transformer的条件扩散模型Crossfusor,在NGSIM数据集上尤其是长期预测中优于现有最优模型。
2024-06-17 cs.AI cs.LG cs.RO
Transformers for Multi-Object Tracking on Point Clouds
Robert Bosch GmbH(罗伯特·博世有限公司);Ulm University(乌尔姆大学)
我们提出了TransMOT,一种新的基于变压器的端到端的可训练的在线跟踪器和检测器的点云数据。该模型利用交叉和自注意力机制,并且适用于汽车背景下的激光雷达数据以及其他数据类型,例如雷达。轨迹管理和新轨迹的检测都由同一个Transformer解码器模块执行,并且跟踪器状态在特征空间中编码。通过这种方法,我们利用检测器丰富的潜在空间进行跟踪,而不是依赖于低维边界框。尽管如此,我们仍然能够保留一些传统的卡尔曼滤波器为基础的方法,如处理传感器输入在任意时间步长或补偿跳帧的能力所需的属性。这是可能的,这是由于一种新颖的模块,该模块在特征级上将轨道信息从一个帧变换到下一个帧,从而完成与卡尔曼滤波器的预测步骤类似的任务。结果是在具有挑战性的现实世界的数据集nuScenes,其中所提出的模型优于其基于卡尔曼滤波器的跟踪基线。
2022-05-31 cs.CV cs.LG
Efficient Semantic Communication Through Transformer-Aided Compression
University of Maryland(马里兰大学);NEC Laboratories America(美国NEC实验室)
本文提出信道感知的语义通信自适应框架,利用 vision transformer 注意力掩码按图像块语义重要性和瞬时带宽动态调整压缩率,在 TinyImageNet 上实现带宽优化与高语义保真。
2024-12-02 cs.CV cs.IT cs.LG
Contextual Transformer Networks for Visual Recognition
JD AI Research(京东人工智能研究院)
具有自我注意力的Transformer导致了自然语言处理领域的革命性变化,最近激发了Transformer风格架构设计的出现,并在众多计算机视觉任务中取得了竞争性结果。然而,大多数现有的设计直接采用自注意的2D特征映射,以获得注意力矩阵的基础上对孤立的查询和关键字在每个空间位置,但离开丰富的上下文之间的邻居关键字开发不足。在这项工作中,我们设计了一个新的transformer风格的模块,即,上下文Transformer(CoT)块,用于视觉识别。这种设计充分利用了输入键之间的上下文信息来指导动态注意矩阵的学习,从而增强了视觉表征能力。从技术上讲,CoT块首先通过$3\times3$卷积对输入键进行上下文编码,从而得到输入的静态上下文表示。我们进一步将编码的键与输入查询连接起来,通过两个连续的$1\times1$卷积来学习动态多头注意力矩阵。学习的注意力矩阵乘以输入值,以实现输入的动态上下文表示。静态和动态语境表征的融合最终作为输出。我们的CoT块很有吸引力,因为它可以很容易地替换ResNet架构中的每个$3\times3$卷积,产生一个名为上下文Transformer网络(CoTNet)的transformer风格的主干。通过在广泛的应用(例如,图像识别、目标检测和实例分割),我们验证了CoTNet作为更强大主干的优越性。源代码可在\url{https://github.com/J…
2021-07-26 cs.AI cs.CV cs.LG
Decoupling Positional and Symbolic Attention Behavior in Transformers
University of Chile(智利大学);CENIA;Faculty of mathematics UC(数学学院 UC);IMC UC
本研究针对Transformer中RoPE的注意力行为二分特性,从理论与实证层面定义并量化互斥的位置、符号注意力行为,验证行为与频率使用的因果关联,深化了对RoPE机制的理解。
2025-10-03 cs.AI cs.CL cs.LG
MIST: Medical Image Segmentation Transformer with Convolutional Attention Mixing (CAM) Decoder
Purdue University(普渡大学)
本文提出MIST模型,通过结合MaxViT编码器和卷积注意力混合解码器,增强局部与长程特征建模,在ACDC和Synapse数据集上取得领先的医学图像分割性能。
2023-10-30 cs.CV cs.LG
Geometric Capacity of Transformers: A Tropical Geometry Perspective
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院)
本文从热带几何学角度研究Transformer的几何表达能力,通过将自注意力建模为向量值热带有理映射,证明其在零温极限下精确生成幂 Voronoi 图,并推导出Transformer线性区域数量的紧渐进行为。
2026-07-22 cs.LG
Memory Retrieval in Transformers: Insights from The Encoding Specificity Principle
University of Sydney(悉尼大学);Data61 CSIRO(Data61澳大利亚联邦科学与工业研究组织)
本研究基于编码特异性原理,探讨了Transformer中注意力层的记忆机制,并通过实验验证了关键词作为提示的假设,为隐私保护机器无学习提供了新思路。
2026-01-28 cs.LG
Transolver: A Fast Transformer Solver for PDEs on General Geometries
School of Software, BNRist, Tsinghua University. \ Wu < >
本文提出Transolver,一种基于Physics-Attention的快速Transformer求解器,通过学习离散几何背后的内在物理状态,将网格自适应划分为可学习切片以捕捉复杂物理相关性,在六个标准基准上相对提升22%并在大规模工业模拟中表现优异。
2024-06-01 cs.LG cs.NA math.NA
Attention is All You Need in Speech Separation
Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Università Politecnica delle Marche(马尔凯理工大学);University of Rochester(罗切斯特大学)
递归神经网络(RNN)长期以来一直是序列到序列学习的主导架构。然而,RNN本质上是顺序模型,不允许其计算的并行化。Transformers正在成为标准RNN的自然替代品,用多头注意力机制取代循环计算。在本文中,我们提出了SepFormer,一种用于语音分离的新型无RNN转换器神经网络。SepFormer通过采用Transformers的多尺度方法学习短期和长期依赖关系。该模型在标准WSJ 0 -2/3 mix数据集上实现了最先进的(SOTA)性能。它在WSJ 0 - 2 mix上达到22.3 dB的SI-SNRi,在WSJ 0 - 3 mix上达到19.5 dB的SI-SNRi。SepFormer继承了Transformers的并行化优势,即使在对编码表示进行8倍下采样时也能实现有竞争力的性能。因此,它比最新的语音分离系统具有更快的速度和更少的内存需求。
2021-03-08 cs.LG cs.SD eess.AS
Integrating attention into explanation frameworks for language and vision transformers
Department of Computer Science(计算机科学系);Norwegian University of Science and Technology(挪威科学技术大学)
本研究开发两种新型解释方法,将注意力权重分别整合到Shapley值分解与概念激活向量的方向导数中,在基准测试中验证了其可丰富Transformer的可解释性。
2026-09-01 cs.LG stat.ML
Transformer-Aided Semantic Communications
University of Maryland(马里兰大学);NEC Laboratories America(美国 NEC 实验室)
本文提出利用视觉Transformer的注意力机制生成注意力掩码,对图像关键区域进行优先编码和紧凑传输,从而在有限带宽下保留语义信息并提升语义通信效率与重建质量。
2024-05-02 cs.CV cs.IT cs.LG
HDGT: Heterogeneous Driving Graph Transformer for Multi-Agent Trajectory Prediction via Scene Encoding
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
针对自动驾驶场景元素异质、空间关系具相对性的特点,提出将场景建模为异质图、采用分层Transformer聚合的HDGT方法,在两项轨迹预测挑战赛中达到SOTA性能。
2023-07-20 cs.AI cs.CV cs.LG
Improving Computational Efficiency for Powered Descent Guidance via Transformer-based Tight Constraint Prediction
Massachusetts Institute of Technology(麻省理工学院)
提出 T-PDG,用 Transformer 依据历史轨迹优化数据预测紧约束与最优着陆时间,并经可行性检查保证安全最优,使火星 3 自由度燃料最优轨迹计算由 1–8 秒降至 500 毫秒内。
2023-12-11 cs.LG cs.RO cs.SY