EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series
Curtin University（科廷大学）
EdgeConvFormer通过结合Time2vec、动态图CNN和Transformer，解决Transformer异常检测中数据需求大、位置编码不适用及忽视序列间依赖的问题，并在多尺度真实数据集上实现更优的异常检测性能。
2023-12-04 cs.LG
Memory-Gated Recurrent Networks
JD Digits（京东数字科技）；City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；Chong-Qing & Suzhou Research Institutes（重庆苏州研究院）
多元序列学习的本质是如何提取数据中的依赖关系。这些数据集，如重症监护病房的每小时医疗记录和多频语音时间序列，往往不仅表现出强烈的时间序列依赖性的各个组成部分（“边缘”记忆），但也不可忽视的记忆横截面的依赖性（“联合”记忆）。由于多元复杂性的联合分布的演变，数据生成过程的基础上，我们采取数据驱动的方法，并构建了一种新的经常性的网络架构，称为记忆门控递归网络（mGRN），门显式调节两种不同类型的记忆：边际记忆和联合记忆。通过对一系列公共数据集的综合模拟研究和实证实验相结合，我们表明，我们提出的mGRN架构始终优于针对多变量时间序列的最先进架构。
2020-12-30 cs.LG q-fin.ST
Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections
Brain Corporation（Brain公司）
针对Transformer缺乏上下文相关特征和信息流调节的问题，本文提出评估器调节单元（EAU）与门控残差连接（GRC），通过动态调节注意力输出和选择性控制信息流，在NLP基准上展现出更强的适应性和效率。
2024-05-22 cs.AI cs.LG
Distributed Lag Transformer based on Time-Variable-Aware Learning for Explainable Multivariate Time Series Forecasting
Changwon National University（昌原国立大学）
提出DLFormer架构，通过集成分布式滞后嵌入和时间变量感知学习机制，在十个数据集上实现了高精度且可解释的多变量时间序列预测。
2025-08-13 cs.LG
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting
Northwestern Polytechnical University（西北工业大学）
针对Transformer依赖位置嵌入限制时间序列表示的问题，提出结合金字塔RNN嵌入（PRE）与Transformer的PRformer模型，利用多尺度卷积和RNN保留时间顺序，在真实数据集上达到最先进性能。
2024-08-20 cs.LG
DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting
The University of Hong Kong（香港大学）；Vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司）
针对多变量时间序列预测中通道依赖策略易引入无关变量致性能下降的问题，提出结合通道依赖与独立策略优势的DGCformer，经图卷积自编码器分组变量并搭配前后掩码自注意力，在8个数据集上表现优于现有最优模型。
2024-05-14 cs.LG
Pi-transformer: A prior-informed dual-attention model for multivariate time-series anomaly detection
Lincoln AI Lab, University of Lincoln（林肯人工智能实验室，林肯大学）；Trainline
Pi-Transformer通过数据驱动的序列注意力和先验注意力，结合时间不变量，提升多变量时间序列异常检测的准确性与鲁棒性。
2026-03-19 cs.LG
MICA: Multivariate Infini Compressive Attention for Time Series Forecasting
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
MICA通过引入跨通道注意力机制，提升多变量时间序列预测的效率与准确性，显著降低预测误差，优于传统Transformer模型。
2026-05-11 cs.LG
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
SETTer: Sparse-Encoder Transformer for Long-term Multivariate Time Series Forecasting
RWTH Aachen University（亚琛工业大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
SETTer通过解耦自注意力和混合掩码技术，在单层Transformer架构下有效捕获长期多元时间序列的时空模式，并在88%的基准场景中超越现有最优模型。
2026-09-18 cs.LG
Storing Is Not Remembering: LSTM-UT and Bounded Gated Memory for Looped Transformers
University of Southampton（南安普顿大学）
本研究比较了三种循环深度 Transformer 在元胞自动机上的表现，提出 LSTM-UT 模型，其有界门控记忆有效提升了深度外推和延迟召回能力。
2026-10-06 cs.LG
Multi-scale Transformer Pyramid Networks for Multivariate Time Series Forecasting
University of Nevada, Reno（内华达大学雷诺分校）；East Carolina University（东卡罗来纳大学）
本文提出多尺度Transformer金字塔网络（MTPNet），通过维度不变嵌入和多个无约束尺度捕获时间依赖，在九个基准数据集上超越现有最先进方法。
2023-08-23 cs.LG
Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting
Shanghai Jiaotong University（上海交通大学）；Eastern Institute for Advanced Study（东方理工高等研究院）；Hefei University of Technology（合肥工业大学）
针对多元长期时间序列预测中注意力模块捕获跨时间依赖性的质疑，提出Client模型，通过线性模块学习趋势、注意力模块捕获跨变量依赖，在九个数据集上以最少计算时间和内存消耗实现SOTA性能。
2023-05-30 cs.LG
DSformer: A Double Sampling Transformer for Multivariate Time Series Long-term Prediction
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
DSformer通过双采样块与时间变量注意力块并行挖掘多元时间序列的全局信息、局部信息和变量相关性，在九个真实数据集上超越八个基线模型，实现高精度长期预测。
2023-08-07 cs.LG
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology（计算机科学与技术学院，中国矿业大学）；Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学）
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题，提出MAGTKD模型，利用提示学习增强文本表示、知识蒸馏强化弱模态，并通过多模态锚点门控Transformer整合话语级特征，在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
Contactless Oxygen Monitoring with Gated Transformer
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；HKUST (GZ)（香港科技大学（广州））；HKUST（香港科技大学）
随着远程医疗的日益普及，确保在家中准确监测基本生理信号变得至关重要，同时将患者开销降至最低。在本文中，我们提出了一种非接触式的方法来监测病人的血氧在家里，简单地通过分析在房间里的无线电信号，没有任何可穿戴设备。我们从病人身体反射回来的无线电信号中提取出病人的呼吸，并设计了一种新颖的神经网络，它可以从病人的呼吸信号中推断出病人的氧气估计值。我们的模型称为\emph{Gated BERT-UNet}，旨在适应患者的医疗指标（例如，性别、睡眠阶段）。它有多个预测头，并通过由人的生理指标控制的门选择最合适的头。大量的实证结果表明，我们的模型在医疗和无线电数据集上都达到了很高的准确性。
2022-12-06 cs.LG eess.SP
Mega: Moving Average Equipped Gated Attention
University of Southern California（南加州大学）；Meta AI Research（Meta人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
Transformer注意力机制的设计选择，包括弱感应偏置和二次计算复杂性，限制了其在长序列建模中的应用。在本文中，我们介绍了兆，一个简单的，理论上接地，单头门控注意力机制配备（指数）移动平均将位置感知的局部依赖性的归纳偏差到位置不可知的注意力机制。我们进一步提出了一个变种的兆，提供线性的时间和空间复杂度，但只产生最小的质量损失，有效地分裂成多个块的整个序列具有固定的长度。在广泛的序列建模基准上进行的广泛实验，包括长距离竞技场，神经机器翻译，自回归语言建模以及图像和语音分类，表明Mega比其他序列模型（包括Transformers的变体和最近的状态空间模型）实现了显着的改进。
2023-01-28 cs.LG
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo（开罗德国大学）；Technical University of Munich（慕尼黑工业大学）；Cerebras Systems Inc.（赛布拉斯系统公司）
本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
MIGT: Memory Instance Gated Transformer Framework for Financial Portfolio Management
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
MIGT通过引入门控实例注意力模块，提升DRL在金融投资组合管理中的收益能力和稳定性。
2025-02-11 cs.AI cs.LG
Transformer Modeling for Both Scalability and Performance in Multivariate Time Series
Southern Methodist University（南方 Methodist 大学）
针对多变量时间序列Transformer中变量数导致的扩展瓶颈与性能下降问题，提出DELTAformer，通过委托令牌约束变量间混合，实现线性扩展并提升性能，达到最先进水平。
2025-09-23 cs.LG
DProQ: A Gated-Graph Transformer for Protein Complex Structure Assessment
University of Missouri（密苏里大学）
蛋白质相互作用形成复合物以执行基本的生物功能。计算方法已经发展到预测蛋白质复合物的结构。然而，在蛋白质复合物结构预测中的一个重要挑战是在没有相应的天然结构的任何知识的情况下估计预测的蛋白质复合物结构的质量。然后，这种估计可以用于选择高质量的预测复杂结构，以促进生物医学研究，如蛋白质功能分析和药物发现。我们用DProQ挑战这一重要任务，DProQ引入了门控邻域调制图Transformer（GGT），旨在预测3D蛋白质复合物结构的质量。值得注意的是，我们将节点和边缘门在一个新的图形Transformer框架控制信息流在图形消息传递。我们训练和评估DProQ上四个新开发的数据集，我们公开在这项工作中。我们严格的实验表明，DProQ在对蛋白质复合物结构进行排名方面达到了最先进的性能。
2022-05-21 cs.AI cs.LG q-bio.BM
BAT: Better Audio Transformer Guided by Convex Gated Probing
Ghent University（根特大学）；University of Kassel（卡塞尔大学）
提出凸门控探测（CGP）方法，通过门控机制有效利用所有冻结层，缩小音频自监督学习中探测与微调的差距，并基于CGP改进SSL流程，构建Better Audio Transformer（BAT），在音频基准上取得新最优结果。
2026-05-29 cs.LG cs.SD
Transformer-based Drum-level Prediction in a Boiler Plant with Delayed Relations among Multivariates
SenseTime Research（商汤科技研究院）；School of Software Engineering Peking University（北京大学软件与微电子学院）；Information Systems University of Cologne（科隆大学信息系统系）
本研究针对锅炉汽包水位预测难题，提出基于Transformer的预测框架，通过数据预处理、因果分析、延迟推断等流程，有效提升预测准确性与运行稳定性。
2024-07-15 cs.LG
Adaptive Financial Transformer with Regime-Gated Attention for Stock Return Prediction
Dishan Sarkar
提出自适应金融Transformer，通过机制编码器、自适应门控网络和金融上下文模块动态调整注意力，在降低模型复杂度15.2%的同时提升参数效率，实现可解释的股票收益预测。
2026-06-28 cs.AI cs.LG
TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
Imperial College London（帝国理工学院）；Loughborough University（拉夫堡大学）
多变量时间序列数据的有效异常检测与诊断对于现代工业应用具有重要意义。然而，建立一个能够快速准确地查明异常观测的系统是一个具有挑战性的问题。这是由于缺乏异常标签，高数据波动性和现代应用中超低推理时间的需求。尽管用于异常检测的深度学习方法最近有所发展，但只有少数方法可以解决所有这些挑战。在本文中，我们提出了TranAD，一个基于深度Transformer网络的异常检测和诊断模型，该模型使用基于注意力的序列编码器，利用数据中更广泛的时间趋势知识快速进行推理。TranAD使用基于焦点分数的自调节来实现鲁棒的多模态特征提取和对抗训练以获得稳定性。此外，与模型无关的元学习（MAML）允许我们使用有限的数据训练模型。对六个公开数据集的广泛实证研究表明，TranAD可以通过数据和时间有效的训练在检测和诊断性能方面优于最先进的基线方法。具体而言，与基线相比，TranAD将F1分数提高了17%，将训练时间减少了99%。
2022-05-14 cs.LG
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher（独立研究者）
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer，以线性成本高效建模长上下文依赖，并在PyTorch中从零实现，适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Portfolio Optimization with 2D Relative-Attentional Gated Transformer
University of Sydney（悉尼大学）
投资组合优化是近年来机器学习研究的热点之一。由于深度强化学习能够有效地处理金融市场的特性，许多研究者试图用它来解决这个问题。然而，大多数方法由于忽略或过分简化了交易成本的现实约束，很难适用于现实交易。这些制约因素对投资组合的盈利能力产生了重大的负面影响。在我们的研究中，一个保守的水平的交易费用和滑点被认为是现实的实验。为了提高这些约束下的性能，我们提出了一种新的确定性策略梯度与二维相对注意力门控Transformer（DPGRGT）模型。在时间轴和资产轴上应用可学习的相对位置嵌入，该模型更好地理解了投资组合优化领域中金融数据的特殊结构。此外，门控层和层重新排序用于强化学习中的Transformers的稳定收敛。在我们使用美国股票市场20年数据的实验中，我们的模型优于基线模型，并证明了其有效性。
2020-12-27 cs.AI cs.LG q-fin.PM
A Transformer-based Framework for Multivariate Time Series Representation Learning
Brown University（布朗大学）；IBM Research（IBM研究院）
在这项工作中，我们首次提出了一个基于transformer的框架，用于多变量时间序列的无监督表示学习。预训练模型可以用于下游任务，如回归和分类，预测和缺失值插补。通过在多个多元时间序列回归和分类的基准数据集上评估我们的模型，我们表明我们的建模方法不仅代表了迄今为止对多元时间序列进行无监督学习的最成功的方法，而且它还超过了当前最先进的监督方法的性能;即使在训练样本的数量非常有限的情况下，它也能这样做，同时提供计算效率。最后，我们证明了我们的Transformer模型的无监督预训练比完全监督学习提供了实质性的性能优势，即使没有利用额外的未标记数据，即，通过无监督目标重用相同的数据样本。
2020-12-08 cs.AI cs.LG
GPU Memory Requirement Prediction for Deep Learning Task Based on Bidirectional Gated Recurrent Unit Optimization Transformer
Rice University（莱斯大学）；Duke University（杜克大学）
针对深度学习GPU内存预测难题，提出BiGRU优化Transformer模型，在MSE、RMSE等指标上优于决策树等基准方法，显著提升预测精度，助力资源调度。
2025-10-23 cs.AI cs.LG
Self-Supervised Transformer for Sparse and Irregularly Sampled Multivariate Clinical Time-Series
Virginia Tech（弗吉尼亚理工大学）
在重症监护环境中经常观察到多变量时间序列数据，其典型特征是稀疏性（缺失信息）和不规则的时间间隔。在这个领域中用于学习表示的现有方法通过聚集或估算值来处理这些挑战，这反过来又抑制了细粒度信息并将不期望的噪声/开销添加到机器学习模型中。为了解决这个问题，我们提出了一个自我监督的Transformer for Time-Series（STraTS）模型，它克服了这些缺陷，将时间序列视为一组观察三元组，而不是使用标准的稠密矩阵表示。它采用了一种新的连续值嵌入技术来编码连续时间和变量值，而无需离散化。它由一个带有多头注意力层的Transformer组件组成，这些层使它能够学习上下文三重嵌入，同时避免循环架构中发生的循环和梯度消失问题。此外，为了解决标记数据可用性有限的问题（这通常在许多医疗保健应用中观察到），STraTS通过利用未标记数据来利用自我监督，以通过使用时间序列预测作为辅助代理任务来学习更好的表示。在真实世界多变量临床时间序列基准数据集上的实验表明，STraTS具有比最先进的死亡率预测方法更好的预测性能，特别是当标记数据有限时。最后，我们还提出了一个可解释的STraTS版本，它可以识别时间序列数据中的重要测量。我们的数据预处理和模型实现代码可以在https://github.com/sindhura97/STraTS上找到。
2022-02-16 cs.LG
GLSFormer: Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos
Johns Hopkins University（约翰斯·霍普金斯大学）；Wilmer Eye Institute, Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院威尔默眼科研究所）；Malone Center for Engineering in Healthcare, Johns Hopkins University（约翰斯·霍普金斯大学马龙医疗工程中心）
针对现有手术步骤识别方法未兼顾时空特征联合建模与长程信息的问题，提出带门控时间注意力的GLSFormer，在两个白内障数据集上性能优于现有最优方法。
2023-07-20 cs.CV cs.LG
Beyond All-to-All: Causal-Aligned Transformer with Dynamic Structure Learning for Multivariate Time Series Forecasting
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）
本文提出因果对齐变换器，通过动态结构学习实现多变量时间序列预测中的因果区分，提升预测鲁棒性与准确性。
2026-02-13 cs.LG
Gated Normalization Removal and Scale Anchoring in Pre-Norm Transformers
Department of Electrical Engineering（电气工程系）；Department of Computer Science（计算机科学系）；Stanford University（斯坦福大学）
本文研究了预归一化变换器中归一化层的必要性，提出了一种门控归一化移除方法，通过TaperNorm逐步将归一化操作转为样本无关的线性或仿射映射，并揭示了最终归一化层对预logit表示尺度的锚定作用。
2026-05-19 cs.CL cs.LG
Gated Linear Attention Transformers with Hardware-Efficient Training
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出硬件高效的线性注意力算法 FLASHLINEARATTENTION 及其门控变体 GLA Transformer，在中等规模语言建模中性能媲美 LLaMA、RetNet 和 Mamba，且在长度泛化和训练吞吐量上表现优异。
2024-08-27 cs.CL cs.LG
Enhancing Transformer Efficiency for Multivariate Time Series Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
目前大多数多变量时间序列（MTS）分类算法的重点是提高预测精度。然而，对于大规模（高维或长序列）时间序列（TS）数据集，还有一个额外的考虑因素：设计一个有效的网络架构，以减少计算成本，如训练时间和内存占用。在这项工作中，我们提出了一种基于模块修剪和帕累托分析的方法来研究模型效率和准确性之间的关系，以及其复杂性。在MTS基准数据集上的实验结果表明了该方法的有效性。
2022-03-28 cs.AI cs.LG
MTM: A Multi-Scale Token Mixing Transformer for Irregular Multivariate Time Series Classification
The Hong Kong University of Science and Technology（香港科学与技术大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；Guangzhou Urban Planning and Design Survey Research Institute（广州城市规划与设计调查研究院）
本文针对不规则多元时间序列分类中通道间异步性问题，提出多尺度令牌混合Transformer（MTM），通过掩码拼接池化和通道级令牌混合机制提升通道建模能力，在多个基准上取得最优性能。
2025-09-22 cs.LG
Value-State Gated Attention for Mitigating Extreme-Token Phenomena in Transformers
Ant Group（蚂蚁集团）；WICT, Peking University（北京大学信息学院）
本文提出价值状态门控注意力机制，通过直接打破注意力与价值状态的循环，有效缓解Transformer中的极端令牌现象，提升模型性能与可解释性。
2026-01-26 cs.AI cs.LG
Integrating Quantum-Classical Attention in Patch Transformers for Enhanced Time Series Forecasting
Linköping University（林雪平大学）；Techno International New Town
QCAAPatchTF将量子-经典混合自注意力机制集成到基于patch的transformer编码器中，通过量子原理降低计算复杂度并增强多变量相关性，在时间序列预测、分类和异常检测任务上实现了最先进的准确性和效率。
2025-03-31 cs.LG
GANDALF: Gated Adaptive Network for Deep Automated Learning of Features
Walmart Global Tech（沃尔玛全球技术）；Delhi Technological University（德里理工大学）
本文提出面向表格数据的GANDALF架构，通过带门控与内置特征选择的GFLU单元实现高效可解释的特征学习，在多个公开基准上达到或超越XGBoost、SAINT等SOTA方法。
2024-01-10 cs.LG
Gated recurrent neural networks discover attention
ETH Zürich（苏黎世联邦理工学院）
本研究揭示，配备线性循环层和乘法门控的现代RNN能精确实现自注意力，且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法，凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group（阿里巴巴集团）
本文提出Stecformer模型，通过半自适应图的时空编码提取器和级联解码预测器CDP，解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题，在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
Northwestern Polytechnical University（北华理工大学）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
HTMformer通过混合时间与多变量嵌入提升时间序列预测的准确性和效率
2025-12-15 cs.AI cs.LG
Transformer-based Multivariate Time Series Anomaly Localization
KIOS Research and Innovation Center of Excellence（KIOS研究与创新中心）；Department of Electrical and Computer Engineering, University of Cyprus（电子与计算机工程系）；Department of Mathematics and Statistics, University of Cyprus（数学与统计学系）
本文提出基于Transformer的多变量时间序列异常定位模型，通过改进自注意力机制提升定位性能，并引入STAS和SFAS度量标准以增强异常检测的准确性。
2025-04-03 cs.LG
MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-Head Transformer with Convolution-Augmented Joint Self-Attentions
Alibaba Group（阿里巴巴集团）
基于Transformer的模型在单声道语音分离中提供了显著的性能改进。然而，与最近提出的上限相比，仍然存在性能差距。目前双通道Transformer模型的主要局限性是对长距离元素相互作用和局部特征模式的建模效率低下。在这项工作中，我们实现了上限，提出了一个门控单头Transformer架构与卷积增强联合自关注，命名为\textit{MossFormer}（\textit{Mo}自然\textit{s}语音\textit{s}分离\textit{Former}）。为了有效地解决双路径架构中跨块的间接元素交互，MossFormer采用了一种联合的局部和全局自注意架构，该架构同时对局部块执行全计算自注意和对全序列执行线性化低成本自注意。联合注意力使MossFormer能够直接模拟全序列元素相互作用。此外，我们采用了一个强大的注意门控机制与简化的单头自我关注。除了精心的长期建模，我们还增加了MossFormer与卷积的位置明智的局部模式建模。因此，MossFormer显著优于以前的模型，并在WSJ 0 -2/3 mix和WHAM上实现了最先进的结果！/哇！基准。我们的模型在WSJ 0 - 3 mix上实现了21.2 dB的SI-SDRi上限，在WSJ 0 - 2 mix上仅低于23.1 dB的上限0.3 dB。
2023-02-23 cs.LG cs.SD eess.AS
gSwin: Gated MLP Vision Model with Hierarchical Structure of Shifted Window
PKSHA Technology, Inc.（PKSHA科技公司）
gSwin融合Swin Transformer与gMLP，以更小模型在图像分类、目标检测和语义分割上超越Swin Transformer。
2023-09-02 cs.CV cs.LG
RLBenchNet: The Right Network for the Right Reinforcement Learning Task
Deggendorf Institute of Technology（德格多夫技术学院）；Technical University of Munich（慕尼黑技术大学）
本研究系统评估了MLP、LSTM、Mamba系列、Transformer系列等多种网络架构在不同类型强化学习任务中的表现，明确了各类架构的适用场景与性能、效率差异，为强化学习领域的网络选型提供了参考依据。
2025-05-21 cs.LG
multivariateGPT: a decoder-only transformer for multivariate categorical and numeric data
Yale School of Medicine（耶鲁医学院）；Lee Kong Chian School of Medicine, Nanyang Technological University（南洋理工大学李科健医学院）
提出multivariateGPT，一种仅解码器Transformer架构，通过自回归序列分解、嵌入方案和损失函数将下一token预测扩展为联合分布似然估计，实现对混合分类与数值数据序列的高效建模，并成功应用于心电图及电子健康记录等复杂时间序列。
2025-05-29 cs.AI cs.LG
Twin Transformer using Gated Dynamic Learnable Attention mechanism for Fault Detection and Diagnosis in the Tennessee Eastman Process
K.N. Toosi University of Technology（K.N.图西工业大学）；Shahed university（沙希德大学）；Southern Illinois University Edwardsville（南伊利诺伊大学爱德华兹维尔分校）
本文提出一种基于双Transformer分支和门控动态可学习注意力（GDLAttention）的故障检测与诊断方法，在田纳西-伊斯曼过程的21种和18种故障场景中验证其在准确率、误报率和误分类率上优于现有方法。
2024-11-25 cs.AI cs.LG
Gaussian Gated Linear Networks
DeepMind（深度思维）
我们提出了高斯门控线性网络（G-GLN），这是最近提出的GLN系列深度神经网络的扩展。GLN不是使用反向传播来学习特征，而是具有基于优化凸目标的分布式和局部信用分配机制。这产生了许多理想的属性，包括通用性，数据有效的在线学习，平凡的可解释性和鲁棒性灾难性遗忘。我们将GLN框架从分类扩展到多元回归和密度建模，将几何混合推广到高斯密度的乘积。G-GLN在几个单变量和多变量回归基准上实现了具有竞争力或最先进的性能，并且我们证明了其对实际任务的适用性，包括在线上下文强盗和通过去噪进行密度估计。
2020-10-21 cs.LG stat.ML
LUKE-Graph: A Transformer-based Approach with Gated Relational Graph Attention for Cloze-style Reading Comprehension
Semnan University（塞姆南大学）
本文提出LUKE-Graph模型，通过构建文档实体异构图并结合关系图注意力网络与门控机制，在不依赖外部知识图谱的情况下融合实体感知和关系感知表示，在ReCoRD常识推理数据集上取得最优性能。
2023-03-12 cs.CL cs.LG
Compatible Transformer for Irregularly Sampled Multivariate Time Series
Shanghai Jiao Tong University（上海交通大学）；Amazon Web Service（亚马逊云科技）；University of Technology Sydney（悉尼科技大学）
针对不规则采样多元时间序列，提出基于变量内/变量间注意力的Transformer编码器CoFormer，以学习样本级时间交互表示，在分类和预测等下游任务上显著优于现有方法。
2023-10-17 cs.AI cs.LG
Embedded Decomposed Transformer for explainable multivariate time series forecasting
Linköping University（林雪平大学）
EDformer通过嵌入式分解将多元时间序列分为季节与趋势成分，利用反向重建、注意力与前馈网络提升预测精度，并增强可解释性。
2026-11-10 cs.AI cs.LG
AGaLiTe: Approximate Gated Linear Transformers for Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出 AGaLiTe，一种用于部分可观测在线强化学习的近似门控线性 Transformer 循环架构，相比 GTrXL 推理成本降低 40%、内存减少 50%，且在复杂任务中性能提升超 37%。
2024-10-15 cs.AI cs.LG
DDMT: Denoising Diffusion Mask Transformer Models for Multivariate Time Series Anomaly Detection
本文提出DDMT框架，通过自适应动态邻居掩码缓解弱身份映射问题，并首次结合去噪扩散模型与Transformer建模正常数据分布，在五个公开数据集上取得最先进的多元时间序列异常检测性能。
2023-10-30 cs.AI cs.LG
