Renaissance of RNNs in Streaming Clinical Time Series: Compact Recurrence Remains Competitive with Transformers
University of Texas at Dallas(德克萨斯大学达拉斯分校);Independent Researcher(独立研究者);Georgia Institute of Technology(佐治亚理工学院);University of Michigan- Ann Arbor(密歇根大学安娜堡分校)
该研究在 MIT-BIH 流式心率基准上比较紧凑 GRU-D 与 Transformer,发现短程风险评分中 RNN 略优,而单步心率预测中 Transformer 误差更低。
2025-10-19 cs.AI cs.LG
Were RNNs All We Needed?
Mila – Université de Montréal(米拉-蒙特利尔大学);Borealis AI(博雷亚利斯人工智能公司)
针对Transformer的序列长度可扩展性限制,从历史视角重新研究RNNs(LSTMs和GRUs),通过简化得到参数更少、训练可并行化的minLSTMs和minGRUs,其在多任务上性能媲美Transformer等近期模型。
2024-11-28 cs.AI cs.LG
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);University of Geneva(日内瓦大学)
Transformers在几个任务中实现了卓越的性能,但由于其二次复杂性,相对于输入的长度,它们对于非常长的序列是非常慢的。为了解决这一问题,我们将自注意力表示为核特征映射的线性点积,并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$,其中$N$是序列长度.我们表明,这种提法允许迭代实现,大大加快自回归Transformers,并揭示了它们的关系,经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能,并且在对非常长的序列进行自回归预测时,它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
Learning State-Tracking from Code Using Linear RNNs
通过将置换组合任务转换为带状态揭示的代码,研究线性RNN在状态追踪中的表现,发现其优于Transformer,但在部分可观测状态下不如非线性RNN。
2026-06-26 cs.CL cs.LG
Training-free Neural Architecture Search for RNNs and Transformers
Princeton University(普林斯顿大学);University of Colorado Colorado Springs(科罗拉多大学斯普林斯分校)
本文研究面向 RNN 与 BERT 类 Transformer 的免训练 NAS,提出 hidden covariance 指标并指出搜索空间需与指标协同设计。
2023-06-01 cs.AI cs.CL cs.LG
Gated recurrent neural networks discover attention
ETH Zürich(苏黎世联邦理工学院)
本研究揭示,配备线性循环层和乘法门控的现代RNN能精确实现自注意力,且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法,凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Memory Caching: RNNs with Growing Memory
Google(谷歌)
本文提出Memory Caching技术,通过缓存RNN的记忆状态以增强其记忆容量,实现与Transformer的平衡性能,在长上下文任务中表现优异。
2026-02-27 cs.AI cs.LG
Why Are Linear RNNs More Parallelizable?
本文通过将RNN类型与标准复杂度类紧密关联,揭示了线性RNN(LRNN)因可视为对数深度算术电路而易于并行化,而非线性RNN因能解决L-完全问题而存在并行化障碍。
2026-06-01 cs.CC cs.CL cs.FL
Hierarchical RNNs-Based Transformers MADDPG for Mixed Cooperative-Competitive Environments
Communication University of China(中国传媒大学);Columbia University in the City of New York(纽约市哥伦比亚大学)
目前,注意力机制已广泛应用于深度学习模型领域。基于注意力机制的结构化模型不仅可以记录特征位置之间的关系,而且可以根据特征的权重来度量不同特征的重要性。通过建立动态加权参数选择相关和不相关的特征,可以加强关键信息,并削弱无关信息。因此,深度学习算法的效率可以显著提高和改进。尽管Transformers在包括强化学习在内的许多领域都有很好的表现,但在这一领域仍然存在许多问题和应用。MARL(称为多智能体强化学习)可以被认为是一组独立的智能体试图通过自己的方式适应和学习以达到目标。为了强调一定时间段内各个MDP决策之间的关系,我们应用了分层编码方法并验证了该方法的有效性。本文提出了一种基于RNN的层次变换器MADDPG,我们称之为基于层次RNNs-Based Transformers MADDPG(HRTMADDPG)。该算法由一个基于RNN的低层编码器和一个基于Transformer的高层编码器组成,前者对每个时间序列进行多步长编码,后者学习多个序列之间的相关性,从而捕捉子时间序列之间的因果关系,提高HRTMADDPG算法的效率。
2021-05-11 cs.LG cs.MA
On Limitation of Transformer for Learning HMMs
School of Computer Science, Peking University(北京大学计算机学院);Department of Electrical and Computer Engineering, Princeton University(普林斯顿大学电气与计算机工程系)
本文通过实验和理论分析揭示了Transformer在学习隐马尔可夫模型时在训练速度、准确率和序列长度方面均不如RNN,并提出块CoT训练方法可部分缓解该局限。
2024-06-06 cs.AI cs.LG
RNNs, CNNs and Transformers in Human Action Recognition: A Survey and a Hybrid Model
University of Southampton(南安普顿大学)
本文针对人体动作识别领域,综述了CNN、RNN到ViT的技术演进与研究现状,同时提出一种融合CNN与ViT固有优势的新型混合模型。
2024-08-15 cs.AI cs.CV cs.LG
Inhibitor Transformers and Gated RNNs for Torus Efficient Fully Homomorphic Encryption
RISE, Research Institutes of Sweden(瑞典研究机构RISE);Zama, Machine Learning Group(Zama机器学习组);Luleå University of Technology(卢勒奥技术大学)
本文提出抑制器设计用于变换器和门控RNN,通过替换乘法和激活函数为加法和ReLU操作,提升加密推理效率并保持学习能力。
2026-03-23 cs.LG
A foundation for systematic analysis of transformers and RNNs for tractography
Université de Sherbrooke(舍布鲁克大学);Mila, Université de Montréal(蒙特利尔大学米拉研究所);Imeka Solutions Inc(伊梅卡解决方案公司)
本研究系统评估RNN和Transformer在纤维束成像中的性能,引入生成-验证阶段实现流线级监督,在ISMRM2015数据集上达到最高性能,并量化了训练数据缺陷的影响。
2026-10-02 cs.LG eess.IV q-bio.NC
Facing Off World Model Backbones: RNNs, Transformers, and S4
Rutgers University(罗格斯大学);KAIST(韩国科学技术院)
针对现有MBRL世界模型骨干RNN记忆容量有限的问题,提出兼容可并行SSM的S4WM世界模型,实验证明其在长期记忆任务上优于Transformer类模型,且训练和推理效率更高。
2023-11-09 cs.LG
Attention is All You Need? Good Embeddings with Statistics are enough:Large Scale Audio Understanding without Transformers/ Convolutions/ BERTs/ Mixers/ Attention/ RNNs or ....
Stanford University(斯坦福大学)
本文提出了一种在没有传统的最先进的神经架构的情况下进行大规模音频理解的方法。自从在过去十年中引入深度学习来理解音频信号以来,卷积架构已经能够实现超越传统手工制作功能的最先进结果。最近,从传统的卷积和递归神经网络向纯粹的端到端Transformer架构进行了类似的转变。我们,在这项工作中,探索一种方法,基于词袋模型。我们的方法没有任何卷积,递归,注意力,变压器或其他方法,如BERT。我们利用微观和宏观层次的聚类香草嵌入,并使用MLP头分类。我们只使用前馈编码器-解码器模型,以获得频谱的瓶颈,频谱补丁和切片以及多分辨率频谱。分类头(前馈层),类似于Simplified中的方法,是在学习的表示上训练的。使用在潜在表示上学习的简单代码,我们展示了我们如何超越传统的卷积神经网络架构,并惊人地接近于超越强大的Transformer架构。这项工作有望为表示学习领域的令人兴奋的进步铺平道路,而无需大规模的端到端神经架构。
2022-01-30 cs.AI cs.IR cs.LG
A Novel Framework for Recurrent Neural Networks with Enhancing Information Processing and Transmission between Units
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机学院)
基于认知神经科学中的人类记忆模型,提出了一种新的循环神经网络(RNN)框架,以增强相邻RNN单元之间的信息处理和传输。RNN的框架由工作记忆、遗忘和长期存储三个阶段组成。第一阶段包括将输入数据取入感觉记忆,并将其转移到工作记忆进行初步处理。第二阶段主要是主动遗忘工作记忆中的次要信息而不是主要信息。最后,我们通常使用某种RNN的单位来获得长期存储。我们的框架,这是广义和简单的,6个数据集,分为3个不同的任务,对应于文本分类,图像分类和语言建模进行评估。实验结果表明,该框架可以明显提高传统循环神经网络的性能。探索性任务显示了我们的框架正确遗忘次要信息的能力。
2018-06-02 cs.CL cs.LG cs.NE
Implicit Language Models are RNNs: Balancing Parallelization and Expressivity
Chair of Highly-Parallel VLSI Systems and Neuro-Microelectronics , TUD Dresden University of Technology, Dresden, Germany(德累斯顿技术大学神经微电子学系);Microsoft Research, Cambridge, United Kingdom(微软研究院)
该研究提出隐式SSMs,通过迭代变换至近似不动点实现RNN的非线性状态转移,设计兼顾并行性的可扩展训练课程,在正则语言任务上超越Transformer和SSMs,还成功扩展至1.3B参数的大模型预训练,性能优于显式模型。
2025-06-12 cs.AI cs.LG
Estimating Vehicle Speed on Roadways Using RNNs and Transformers: A Video-based Approach
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对传统车辆测速方法成本高、覆盖有限等问题,本研究提出基于视频的LSTM、GRU和Transformer测速方案,验证了门控机制与长序列的优势,Transformer适配多场景,可提升测速系统性能,助力交通管理与安全。
2025-02-21 cs.CV cs.LG eess.IV
Language Models Need Inductive Biases to Count Inductively
Carnegie Mellon University(卡内基梅隆大学)
本文研究了语言模型的归纳计数能力,发现传统RNN能轻松实现归纳计数,而Transformer和现代RNN因架构设计需依赖位置嵌入或丧失循环特性而表现不佳。
2024-10-25 cs.CL cs.LG
FlashRNN: I/O-Aware Optimization of Traditional RNNs on modern hardware
Institute for Machine Learning(机器学习研究所);NXAI GmbH(NXAI 公司);Johannes-Kepler University Linz(约翰内斯·开普勒林茨大学)
本文提出 FlashRNN,通过 Triton/CUDA 寄存器级 kernel、小隐藏状态多 RNN 并行及硬件约束优化框架,显著提升传统 RNN 在现代 GPU 上的速度与可扩展隐藏尺寸。
2025-03-13 cs.AI cs.LG
Indexing: the Beginning and the End
CENIA(CENIA研究所);Pontifical Catholic University of Chile(智利天主教大学)
研究现代深度学习架构中信息瓶颈,通过索引原语视角,引入因果复杂度,分析索引在输入不同位置时各架构解决索引原语的能力,得出不可能性结果,实验与理论定性相符。
2026-07-27 cs.AI cs.LG
Predicting O-GlcNAcylation Sites in Mammalian Proteins with Transformers and RNNs Trained with a New Loss Function
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种名为加权焦点可微 MCC 的新损失函数,用于训练和微调 RNN 模型,在最大数据集的独立测试集上实现了最先进的 O-GlcNAcylation 位点预测性能。
2025-09-17 cs.LG q-bio.MN
A comparative study of transformer models and recurrent neural networks for path-dependent composite materials
Department of Physics, University of Gothenburg(物理系,哥德堡大学)
本研究比较了变压器模型与循环神经网络在路径依赖复合材料建模中的性能,发现RNN在小数据集和外推任务中表现更优,而变压器模型在推理速度上更快。
2026-02-17 cond-mat.mtrl-sci cs.LG physics.comp-ph
ParaRNN: Unlocking Parallel Training of Nonlinear RNNs for Large Language Models
Apple(苹果公司)
本文提出 ParaRNN 框架,通过将非线性递归转化为方程组并利用 Newton 迭代法进行并行求解,打破了非线性 RNN 的序列训练限制,实现了最高 665 倍加速,成功训练 7B 参数模型并开源。
2025-11-03 cs.LG
Support for Stock Trend Prediction Using Transformers and Sentiment Analysis
University of California, Irvine(加州大学欧文分校)
本文提出基于 Transformer 的模型,结合股票技术数据与情感分析,在长时间窗口内提升股票趋势预测准确率,在 30 个工作日序列上方向准确率较 RNNs 提升近 18.63%。
2023-05-18 cs.LG q-fin.ST
Separations in the Representational Capabilities of Transformers and Recurrent Architectures
University of Oxford(牛津大学);Saarland University(萨尔大学);Cohere(Cohere公司)
针对Transformer与RNN的表征能力差异,论文在索引查找、最近邻、有界Dyck语言和字符串相等任务上证明了模型规模分离,并以实验验证实际序列上的性能差异。
2024-06-13 cs.LG stat.ML
Attention is All You Need in Speech Separation
Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Università Politecnica delle Marche(马尔凯理工大学);University of Rochester(罗切斯特大学)
递归神经网络(RNN)长期以来一直是序列到序列学习的主导架构。然而,RNN本质上是顺序模型,不允许其计算的并行化。Transformers正在成为标准RNN的自然替代品,用多头注意力机制取代循环计算。在本文中,我们提出了SepFormer,一种用于语音分离的新型无RNN转换器神经网络。SepFormer通过采用Transformers的多尺度方法学习短期和长期依赖关系。该模型在标准WSJ 0 -2/3 mix数据集上实现了最先进的(SOTA)性能。它在WSJ 0 - 2 mix上达到22.3 dB的SI-SNRi,在WSJ 0 - 3 mix上达到19.5 dB的SI-SNRi。SepFormer继承了Transformers的并行化优势,即使在对编码表示进行8倍下采样时也能实现有竞争力的性能。因此,它比最新的语音分离系统具有更快的速度和更少的内存需求。
2021-03-08 cs.LG cs.SD eess.AS
Transformers are Efficient Compilers, Provably
University of Washington(华盛顿大学);University of Innsbruck(因斯布鲁克大学);Czech Technical University(捷克技术大学)
本文从表达能力角度首次正式研究Transformer作为编译器的性能,证明在输入深度有界时其所需参数仅与序列长度对数相关,并通过领域特定语言Cybertron生成形式化证明,揭示了Transformer与RNN之间的指数级分离。
2025-01-25 cs.LG cs.PL
Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary
Academy of Emerging Sciences, Chubu University(中部大学新兴科学学院);Center for Mathematical Science and AI, Chubu University(中部大学数学与人工智能中心)
本研究发现位置编码可增强循环神经网络(RNNs)的学习能力,尤其在处理含低频标记的大词汇量时,能解决普通RNNs因低频标记导致的梯度不稳定问题,拓展了位置编码的应用场景。
2024-11-09 cs.LG cs.NE
Fast weight programming and linear transformers: from machine learning to neurobiology
Harvard University(哈佛大学);Center for Brain Science(脑科学中心);Kempner Institute for the Study of Natural and Artificial Intelligence(自然与人工智能研究学院)
本文探讨了快速权重编程器(FWPs)的理论基础、计算特性及其与变换器和状态空间模型的联系,并讨论了FWPs与大脑突触可塑性模型的关联,揭示了自然与人工智能的交汇。
2026-09-28 cs.AI cs.LG q-bio.NC
How Does Momentum Benefit Deep Neural Networks Architecture Design? A Few Case Studies
University of Utah(犹他大学);UCLA(加州大学洛杉矶分校)
我们提出和审查的算法和理论框架,通过动量改进神经网络架构设计。作为案例研究,我们考虑动量如何改善递归神经网络(RNN),神经常微分方程(ODE)和Transformers的架构设计。我们证明了将动量集成到神经网络架构中具有几个显着的理论和经验优势,包括1)将动量集成到RNN和神经ODE中可以克服训练RNN和神经ODE中的消失梯度问题,从而有效地学习长期依赖性。2)神经常微分方程中的动量可以降低常微分方程动力学的刚度,这显著提高了训练和测试中的计算效率。3)动量可以提高Transformers的效率和精度。
2021-10-19 cs.LG cs.NA math.DS
Audio Captioning Transformer
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心);University of Surrey(萨里大学)
音频字幕旨在自动生成音频片段的自然语言描述。大多数字幕模型遵循编码器-解码器架构,其中解码器基于编码器提取的音频特征预测单词。卷积神经网络(CNN)和递归神经网络(RNN)通常用作音频编码器。然而,CNN在建模音频信号中的时间帧之间的时间关系方面可能受到限制,而RNN在建模时间帧之间的长期依赖性方面可能受到限制。在本文中,我们提出了一个音频字幕Transformer(ACT),这是一个完整的Transformer网络的基础上的编码器-解码器架构,是完全无卷积。所提出的方法具有更好的能力来建模音频信号内的全局信息以及捕获音频事件之间的时间关系。我们在AudioCaps上评估我们的模型,AudioCaps是公开可用的最大的音频字幕数据集。与其他最先进的方法相比,我们的模型显示出具有竞争力的性能。
2021-07-21 cs.LG cs.SD eess.AS
Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
Transformers与之前的序列处理架构(如RNN)相比,表现出了更好的性能。尽管他们的相当大的性能增益,最近建议,该模型是计算昂贵的训练和高参数预算。鉴于此,我们探讨参数共享方法在Transformers与生成模型的具体重点。我们对不同的参数共享/缩减方法进行了分析,并开发了Subformer。我们的模型结合了自适应风格的参数共享,克服了生成模型中天真的跨层参数共享,以及自关注嵌入因子分解(SAFE)。在机器翻译、抽象摘要和语言建模方面的实验表明,Subformer即使在使用显著较少的参数时也能优于Transformer。
2021-09-08 cs.CL cs.LG
Enhancing the Transformer Decoder with Transition-based Syntax
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
尽管最近的进展,句法泛化仍然是文本解码器的一个挑战。虽然一些研究表明,将源端的符号句法和语义结构的文本生成Transformers的收益,很少有工作解决这种结构的解码。我们提出了一个通用的方法,树解码使用一个过渡为基础的方法。检查具有挑战性的测试情况下,将通用的重复性语法到机器翻译,我们提出了大量的改进测试集,侧重于语法泛化,同时提出改进或可比的性能标准MT基准。进一步的定性分析解决的情况下,语法概括香草Transformer解码器是不够的,并展示了整合语法信息所提供的优势。
2022-10-31 cs.CL cs.LG
Deconstructing Recurrence, Attention, and Gating: Investigating the transferability of Transformers and Gated Recurrent Neural Networks in forecasting of dynamical systems
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Institute of Structural Engineering, ETH Zurich(苏黎世联邦理工学院结构工程研究所)
本文通过消融研究解构RNN的门控与循环及Transformer的注意力机制,构建混合架构,发现门控和注意力普遍提升RNN性能,而循环对Transformer有害,并提出结合循环高速网络与门控注意力的新架构在高维时空预测中表现最佳。
2024-10-03 cs.LG nlin.CD physics.comp-ph
Mutual Information Scaling and Expressive Power of Sequence Models
Massachusetts Institute of Technology(麻省理工学院)
序列模型将概率分配给可变长度序列,例如自然语言文本。序列模型捕捉时间相关性的能力可以通过相关性和互信息的时间尺度来表征。在本文中,我们研究了循环神经网络(RNN)的互信息,包括长短期记忆和自我注意网络,如Transformers。通过对线性RNN的理论研究和对非线性RNN的实证研究相结合,我们发现它们的互信息随时间距离呈指数衰减。另一方面,Transformers可以更有效地捕获长距离互信息,使得它们在建模具有慢幂律互信息的序列(例如自然语言和股票价格)时是优选的。我们讨论这些结果与统计力学的联系。我们还指出了许多自然语言数据集的非均匀性问题。我们希望这项工作提供了一个新的视角来理解序列模型的表达能力,并为改进它们的体系结构提供新的思路。
2019-05-10 cond-mat.dis-nn cs.IT cs.LG
Enhancing Latent Computation in Transformers with Latent Tokens
Alibaba Group(阿里巴巴集团)
本研究提出潜Token轻量方法,可参数高效地集成到预训练Transformer中调控解码,经合成任务验证,其在分布外泛化等场景显著优于基线,有望提升大语言模型适配性。
2025-05-19 cs.CL cs.LG
Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz(ELLIS单位、LIT人工智能实验室、机器学习研究所、JKU林茨);NXAI GmbH(NXAI公司)
TFLA通过引入序列并行化提升线性RNN和xLSTM内核效率,实现更高算术强度和更优长上下文序列建模性能。
2025-12-28 cs.AI cs.LG
Enhancing Transformer Efficiency for Multivariate Time Series Classification
University of California, Santa Barbara(加州大学圣巴巴拉分校)
目前大多数多变量时间序列(MTS)分类算法的重点是提高预测精度。然而,对于大规模(高维或长序列)时间序列(TS)数据集,还有一个额外的考虑因素:设计一个有效的网络架构,以减少计算成本,如训练时间和内存占用。在这项工作中,我们提出了一种基于模块修剪和帕累托分析的方法来研究模型效率和准确性之间的关系,以及其复杂性。在MTS基准数据集上的实验结果表明了该方法的有效性。
2022-03-28 cs.AI cs.LG
DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning
Fudan University(复旦大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出基于Transformer架构的DTFormer方法,利用注意力机制同时处理图拓扑与时间动态,并引入节点交集关系和多分块模块,在六个动态图基准上实现了SOTA性能。
2024-07-26 cs.LG
Enhancing Transformer with GNN Structural Knowledge via Distillation: A Novel Approach
China Telecom Shanghai Company(中国电信上海公司);Ferret Relationship Intelligence(Ferret关系智能公司)
提出一种新颖的知识蒸馏框架,通过微宏观蒸馏损失和多尺度特征对齐,将GNN教师模型的多尺度结构知识迁移至Transformer学生模型,有效弥合架构鸿沟,为Transformer继承图结构偏置确立新范式。
2025-02-27 cs.AI cs.LG
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
TraM : Enhancing User Sleep Prediction with Transformer-based Multivariate Time Series Modeling and Machine Learning Ensembles
Kookmin University(国民大学);Korea University(高丽大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出TraM框架,结合Time Series Transformer和机器学习集成预测睡眠质量、情绪与压力,实验得分6.10/10,优于其他方法。
2024-10-15 cs.AI cs.LG
DenseFormer: Enhancing Information Flow in Transformers via Depth Weighted Averaging
EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
本文提出 DenseFormer 架构,通过在每个 transformer 块后引入 Depth-Weighted-Average (DWA) 操作计算当前与过去表示的加权平均,在不显著增加参数量的前提下提升了模型困惑度、数据效率及推理性能。
2024-03-21 cs.CL cs.LG
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Meta FAIR;Inria Paris(巴黎信息与自动化研究所);ENS-PSL University(巴黎文理研究大学);University of Tübingen(图宾根大学)
研究针对线性注意力模型长上下文召回不足的问题,提出稀疏增量记忆(SDM)架构,通过稀疏寻址扩展门控线性循环神经网络隐藏状态,在等FLOP和参数数量下提升性能,还能改进常识与推理任务。
2026-11-17 cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架,在保持表达能力的同时降低复杂度,实验显示平均性能提升12.4%,参数量减少61.3%。
2024-12-16 cs.AI cs.LG
Design Principles for Sequence Models via Coefficient Dynamics
ETH Zurich(苏黎世联邦理工学院);ELLIS Institute Tübingen(图宾根ELLIS研究所);Stanford University(斯坦福大学)
本文通过系数动力学框架系统比较了序列模型,揭示了不同架构间的数学共同主题,并提出了设计原则以平衡表达能力、效率和稳定性。
2026-04-13 cs.AI cs.LG
Transformer-Based Prognostics: Enhancing Network Availability by Improved Monitoring of Optical Fiber Amplifiers
Adtran Networks SE;University of Augsburg(奥格斯堡大学)
本文提出一种轻量级变换器模型,通过基于状态的监控数据预测光纤放大器寿命,实现边缘级别的实时预测维护,提升网络可用性。
2026-03-30 cs.LG eess.SP
Enhancing Transformer Representations of Symbolic ODE Expressions
University of Southampton(南安普顿大学)
本研究探索树位置嵌入与对比学习增强Transformer对符号ODE表达式的结构化表示,提升学习性能并支持数学交换性质。
2026-09-22 cs.AI cs.LG
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Global Clipper: Enhancing Safety and Reliability of Transformer-based Object Detection Models
Intel Labs(英特尔实验室);University of British Columbia(不列颠哥伦比亚大学);Technical University of Munich(慕尼黑工业大学)
针对传统CNN范围限制方案无法适配Transformer模型、软错误会影响目标检测性能的问题,提出Global Clipper等专属缓解策略,经多场景大量推理测试,可将错误推理率降至约0%,还探究了Transformer注意力模块特性。
2024-07-09 cs.AI cs.CV cs.LG
RefineNet: Enhancing Text-to-Image Conversion with High-Resolution and Detail Accuracy through Hierarchical Transformers and Progressive Refinement
Southern Illinois University(南伊利诺伊大学)
RefineNet通过层次化Transformer与渐进式细化技术,在文本到图像转换中实现高分辨率与细节精度提升,优于现有模型,尤其在复杂图像类别中表现突出。
2023-12-27 cs.AI cs.CV cs.LG
Enhancing Graph Transformers with Hierarchical Distance Structural Encoding
Beihang University(北京航空航天大学);The Hong Kong Polytechnic University(香港理工大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出层级距离结构编码(HDSE)增强图变换器,建模节点多级距离,可集成于注意力机制,理论上优于最短路径距离,并在图分类、回归及大规模节点分类任务中表现优异。
2024-05-27 cs.AI cs.LG cs.SI
Enhancing Automatic PT Tagging for MEDLINE Citations Using Transformer-Based Models
National Library of Medicine(国家医学图书馆)
本文研究利用BERT和DistilBERT从MEDLINE元数据预测MeSH出版类型,通过评估多标签分类器与二分类器集成,证明Transformer模型能显著提升生物医学文献标引的准确性与可扩展性。
2025-06-03 cs.DL cs.LG