CoLT5: Faster Long-Range Transformers with Conditional Computation
Google Research(谷歌研究院)
提出CoLT5模型,通过条件计算为重要token分配更多前馈和注意力资源,在SCROLLS基准上以更快训练推理速度达到SOTA,并有效支持高达64k的极长输入。
2023-10-24 cs.CL cs.LG
BP-Transformer: Modelling Long-Range Context via Binary Partitioning
AWS Shanghai AI Lab(AWS上海人工智能实验室);Fudan University(复旦大学);New York University Shanghai(上海纽约大学)
Transformer模型在许多自然语言处理任务上获得了广泛的成功。然而,自我注意的二次复杂性限制了它在长文本中的应用。本文采用一种基于二进制划分的多尺度由细到粗的注意力机制,提出了BP-Transformer(简称BPT)。BPT产生$O(k\cdot n\log (n/k))$连接,其中$k$是控制注意力密度的超参数。BPT在计算复杂度和模型容量之间有很好的平衡。一系列的文本分类、机器翻译和语言建模实验表明,BPT模型在长文本分类方面的性能优于以往的自注意模型。我们的代码,超参数和用于稀疏注意力的CUDA内核可在PyTorch中使用。
2019-11-11 cs.CL cs.LG
Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning
City University of Hong Kong(香港城市大学);RIKEN(日本理化学研究所);Nanyang Technological University(南洋理工大学);University of Tokyo(东京大学)
该研究通过细粒度数学分析,证明 Transformer 利用多概念词语义实现高效的上下文学习及分布外能力,并基于稀疏编码提示模型证明了指数级损失收敛。
2025-08-13 cs.LG stat.ML
Memorization Capacity of Multi-Head Attention in Transformers
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(矢量人工智能研究院)
本文研究Transformer多头注意力的记忆容量,基于输入线性无关假设证明含H头、维度d且n<d的注意力层可记忆Ω(Hn)个示例,并通过合成实验验证。
2024-03-02 cs.LG
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University(萨尔兰大学);Brown University(布朗大学)
本研究通过检索与复制任务,发现预训练Transformer存在归纳优于反归纳的不对称性,且该不对称性在理论保证下可经微调消除,表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
Toward a Graph Foundation Model: Pre-Training Transformers With Random Walks
本研究针对图基础模型构建难题,提出用多条随机游走表示节点以适配Transformer架构,设计新的上下文预测损失并理论分析其表达能力,验证了模型预训练及下游任务适配的潜力。
2025-06-17 cs.AI cs.LG
The Expressive Capacity of State Space Models: A Formal Language Perspective
Saarland University(萨尔兰大学)
从形式语言角度研究状态空间模型的表达能力,发现其在特定任务中优于Transformer,并指出当前SSM设计限制其表现。
2025-12-11 cs.CL cs.FL cs.LG
Transformers versus the EM Algorithm in Multi-class Clustering
Princeton University(普林斯顿大学);Northwestern University(西北大学);The University of Hong Kong(香港大学)
针对Transformer在无监督学习问题理解有限的现状,本研究构建Transformer与EM算法在高斯混合聚类中的理论联系,提供逼近界并证明其在充足预训练样本下可达到极小极大最优率,揭示LLMs的强推理能力。
2025-02-09 cs.LG stat.ML
On the Runway Cascade of Transformers for Language Modeling
Department of Computer Science, Southern Methodist University, Dallas TX USA(计算机科学系,南方 Methodist 大学,德克萨斯州达拉斯)
本文提出运行道意识重 wiring方法,通过直接融入运行道上下文改善Transformer的语言建模能力,提升信息检索与外推性能。
2026-11-04 cs.LG
Long-Short Transformer: Efficient Transformers for Language and Vision
NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院);University of Maryland, College Park(马里兰大学学院市分校)
Transformers在语言和视觉领域都取得了成功。然而,将它们缩放到长序列(诸如长文档或高分辨率图像)是极其昂贵的,因为自注意力机制具有关于输入序列长度的二次时间和存储器复杂度。在本文中,我们提出了长-短Transformer(transformer-LS),一个有效的自我注意力机制建模长序列的线性复杂度的语言和视觉任务。它聚合了一种新的具有动态投影的长距离注意力来模拟远距离相关性,并聚合了一种短期注意力来捕获细粒度的局部相关性。我们提出了一个双重标准化策略来解释两个注意力机制之间的规模失配。transformer-LS可以应用于自回归和双向模型,而不会增加复杂性。我们的方法在语言和视觉领域的多个任务上优于最先进的模型,包括长距离Arena基准测试,自回归语言建模和ImageNet分类。例如,Transformer-LS在enwik 8上实现了0.97的测试BPC,使用的参数数量比以前的方法少了一半,同时速度更快,并且能够处理3倍于相同硬件上的全注意力版本的长序列。在ImageNet上,它可以获得最先进的结果(例如,仅在224 x224 ImageNet-1 K上训练的中等大小的55.8M模型可以获得Top-1准确率(84.1%),同时在高分辨率图像上更具可扩展性。源代码和模型在https://github.com/NVIDIA/transformer-ls上发布。
2021-12-07 cs.CL cs.CV cs.LG
Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks
ETH Zurich(苏黎世联邦理工学院);Stanford(斯坦福大学)
该研究提出理论框架解释Transformer语言模型归纳推理能力,研究广义归纳任务,证明其训练动态可限制在低维不变流形,刻画数据统计对学习竞争的影响,探讨初始化作用并展示坐标框架用途,向Transformer学习预测理论迈进。
2026-07-15 cs.AI cs.LG
Functional Interpolation for Relative Positions Improves Long Context Transformers
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对长上下文外推中的位置编码瓶颈,提出带渐进式插值的函数式相对位置编码 FIRE,理论上可表示 T5 RPE、Alibi 和 Kerple,并在零样本语言建模与长文本基准上取得更优泛化。
2024-03-03 cs.LG
Analyzing the Nuances of Transformers' Polynomial Simplification Abilities
Microsoft Vancouver(微软温哥华);Microsoft Research India(微软研究院印度)
符号数学任务(如积分)通常需要多个定义良好的步骤和对子任务的理解才能获得解决方案。为了以细粒度的方式了解Transformers在此类任务中的能力,我们偏离了传统的端到端设置,并探索逐步多项式简化任务。多项式可以写成一个简单的范式,作为一个和单项式是有序的字典顺序。对于不一定在该范式中的多项式,应用一系列简化步骤以达到完全简化的(即,在范式)多项式中。我们提出了一种合成多项式数据集生成算法,该算法生成具有唯一证明步骤的多项式。通过改变系数配置,输入表示,证明粒度和广泛的超参数调整,我们观察到,Transformers始终与数字乘法斗争。我们探索了两种方法来缓解这一问题:课程学习和符号计算器方法(其中数值运算被卸载到计算器)。这两种方法都提供了基于vanilla Transformers的基线的显著增益。
2021-04-29 cs.AI cs.LG
ETC: Encoding Long and Structured Inputs in Transformers
Google Research(谷歌研究院)
Transformer模型在许多自然语言处理(NLP)任务中推进了最先进的技术水平。在本文中,我们提出了一种新的Transformer架构,扩展的Transformer构造(ETC),解决了标准Transformer架构的两个关键挑战,即缩放输入长度和编码结构化输入。为了将注意力扩展到更长的输入,我们在全局令牌和常规输入令牌之间引入了一种新的全局-局部注意力机制。我们还表明,将全局-局部注意力与相对位置编码和对比预测编码(CPC)预训练目标相结合,可以使ETC对结构化输入进行编码。我们在四个需要长和/或结构化输入的自然语言数据集上实现了最先进的结果。
2020-10-27 cs.LG stat.ML
ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器)
长序列数据的分析在许多实际应用中仍然具有挑战性。我们提出了一种新的架构,ChunkFormer,它改进了现有的Transformer框架,以应对挑战,同时处理长时间序列。原始的基于transformer的模型采用注意力机制来发现沿着序列的全局信息,以利用上下文数据。长序列数据捕获局部信息,例如短数据序列中的季节性和波动。此外,原来的Transformer在训练课程中通过承载整个注意力矩阵消耗更多的资源。为了克服这些挑战,ChunkFormer将长序列拆分为较小的序列块用于注意力计算,并在每个阶段逐步应用不同的块大小。通过这种方式,所提出的模型逐渐学习局部和全局信息,而不改变输入序列的总长度。我们已经在不同的业务领域广泛地测试了这种新架构的有效性,并证明了这种模型相对于现有的基于transformer的模型的优势。
2021-12-30 cs.AI cs.LG
Benchmarking the Computational and Representational Efficiency of State Space Models against Transformers on Long-Context Dyadic Sessions
Western Illinois University(西部伊利诺伊大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文通过双人会话测试案例,对比了状态空间模型与变换器在长上下文中的计算与表征效率,揭示了SSMs在特定条件下的优势。
2026-01-03 cs.AI cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey(萨里大学)
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而,由于自我注意的二次复杂性和缺乏感应偏差,Transformers是资源密集型的,并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题,使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络(STAN),它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类,具有数据效率,并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
On the Reasoning Abilities of Masked Diffusion Language Models
ETH Zürich(苏黎世联邦理工学院);Allen Institute for AI(人工智能研究所)
本文研究了掩码扩散模型在推理任务中的能力,通过与链式思维和填充循环变压器框架对比,证明了其在有限精度对数宽度下与多项式填充PLTs等效,并展示了其在解决特定问题时的高效性。
2026-04-26 cs.AI cs.CL cs.LG
BumbleBee: A Transformer for Music
University of Toronto(多伦多大学)
我们将介绍BumbleBee,这是一个Transformer模型,它将生成音乐数据。我们将通过实现一个longformer生成模型来解决应用于长序列的Transformers的问题,该模型使用膨胀滑动窗口来计算注意力层。我们将把我们的结果与音乐Transformer和长短期记忆(LSTM)的结果进行比较,以基准我们的结果。该分析将使用钢琴伴奏文件,特别是已经用于其他研究工作的JSB Chorales数据集(Huang et al.,2018年)
2021-07-07 cs.LG cs.SD eess.AS
Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
Microsoft Corporation(微软公司)
本文提出了一种新的视觉Transformer(ViT)架构多尺度视觉Longformer,显着提高了ViT的\cite{dosovitskiy2020image}编码高分辨率图像使用两种技术。第一种是多尺度模型结构,它以可管理的计算成本提供多尺度的图像编码。第二个是视觉Longformer的注意力机制,它是最初为自然语言处理开发的Longformer \cite{beltagy2020longformer}的变体,并实现了线性复杂度w.r.t.输入令牌的数量。一项全面的实证研究表明,新的ViT显着优于几个强大的基线,包括现有的ViT模型及其ResNet同行,以及金字塔视觉Transformer从一个并发的工作\cite{wang2021pyramid},在一系列的视觉任务,包括图像分类,目标检测,和分割。模型和源代码在\url{https://github.com/microsoft/vision-longformer}上发布。
2021-05-27 cs.AI cs.CV cs.LG
Exploring Graph-Transformer Out-of-Distribution Generalization Abilities
Faculty of Engineering(工程学院);Tel-Aviv University(特拉维夫大学)
本文系统评估图变换器在分布外泛化中的表现,发现其优于消息传递网络,并提出一种模型无关的训练后聚类分析方法以深入理解泛化能力。
2025-09-24 cs.LG
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
Department of Statistics & Data Science, Yale University(统计与数据科学系,耶鲁大学)
本研究提出四种架构机制(输入自适应递归、算法监督、离散瓶颈锚定表示、显式纠错),在计算图模块化算术任务上显著提升Transformer的分布外泛化,并通过可解释性分析揭示其内在机理。
2025-10-15 cs.AI cs.LG
Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文从领域泛化角度研究线性Transformer的近似与泛化能力,证明其通过上下文分布到响应函数的映射实现上下文学习,并基于理论提出激活函数与损失函数设计新视角。
2026-07-02 cs.LG stat.ML
How Well Can a Long Sequence Model Model Long Sequences? Comparing Architechtural Inductive Biases on Long-Context Abilities
Mila - Quebec AI Institute & Université de Montréal(魁北克AI研究所 & 蒙特利尔大学)
本文评估长序列模型(如状态空间和线性循环网络)在长上下文任务中的实际表现,发现理论优势与实际能力存在差距,并揭示不同归纳偏置的外推能力不一致,需进一步研究。
2025-05-21 cs.AI cs.CL cs.LG
TART: A plug-and-play Transformer module for task-agnostic reasoning
Stanford University(斯坦福大学);Cornell University(康奈尔大学)
针对大语言模型上下文学习性能弱于任务调优的问题,提出即插即用的TART推理模块,用合成逻辑回归任务训练,无需额外训练即可搭配任意预训练模型,跨模型、任务、模态提升推理性能。
2023-06-13 cs.AI cs.CL cs.LG
Do Transformers Use their Depth Adaptively? Evidence from a Relational Reasoning Task
Microsoft Research Cambridge(微软研究院剑桥分部)
本文通过控制多跳关系推理任务研究Transformer是否自适应使用深度,发现预训练模型在简单任务中使用较少层,而微调模型在更复杂的任务中更一致地自适应调整深度。
2026-04-14 cs.CL cs.LG
Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities
NVIDIA(英伟达);University of Maryland(马里兰大学)
本文提出Audio Flamingo 2,一种具备长音频理解与专家推理能力的音频语言模型,仅用3B参数在20多个基准上超越大型模型,并首次扩展至长音频理解。
2025-03-06 cs.CL cs.LG cs.SD
The NLP Task Effectiveness of Long-Range Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
针对Transformer难处理长序列、长距离变体有效性研究不足的问题,该研究在多任务多数据集上基准测试7种长距离Transformer,分离预训练等干扰并分析注意力行为,明确了其优势与未被发现的缺陷。
2023-02-11 cs.CL cs.LG
Freely Long-Thinking Transformer (FraiLT)
FraiLT 通过递归迭代部分层并引入迭代编码,在不扩大模型规模的情况下提升解释深度,并在合成故事数据集上以更低内存需求超越更大模型。
2024-02-24 cs.CL cs.LG
Which the Eye Fears: Writing with Read-Blindness Explains Massive Activations in Transformers
PsiDagger;IIT Delhi(德里印度理工学院)
本研究通过算子级机制分析发现,Transformer中巨大激活的持续存在源于注意力和前馈层在读取时忽略MA坐标的“读盲”现象,该现象先于FFN放大出现,且模型主动维持此不对称性。
2026-09-29 cs.CL cs.LG
On the Role of Depth and Looping for In-Context Learning with Task Diversity
Google Research(谷歌研究院)
该研究针对多样任务下的上下文线性回归问题,证明了多层Transformer的层数下界及表达能力,同时指出其鲁棒性缺陷,提出权重共享的循环Transformer兼具匹配的表达能力与可证明的鲁棒性。
2024-10-29 cs.LG math.ST stat.ML
Do Transformers Need Deep Long-Range Memory
DeepMind;UCL(伦敦大学学院)
深度注意力模型已经在许多领域推进了序列数据的建模。特别是对于语言建模,Transformer-XL --一个增强了过去激活的长距离记忆的Transformer--在各种经过充分研究的基准测试中被证明是最先进的。Transformer-XL在网络的每一层都集成了一个远程内存,这使得它的状态比RNN的前辈大数千倍。但尚不清楚这是否必要。我们进行了一组干预,以表明可以通过减少6倍的长距离记忆来获得相当的性能,并且可以通过限制网络较低层的注意力范围来获得更好的性能。
2020-07-07 cs.CL cs.LG stat.ML
Towards Understanding How Transformers Learn In-context Through a Representation Learning Lens
Gaoling School of Artificial Intelligence(高瓴人工智能学院);Renmin University of China(中国人民大学)
该研究从表示学习视角探索Transformer的上下文学习机制,通过核方法推导注意力层的对偶模型并给出泛化误差界,拓展理论至多层场景,提出注意力改进方案并通过实验验证。
2024-11-01 cs.LG
The emergence of sparse attention: impact of data distribution and benefits of repetition
ETH Zürich(苏黎世联邦理工学院);EPFL(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind)
本文研究了稀疏注意力在训练过程中的涌现机制,揭示其与任务结构、架构和优化器选择的关系,并发现重复能加速这一过程。
2025-12-10 cs.LG cs.NE
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huazhong University of Science and Technology(华中科技大学);Lehigh University(理海大学)
为了从原始文本中捕获语义图结构,大多数现有的摘要方法都是基于具有预训练模型的GNN构建的。然而,这些方法遭受繁琐的程序和低效率的计算长文本文档。为了缓解这些问题,本文提出了HETFORMER,这是一种基于Transformer的预训练模型,具有多粒度稀疏注意力,用于长文本提取摘要。具体来说,我们将原始文本中不同类型的语义节点建模为潜在的异构图,并通过Transformer直接学习节点之间的异构关系(边)。在单文档和多文档摘要任务上的大量实验表明,HETFORMER在Rouge F1中实现了最先进的性能,同时使用更少的内存和更少的参数。
2021-10-19 cs.AI cs.CL cs.LG
A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting
Shanghai Jiao Tong University(上海交通大学)
多变量时间序列预测(MTSF)是许多实际应用中的一个基本问题。近年来,Transformer已成为MTSF的事实上的解决方案,特别是对于长期的情况。然而,除了一个正向操作之外,现有MTSF Transformer架构中的基本配置几乎没有经过仔细验证。在这项研究中,我们指出,目前的令牌化策略在MTSF Transformer架构忽略了令牌的均匀性感应偏置的Transformers。因此,普通MTSF Transformer难以捕获时间序列中的细节,表现出较差的性能。基于这一观察,我们对普通MTSF Transformer的基本架构进行了一系列的改进。我们改变了有缺陷的标记化策略,以及解码器结构和嵌入。令人惊讶的是,进化的简单Transformer架构是高度有效的,其成功地避免了普通MTSF Transformer中的过平滑现象,实现了更详细和准确的预测,并且甚至显著优于为MTSF精心设计的最先进的Transformers。
2022-12-06 cs.LG
Long Range Arena: A Benchmark for Efficient Transformers
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
Transformers不能很好地扩展到长序列长度,这主要是因为二次自注意复杂度。在最近几个月里,已经提出了一系列高效、快速的Transformers来解决这个问题,而不是声称比普通Transformer模型更好或可比较的模型质量。到目前为止,对于如何评估这类模型还没有达成共识。此外,在广泛的任务和数据集上不一致的基准测试使得难以评估许多模型之间的相对模型质量。本文提出了一个系统的和统一的基准,LRA,专门专注于评估模型质量下的长上下文场景。我们的基准测试是一套任务,包括从$1K$到$16K$令牌的序列,涵盖了广泛的数据类型和形式,如文本,自然,合成图像和数学表达式,需要相似性,结构和视觉空间推理。我们系统地评估了10个成熟的长距离Transformer模型(Reformers,Linformers,Linear Transformers,Sinkhorn Transformers,Performers,Synthesizers,Sparse Transformers和Longformers)在我们新提出的基准套件。LRA为更好地理解这类高效的Transformer模型铺平了道路,促进了这一方向的更多研究,并提出了新的挑战性任务。我们的基准代码将在https://github.com/google-research/long-range-arena上发布。
2020-11-08 cs.AI cs.CL cs.CV
Multi-resolution Time-Series Transformer for Long-term Forecasting
McGill University(麦吉尔大学);Mila(米拉研究所);ILLS
针对时间序列预测中片段大小影响不同频率模式学习的问题,提出多分支架构MTST,同时建模多分辨率时序模式并采用相对位置编码提取多尺度周期成分,在真实数据集上优于现有技术。
2024-03-22 cs.LG
A Little Depth Goes a Long Way: The Expressive Power of Log-Depth Transformers
Allen Institute for AI(阿伦人工智能研究所);New York University(纽约大学)
本文从理论和实验两方面证明,深度为 Θ(log n) 的 Transformer 即可表达正则语言识别和图连通性等固定深度模型无法表达的顺序推理问题,并揭示了深度扩展比宽度或思维链扩展更高效,为实际深度选择提供了指导。
2025-11-05 cs.CC cs.LG
Compressive Transformers for Long-Range Sequence Modelling
DeepMind(深度思维);CoMPLEX, Computer Science, University College London(伦敦大学学院计算机科学系复杂系统研究中心)
我们提出了压缩的Transformer,一个专注的序列模型,压缩过去的记忆长距离序列学习。我们发现压缩Transformer在WikiText-103和Enwik 8基准测试中获得了最先进的语言建模结果,分别达到17.1 ppl和0.97 bpc。我们还发现它可以有效地模拟高频语音,并可以用作RL的记忆机制,在对象匹配任务上得到了证明。为了促进远程序列学习领域的发展,我们提出了一个新的开放词汇语言建模基准,来自书籍PG-19。
2019-11-13 cs.LG stat.ML
FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
Alibaba Group(阿里巴巴集团)
虽然基于transformer的方法显著改善了长期序列预测的最新结果,但它们不仅计算昂贵,更重要的是,无法捕捉时间序列的全局视图(例如整体趋势)。为了解决这些问题,我们建议将Transformer与季节趋势分解方法相结合,其中分解方法捕获时间序列的全局轮廓,而Transformers捕获更详细的结构。为了进一步提高Transformer的长期预测性能,我们利用大多数时间序列在傅立叶变换等众所周知的基础上往往具有稀疏表示的事实,并开发了频率增强的Transformer。除了更有效,所提出的方法,称为频率增强分解Transformer({ \bf FEDformer}),是更有效的比标准的Transformer与线性复杂度的序列长度。我们对6个基准数据集的实证研究表明,与最先进的方法相比,FEDformer可以减少预测误差$14.8\%$和$22.6\%$分别为多变量和单变量时间序列。代码可在https://github.com/MAZiqing/FEDformer上公开获取。
2022-06-16 cs.LG stat.ML
UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
Yeshiva University(耶鲁大学)
UrbanAI 2025挑战通过对比线性与Transformer模型,发现线性模型在长周期外生温度预测中表现更优,DLinear在所有划分中均取得最佳准确率。
2025-12-11 cs.AI cs.LG
A Systematic Review for Transformer-based Long-term Series Forecasting
College of Applied Sciences, Shenzhen University(深圳大学应用技术学院);College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院)
本文系统综述了基于Transformer的长期时间序列预测方法,梳理架构变体、数据集与评估指标,总结训练最佳实践,并展望未来研究方向。
2023-10-31 cs.AI cs.LG
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析,揭示Transformer模型中回忆与推理的分离电路,为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Princeton University(普林斯顿大学);IBM Research(IBM研究院)
我们提出了一个有效的设计基于transformer的多变量时间序列预测和自我监督表示学习模型。它基于两个关键组件:(i)将时间序列分割成子序列级补丁,这些补丁用作Transformer的输入令牌;(ii)通道独立性,其中每个通道包含单个单变量时间序列,该序列在所有序列中共享相同的嵌入和Transformer权重。补丁设计自然有三重好处:本地语义信息保留在嵌入;在相同的回看窗口下,注意力地图的计算和内存使用量二次减少;模型可以参加更长的历史。我们的通道独立补丁时间序列Transformer(PatchTST)可以提高长期的预测精度显着相比,SOTA Transformer为基础的模型。我们还将我们的模型应用于自我监督的预训练任务,并获得了出色的微调性能,在大型数据集上优于监督训练。将一个数据集上的掩码预训练表示转移到其他数据集上也会产生SOTA预测准确性。代码可从以下网址获得:https://github.com/yuqinie98/PatchTST。
2023-03-05 cs.AI cs.LG
Improving Predictions of Tail-end Labels using Concatenated BioMed-Transformers for Long Medical Documents
The University of Auckland(奥克兰大学);The University of Waikato(怀卡托大学)
多标签学习在考虑标签相关性的同时,从给定的标签集中预测未知实例的标签子集。多标签分类的一个已知挑战是标签的长尾分布。许多研究专注于改善模型的整体预测,因此没有优先考虑尾端标签。改善医疗文本多标签分类中的尾端标签预测,可以更好地了解患者并改善护理。通过一个或多个不常见的标签获得的知识可能会影响医疗决策和治疗计划的原因。本研究提出了连接特定领域的语言模型,包括多BioMed-Transformers的变化,以实现两个主要目标。首先,在多标签问题中提高不频繁标签的F1分数,特别是长尾标签;其次,处理长医疗文本和多源电子健康记录(EHR),这对于设计用于短输入序列的标准Transformers来说是一项具有挑战性的任务。这项研究的一个重要贡献是使用TransformerXL预测医疗代码获得的新的最先进(SOTA)结果。在重症监护医学信息市场(MIMIC-III)数据库上进行了各种实验。结果表明,串联BioMed-Transformers在整体微观和宏观F1分数以及尾端标签的单个F1分数方面优于标准Transformers,同时对于长输入序列,比现有的基于变压器的解决方案产生更少的训练时间。
2021-12-03 cs.AI cs.LG
Radial Deformation Emplacement in Power Transformers Using Long Short-Term Memory Networks
University of Tabriz(大不里士大学);Islamic Azad University(伊斯兰阿扎德大学);University of New Mexico(新墨西哥大学)
电力Transformer绕组通常由于运输或操作不当而承受机械应力和张力。径向变形(RD)是机械应力的一个例子,其可以通过短路故障和绝缘损坏来影响电力Transformer操作。频率响应分析(FRA)是诊断Transformers中的机械缺陷的众所周知的方法。尽管FRA的精度,计算的频率响应曲线的解释是不简单的,需要复杂的计算。本文使用一种称为长短期记忆(LSTM)的深度学习算法作为特征提取技术,以在早期阶段定位RD故障。实验结果验证了该方法在RD缺陷诊断和定位中的有效性。
2020-12-13 cs.LG cs.SY eess.SY