Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University(计算机科学与工程系,四川大学)
本文在测度论核框架下形式化证明,当Transformer内部更新机制满足贝叶斯联合分布条件时,其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
Euclidean, Projective, Conformal: Choosing a Geometric Algebra for Equivariant Transformers
Qualcomm AI Research(高通人工智能研究部);Qualcomm Technologies, Inc.(高通技术公司)
本文提出一种基于几何代数的等变变换器通用蓝图,并比较欧几里得、射影和共形代数版本,发现共形代数与改进的射影代数性能最佳。
2024-03-14 cs.AI cs.LG
Separations in the Representational Capabilities of Transformers and Recurrent Architectures
University of Oxford(牛津大学);Saarland University(萨尔大学);Cohere(Cohere公司)
针对Transformer与RNN的表征能力差异,论文在索引查找、最近邻、有界Dyck语言和字符串相等任务上证明了模型规模分离,并以实验验证实际序列上的性能差异。
2024-06-13 cs.LG stat.ML
Transfer NAS: Knowledge Transfer between Search Spaces with Transformer Agents
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
神经架构搜索(NAS)的最新进展已经在几个任务上产生了最先进的架构。NAS将人类专家的工作从直接开发新的体系结构转移到设计体系结构搜索空间和有效探索它们的方法。搜索空间定义捕获了关于架构属性的先验知识,并且对于搜索算法的复杂性和性能至关重要。然而,不同的搜索空间定义需要从头开始重新开始学习过程。我们提出了一种新的代理的基础上,Transformer,支持联合训练和有效的转移先验知识之间的多个搜索空间和任务。
2019-06-19 cs.LG stat.ML
TurboViT: Generating Fast Vision Transformers via Generative Architecture Search
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI
本研究针对视觉Transformer结构与计算复杂度高、难部署的问题,通过生成式架构搜索构建了基于掩码单元注意力与Q池化的TurboViT,在ImageNet-1K上实现准确率与效率的更优平衡,适配高吞吐量场景。
2023-08-22 cs.AI cs.CV cs.LG
Interpretation of the Transformer and Improvement of the Extractor
School of Computer Science and Engineering(计算机科学与工程学院);Northeastern University(东北大学)
本文全面解释了Transformer架构及Extractor系列,并提出一种无需额外可训练参数即可优于自注意力的Extractor改进方法,实验证明其性能更佳,为改进Transformer架构提供了新途径。
2023-11-21 cs.LG
Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对Transformer推理的二次复杂度问题,提出MOHAWK方法,将预训练Transformer蒸馏到SSM等亚二次架构,通过匹配混合矩阵、隐藏单元及端到端预测,用少量数据实现高性能,为非Transformer模型构建提供新途径。
2025-02-08 cs.AI cs.LG
Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures
University of Oslo(奥斯陆大学);Institute for Energy Systems (IFE)(能源系统研究所)
这项研究的重点是挪威大陆架的多步时空风速预报。该研究旨在通过不同测量站的相对物理位置来利用空间依赖性,以改善当地的风力预报。我们的多步预测模型可以生成10分钟、1小时或4小时的预测,分辨率为10分钟,这意味着模型可以为预测的未来趋势生成更多信息的时间序列。一个图神经网络(GNN)架构被用来提取空间依赖性,不同的更新函数来学习时间相关性。这些更新功能是使用不同的神经网络架构来实现的。Transformer就是这样一种体系结构,近年来,它在序列建模中变得越来越流行。为了更好地进行时间序列预测,已经提出了各种修改,其中本研究的重点是Informer,LogSparse Transformer和Autoformer。这是LogSparse Transformer和Autoformer首次应用于风预测,也是首次在风预测的时空设置中制定这些或Informer。通过与时空长短期记忆(LSTM)和多层感知器(MLP)模型进行比较,研究表明,使用改变后的Transformer架构作为GNN中更新函数的模型能够超越这些模型。此外,我们提出了快速傅立叶Transformer(FF Transformer),这是一种新的Transformer架构的基础上,信号分解,并由两个单独的流,分别分析的趋势和周期成分。FFTransformer和Autoformer在10分钟和1小时的预测中取得了优异的结果,FFT…
2022-12-30 cs.AI cs.LG
Representational Strengths and Limitations of Transformers
Columbia University(哥伦比亚大学);New York University(纽约大学)
本研究通过理论分析揭示了Transformer在稀疏平均任务上具有对数复杂度优势,但在三重检测任务上存在线性复杂度局限,并强调了通信复杂度在分析中的价值。
2023-11-16 cs.LG stat.ML
ChronoFormer: Time-Aware Transformer Architectures for Structured Clinical Event Modeling
University of the Chinese Academy of Sciences(中国科学院大学);Columbia University(哥伦比亚大学)
本文提出时间感知Transformer架构ChronoFormer,通过时间嵌入、分层注意力和领域掩码建模EHR时间依赖,在死亡率、再入院和共病预测任务上超越现有方法。
2025-04-10 cs.AI cs.LG
Global Transformer Architecture for Indoor Room Temperature Forecasting
SINTEF AS(挪威科技工业研究院);Norwegian University of Science and Technology(挪威科技大学)
本文首次提出一种全局Transformer架构用于多房间建筑室内温度预测,通过在全部房间数据上统一训练单一模型,替代多房间专用模型,从而提升预测精度、简化部署,并助力建筑能耗优化与温室气体减排。
2023-10-31 cs.AI cs.LG
Generative Modeling of Networked Time-Series via Transformer Architectures
Virginia Tech(弗吉尼亚理工大学)
针对安全领域数据受限且现有合成样本难以提升模型性能的问题,本文提出一种高效的基于 Transformer 的时间序列生成框架,可跨数据集生成高质量样本并取得 SOTA 结果。
2025-06-08 cs.AI cs.LG
NAT: Neural Architecture Transformer for Accurate and Compact Architectures
South China University of Technology(华南理工大学);Weixin Group, Tencent(腾讯微信事业群);Tencent AI Lab(腾讯人工智能实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
设计有效的架构是深度神经网络成功背后的关键因素之一。现有的深度架构要么是手动设计的,要么是通过一些神经架构搜索(NAS)方法自动搜索的。然而,即使是搜索良好的架构也可能仍然包含许多不重要或冗余的模块或操作(例如,卷积或池化(pooling)),这不仅会导致大量的存储器消耗和计算成本,而且会使性能恶化。因此,有必要优化架构内的操作以在不引入额外计算成本的情况下提高性能。不幸的是,这样的约束优化问题是NP-难的。为了使问题可行,我们将优化问题转化为马尔可夫决策过程(MDP),并寻求学习神经架构Transformer(NAT),以用计算效率更高的操作(例如,跳过连接或直接移除连接)。在MDP的基础上,利用强化学习对NAT进行学习,得到优化策略。不同的架构。为了验证所提出的策略的有效性,我们应用NAT的手工制作的架构和NAS为基础的架构。在两个基准数据集上进行了广泛的实验,即,CIFAR-10和ImageNet证明,NAT转换的架构明显优于其原始形式和通过现有方法优化的架构。
2020-01-13 cs.LG stat.ML
Physical models realizing the transformer architecture of large language models
Wuhan Institute of Physics(武汉物理研究所);Mathematics(数学);IAPM;Chinese Academy of Sciences(中国科学院);West District 30, Xiao-Hong-Shan, Wuhan 430071, China(武汉市洪山西区30号,430071,中国)
本文从开放量子系统视角出发,在token希尔伯特空间的Fock空间中构建了实现大语言模型Transformer架构的物理模型,填补了Transformer物理机制的理论空白。
2025-07-22 cs.AI cs.CL cs.LG
Language Models with Transformers
Amazon Web Services(亚马逊云科技)
Transformer架构在计算效率方面优于基于RNN的模型。最近,GPT和BERT在大规模语料库上使用预训练的语言模型证明了Transformer模型在各种NLP任务上的有效性。令人惊讶的是,这些Transformer架构对于语言模型本身来说是次优的。Transformer中的自我注意和位置编码都不能有效地结合对语言建模至关重要的单词级顺序上下文。在本文中,我们探索了用于语言模型的有效Transformer架构,包括添加额外的LSTM层以更好地捕获顺序上下文,同时仍然保持计算效率。我们提出了协调架构搜索(CAS)找到一个有效的架构,通过迭代细化的模型。在PTB、WikiText-2和WikiText-103上的实验结果表明,CAS在所有问题上都实现了20.42到34.11之间的困惑度,即与最先进的LSTM相比,平均提高了12.0个困惑度单位。源代码是公开的。
2019-10-17 cs.AI cs.CL cs.LG
Memory Limitations of Prompt Tuning in Transformers
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);IPAL, IRL2955, Singapore(新加坡IPAL);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
该研究聚焦Transformer提示调优的记忆能力理论问题,证明其记忆信息量与提示长度呈线性增长关系,并首次形式化验证长上下文下性能下降的现象,揭示了Transformer架构的固有记忆局限。
2025-08-30 cs.LG
Approximation Rate of the Transformer Architecture for Sequence Modeling
National University of Singapore(新加坡国立大学)
本文研究单层单头Transformer的逼近率,通过提出新的复杂度度量建立Jackson型逼近率估计,揭示其结构特性并分析其与循环神经网络等经典序列建模方法的差异。
2025-01-02 cs.LG
Resource-Efficient Transformer Architecture: Optimizing Memory and Execution Time for Real-Time Applications
Vellore Institute of Technology(韦洛尔理工学院)
本文提出一种资源高效型Transformer架构,通过嵌入减半、参数剪枝与量化,在保持精度的同时将内存占用降低52%、执行时间减少33%,优于MobileBERT和DistilBERT,适用于实时与资源受限场景。
2024-12-25 cs.AI cs.LG
Decoupling Knowledge and Reasoning in Transformers: A Modular Architecture with Generalized Cross-Attention
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
提出模块化 Transformer,通过带层特定变换的广义交叉注意力解耦知识与推理,并证明标准 FFN 是其特例。
2025-01-06 cs.AI cs.CL cs.LG
Sparse Transformer Architectures via Regularized Wasserstein Proximal Operator with $L_1$ Prior
Department of Mathematics, University of California, Los Angeles, CA, USA(加州大学洛杉矶分校数学系);Department of Mathematics, University of South Carolina, Columbia, SC, USA(南卡罗来纳大学数学系)
本文利用带 $L_1$ 先验的正则化 Wasserstein 近端算子设计稀疏 Transformer,将数据分布先验嵌入网络结构,改善优化凸性与样本稀疏性,并在生成建模和贝叶斯逆问题中取得更高精度和更快收敛。
2025-10-18 cs.LG math.OC stat.ML
Injecting Hierarchy with U-Net Transformers
UMass Lowell(马萨诸塞大学洛厄尔分校)
Transformer架构在过去的两年中变得越来越流行,这是由于它在许多自然语言处理(NLP)任务上的出色性能。然而,所有的Transformer计算都发生在单词表示的级别上,因此,可以认为Transformer模型没有明确地尝试学习被广泛认为是语言不可或缺的层次结构。在目前的工作中,我们引入层次处理的Transformer模型,从U-Net架构,流行的计算机视觉的自然图像的层次视图的灵感。我们的经验表明,所提出的架构优于香草Transformer和一些强大的基线在聊天对话领域。
2021-04-01 cs.CL cs.LG stat.ML
Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture
Oxford-Man Institute of Quantitative Finance, University of Oxford(牛津大学牛津-曼定量金融研究所);Oxford Internet Institute, University of Oxford(牛津大学牛津互联网研究所)
我们介绍了动量Transformer,这是一种基于注意力的深度学习架构,其表现优于基准时间序列动量和均值回归交易策略。与最先进的长短期记忆(LSTM)架构不同,LSTM架构本质上是顺序的,并为本地处理量身定制,注意力机制为我们的架构提供了与所有先前时间步的直接连接。我们的架构是注意力-LSTM的混合体,使我们能够学习长期依赖关系,在考虑交易成本的净回报时提高性能,并自然适应新的市场机制,例如在SARS-CoV-2危机期间。通过引入多个注意头,我们可以捕捉并发政权,或时间动态,这是发生在不同的时间尺度。动量Transformer具有内在的可解释性,为我们提供了对深度学习动量交易策略的更深入见解,包括不同因素随时间的重要性以及对模型最重要的过去时间步长。
2022-11-22 cs.LG q-fin.TR stat.ML
AI-Powered Deepfake Detection Using CNN and Vision Transformer Architectures
Department of Computer Science and Engineering, East West University(计算机科学与工程系,东西大学)
本文提出利用CNN和视觉Transformer架构的AI方法,通过大规模人脸图像数据集评估,展示VFDNET在深度伪造检测中的高效准确性能。
2026-01-03 cs.AI cs.CV cs.LG
Strassen Attention, Split VC Dimension and Compositionality in Transformers
University of Chile(智利大学);CENIA;IPPT PAN(波兰国家物理与天文学研究所);IMC UC(UC大学医学中心)
本研究证明单层softmax Transformer在三个高级推理任务上的理论局限性,并提出Strassen注意力机制以亚立方复杂度解决这些任务,实验显示其显著优于标准注意力。
2025-09-25 cs.AI cs.LG
PE-former: Pose Estimation Transformer
Institute of Computer Science, FORTH(FORTH 计算机科学研究所);Computer Science Department, University of Crete(克里特大学计算机科学系)
视觉转换器架构已被证明可以非常有效地用于图像分类任务。使用transformer解决更具挑战性的视觉任务的努力依赖于卷积骨干进行特征提取。在本文中,我们研究了纯Transformer架构(即,一个没有CNN主干)用于2D身体姿态估计的问题。我们在COCO数据集上评估了两种ViT架构。我们证明,使用编码器-解码器Transformer架构产生的最先进的结果,这个估计问题。
2021-12-09 cs.CV cs.LG
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited(香港应用科技研究院有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于Transformer的神经网络由于其固有的基于结构的优势,在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构,但很少关注位置编码模块。在本文中,我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外,我们提出了一种增强的Transformer架构,该架构编码有额外的语言知识,例如词性(POS)标记,以提高某些自然语言生成任务的性能,例如,自动翻译和摘要任务。实验表明,该架构达到不断优于香草相比,Transformer的结果。
2019-10-30 cs.CL cs.LG
PDE-Transformer: Efficient and Versatile Transformers for Physics Simulations
提出PDE-Transformer,通过结合扩散transformer改进与物理通道单独嵌入为时空令牌的机制,在16种PDE数据集及下游任务中优于现有视觉transformer和物理基础模型。
2025-05-30 cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey(萨里大学)
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而,由于自我注意的二次复杂性和缺乏感应偏差,Transformers是资源密集型的,并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题,使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络(STAN),它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类,具有数据效率,并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
On the Universality of Transformer Architectures; How Much Attention Is Enough?
Department of Computer Science and Information Technology(计算机科学与信息技术系);Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究所)
本文探讨Transformer架构的通用性问题,分析其表达能力及未来研究方向。
2025-12-20 cs.LG
From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures
UCLA(加利福尼亚大学洛杉矶分校)
本文从认知—功能视角比较人类注意力与 Transformer 的注意力机制,剖析二者在容量约束、通路和意图机制上的差异,并指出跨学科借鉴对通用人工智能的意义。
2024-04-25 cs.AI cs.LG q-bio.OT
The Power of Architecture: Deep Dive into Transformer Architectures for Long-Term Time Series Forecasting
Zhejiang University(浙江大学);Salesforce Research Asia
本文通过提出解耦时间序列专用设计的分类法,系统比较Transformer架构在LTSF中的效果,发现双向联合注意力、完整预测聚合和直接映射范式最优,并据此构建出优于现有模型的组合模型。
2025-07-17 cs.LG
A Generative Model for Raw Audio Using Transformer Architectures
Stanford University(斯坦福大学)
提出了一种利用Transformer结构在波形级进行音频合成的新方法。我们提出了一个用于生成波形的深度神经网络,类似于waveNet。这是完全概率的、自回归的和因果的,即生成的每个样本仅取决于先前观察到的样本。我们的方法在预测下一步的类似数据集上比广泛使用的wavenet架构高出9%。使用注意力机制,我们使架构能够学习哪些音频样本对于未来样本的预测是重要的。我们展示了因果Transformer生成模型如何用于原始波形合成。我们还表明,通过在更广泛的背景下调节样本,这种性能可以再提高2%。当前模型从潜在表示合成音频的灵活性表明了大量的潜在应用。然而,使用生成式Transformer架构进行原始音频合成的新颖方法仍然远离生成任何有意义的音乐,而不使用潜在代码/元数据来辅助生成过程。
2021-07-08 cs.AI cs.LG cs.MM
Training-free Neural Architecture Search for RNNs and Transformers
Princeton University(普林斯顿大学);University of Colorado Colorado Springs(科罗拉多大学斯普林斯分校)
本文研究面向 RNN 与 BERT 类 Transformer 的免训练 NAS,提出 hidden covariance 指标并指出搜索空间需与指标协同设计。
2023-06-01 cs.AI cs.CL cs.LG
Body Transformer: Leveraging Robot Embodiment for Policy Learning
UC Berkeley(加州大学伯克利分校)
针对普通Transformer未充分利用机器人学习问题结构的问题,提出Body Transformer架构,以机器人身体的传感器-执行器图结合掩码注意力引入具身归纳偏置,在模仿与强化学习策略的任务完成度、缩放性和效率上均优于基线模型。
2024-08-12 cs.AI cs.LG cs.RO
BayesFormer: Transformer with Uncertainty Estimation
Meta AI
Transformer由于其在各种NLP和图像处理任务中的主导性能而变得无处不在。然而,它缺乏对如何为Transformer架构生成数学基础的不确定性估计的理解。配备有这种不确定性估计的模型通常可以提高预测性能,使网络鲁棒,避免过拟合,并用作主动学习中的获取函数。本文介绍了一种基于贝叶斯理论设计的带漏失的Transformer模型BayesFormer。我们提出了一个新的理论框架,以扩展的近似变分推理为基础的辍学,以transformer为基础的架构。通过大量的实验,我们验证了所提出的架构在四个范例,并显示全面的改进:语言建模和分类,长序列的理解,机器翻译和采集功能的主动学习。
2022-06-02 cs.AI cs.CL cs.LG
In Transformer We Trust? A Perspective on Transformer Architecture Failure Modes
WPI(韦帕研究所)
本文探讨了Transformer架构在关键应用中的可信度问题,分析了其结构漏洞、领域风险及开放研究挑战。
2026-02-15 cs.LG
Learning Novel Transformer Architecture for Time-series Forecasting
Nanyang Technological University(南洋理工大学);University of Hong Kong(香港大学);University of Virginia(弗吉尼亚大学)
本文提出 AutoFormer-TS 框架,通过 AB-DARTS 可微神经架构搜索为时间序列预测自动探索新型 Transformer 结构,并在多个基准上超越现有方法。
2025-02-19 cs.CL cs.LG
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University(布拉维贾亚大学)
针对Transformer参数量大、效率低的问题,提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin,在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
Circuit Complexity Bounds for RoPE-based Transformer Architecture
Middle Tennessee State University(中田纳西州立大学);Stevens Institute of Technology(史蒂文斯理工学院);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);South China University of Technology(华南理工大学);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);University of California, Berkeley(加利福尼亚大学伯克利分校)
为理解Transformer的容量限制,本文针对在长上下文场景表现优异且泛化能力更强的基于RoPE的Transformer架构,建立其电路复杂度界限,发现特定条件下该架构无法解决算术公式评估等问题,为后续研究提供理论指导。
2024-12-01 cs.AI cs.CC cs.CL
On the Ability and Limitations of Transformers to Recognize Formal Languages
Microsoft Research India(微软印度研究院)
Transformers已经在大量的NLP任务中取代了循环模型。然而,在他们的能力,以模拟不同的句法属性的差异仍然在很大程度上是未知的。过去的工作表明LSTM在正则语言上有很好的推广,并且与计数器语言有着密切的联系。在这项工作中,我们系统地研究了Transformers的能力,以模拟这样的语言,以及它的各个组件在这样做的作用。我们首先提供了一个构造的Transformers的子类计数器语言,包括研究良好的语言,如n元布尔表达式,Dyck-1,及其推广。在实验中,我们发现Transformers在这个子类上表现良好,并且它们的学习机制与我们的构式有很强的相关性。也许令人惊讶的是,与LSTM相比,Transformers只在性能下降的正则语言的一个子集上表现良好,因为我们根据众所周知的复杂性度量使语言变得更加复杂。我们的分析还提供了洞察自我注意力机制在建模某些行为的作用和位置编码方案对模型的学习和泛化能力的影响。
2020-10-08 cs.CL cs.LG
Theoretical limitations of multi-layer Transformer
UC Berkeley(加州大学伯克利分校);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
本研究首次证明多层仅解码器Transformer的无条件下界,提出多方自回归通信模型及新证明技术,揭示其深度-宽度权衡、编码器-解码器差异及思维链优势,推动对Transformer计算能力的理论理解。
2024-12-04 cs.AI cs.CC cs.DS
IMUOptimize: A Data-Driven Approach to Optimal IMU Placement for Human Pose Estimation with Transformer Architecture
University of Maryland(马里兰大学)
本文提出IMUOptimize方法,通过数据驱动策略优化IMU放置并结合Transformer架构,在6个和24个IMU配置下均优于传统biRNN模型,显著提升了基于IMU的人体姿态估计精度。
2024-02-16 cs.LG
Persformer: A Transformer Architecture for Topological Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);L2F SA(L2F公司)
拓扑数据分析(TDA)的主要挑战之一是从持久图中提取机器学习算法直接可用的特征。实际上,持久性图本质上是$\mathbb{R}^2$中的点的(多)集合,并且不能以直接的方式被视为向量。在本文中,我们将介绍$\texttt{Persformer}$,它是第一个接受持久性图作为输入的Transformer神经网络体系结构。$\texttt{Persformer}$架构在经典合成和图形基准数据集上的性能显著优于以前的拓扑神经网络架构。此外,它还满足一个普适逼近定理。这使我们能够介绍拓扑机器学习的第一个可解释性方法,我们在两个例子中探索。
2022-09-26 cs.LG math.AT
Deriving Transformer Architectures as Implicit Multinomial Regression
Sandia National Laboratories(桑迪亚国家实验室)
本文从数学上建立了注意力机制与多项式回归的联系,证明Transformer中表示演化等价于优化分类最优特征的轨迹。
2025-10-27 cs.AI cs.LG cs.NA
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University(斯坦福大学);Stanford Medicine(斯坦福医学院)
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化,减少错误,节省时间和医疗服务。在本文中,我们证明了特定领域的预训练的重要性,并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点,我们训练了一系列经过修改的Transformers,以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括:具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构,具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构,以及网状存储器增强的Transformer,其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU(1-4)、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型,并展示与最先进模型的竞争性评分。我们提供的证据表明,ImageNet预训练不适合医学图像字幕任务,特别是对于不太常见的情况(例如:扩大的心内膜,肺部病变,气胸)。此外,我们证明了双特征模型可以提高特定医疗条件(水肿,实变,气胸,支持设备)和整体CheXbert F1评分的性能,并应在未来的工作中进一步开发。这样的双特征模型,包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
AutoST: Training-free Neural Architecture Search for Spiking Transformers
North Carolina State University(北卡罗来纳州立大学)
针对现有脉冲Transformer架构性能欠佳、手动设计耗时的问题,提出免训练NAS方法AutoST,以FLOPs为性能指标,可快速搜索高性能架构,在多数据集上表现优于现有SNN架构。
2023-12-14 cs.CV cs.LG cs.NE
DYNAMAX: Dynamic computing for Transformers and Mamba based architectures
Università della Svizzera Italiana(瑞士联邦理工学院);Politecnico di Milano(米兰理工学院)
本研究提出DYNAMAX框架,首次将Mamba架构用于早期退出机制,并将其作为通用分类器应用于Mamba和Transformer大模型,在平衡计算成本与性能方面展现出高效性。
2025-04-29 cs.AI cs.CL cs.LG
HeTraX: Energy Efficient 3D Heterogeneous Manycore Architecture for Transformer Acceleration
Washington State University(华盛顿州立大学)
本文提出三维异构众核架构 HeTraX,通过硬件资源与 Transformer 计算内核对齐,在保证热可行性的同时实现最高 5.6 倍加速和 14.5 倍 EDP 改善。
2024-08-06 cs.AR cs.LG
Twins: Revisiting the Design of Spatial Attention in Vision Transformers
Meituan Inc.(美团公司);The University of Adelaide(阿德莱德大学)
最近,各种各样的视觉Transformer架构密集的预测任务已经提出,他们表明,空间注意力的设计是至关重要的,他们在这些任务中的成功。在这项工作中,我们重新审视了空间注意力的设计,并证明了一个精心设计的,但简单的空间注意力机制表现良好,对国家的最先进的计划。因此,我们提出了两个视觉Transformer架构,即双PCPVT和双SVT。我们提出的架构高效且易于实现,仅涉及在现代深度学习框架中高度优化的矩阵乘法。更重要的是,所提出的架构在广泛的视觉任务上实现了出色的性能,包括图像级分类以及密集检测和分割。简单性和强大的性能表明,我们提出的架构可以作为许多视觉任务的更强大的骨干。我们的代码发布在https://github.com/Meituan-AutoML/Twins。
2021-09-30 cs.AI cs.CV cs.LG
The Evolved Transformer
Google Research(谷歌研究院)
最近的工作突出了Transformer架构在序列任务上的优势,同时,神经架构搜索(NAS)已经开始超越人类设计的模型。我们的目标是应用NAS来寻找一个更好的替代Transformer。我们首先构建了一个大的搜索空间的启发,在前馈序列模型的最新进展,然后运行进化架构搜索与热启动播种我们的初始人口与Transformer。为了直接搜索计算成本高昂的WMT 2014英-德翻译任务,我们开发了渐进动态障碍方法,该方法允许我们动态地将更多资源分配给更有前途的候选模型。在我们的实验中发现的架构--进化的Transformer --在四个成熟的语言任务上表现出比Transformer一致的改进:WMT 2014英语-德语,WMT 2014英语-法语,WMT 2014英语-捷克语和LM 1B。在大模型尺寸下,Evolved Transformer在WMT'14英语-德语测试中获得了29.8的最新BLEU分数;在较小尺寸下,它实现了与原始“大”Transformer相同的质量,参数减少了37.6%,并且在移动友好的7 M参数模型尺寸下,比Transformer高出0.7 BLEU。
2019-05-17 cs.CL cs.LG cs.NE
CATE: Computation-aware Neural Architecture Encoding with Transformers
Michigan State University(密歇根州立大学);University of Central Florida(中佛罗里达大学);Tencent AI Lab(腾讯人工智能实验室)
最近的作品(White等人,2020 a; Yan等人,2020)展示了架构编码在神经架构搜索(NAS)中的重要性。这些编码对神经架构的结构或计算信息进行编码。与结构感知编码相比,计算感知编码将具有相似精度的架构映射到相同区域,这提高了下游架构搜索性能(Zhang et al.,2019; White等人,2020年a)。在这项工作中,我们介绍了一个计算感知转换器为基础的编码方法,称为CATE。与现有的基于固定变换的计算感知编码(例如,路径编码)不同,CATE采用成对预训练方案来使用具有交叉注意力的Transformers学习计算感知编码。这种学习的编码包含神经架构的密集和上下文化的计算信息。我们比较CATE与11个编码下的三个主要编码依赖的NAS子程序在小和大的搜索空间。实验结果表明,CATE算法对下游搜索是有利的,特别是在大搜索空间的情况下。此外,外部搜索空间实验表明,其优越的泛化能力超出了搜索空间,它是训练。我们的代码可在www.example.com上获得。
2021-06-11 cs.LG
SpeedLimit: Neural Architecture Search for Quantized Transformer Models
Harvard University(哈佛大学);Stochastic Inc(斯托卡斯蒂克公司)
本文提出SpeedLimit,一种在延迟约束下优化准确率的神经架构搜索方法,通过结合8位整数量化超越现有技术,为延迟敏感场景部署Transformer模型提供新途径。
2023-10-13 cs.LG
Memory-Efficient Differentiable Transformer Architecture Search
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Microsoft Corporation(微软公司)
可区分结构搜索(DARTS)已成功应用于许多视觉任务。然而,直接将DARTS用于Transformers是内存密集型的,这使得搜索过程不可行。为此,我们提出了一种多分裂可逆网络,并将其与DARTS相结合。具体来说,我们设计了一个反向传播与重建算法,使我们只需要存储最后一层的输出。通过减轻DARTS的内存负担,它允许我们搜索更大的隐藏大小和更多的候选操作。我们在三个序列到序列数据集上评估搜索的架构,即,WMT'14英语-德语,WMT'14英语-法语和WMT'14英语-捷克语。实验结果表明,我们的网络始终优于标准的Transformers在整个任务。此外,我们的方法与大尺寸的进化Transformers相比,减少了一个数量级的搜索计算。
2021-05-31 cs.CL cs.LG
A unified framework for establishing the universal approximation of transformer-type architectures
Department of Mathematics National University of Singapore(新加坡国立大学数学系);School of Mathematical Sciences Peking University(北京大学数学科学学院);Department of Mathematics Institute for Functional Intelligent Materials National University of Singapore(新加坡国立大学功能智能材料研究所数学系)
本研究提出统一理论框架,以令牌可区分性为基础、结合注意力层解析性假设,为多种Transformer类架构确立通用逼近性质,拓展了已有结果并为新型架构设计提供原则性支撑。
2025-10-21 cs.LG math.OC