On the Universality of Transformer Architectures; How Much Attention Is Enough?
Department of Computer Science and Information Technology（计算机科学与信息技术系）；Institute for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究所）
本文探讨Transformer架构的通用性问题，分析其表达能力及未来研究方向。
2025-12-20 cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford（牛津大学）
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近，且单个注意力头即可逼近任意连续函数，并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal（印度统计研究所西孟加拉）
本文研究了Transformer编码器能否模拟通用注意力机制，通过构建由Transformer编码器组成的通用模拟器U，利用RASP框架提出算法解决方案，证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo（东京大学）
现有的Transformer模型的表达能力的分析需要过深的数据存储层，导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系，我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此，我们表明，一层和单头Transformers有记忆能力有限的样本，和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Are Transformers universal approximators of sequence-to-sequence functions?
MIT（麻省理工学院）；Google Research（谷歌研究院）
尽管Transformer模型被广泛用于NLP任务，但这些模型的表达能力还没有得到很好的理解。在本文中，我们建立了Transformer模型是具有紧支撑的连续置换等变序列到序列函数的通用逼近器，这是相当令人惊讶的，因为这些模型中的共享参数的数量。此外，使用位置编码，我们绕过了置换等方差的限制，并表明，Transformer模型可以普遍逼近任意连续序列到序列的功能上的一个紧凑的区域。有趣的是，我们的证明技术清楚地突出了自我注意和前馈层在Transformers中的不同角色。特别地，我们证明了固定宽度的自注意层可以计算输入序列的上下文映射，在Transformers的通用近似性质中起着关键作用。基于我们的分析，我们考虑了自我注意层的其他更简单的替代方案，并对其进行了实证评估。
2020-02-25 cs.LG stat.ML
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University（斯坦福大学）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学与瑞士南部应用科学大学））；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
提出基于混合专家的共享层Transformer架构MoEUT，通过结合MoE进展与新型层归一化和分组方案，首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
Universal Approximation of Operators with Transformers and Neural Integral Operators
Department of Mathematics and Statistics（数学与统计学系）；Idaho State University Physical Science Complex（爱达荷州立大学物理科学中心）；S. 8th Ave., Stop 8085（921 S. 8th Ave., Stop 8085）；Pocatello, ID 83209, USA
本文研究变换器和神经积分算子在Banach空间中算子的通用逼近性质，证明变换器可逼近Hölder空间间的积分算子，神经积分算子的推广形式可逼近任意Banach空间间的算子，改进的变换器可逼近任意Banach空间间的算子。
2026-04-24 cs.LG cs.NA math.NA
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University（萨尔兰大学）；Ohio State University（俄亥俄州立大学）
研究探讨了Transformer在长CoT轨迹上的泛化能力限制，并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Memory-Efficient Differentiable Transformer Architecture Search
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Microsoft Corporation（微软公司）
可区分结构搜索（DARTS）已成功应用于许多视觉任务。然而，直接将DARTS用于Transformers是内存密集型的，这使得搜索过程不可行。为此，我们提出了一种多分裂可逆网络，并将其与DARTS相结合。具体来说，我们设计了一个反向传播与重建算法，使我们只需要存储最后一层的输出。通过减轻DARTS的内存负担，它允许我们搜索更大的隐藏大小和更多的候选操作。我们在三个序列到序列数据集上评估搜索的架构，即，WMT'14英语-德语，WMT'14英语-法语和WMT'14英语-捷克语。实验结果表明，我们的网络始终优于标准的Transformers在整个任务。此外，我们的方法与大尺寸的进化Transformers相比，减少了一个数量级的搜索计算。
2021-05-31 cs.CL cs.LG
Universal Approximation Theorem for a Single-Layer Transformer
Department of Computer Science, University of Sana'a（萨那大学计算机科学系）
本文研究了深度学习与Transformer的数学基础，证明包含自注意力层和ReLU位置前馈网络的单层Transformer能以任意精度近似紧致域上的连续序列到序列映射，推进了模型的理论理解。
2025-07-11 cs.AI cs.LG stat.ML
Attending to Mathematical Language with Transformers
U.S. Bank（美国合众银行）
数学表达式的生成，评估和训练神经网络模型的基础上的Transformer架构。表达和它们的目标被分析为字符级序列转导任务，其中编码器和解码器建立在注意力机制上。训练了三个模型来理解和评估数学中的符号变量和表达式：（1）没有递归或卷积的自关注和前馈Transformer，（2）具有递归的通用Transformer，以及（3）具有递归和自适应计算时间的自适应通用Transformer。在评估表达式与目标值的匹配方面，模型的测试准确率分别达到76.1%、78.8%和84.9%。对于推断错误的情况，结果与目标仅相差一个或两个字符。这些模型特别学会了对分配给符号变量的变量数字的正、负十进制数进行加、减、乘。
2019-09-14 cs.CL cs.LG
Universality and Limitations of Prompt Tuning
UCLA（加州大学洛杉矶分校）；Google（谷歌）
本研究首次从普适近似与局限性两个角度，理论分析软提示调优在Transformer架构中的作用，证明其普适性并揭示有限深度下的记忆限制，给出参数下界并与LoRA对比，且获实证支持。
2023-11-16 cs.CL cs.LG
$O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers
MIT（麻省理工学院）；Google Research NY（谷歌纽约研究院）
最近，Transformer网络重新定义了许多NLP任务的最新技术。然而，这些模型遭受在输入序列长度$n$中的二次计算成本，以计算每层中的成对注意。这促使最近的研究稀疏Transformers，稀疏的注意力层中的连接。虽然经验上有希望的长序列，基本问题仍然没有答案：稀疏Transformers可以近似任何任意的序列到序列的功能，类似于他们的密集同行？稀疏模式和稀疏级别如何影响它们的性能？在本文中，我们解决了这些问题，并提供了一个统一的框架，捕获现有的稀疏注意力模型。我们提出了充分的条件下，我们证明了稀疏注意力模型可以普遍近似任何序列到序列的功能。令人惊讶的是，我们的研究结果表明，稀疏的Transformers只有$O(n)$连接，每个注意层可以近似相同的功能类的密集模型与$n^2$连接。最后，我们在标准NLP任务上比较了不同的稀疏模式/水平。
2020-12-19 cs.LG stat.ML
Universal Transformer Hawkes Process with Adaptive Recursive Iteration
China University of Petroleum（中国石油大学）
异步事件序列广泛存在于自然界和人类活动中，如地震记录、用户在社交媒体上的活动等，如何从这些看似杂乱无章的数据中提取信息一直是研究者关注的课题，其中最有用的模型之一是点过程模型，并在此基础上取得了许多值得注意的成果.此外，近年来，基于神经网络，特别是递归神经网络（RNN）的点过程模型被提出，与传统模型相比，其性能有了很大的提高。受Transformer模型不需要递归和卷积结构就能高效学习序列数据的启发，提出了Transformer Hawkes过程，并取得了最新的性能。然而，有一些研究证明，在Transformer中重新引入递归计算可以进一步提高Transformers的性能。因此，我们提出了一种新的Transformer Hawkes过程模型--通用Transformer Hawkes过程（UTHP），它包含了递归机制和自注意机制，并且为了提高模型的局部感知能力，我们还在位置前馈部分引入了卷积神经网络（CNN）。我们在几个数据集上进行实验，以验证UTHP的有效性，并探讨引入递归机制后的变化。在多个数据集上的实验表明，与现有的模型相比，新模型的性能有一定的提高。
2021-12-29 cs.LG
LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions
Sharif University of Technology（谢里夫理工大学）；Cardiff University（卡迪夫大学）
针对Transformer梯度流不平衡导致基于梯度的解释效果差的问题，提出理论驱动的事后方法LibraGrad，通过修剪和缩放反向路径纠正不平衡，在多架构、多数据集上全面提升归因的忠实性、完整性和感知对齐度，优于现有方法且可扩展至MLP-Mixer。
2024-11-24 cs.AI cs.CV cs.LG
OL-Transformer: A Fast and Universal Surrogate Simulator for Optical Multilayer Thin Film Structures
University of Michigan（密歇根大学）；Amazon Web Services（亚马逊云科技）
针对现有深度学习代理模拟器仅适用于有限类型光学多层薄膜结构的问题，提出结合结构序列化技术的OL-Transformer通用模拟器，可预测超多种结构的光谱，模拟速度远快于物理求解器，且具备强泛化能力。
2023-07-22 cs.LG physics.optics
A unified framework for establishing the universal approximation of transformer-type architectures
Department of Mathematics National University of Singapore（新加坡国立大学数学系）；School of Mathematical Sciences Peking University（北京大学数学科学学院）；Department of Mathematics Institute for Functional Intelligent Materials National University of Singapore（新加坡国立大学功能智能材料研究所数学系）
本研究提出统一理论框架，以令牌可区分性为基础、结合注意力层解析性假设，为多种Transformer类架构确立通用逼近性质，拓展了已有结果并为新型架构设计提供原则性支撑。
2025-10-21 cs.LG math.OC
Is In-Context Universality Enough? MLPs are Also Universal In-Context
The Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Shimane University（岛根大学）
本文通过证明具有可训练激活函数的 MLP 同样具备上下文内通用性，否定了上下文内通用性是 Transformer 相对经典模型优势来源的观点，指出其成功更可能源于归纳偏置或训练稳定性等因素。
2025-02-05 cs.LG cs.NA cs.NE
Transformers Are Universally Consistent
Indian Statistical Institute（印度统计研究院）
针对 Transformers 在非欧数据下的函数回归理论空白，本文证明配备 softmax 非线性注意力的模型在双曲空间执行 OLS 回归时具有普遍一致性，并给出了 $\mathcal{O}(t^{-1/2d})$ 的误差收敛上界。
2025-05-30 cs.LG
Sampled Transformer for Point Sets
Australian National University（澳大利亚国立大学）；Google Brain（谷歌大脑）
稀疏Transformer可以将自注意层的计算复杂性降低到$O(n)$，同时仍然是连续序列到序列函数的通用近似器。然而，这种置换变体操作不适合直接应用于集合。在本文中，我们提出了一个$O(n)$复杂度采样Transformer，可以直接处理点集元素没有任何额外的电感偏置。我们的采样Transformer引入了随机元素采样，它随机地将点集分成子集，然后对每个子集应用共享的Hamilton自注意机制。整个注意力机制可以看作是完全注意图中的一个哈密尔顿圈，点集元素的排列等价于随机抽样哈密尔顿圈。该机制实现了$O(n^2)$密集注意力连接的Monte Carlo模拟。我们证明了它是连续集到集函数的一个通用逼近器。点云上的实验结果显示出相当或更好的准确性，显着降低计算复杂性相比，密集的Transformer或替代稀疏注意力计划。
2023-02-28 cs.LG
Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
Electronics and Telecommunications Research Institute（电子通信研究院）
本研究发现Transformer与Mamba架构虽微观机制不同，却存在相近的近边际慢模动力学，其集体红外组织具有普适性，为认知场理论提供了独立验证。
2026-08-20 cs.LG
Generative Pre-Trained Transformers for Biologically Inspired Design
Singapore University of Technology and Design（新加坡科技设计大学）；Tsinghua University（清华大学）
自然界中的生物系统已经进化了数百万年，以适应和生存的环境。他们开发的许多功能可以启发和有益于解决现代工业中的技术问题。这导致了一种新的类比设计形式，称为生物启发设计（BID）。虽然BID作为一种设计方法已被证明是有益的，生物学和工程学之间的差距不断阻碍设计师有效地应用该方法。因此，我们探讨了人工智能（AI）的最新进展，以寻找一种弥合这一差距的计算方法。提出一种基于预训练语言模型（PLM）的生物类比自动检索和映射生成方法，并以自然语言的形式生成生物类比。最新的生成预训练Transformer，即GPT-3，被用作基础PLM。三种类型的设计概念生成器的识别和微调，从PLM根据松散的问题空间表示。机器评估器也被微调以评估所生成的BID概念中的域之间的相关性。然后通过案例研究对该方法进行测试，其中微调的模型被应用于生成和评估受自然启发的轻型飞行汽车概念。实验结果表明，该方法可以生成性能良好的BID概念。
2022-03-31 cs.CL cs.LG
Universal Transforming Geometric Network
University of Chicago（芝加哥大学）
递归几何网络（RGN）是第一个用于蛋白质结构预测的端到端可微分神经架构，是现有模型的竞争性替代方案。然而，RGN使用递归神经网络（RNN）作为内部表示，导致训练时间长和梯度不稳定。由于其顺序性，它在学习氨基酸之间的全局依赖性方面不如现有的Transformer架构有效。我们提出了通用变换几何网络（UTGN），一个端到端的微分模型，使用通用Transformer架构的编码器部分作为内部表示的替代。我们的实验表明，与RGN相比，UTGN实现了$1.7$ \si{\angstrom}的自由建模部分和$0.7$ \si{\angstrom}的CASP 12比赛的基于模板的建模的改进。
2019-08-02 cs.LG q-bio.BM
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay（印度理工学院孟买分校）
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似，从而质疑其作为通用函数逼近器的能力，并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
PyramidStyler: Transformer-Based Neural Style Transfer with Pyramidal Positional Encoding and Reinforcement Learning
针对现有神经风格迁移模型难适配复杂风格与高分辨率输入的问题，提出搭载金字塔位置编码、融合强化学习的Transformer框架PyramidStyler，在多数据集上实现低损失、近实时的高质量风格化效果。
2025-10-02 cs.AI cs.CV
Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization
Fudan University（复旦大学）
本研究通过元学习对齐语言间结构概念空间，提升跨语言泛化，在43种语言句法分析中取得与最先进方法相当的结果，并缩小了语言间性能差距。
2023-12-22 cs.CL
Universal Dynamics of Warmup Stable Decay: understanding WSD beyond Transformers
MPI-IS Tübingen, Germany, ETH Zürich, Switzerland and Politecnico di Torino, Italy（马克斯·普朗克研究所（MPI-IS）图宾根，德国，瑞士苏黎世联邦理工学院（ETH Zürich）和意大利托里诺理工大学（Politecnico di Torino））；ETH Zürich, Switzerland（瑞士苏黎世联邦理工学院（ETH Zürich））；MPI-IS, ELLIS Institute Tübingen, Tübingen AI Center, Germany（马克斯·普朗克研究所（MPI-IS）图宾根，德国，图宾根人工智能中心（Tübingen AI Center））
本研究通过比较 Transformer 和 CNN 在 WSD 调度下的训练动态，揭示了非凸优化问题中损失景观的共同几何特征。
2026-01-13 cs.LG
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer
DP Technology（度势科技）；AI for Science Institute, Beijing（北京人工智能科学研究院）
针对科学文献中表格、图表和分子等多模态内容难以被文本型 LLM 理解的问题，本文提出 Uni-SMART，并在多领域定量评估及专利、图表应用中验证其优越性能。
2024-06-15 cs.CL cs.CV
Recommender Transformers with Behavior Pathways
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
序贯推荐要求推荐器从用户行为数据中捕捉用户行为的演化特征，以实现准确的推荐。然而，用户行为序列被视为一个脚本，其中有多个正在进行的线程交织在一起。我们发现，只有一小部分关键的行为可以演变成用户的未来行动。因此，用户的未来行为很难预测。我们将每个用户的连续行为的这种特征总结为行为路径。不同的用户有其独特的行为路径。在现有的序列模型中，Transformers显示出很大的能力，在捕捉全球依赖的特征。然而，这些模型主要使用自我注意力机制在所有先前行为上提供密集分布，使得最终预测被不针对每个用户调整的琐碎行为淹没。在本文中，我们建立了一个新的路径注意力机制的推荐Transformer（RETR）。RETR可以动态地规划为每个用户指定的行为路径，并通过该行为路径谨慎地激活网络，以有效地捕获对推荐有用的演变模式。关键的设计是一个学习的二元路线，以防止行为路径被琐碎的行为所淹没。我们在七个真实世界的数据集上实证验证了RETR的有效性，RETR产生了最先进的性能。
2022-06-13 cs.IR cs.LG
Biologically Inspired Design Concept Generation Using Generative Pre-Trained Transformers
自然界中的生物系统已经进化了数百万年，以适应和生存的环境。他们开发的许多功能可以启发和有益于解决现代工业中的技术问题。这导致了一种特殊形式的类比设计，称为生物启发设计（BID）。虽然BID作为一种设计方法已被证明是有益的，生物学和工程学之间的差距不断阻碍设计师有效地应用该方法。因此，我们探讨了人工智能（AI）的最新进展，以数据驱动的方法来弥合这一差距。提出了一种基于生成式预训练语言模型（PLM）的生物类比自动检索和映射方法，并以自然语言的形式生成生物类比。最新的生成预训练Transformer，即GPT-3，被用作基础PLM。三种类型的设计概念生成器的识别和微调，从PLM根据松散的问题空间表示。机器评估器也被微调以评估所生成的BID概念内的域之间的映射相关性。该方法的评估，然后在一个现实世界的项目设计的轻型飞行汽车在其概念设计阶段，结果表明，我们的方法可以生成BID概念具有良好的性能。
2022-12-26 cs.CL
Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
最近计算机视觉领域的升级支撑了一堆算法，这些算法具有解开图像中包含的信息的巨大潜力。这些计算机视觉算法正在医学图像分析中得到实践，并正在改变成像数据的感知和解释。在这些算法中，Vision Transformers被发展为计算机视觉领域中使用的最现代和最占主导地位的体系结构之一。这些被大量的研究人员用来进行新的和以前的实验。在本文中，我们研究了Vision Transformers和医学图像的交叉点，并概述了不同研究人员正在使用的各种基于ViT的框架，以破译医学计算机视觉中的障碍。我们调查了Vision Transformers在医学计算机视觉不同领域的应用，例如基于图像的疾病分类，解剖结构分割，配准，基于区域的病变检测，字幕，报告生成，使用多种医学成像模式进行重建，极大地帮助医疗诊断和治疗过程。与此同时，我们还揭开了医学计算机视觉中使用的几种成像模式的神秘面纱。此外，为了获得更多的洞察力和更深入的理解，Transformers的自我注意机制也进行了简要的解释。最后，我们还以讨论的形式介绍了现有的数据集、采用的方法、绩效指标、挑战及其解决方案。我们希望这篇综述文章将为医学计算机视觉研究人员开辟未来的方向。
2022-03-29 cs.CV cs.LG eess.IV
Persformer: A Transformer Architecture for Topological Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；L2F SA（L2F公司）
拓扑数据分析（TDA）的主要挑战之一是从持久图中提取机器学习算法直接可用的特征。实际上，持久性图本质上是$\mathbb{R}^2$中的点的（多）集合，并且不能以直接的方式被视为向量。在本文中，我们将介绍$\texttt{Persformer}$，它是第一个接受持久性图作为输入的Transformer神经网络体系结构。$\texttt{Persformer}$架构在经典合成和图形基准数据集上的性能显著优于以前的拓扑神经网络架构。此外，它还满足一个普适逼近定理。这使我们能够介绍拓扑机器学习的第一个可解释性方法，我们在两个例子中探索。
2022-09-26 cs.LG math.AT
Transformer-F: A Transformer network with effective methods for learning universal sentence representation
Beijing University of Posts and Telecommunications（北京邮电大学）
Transformer模型广泛用于自然语言处理中的句子表示。然而，以前的基于transformer的模型集中在功能词，在大多数情况下，具有有限的意义，只能提取高层次的语义抽象特征。本文介绍了两种提高Transformers性能的方法。我们通过将词性权重向量与相关系数相乘来计算注意力得分，这有助于提取更实际意义的单词。权值向量由输入文本序列根据词性的重要性得到。此外，我们融合了每一层的特征，使句子表示结果更加全面和准确。在实验中，我们证明了我们的模型Transformer-F在三个标准文本分类数据集上的有效性。实验结果表明，我们提出的模型显着提高文本分类的性能相比，基线模型。具体来说，我们在简单任务上获得了比普通Transformer 5.28%的相对改进。
2021-07-02 cs.CL cs.LG
Fixed Universal Transformers
Columbia University（哥伦比亚大学）
提出固定通用Transformer，通过输入嵌入模拟任意给定类别的Transformer，证明其通用性在足够大嵌入维度下可通过稀疏结构实现，且随机初始化几乎必然通用，实验验证了理论。
2026-10-05 cs.LG
Pretrained Transformers as Universal Computation Engines
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
我们研究了在自然语言上预训练的Transformer以最小的微调推广到其他模态的能力-特别是，没有微调残差块的自注意和前馈层。我们考虑这样一个模型，我们称之为冻结预训练Transformer（FPT），并研究在各种序列分类任务上对其进行微调，这些任务包括数值计算，视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作相比，我们表明，在自然语言上进行预训练可以提高非语言下游任务的性能和计算效率。此外，我们对架构进行了分析，比较了随机初始化的Transformer与随机LSTM的性能。结合这两种见解，我们发现语言预训练的Transformers可以在各种非语言任务上获得强大的性能。
2021-06-30 cs.AI cs.LG
Unified Training of Universal Time Series Forecasting Transformers
Salesforce AI Research（Salesforce AI研究院）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文提出Moirai，一种基于掩码编码器的通用时间序列预测Transformer，通过跨频率学习等改进，在大规模数据集LOTSA上训练，实现零样本预测性能媲美全样本模型。
2024-05-22 cs.AI cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移（例如3对3或5对6多代理游戏）。在本文中，我们首次尝试探索一个通用的多智能体强化学习管道，设计一个单一的架构，以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同，我们利用一个基于transformer的模型来生成一个灵活的策略，通过将策略分布与相互交织的输入观察解耦，并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比，该模型进一步放宽了对行为的限制，使多Agent任务的决策过程更具有可解释性，称为通用策略解耦Transformer（UPDeT）。UPDeT足够通用，可以插入任何多智能体强化学习管道，并为它们提供强大的泛化能力，使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明，所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果，在性能和训练速度（快10倍）方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
Universal Approximation Under Constraints is Possible with Transformers
Universität Basel（巴塞尔大学）；Universität Zürich（苏黎世大学）
许多实际问题需要机器学习模型的输出来满足一组约束$K$。然而，没有已知的保证，经典的神经网络架构可以准确地编码约束，同时实现通用性。本文给出了一个定量约束泛逼近定理，保证了对任意非凸紧集$K$和任意连续函数$f:\mathbb{R}^n\rightarrow K$，存在概率Transformer $\hat{F}$，其随机输出都位于$K$中，且其期望输出一致逼近$f$ .我们的第二个主要结果是Berge极大值定理（1963）的“深层神经版本”。该结果保证了给定目标函数$L$、约束集$K$和软约束集族，存在概率Transformer $\hat{F}$近似最小化$L$且其输出属于$K$ ;而且，$\hat{F}$近似满足软约束.我们的结果隐含了经典Transformers在精确凸约束满足下的第一普适逼近定理。在适当的测地线凸约束下，给出了黎曼流形值函数的一个无图泛逼近定理。
2022-02-08 cs.AI cs.LG cs.NE
Universal Transformers
University of Amsterdam（阿姆斯特丹大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
递归神经网络（RNN）通过使用每个新数据点更新其状态来顺序处理数据，并且长期以来一直是序列建模任务的事实上的选择。然而，它们固有的顺序计算使它们训练缓慢。前馈和卷积架构最近已被证明在某些序列建模任务（如机器翻译）上取得了优异的结果，其附加优势是它们同时处理序列中的所有输入，从而易于并行化和更快的训练时间。然而，尽管取得了这些成功，但流行的前馈序列模型（如Transformer）在许多递归模型轻松处理的简单任务中无法泛化，例如，当字符串或公式长度超过训练时观察到的长度时，复制字符串或甚至简单的逻辑推理。我们提出了通用的Transformer（UT），一个并行的时间自我关注的经常性序列模型，它可以被铸造作为一个概括的Transformer模型，并解决了这些问题。UT将前馈序列模型（如Transformer）的并行性和全局感受野与RNN的经常性感应偏置相结合。我们还增加了一个动态的每位置停止机制，并发现它提高了几个任务的准确性。与标准的Transformer相比，在某些假设下，UT可以被证明是图灵完备的。我们的实验表明，UT在广泛的算法和语言理解任务上优于标准Transformers，包括具有挑战性的LAMBADA语言建模任务，其中UT实现了最新的技术水平，以及机器翻译，其中UT在WMT 14 En-De数据集上实现了比Transformers 0.9 BLEU的改进。
2019-03-05 cs.CL cs.LG stat.ML
Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
Apple MPS（苹果MPS）
本文提出UniMatrix系列模型，通过结构递归状态和稀疏检索机制，在保持参数效率的同时提升语言模型性能，但长程行为仍需进一步优化。
2026-04-01 cs.CL cs.LG
Understanding Video Transformers via Universal Concept Discovery
York University（约克大学）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；Toyota Research Institute（丰田研究所）；Vector Institute（矢量研究所）
针对视频Transformer可解释性研究不足的问题，提出首个VTCD算法以无监督发现时空概念并排序其重要性，揭示了视频Transformer的通用推理机制，还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Investigating Recurrent Transformers with Dynamic Halt
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本研究系统比较了两种循环Transformer增强方法（深度循环与块状时间循环），提出动态停机机制等新组合，并在LRA等诊断任务上探究归纳偏差。
2025-01-21 cs.AI cs.LG cs.NE
Universal Graph Transformer Self-Attention Networks
Oracle Labs（甲骨文实验室）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
我们引入了一个基于transformer的GNN模型，名为UGformer，来学习图形表示。特别是，我们提出了两种UGformer变体，其中第一种变体（于2019年9月发布）是在每个输入节点的一组采样邻居上利用Transformer，而第二种变体（于2021年5月发布）是在所有输入节点上利用Transformer。实验结果表明，第一个UGformer变体在归纳设置和无监督转换设置中的图分类的基准数据集上实现了最先进的精度;第二个UGformer变体获得了归纳文本分类的最先进的精度。代码可在以下网址获得：\url{https://github.com/daiquocnguyen/Graph-Transformer}。
2022-03-08 cs.CV cs.LG stat.ML
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
Your Transformer May Not be as Powerful as You Expect
Peking University（北京大学）；Zhejiang Lab（之江实验室）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
相对位置编码（RPE），它编码任何一对标记之间的相对距离，是对原始Transformer最成功的修改之一。据我们所知，基于RPE的Transformers的理论理解在很大程度上是未探索的。在这项工作中，我们从数学上分析了基于RPE的Transformers模型是否能够近似任何连续序列到序列函数的能力。人们可能会自然地认为答案是肯定的--基于RPE的Transformers是通用函数逼近器。然而，我们提出了一个否定的结果，通过显示存在连续的序列到序列的功能，基于RPE的Transformers不能近似的神经网络是多么深和宽。一个关键原因在于，大多数RPE都被放置在softmax注意力中，总是生成正确的随机矩阵。这限制了网络捕获RPE中的位置信息并限制了其容量。为了克服这个问题，使模型更强大，我们首先提出了基于RPE的Transformers实现通用函数逼近的充分条件。在理论指导下，我们开发了一个新的注意模块，称为通用RPE为基础的（URPE）注意，它满足的条件。因此，相应的基于URPE的Transformers成为通用函数逼近器。覆盖典型架构和任务的大量实验表明，我们的模型是参数高效的，可以在广泛的应用中实现卓越的性能。该守则将在https://github.com/lsj2408/URPE上公布。
2022-10-28 cs.CL cs.LG stat.ML
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)（脸书人工智能研究院）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
图像分割是关于将具有不同语义的像素分组，例如，类别或实例成员资格，其中每个语义选择定义一个任务。虽然每个任务的语义不同，但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer（Mask2Former），一个新的架构能够解决任何图像分割任务（全景，实例或语义）。它的关键组成部分包括掩蔽注意力，它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外，它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是，Mask2Former为全景分割（COCO上为57.8 PQ）、实例分割（COCO上为50.1 AP）和语义分割（ADE 20 K上为57.7 mIoU）设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
Towards Learning Universal Hyperparameter Optimizers with Transformers
Deepmind（深度思维）；Google Research（谷歌研究院）
基于先验实验的元学习超参数优化（HPO）算法是一种很有前途的方法，可以提高对相似分布目标函数的优化效率。然而，现有的方法仅限于从共享同一组超参数的实验中学习。在本文中，我们介绍了OptFormer，这是第一个基于文本的Transformer HPO框架，它提供了一个通用的端到端接口，用于在对来自野外的大量调优数据进行训练时联合学习策略和函数预测，例如Google的Vizier数据库，世界上最大的HPO数据集之一。我们广泛的实验表明，OptFormer可以同时模拟至少7种不同的HPO算法，这可以通过其功能不确定性估计进一步改善。与高斯过程相比，OptFormer还学习了超参数响应函数的鲁棒先验分布，从而可以提供更准确和更好的校准预测。这项工作为将来将基于transformer的模型训练为通用HPO优化器铺平了道路。
2022-10-14 cs.AI cs.LG stat.ML
Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
IBM Research（IBM研究院）
该研究提出一种仅需280个参数的通用Transformer，将算法任务建模为电路模型，结合特定位置编码与自主终止准则，在布尔运算、模运算等基准测试上实现了完美长度泛化。
2026-09-01 cs.LG
Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners
The University of Tokyo（东京大学）；Chiba University（千叶大学）；National Institute of Informatics（国立信息学研究所）
本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型，通过上下文学习实现对多种下游任务的稳健泛化。
2026-03-01 cs.CV cs.LG stat.ML
Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning
Intento
研究发现通用转换器在解决数独难题时需依赖记忆token，通过实验确定内存token数量的阈值及影响因素，揭示ACT初始化陷阱及递归深度中注意力头的功能分化。
2026-04-27 cs.AI cs.CL cs.LG
MetaMorph: Learning Universal Controllers with Transformers
Stanford University（斯坦福大学）；NVIDIA Corporation（英伟达公司）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究院）
通过利用Transformers进行大规模预训练，然后进行特定任务的微调，视觉、自然语言和音频等多个领域正在取得巨大进展。相比之下，在机器人技术中，我们主要是为单一任务训练单个机器人。然而，模块化机器人系统现在允许通用构建块到任务优化形态的灵活组合。然而，考虑到可能的机器人形态的数量呈指数级增长，为每个新设计训练控制器是不切实际的。在这项工作中，我们提出了MetaMorph，一个基于Transformer的方法来学习一个通用的控制器在一个模块化的机器人设计空间。MetaMorph基于这样一种见解，即机器人形态只是我们可以调节Transformer输出的另一种形态。通过大量的实验，我们证明了各种机器人形态的大规模预训练的结果与组合泛化能力的政策，包括zero shot泛化到看不见的机器人形态。我们进一步证明，我们的预训练策略可以用于样本高效转移到全新的机器人形态和任务。
2022-03-22 cs.LG cs.NE cs.RO
OminiControl: Minimal and Universal Control for Diffusion Transformer
National University of Singapore（新加坡国立大学）
针对现有图像条件方法参数开销大或任务通用性差的问题，提出OminiControl，通过最小化架构设计、统一序列处理和动态位置编码实现仅0.1%额外参数的通用控制，性能超越专用方法并构建Subjects200K数据集。
2025-07-07 cs.AI cs.CV cs.LG
Transformers Meet In-Context Learning: A Universal Approximation Theory
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；the Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）
本文融合 Barron 通用逼近理论与算法逼近器视角，证明 Transformer 可在测试时通过少量噪声示例恢复低 $\ell_1$ 范数线性表示，从而为超越凸任务的上下文学习提供通用逼近保证。
2025-08-28 cs.LG math.ST stat.ML
Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators
Emmi AI GmbH（Emmi人工智能有限公司）；Software Competence Center Hagenberg GmbH（哈根伯格软件能力中心有限公司）
针对神经算子扩展难题，提出通用物理变换器（UPTs），一种不依赖网格或粒子的统一学习范式，在潜在空间高效传播动力学，并支持任意时空点查询，适用于多种流体与动力学模拟。
2025-02-27 cs.AI cs.LG physics.flu-dyn
