Transformer with Fourier Integral Attentions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加州大学洛杉矶分校）
多头注意力使Transformers最近取得了成功，transformers是最先进的模型，在序列建模和其他方面取得了显著的成功。这些注意力机制计算查询和键之间的成对点积，这是由于使用非归一化高斯核，假设查询遵循高斯分布的混合。不能保证这一假设在实践中是有效的。作为回应，我们首先将Transformers中的注意力解释为非参数核回归。然后，我们提出了FourierFormer，一类新的Transformers，其中的点积内核被取代的新的广义傅立叶积分内核。与点积核不同，我们需要选择一个好的协方差矩阵来捕获数据特征的依赖性，广义傅立叶积分核可以自动捕获这种依赖性，并且不需要调整协方差矩阵。我们从理论上证明了我们提出的傅立叶积分核可以有效地近似任何关键字和查询分布。与传统的点积注意力Transformers相比，FourierFormers获得了更好的精度，并减少了注意力头之间的冗余。我们的经验证实了FourierFormers的优势，在各种实际应用中，包括语言建模和图像分类的基线Transformers器。
2022-06-01 cs.LG stat.ML
Universal Approximation of Visual Autoregressive Transformers
The University of Chicago（芝加哥大学）；University of New South Wales（新南威尔士大学）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
该研究扩展对Transformer基础模型基本限制的分析至视觉自回归（VAR）Transformer，证明单头单自注意力层单插值层的VAR Transformer是图像到图像Lipschitz函数的通用逼近器，为高效VAR策略提供设计原则。
2025-02-10 cs.AI cs.CL cs.CV
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford（牛津大学）
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近，且单个注意力头即可逼近任意连续函数，并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
$O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers
MIT（麻省理工学院）；Google Research NY（谷歌纽约研究院）
最近，Transformer网络重新定义了许多NLP任务的最新技术。然而，这些模型遭受在输入序列长度$n$中的二次计算成本，以计算每层中的成对注意。这促使最近的研究稀疏Transformers，稀疏的注意力层中的连接。虽然经验上有希望的长序列，基本问题仍然没有答案：稀疏Transformers可以近似任何任意的序列到序列的功能，类似于他们的密集同行？稀疏模式和稀疏级别如何影响它们的性能？在本文中，我们解决了这些问题，并提供了一个统一的框架，捕获现有的稀疏注意力模型。我们提出了充分的条件下，我们证明了稀疏注意力模型可以普遍近似任何序列到序列的功能。令人惊讶的是，我们的研究结果表明，稀疏的Transformers只有$O(n)$连接，每个注意层可以近似相同的功能类的密集模型与$n^2$连接。最后，我们在标准NLP任务上比较了不同的稀疏模式/水平。
2020-12-19 cs.LG stat.ML
Universal Transformer Hawkes Process with Adaptive Recursive Iteration
China University of Petroleum（中国石油大学）
异步事件序列广泛存在于自然界和人类活动中，如地震记录、用户在社交媒体上的活动等，如何从这些看似杂乱无章的数据中提取信息一直是研究者关注的课题，其中最有用的模型之一是点过程模型，并在此基础上取得了许多值得注意的成果.此外，近年来，基于神经网络，特别是递归神经网络（RNN）的点过程模型被提出，与传统模型相比，其性能有了很大的提高。受Transformer模型不需要递归和卷积结构就能高效学习序列数据的启发，提出了Transformer Hawkes过程，并取得了最新的性能。然而，有一些研究证明，在Transformer中重新引入递归计算可以进一步提高Transformers的性能。因此，我们提出了一种新的Transformer Hawkes过程模型--通用Transformer Hawkes过程（UTHP），它包含了递归机制和自注意机制，并且为了提高模型的局部感知能力，我们还在位置前馈部分引入了卷积神经网络（CNN）。我们在几个数据集上进行实验，以验证UTHP的有效性，并探讨引入递归机制后的变化。在多个数据集上的实验表明，与现有的模型相比，新模型的性能有一定的提高。
2021-12-29 cs.LG
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University（斯坦福大学）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学与瑞士南部应用科学大学））；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
提出基于混合专家的共享层Transformer架构MoEUT，通过结合MoE进展与新型层归一化和分组方案，首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
Folded Context Condensation in Path Integral Formalism for Infinite Context Transformers
Hyntel, Inc.（Hyntel公司）
本文在路径积分形式体系下重新解释Transformer核心机制，将注意力机制转化为转移路径积分并压缩上下文为记忆片段循环处理，实现线性内存扩展和长期信息保留。
2025-05-01 cs.AI cs.CL cs.LG
OL-Transformer: A Fast and Universal Surrogate Simulator for Optical Multilayer Thin Film Structures
University of Michigan（密歇根大学）；Amazon Web Services（亚马逊云科技）
针对现有深度学习代理模拟器仅适用于有限类型光学多层薄膜结构的问题，提出结合结构序列化技术的OL-Transformer通用模拟器，可预测超多种结构的光谱，模拟速度远快于物理求解器，且具备强泛化能力。
2023-07-22 cs.LG physics.optics
A unified framework for establishing the universal approximation of transformer-type architectures
Department of Mathematics National University of Singapore（新加坡国立大学数学系）；School of Mathematical Sciences Peking University（北京大学数学科学学院）；Department of Mathematics Institute for Functional Intelligent Materials National University of Singapore（新加坡国立大学功能智能材料研究所数学系）
本研究提出统一理论框架，以令牌可区分性为基础、结合注意力层解析性假设，为多种Transformer类架构确立通用逼近性质，拓展了已有结果并为新型架构设计提供原则性支撑。
2025-10-21 cs.LG math.OC
Dynamic Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models
The Hong Kong Polytechnic University（香港理工大学）
该研究针对Transformer类大语言模型的理论基础缺失问题，引入通用逼近理论（UAT）作为理论框架，旨在解释Transformer的有效性、ICL能力、LoRA微调增强及模型剪枝实用性等核心问题。
2024-12-11 cs.AI cs.CL cs.LG
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal（印度统计研究所西孟加拉）
本文研究了Transformer编码器能否模拟通用注意力机制，通过构建由Transformer编码器组成的通用模拟器U，利用RASP框架提出算法解决方案，证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
Universal Approximation Theorem for a Single-Layer Transformer
Department of Computer Science, University of Sana'a（萨那大学计算机科学系）
本文研究了深度学习与Transformer的数学基础，证明包含自注意力层和ReLU位置前馈网络的单层Transformer能以任意精度近似紧致域上的连续序列到序列映射，推进了模型的理论理解。
2025-07-11 cs.AI cs.LG stat.ML
An Evolved Universal Transformer Memory
Sakana AI
针对现代基础模型成本与性能的权衡问题，提出可进化的神经注意力记忆模型（NAMMs），通过学习记忆管理网络提升Transformer性能与效率，实现跨模态零样本迁移及多任务显著优化。
2025-02-13 cs.AI cs.CL cs.LG
Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
Northwestern University（西北大学）；National Taiwan University（台湾大学）；Fuzhou University（福州大学）；UC Berkeley（加州大学伯克利分校）
本文从统计和计算角度揭示单层单头Transformer上提示微调的通用逼近能力、所需token数量的指数下界以及由软提示键查询范数决定的效率相变，为设计高效提示微调方法提供理论基础。
2025-06-05 cs.AI cs.CL cs.LG
LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions
Sharif University of Technology（谢里夫理工大学）；Cardiff University（卡迪夫大学）
针对Transformer梯度流不平衡导致基于梯度的解释效果差的问题，提出理论驱动的事后方法LibraGrad，通过修剪和缩放反向路径纠正不平衡，在多架构、多数据集上全面提升归因的忠实性、完整性和感知对齐度，优于现有方法且可扩展至MLP-Mixer。
2024-11-24 cs.AI cs.CV cs.LG
Attending to Mathematical Language with Transformers
U.S. Bank（美国合众银行）
数学表达式的生成，评估和训练神经网络模型的基础上的Transformer架构。表达和它们的目标被分析为字符级序列转导任务，其中编码器和解码器建立在注意力机制上。训练了三个模型来理解和评估数学中的符号变量和表达式：（1）没有递归或卷积的自关注和前馈Transformer，（2）具有递归的通用Transformer，以及（3）具有递归和自适应计算时间的自适应通用Transformer。在评估表达式与目标值的匹配方面，模型的测试准确率分别达到76.1%、78.8%和84.9%。对于推断错误的情况，结果与目标仅相差一个或两个字符。这些模型特别学会了对分配给符号变量的变量数字的正、负十进制数进行加、减、乘。
2019-09-14 cs.CL cs.LG
Transformers Are Universally Consistent
Indian Statistical Institute（印度统计研究院）
针对 Transformers 在非欧数据下的函数回归理论空白，本文证明配备 softmax 非线性注意力的模型在双曲空间执行 OLS 回归时具有普遍一致性，并给出了 $\mathcal{O}(t^{-1/2d})$ 的误差收敛上界。
2025-05-30 cs.LG
Sampled Transformer for Point Sets
Australian National University（澳大利亚国立大学）；Google Brain（谷歌大脑）
稀疏Transformer可以将自注意层的计算复杂性降低到$O(n)$，同时仍然是连续序列到序列函数的通用近似器。然而，这种置换变体操作不适合直接应用于集合。在本文中，我们提出了一个$O(n)$复杂度采样Transformer，可以直接处理点集元素没有任何额外的电感偏置。我们的采样Transformer引入了随机元素采样，它随机地将点集分成子集，然后对每个子集应用共享的Hamilton自注意机制。整个注意力机制可以看作是完全注意图中的一个哈密尔顿圈，点集元素的排列等价于随机抽样哈密尔顿圈。该机制实现了$O(n^2)$密集注意力连接的Monte Carlo模拟。我们证明了它是连续集到集函数的一个通用逼近器。点云上的实验结果显示出相当或更好的准确性，显着降低计算复杂性相比，密集的Transformer或替代稀疏注意力计划。
2023-02-28 cs.LG
Universal Transforming Geometric Network
University of Chicago（芝加哥大学）
递归几何网络（RGN）是第一个用于蛋白质结构预测的端到端可微分神经架构，是现有模型的竞争性替代方案。然而，RGN使用递归神经网络（RNN）作为内部表示，导致训练时间长和梯度不稳定。由于其顺序性，它在学习氨基酸之间的全局依赖性方面不如现有的Transformer架构有效。我们提出了通用变换几何网络（UTGN），一个端到端的微分模型，使用通用Transformer架构的编码器部分作为内部表示的替代。我们的实验表明，与RGN相比，UTGN实现了$1.7$ \si{\angstrom}的自由建模部分和$0.7$ \si{\angstrom}的CASP 12比赛的基于模板的建模的改进。
2019-08-02 cs.LG q-bio.BM
Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
Electronics and Telecommunications Research Institute（电子通信研究院）
本研究发现Transformer与Mamba架构虽微观机制不同，却存在相近的近边际慢模动力学，其集体红外组织具有普适性，为认知场理论提供了独立验证。
2026-08-20 cs.LG
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay（印度理工学院孟买分校）
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似，从而质疑其作为通用函数逼近器的能力，并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
Fixed Universal Transformers
Columbia University（哥伦比亚大学）
提出固定通用Transformer，通过输入嵌入模拟任意给定类别的Transformer，证明其通用性在足够大嵌入维度下可通过稀疏结构实现，且随机初始化几乎必然通用，实验验证了理论。
2026-10-05 cs.LG
Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers
Hang Zhou；Yuezhou Ma；Haixu Wu；Haowen Wang；Mingsheng Long
针对现有神经PDE求解器泛化性差的问题，提出以PDE组分为条件的Transformer模型Unisolver，结合物理结构与Transformer技术，在三个大规模基准上实现SOTA，迈向通用神经PDE求解器。
2025-09-04 cs.AI cs.LG cs.NA
Transformer-F: A Transformer network with effective methods for learning universal sentence representation
Beijing University of Posts and Telecommunications（北京邮电大学）
Transformer模型广泛用于自然语言处理中的句子表示。然而，以前的基于transformer的模型集中在功能词，在大多数情况下，具有有限的意义，只能提取高层次的语义抽象特征。本文介绍了两种提高Transformers性能的方法。我们通过将词性权重向量与相关系数相乘来计算注意力得分，这有助于提取更实际意义的单词。权值向量由输入文本序列根据词性的重要性得到。此外，我们融合了每一层的特征，使句子表示结果更加全面和准确。在实验中，我们证明了我们的模型Transformer-F在三个标准文本分类数据集上的有效性。实验结果表明，我们提出的模型显着提高文本分类的性能相比，基线模型。具体来说，我们在简单任务上获得了比普通Transformer 5.28%的相对改进。
2021-07-02 cs.CL cs.LG
Training-Free Universal Approximation by Prompting Random Transformers
Purdue University（普渡大学）
该研究证明预训练Transformer可选，随机未训练的单层softmax注意力网络经软提示引导可实现通用逼近，其继承核回归的极小极大最优速率，还揭示了提示相关参数的权衡关系。
2026-08-11 cs.LG cs.NA math.NA
Universal Graph Transformer Self-Attention Networks
Oracle Labs（甲骨文实验室）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
我们引入了一个基于transformer的GNN模型，名为UGformer，来学习图形表示。特别是，我们提出了两种UGformer变体，其中第一种变体（于2019年9月发布）是在每个输入节点的一组采样邻居上利用Transformer，而第二种变体（于2021年5月发布）是在所有输入节点上利用Transformer。实验结果表明，第一个UGformer变体在归纳设置和无监督转换设置中的图分类的基准数据集上实现了最先进的精度;第二个UGformer变体获得了归纳文本分类的最先进的精度。代码可在以下网址获得：\url{https://github.com/daiquocnguyen/Graph-Transformer}。
2022-03-08 cs.CV cs.LG stat.ML
Pretrained Transformers as Universal Computation Engines
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（脸书人工智能研究院）；Google Brain（谷歌大脑）
我们研究了在自然语言上预训练的Transformer以最小的微调推广到其他模态的能力-特别是，没有微调残差块的自注意和前馈层。我们考虑这样一个模型，我们称之为冻结预训练Transformer（FPT），并研究在各种序列分类任务上对其进行微调，这些任务包括数值计算，视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作相比，我们表明，在自然语言上进行预训练可以提高非语言下游任务的性能和计算效率。此外，我们对架构进行了分析，比较了随机初始化的Transformer与随机LSTM的性能。结合这两种见解，我们发现语言预训练的Transformers可以在各种非语言任务上获得强大的性能。
2021-06-30 cs.AI cs.LG
Universal Approximation Under Constraints is Possible with Transformers
Universität Basel（巴塞尔大学）；Universität Zürich（苏黎世大学）
许多实际问题需要机器学习模型的输出来满足一组约束$K$。然而，没有已知的保证，经典的神经网络架构可以准确地编码约束，同时实现通用性。本文给出了一个定量约束泛逼近定理，保证了对任意非凸紧集$K$和任意连续函数$f:\mathbb{R}^n\rightarrow K$，存在概率Transformer $\hat{F}$，其随机输出都位于$K$中，且其期望输出一致逼近$f$ .我们的第二个主要结果是Berge极大值定理（1963）的“深层神经版本”。该结果保证了给定目标函数$L$、约束集$K$和软约束集族，存在概率Transformer $\hat{F}$近似最小化$L$且其输出属于$K$ ;而且，$\hat{F}$近似满足软约束.我们的结果隐含了经典Transformers在精确凸约束满足下的第一普适逼近定理。在适当的测地线凸约束下，给出了黎曼流形值函数的一个无图泛逼近定理。
2022-02-08 cs.AI cs.LG cs.NE
Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
IBM Research（IBM研究院）
该研究提出一种仅需280个参数的通用Transformer，将算法任务建模为电路模型，结合特定位置编码与自主终止准则，在布尔运算、模运算等基准测试上实现了完美长度泛化。
2026-09-01 cs.LG
MetaMorph: Learning Universal Controllers with Transformers
Stanford University（斯坦福大学）；NVIDIA Corporation（英伟达公司）；Stanford Institute for Human-Centered Artificial Intelligence（斯坦福以人为本人工智能研究院）
通过利用Transformers进行大规模预训练，然后进行特定任务的微调，视觉、自然语言和音频等多个领域正在取得巨大进展。相比之下，在机器人技术中，我们主要是为单一任务训练单个机器人。然而，模块化机器人系统现在允许通用构建块到任务优化形态的灵活组合。然而，考虑到可能的机器人形态的数量呈指数级增长，为每个新设计训练控制器是不切实际的。在这项工作中，我们提出了MetaMorph，一个基于Transformer的方法来学习一个通用的控制器在一个模块化的机器人设计空间。MetaMorph基于这样一种见解，即机器人形态只是我们可以调节Transformer输出的另一种形态。通过大量的实验，我们证明了各种机器人形态的大规模预训练的结果与组合泛化能力的政策，包括zero shot泛化到看不见的机器人形态。我们进一步证明，我们的预训练策略可以用于样本高效转移到全新的机器人形态和任务。
2022-03-22 cs.LG cs.NE cs.RO
Function graph transformers universally approximate operators between function spaces
Doshisha University（大阪市立大学）；RIKEN AIP（日本科学技术厅Advanced Institute for Photonics and Electron器件）；Rice University（里士满大学）；University of Basel（巴塞尔大学）；Simons Chair in Computational and Applied Mathematics and Earth Science（Simons计算与应用数学及地球科学主席职位）；University of Helsinki（赫尔辛基大学）
本文研究了通过变换器近似函数空间之间非线性算子的问题，提出了一种基于图度量的函数图变换器，能够以单值函数形式输出，并证明其在广义非线性算子近似中的通用性。
2026-05-18 cs.LG
Transformers Meet In-Context Learning: A Universal Approximation Theory
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；the Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）
本文融合 Barron 通用逼近理论与算法逼近器视角，证明 Transformer 可在测试时通过少量噪声示例恢复低 $\ell_1$ 范数线性表示，从而为超越凸任务的上下文学习提供通用逼近保证。
2025-08-28 cs.LG math.ST stat.ML
Understanding Video Transformers via Universal Concept Discovery
York University（约克大学）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；Toyota Research Institute（丰田研究所）；Vector Institute（矢量研究所）
针对视频Transformer可解释性研究不足的问题，提出首个VTCD算法以无监督发现时空概念并排序其重要性，揭示了视频Transformer的通用推理机制，还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Universal Transformers
University of Amsterdam（阿姆斯特丹大学）；DeepMind（深度思维）；Google Brain（谷歌大脑）
递归神经网络（RNN）通过使用每个新数据点更新其状态来顺序处理数据，并且长期以来一直是序列建模任务的事实上的选择。然而，它们固有的顺序计算使它们训练缓慢。前馈和卷积架构最近已被证明在某些序列建模任务（如机器翻译）上取得了优异的结果，其附加优势是它们同时处理序列中的所有输入，从而易于并行化和更快的训练时间。然而，尽管取得了这些成功，但流行的前馈序列模型（如Transformer）在许多递归模型轻松处理的简单任务中无法泛化，例如，当字符串或公式长度超过训练时观察到的长度时，复制字符串或甚至简单的逻辑推理。我们提出了通用的Transformer（UT），一个并行的时间自我关注的经常性序列模型，它可以被铸造作为一个概括的Transformer模型，并解决了这些问题。UT将前馈序列模型（如Transformer）的并行性和全局感受野与RNN的经常性感应偏置相结合。我们还增加了一个动态的每位置停止机制，并发现它提高了几个任务的准确性。与标准的Transformer相比，在某些假设下，UT可以被证明是图灵完备的。我们的实验表明，UT在广泛的算法和语言理解任务上优于标准Transformers，包括具有挑战性的LAMBADA语言建模任务，其中UT实现了最新的技术水平，以及机器翻译，其中UT在WMT 14 En-De数据集上实现了比Transformers 0.9 BLEU的改进。
2019-03-05 cs.CL cs.LG stat.ML
Unified Training of Universal Time Series Forecasting Transformers
Salesforce AI Research（Salesforce AI研究院）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文提出Moirai，一种基于掩码编码器的通用时间序列预测Transformer，通过跨频率学习等改进，在大规模数据集LOTSA上训练，实现零样本预测性能媲美全样本模型。
2024-05-22 cs.AI cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移（例如3对3或5对6多代理游戏）。在本文中，我们首次尝试探索一个通用的多智能体强化学习管道，设计一个单一的架构，以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同，我们利用一个基于transformer的模型来生成一个灵活的策略，通过将策略分布与相互交织的输入观察解耦，并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比，该模型进一步放宽了对行为的限制，使多Agent任务的决策过程更具有可解释性，称为通用策略解耦Transformer（UPDeT）。UPDeT足够通用，可以插入任何多智能体强化学习管道，并为它们提供强大的泛化能力，使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明，所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果，在性能和训练速度（快10倍）方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
A Universal Representation Transformer Layer for Few-Shot Image Classification
Mila（米拉研究所）；Australian AI Institute, UTS（澳大利亚人工智能研究所，悉尼科技大学）；McGill University（麦吉尔大学）；Google Research, Brain Team（谷歌研究院，大脑团队）
Few-Shot分类的目标是在只有少量样本的情况下识别未见过的类别。我们考虑多域Few-Shot图像分类的问题，其中看不见的类和例子来自不同的数据源。这个问题已经引起了越来越多的关注，并激发了元数据集等基准的开发。在这种多域设置中的一个关键挑战是有效地集成来自不同训练域集合的特征表示。在这里，我们提出了一个通用表示Transformer（URT）层，该层通过动态重新加权和组合最合适的特定于域的表示，来进行元学习，以利用通用特征进行Few-Shot分类。在实验中，我们表明，URT设置一个新的国家的最先进的元数据集的结果。具体而言，与竞争方法相比，它在最多的数据源上实现了最高性能。我们分析了URT的变体，并呈现了注意力得分热图的可视化，该热图揭示了模型如何执行跨领域泛化。我们的代码可在https://github.com/liulu112601/URT上获得。
2020-09-02 cs.CV cs.LG stat.ML
Investigating Recurrent Transformers with Dynamic Halt
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本研究系统比较了两种循环Transformer增强方法（深度循环与块状时间循环），提出动态停机机制等新组合，并在LRA等诊断任务上探究归纳偏差。
2025-01-21 cs.AI cs.LG cs.NE
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University（萨尔兰大学）；Ohio State University（俄亥俄州立大学）
研究探讨了Transformer在长CoT轨迹上的泛化能力限制，并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Universal Approximation of Mean-Field Models via Transformers
本文研究了使用 transformers 近似相互作用粒子系统的平均场动力学，通过实验验证其在多种模型上的有效性，并从数学理论上证明了近似误差与训练粒子数量相关的一致有界性。
2025-05-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning
Xidian University（西安电子科技大学）；Intellifusion（云天励飞）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出NAR-Former V2，一种融合GNN归纳能力的改进Transformer模型，用于通用神经网络表示学习，在延迟估计上显著超越NNLP，在精度预测上与最先进方法相当。
2023-10-16 cs.CV cs.LG
Your Transformer May Not be as Powerful as You Expect
Peking University（北京大学）；Zhejiang Lab（之江实验室）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
相对位置编码（RPE），它编码任何一对标记之间的相对距离，是对原始Transformer最成功的修改之一。据我们所知，基于RPE的Transformers的理论理解在很大程度上是未探索的。在这项工作中，我们从数学上分析了基于RPE的Transformers模型是否能够近似任何连续序列到序列函数的能力。人们可能会自然地认为答案是肯定的--基于RPE的Transformers是通用函数逼近器。然而，我们提出了一个否定的结果，通过显示存在连续的序列到序列的功能，基于RPE的Transformers不能近似的神经网络是多么深和宽。一个关键原因在于，大多数RPE都被放置在softmax注意力中，总是生成正确的随机矩阵。这限制了网络捕获RPE中的位置信息并限制了其容量。为了克服这个问题，使模型更强大，我们首先提出了基于RPE的Transformers实现通用函数逼近的充分条件。在理论指导下，我们开发了一个新的注意模块，称为通用RPE为基础的（URPE）注意，它满足的条件。因此，相应的基于URPE的Transformers成为通用函数逼近器。覆盖典型架构和任务的大量实验表明，我们的模型是参数高效的，可以在广泛的应用中实现卓越的性能。该守则将在https://github.com/lsj2408/URPE上公布。
2022-10-28 cs.CL cs.LG stat.ML
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)（脸书人工智能研究院）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
图像分割是关于将具有不同语义的像素分组，例如，类别或实例成员资格，其中每个语义选择定义一个任务。虽然每个任务的语义不同，但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer（Mask2Former），一个新的架构能够解决任何图像分割任务（全景，实例或语义）。它的关键组成部分包括掩蔽注意力，它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外，它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是，Mask2Former为全景分割（COCO上为57.8 PQ）、实例分割（COCO上为50.1 AP）和语义分割（ADE 20 K上为57.7 mIoU）设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
Towards Learning Universal Hyperparameter Optimizers with Transformers
Deepmind（深度思维）；Google Research（谷歌研究院）
基于先验实验的元学习超参数优化（HPO）算法是一种很有前途的方法，可以提高对相似分布目标函数的优化效率。然而，现有的方法仅限于从共享同一组超参数的实验中学习。在本文中，我们介绍了OptFormer，这是第一个基于文本的Transformer HPO框架，它提供了一个通用的端到端接口，用于在对来自野外的大量调优数据进行训练时联合学习策略和函数预测，例如Google的Vizier数据库，世界上最大的HPO数据集之一。我们广泛的实验表明，OptFormer可以同时模拟至少7种不同的HPO算法，这可以通过其功能不确定性估计进一步改善。与高斯过程相比，OptFormer还学习了超参数响应函数的鲁棒先验分布，从而可以提供更准确和更好的校准预测。这项工作为将来将基于transformer的模型训练为通用HPO优化器铺平了道路。
2022-10-14 cs.AI cs.LG stat.ML
Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
Apple MPS（苹果MPS）
本文提出UniMatrix系列模型，通过结构递归状态和稀疏检索机制，在保持参数效率的同时提升语言模型性能，但长程行为仍需进一步优化。
2026-04-01 cs.CL cs.LG
SmoothCache: A Universal Inference Acceleration Technique for Diffusion Transformers
Roblox（Roblox公司）；Queen’s University（女王大学）
SmoothCache是一种模型无关的扩散变换器推理加速技术，通过利用相邻时间步层输出的高相似性自适应缓存重用关键特征，在保持或提升生成质量的同时实现8%-71%的加速，适用于图像、视频和音频生成。
2025-05-21 cs.LG
A Self-Pruning Transformer: Extreme KV-Cache Compression with Universal Attention
IBM Research（IBM研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出通用注意力机制，通过复合衰减实现自适应KV缓存剪枝，在保持性能的同时达到10倍压缩，并在长上下文下实现25倍压缩。
2026-10-08 cs.LG
OminiControl: Minimal and Universal Control for Diffusion Transformer
National University of Singapore（新加坡国立大学）
针对现有图像条件方法参数开销大或任务通用性差的问题，提出OminiControl，通过最小化架构设计、统一序列处理和动态位置编码实现仅0.1%额外参数的通用控制，性能超越专用方法并构建Subjects200K数据集。
2025-07-07 cs.AI cs.CV cs.LG
A universal vision transformer for fast calorimeter simulations
Centre for Cosmology, Particle Physics（宇宙学、粒子物理与现象学研究中心）；Marietta Blau Institute for Particle Physics (MBI Vienna), Austrian Academy of Sciences (ÖAW), Austria（玛丽埃塔·布劳粒子物理研究所（MBI维也纳），奥地利科学院（ÖAW），奥地利）
本研究基于CaloDREAM架构，提出使用视觉变换器（ViT）进行快速量热器模拟，在规则和不规则几何结构及多个探测器上均表现出高精度和可扩展性，生成时间在单GPU上为10-100毫秒，并通过预训练和微调降低了训练成本并提高了数据效率。
2026-05-25 cs.LG hep-ex hep-ph
Small Transformers Compute Universal Metric Embeddings
McMaster University（麦克马斯特大学）；Universität Basel（巴塞尔大学）
本研究证明小型概率Transformer能以低失真双Hölder嵌入任意度量空间中的有限数据集，避免维数灾难，并推广到黎曼流形、度量树等结构，实现通用度量嵌入。
2022-10-18 cs.LG cs.NE math.CO
Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators
Emmi AI GmbH（Emmi人工智能有限公司）；Software Competence Center Hagenberg GmbH（哈根伯格软件能力中心有限公司）
针对神经算子扩展难题，提出通用物理变换器（UPTs），一种不依赖网格或粒子的统一学习范式，在潜在空间高效传播动力学，并支持任意时空点查询，适用于多种流体与动力学模拟。
2025-02-27 cs.AI cs.LG physics.flu-dyn
Online Decision MetaMorphFormer: A Casual Transformer-Based Reinforcement Learning Framework of Universal Embodied Intelligence
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对Transformer强化学习受离线训练制约探索与泛化能力的问题，提出基于因果Transformer的在线决策MetaMorphFormer框架，实现多环境多任务通用具身智能，经实验验证性能与泛化性良好，助力通用人工智能研究。
2024-09-11 cs.AI cs.LG cs.RO
Latent Universal Task-Specific BERT
Amobee Inc.（Amobee公司）
本文描述了一种语言表示模型，该模型将Devlin等人（2018）中描述的Transformers（BERT）学习机制的双向编码器表示与Dehghani等人（2018）中描述的通用Transformer模型的泛化相结合。我们进一步改进了这个模型，增加了一个潜在的变量，代表人物和作家的兴趣为每个训练样本的主题。我们还描述了一个简单的方法，以提高我们的语言表示在特定领域的解决问题的有用性，其概括到其他领域的能力为代价。最后，我们发布了一个针对社交文本的预训练语言表示模型，该模型是在1亿条推文上训练的。
2019-05-16 cs.CL cs.LG stat.ML
