On the Universality of Transformer Architectures; How Much Attention Is Enough?
Department of Computer Science and Information Technology(计算机科学与信息技术系);Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究所)
本文探讨Transformer架构的通用性问题,分析其表达能力及未来研究方向。
2025-12-20 cs.LG
Is the Reversal Curse a Binding Problem? Uncovering Limitations of Transformers from a Basic Generalization Failure
The Ohio State University(俄亥俄州立大学)
本文通过揭示变换器在概念绑定方面的局限性,首次突破反向诅咒并提升模型泛化能力。
2026-02-09 cs.CL cs.LG
Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
Northwestern University(西北大学);National Taiwan University(台湾大学);Fuzhou University(福州大学);UC Berkeley(加州大学伯克利分校)
本文从统计和计算角度揭示单层单头Transformer上提示微调的通用逼近能力、所需token数量的指数下界以及由软提示键查询范数决定的效率相变,为设计高效提示微调方法提供理论基础。
2025-06-05 cs.AI cs.CL cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford(牛津大学)
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近,且单个注意力头即可逼近任意连续函数,并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
Are Transformers universal approximators of sequence-to-sequence functions?
MIT(麻省理工学院);Google Research(谷歌研究院)
尽管Transformer模型被广泛用于NLP任务,但这些模型的表达能力还没有得到很好的理解。在本文中,我们建立了Transformer模型是具有紧支撑的连续置换等变序列到序列函数的通用逼近器,这是相当令人惊讶的,因为这些模型中的共享参数的数量。此外,使用位置编码,我们绕过了置换等方差的限制,并表明,Transformer模型可以普遍逼近任意连续序列到序列的功能上的一个紧凑的区域。有趣的是,我们的证明技术清楚地突出了自我注意和前馈层在Transformers中的不同角色。特别地,我们证明了固定宽度的自注意层可以计算输入序列的上下文映射,在Transformers的通用近似性质中起着关键作用。基于我们的分析,我们考虑了自我注意层的其他更简单的替代方案,并对其进行了实证评估。
2020-02-25 cs.LG stat.ML
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
Universal Approximation of Operators with Transformers and Neural Integral Operators
Department of Mathematics and Statistics(数学与统计学系);Idaho State University Physical Science Complex(爱达荷州立大学物理科学中心);S. 8th Ave., Stop 8085(921 S. 8th Ave., Stop 8085);Pocatello, ID 83209, USA
本文研究变换器和神经积分算子在Banach空间中算子的通用逼近性质,证明变换器可逼近Hölder空间间的积分算子,神经积分算子的推广形式可逼近任意Banach空间间的算子,改进的变换器可逼近任意Banach空间间的算子。
2026-04-24 cs.LG cs.NA math.NA
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal(印度统计研究所西孟加拉)
本文研究了Transformer编码器能否模拟通用注意力机制,通过构建由Transformer编码器组成的通用模拟器U,利用RASP框架提出算法解决方案,证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University(斯坦福大学);Center for Brain Science, Harvard University(哈佛大学脑科学中心);The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室(隶属于瑞士意大利语区大学与瑞士南部应用科学大学));AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能倡议)
提出基于混合专家的共享层Transformer架构MoEUT,通过结合MoE进展与新型层归一化和分组方案,首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University(萨尔兰大学);Ohio State University(俄亥俄州立大学)
研究探讨了Transformer在长CoT轨迹上的泛化能力限制,并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Universal Approximation Theorem for a Single-Layer Transformer
Department of Computer Science, University of Sana'a(萨那大学计算机科学系)
本文研究了深度学习与Transformer的数学基础,证明包含自注意力层和ReLU位置前馈网络的单层Transformer能以任意精度近似紧致域上的连续序列到序列映射,推进了模型的理论理解。
2025-07-11 cs.AI cs.LG stat.ML
Formal Algorithms for Transformers
DeepMind(深度思维)
本文档旨在对Transformer架构和算法(* 而不是 * 结果)进行独立的、数学上精确的概述。它涵盖了什么是Transformers,如何训练它们,它们用于什么,它们的关键架构组件,以及最突出的模型的预览。假设读者熟悉基本的ML术语和更简单的神经网络架构,如MLP。
2022-07-19 cs.AI cs.CL cs.LG
$O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers
MIT(麻省理工学院);Google Research NY(谷歌纽约研究院)
最近,Transformer网络重新定义了许多NLP任务的最新技术。然而,这些模型遭受在输入序列长度$n$中的二次计算成本,以计算每层中的成对注意。这促使最近的研究稀疏Transformers,稀疏的注意力层中的连接。虽然经验上有希望的长序列,基本问题仍然没有答案:稀疏Transformers可以近似任何任意的序列到序列的功能,类似于他们的密集同行?稀疏模式和稀疏级别如何影响它们的性能?在本文中,我们解决了这些问题,并提供了一个统一的框架,捕获现有的稀疏注意力模型。我们提出了充分的条件下,我们证明了稀疏注意力模型可以普遍近似任何序列到序列的功能。令人惊讶的是,我们的研究结果表明,稀疏的Transformers只有$O(n)$连接,每个注意层可以近似相同的功能类的密集模型与$n^2$连接。最后,我们在标准NLP任务上比较了不同的稀疏模式/水平。
2020-12-19 cs.LG stat.ML
Attending to Mathematical Language with Transformers
U.S. Bank(美国合众银行)
数学表达式的生成,评估和训练神经网络模型的基础上的Transformer架构。表达和它们的目标被分析为字符级序列转导任务,其中编码器和解码器建立在注意力机制上。训练了三个模型来理解和评估数学中的符号变量和表达式:(1)没有递归或卷积的自关注和前馈Transformer,(2)具有递归的通用Transformer,以及(3)具有递归和自适应计算时间的自适应通用Transformer。在评估表达式与目标值的匹配方面,模型的测试准确率分别达到76.1%、78.8%和84.9%。对于推断错误的情况,结果与目标仅相差一个或两个字符。这些模型特别学会了对分配给符号变量的变量数字的正、负十进制数进行加、减、乘。
2019-09-14 cs.CL cs.LG
Universal Transformer Hawkes Process with Adaptive Recursive Iteration
China University of Petroleum(中国石油大学)
异步事件序列广泛存在于自然界和人类活动中,如地震记录、用户在社交媒体上的活动等,如何从这些看似杂乱无章的数据中提取信息一直是研究者关注的课题,其中最有用的模型之一是点过程模型,并在此基础上取得了许多值得注意的成果.此外,近年来,基于神经网络,特别是递归神经网络(RNN)的点过程模型被提出,与传统模型相比,其性能有了很大的提高。受Transformer模型不需要递归和卷积结构就能高效学习序列数据的启发,提出了Transformer Hawkes过程,并取得了最新的性能。然而,有一些研究证明,在Transformer中重新引入递归计算可以进一步提高Transformers的性能。因此,我们提出了一种新的Transformer Hawkes过程模型--通用Transformer Hawkes过程(UTHP),它包含了递归机制和自注意机制,并且为了提高模型的局部感知能力,我们还在位置前馈部分引入了卷积神经网络(CNN)。我们在几个数据集上进行实验,以验证UTHP的有效性,并探讨引入递归机制后的变化。在多个数据集上的实验表明,与现有的模型相比,新模型的性能有一定的提高。
2021-12-29 cs.LG
Universality and Limitations of Prompt Tuning
UCLA(加州大学洛杉矶分校);Google(谷歌)
本研究首次从普适近似与局限性两个角度,理论分析软提示调优在Transformer架构中的作用,证明其普适性并揭示有限深度下的记忆限制,给出参数下界并与LoRA对比,且获实证支持。
2023-11-16 cs.CL cs.LG
Introduction to Transformers: an NLP Perspective
NLP Lab., Northeastern University, Shenyang, China(东北大学沈阳分校自然语言处理实验室);NiuTrans Research, Shenyang, China(尼utrans研究院)
本文从NLP视角介绍Transformer的基本概念、标准架构、模型改进及常见应用,总结影响该领域的关键思想,并探讨其优势与局限。
2026-07-03 cs.AI cs.CL cs.LG
LibraGrad: Balancing Gradient Flow for Universally Better Vision Transformer Attributions
Sharif University of Technology(谢里夫理工大学);Cardiff University(卡迪夫大学)
针对Transformer梯度流不平衡导致基于梯度的解释效果差的问题,提出理论驱动的事后方法LibraGrad,通过修剪和缩放反向路径纠正不平衡,在多架构、多数据集上全面提升归因的忠实性、完整性和感知对齐度,优于现有方法且可扩展至MLP-Mixer。
2024-11-24 cs.AI cs.CV cs.LG
OL-Transformer: A Fast and Universal Surrogate Simulator for Optical Multilayer Thin Film Structures
University of Michigan(密歇根大学);Amazon Web Services(亚马逊云科技)
针对现有深度学习代理模拟器仅适用于有限类型光学多层薄膜结构的问题,提出结合结构序列化技术的OL-Transformer通用模拟器,可预测超多种结构的光谱,模拟速度远快于物理求解器,且具备强泛化能力。
2023-07-22 cs.LG physics.optics
A unified framework for establishing the universal approximation of transformer-type architectures
Department of Mathematics National University of Singapore(新加坡国立大学数学系);School of Mathematical Sciences Peking University(北京大学数学科学学院);Department of Mathematics Institute for Functional Intelligent Materials National University of Singapore(新加坡国立大学功能智能材料研究所数学系)
本研究提出统一理论框架,以令牌可区分性为基础、结合注意力层解析性假设,为多种Transformer类架构确立通用逼近性质,拓展了已有结果并为新型架构设计提供原则性支撑。
2025-10-21 cs.LG math.OC
Is In-Context Universality Enough? MLPs are Also Universal In-Context
The Vector Institute(向量研究所);McMaster University(麦克马斯特大学);Shimane University(岛根大学)
本文通过证明具有可训练激活函数的 MLP 同样具备上下文内通用性,否定了上下文内通用性是 Transformer 相对经典模型优势来源的观点,指出其成功更可能源于归纳偏置或训练稳定性等因素。
2025-02-05 cs.LG cs.NA cs.NE
Transformers Are Universally Consistent
Indian Statistical Institute(印度统计研究院)
针对 Transformers 在非欧数据下的函数回归理论空白,本文证明配备 softmax 非线性注意力的模型在双曲空间执行 OLS 回归时具有普遍一致性,并给出了 $\mathcal{O}(t^{-1/2d})$ 的误差收敛上界。
2025-05-30 cs.LG
Recurrence Meets Transformers for Universal Multimodal Retrieval
Department of Education and Humanities, University of Modena and Reggio Emilia(教育与人文学院, Modena and Reggio Emilia大学)
本文提出结合循环机制与Transformer的统一多模态检索模型ReT-2,其支持多模态查询,在M2KR等基准上达最优性能,推理更快、内存占用更低,还可提升下游任务表现。
2026-08-28 cs.AI cs.CL cs.CV
An Introduction to Transformers
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
本文提供了一种数学上精确、直观且简洁的 Transformer 架构描述,旨在弥补现有资料中对架构和设计直觉的不足。
2026-01-20 cs.AI cs.LG
Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing
Michigan State University(密歇根州立大学);Northeastern University(东北大学);Florida International University(佛罗里达国际大学)
本研究利用电路追踪框架,以统一视角揭示仅解码器Transformer在图推理中的内部机制,识别出令牌合并与结构记忆两大核心机制,并量化了图密度和模型规模的影响,为结构推理提供了统一解释框架。
2025-09-24 cs.AI cs.LG
Sampled Transformer for Point Sets
Australian National University(澳大利亚国立大学);Google Brain(谷歌大脑)
稀疏Transformer可以将自注意层的计算复杂性降低到$O(n)$,同时仍然是连续序列到序列函数的通用近似器。然而,这种置换变体操作不适合直接应用于集合。在本文中,我们提出了一个$O(n)$复杂度采样Transformer,可以直接处理点集元素没有任何额外的电感偏置。我们的采样Transformer引入了随机元素采样,它随机地将点集分成子集,然后对每个子集应用共享的Hamilton自注意机制。整个注意力机制可以看作是完全注意图中的一个哈密尔顿圈,点集元素的排列等价于随机抽样哈密尔顿圈。该机制实现了$O(n^2)$密集注意力连接的Monte Carlo模拟。我们证明了它是连续集到集函数的一个通用逼近器。点云上的实验结果显示出相当或更好的准确性,显着降低计算复杂性相比,密集的Transformer或替代稀疏注意力计划。
2023-02-28 cs.LG
Transformers, parallel computation, and logarithmic depth
Columbia University(哥伦比亚大学);New York University(纽约大学)
本文证明常数个自注意力层与Massively Parallel Computation的常数个通信轮次可相互高效模拟,由此得出对数深度足以让transformers解决其他神经序列模型及次二次近似无法高效求解的计算任务,确立了并行性为其关键区分属性。
2024-02-14 cs.LG
Universal Transforming Geometric Network
University of Chicago(芝加哥大学)
递归几何网络(RGN)是第一个用于蛋白质结构预测的端到端可微分神经架构,是现有模型的竞争性替代方案。然而,RGN使用递归神经网络(RNN)作为内部表示,导致训练时间长和梯度不稳定。由于其顺序性,它在学习氨基酸之间的全局依赖性方面不如现有的Transformer架构有效。我们提出了通用变换几何网络(UTGN),一个端到端的微分模型,使用通用Transformer架构的编码器部分作为内部表示的替代。我们的实验表明,与RGN相比,UTGN实现了$1.7$ \si{\angstrom}的自由建模部分和$0.7$ \si{\angstrom}的CASP 12比赛的基于模板的建模的改进。
2019-08-02 cs.LG q-bio.BM
A Comparative Study on Code Generation with Transformers
Tribhuvan University(特里布文大学);Thapathali Campus(塔帕塔利校区)
针对当前代码生成研究仅聚焦大语言模型、缺乏不同复杂度Transformer架构性能对比的问题,本文提出基于Transformer和NLP方法的C++代码生成模型,并通过比较研究评估不同架构复杂度的Transformer模型处理各类问题的鲁棒性。
2024-12-07 cs.AI cs.CL
Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
Electronics and Telecommunications Research Institute(电子通信研究院)
本研究发现Transformer与Mamba架构虽微观机制不同,却存在相近的近边际慢模动力学,其集体红外组织具有普适性,为认知场理论提供了独立验证。
2026-08-20 cs.LG
Demystify Self-Attention in Vision Transformers from a Semantic Perspective: Analysis and Application
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong Baptist University(香港浸会大学)
自注意力机制,特别是多头自注意机制在计算机视觉、自然语言处理等领域取得了巨大的成功。然而,许多现有的视觉Transformer(ViT)只是从NLP中固有的Transformer设计来适应视觉任务,而忽略了“MSA如何在图像和语言设置中工作”之间的根本区别。语言自然包含高度语义结构,可直接由人类解释。它的基本单位(词)是离散的,没有冗余的信息,这很容易支持解释性研究的MSA机制的语言Transformer。相比之下,视觉数据呈现出根本不同的结构:其基本单位(像素)是一个自然的低级别表示,在邻域中具有显着的冗余,这对MSA机制在ViT中的可解释性提出了明显的挑战。本文介绍了一种典型的图像处理技术,尺度不变特征变换(SIFT),它将低级表示映射到中级空间,并使用语义丰富的信息注释广泛的离散关键点。接下来,我们构建了一个基于SIFT关键点的加权斑块相关性分析,以捕获隐藏在不同语义浓度斑块中的注意模式。有趣的是,我们发现这种定量分析不仅是对ViT中MSA机制可解释性的有效补充,而且还可以应用于1)虚假相关发现和模型推理过程中的“排除”,2)引导模型预训练加速。这两个应用程序的实验结果显示出显着的优势,基线,证明了我们的方法的有效性。
2022-11-13 cs.AI cs.CV cs.LG
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay(印度理工学院孟买分校)
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似,从而质疑其作为通用函数逼近器的能力,并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization
Fudan University(复旦大学)
本研究通过元学习对齐语言间结构概念空间,提升跨语言泛化,在43种语言句法分析中取得与最先进方法相当的结果,并缩小了语言间性能差距。
2023-12-22 cs.CL
Universal Dynamics of Warmup Stable Decay: understanding WSD beyond Transformers
MPI-IS Tübingen, Germany, ETH Zürich, Switzerland and Politecnico di Torino, Italy(马克斯·普朗克研究所(MPI-IS)图宾根,德国,瑞士苏黎世联邦理工学院(ETH Zürich)和意大利托里诺理工大学(Politecnico di Torino));ETH Zürich, Switzerland(瑞士苏黎世联邦理工学院(ETH Zürich));MPI-IS, ELLIS Institute Tübingen, Tübingen AI Center, Germany(马克斯·普朗克研究所(MPI-IS)图宾根,德国,图宾根人工智能中心(Tübingen AI Center))
本研究通过比较 Transformer 和 CNN 在 WSD 调度下的训练动态,揭示了非凸优化问题中损失景观的共同几何特征。
2026-01-13 cs.LG
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer
DP Technology(度势科技);AI for Science Institute, Beijing(北京人工智能科学研究院)
针对科学文献中表格、图表和分子等多模态内容难以被文本型 LLM 理解的问题,本文提出 Uni-SMART,并在多领域定量评估及专利、图表应用中验证其优越性能。
2024-06-15 cs.CL cs.CV
Pretrained Transformers as Universal Computation Engines
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们研究了在自然语言上预训练的Transformer以最小的微调推广到其他模态的能力-特别是,没有微调残差块的自注意和前馈层。我们考虑这样一个模型,我们称之为冻结预训练Transformer(FPT),并研究在各种序列分类任务上对其进行微调,这些任务包括数值计算,视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作相比,我们表明,在自然语言上进行预训练可以提高非语言下游任务的性能和计算效率。此外,我们对架构进行了分析,比较了随机初始化的Transformer与随机LSTM的性能。结合这两种见解,我们发现语言预训练的Transformers可以在各种非语言任务上获得强大的性能。
2021-06-30 cs.AI cs.LG
Sparse Universal Transformer
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Mila, University of Montreal(蒙特利尔大学米拉研究所)
针对通用 Transformer 扩展参数计算和内存开销大的问题,提出稀疏通用 Transformer,结合稀疏专家混合与基于 stick-breaking 的动态停止机制,在保持参数效率和泛化能力的同时降低计算复杂度,实验证明性能相当且推理计算减半。
2023-10-11 cs.AI cs.CL
From Basic to Extra Features: Hypergraph Transformer Pretrain-then-Finetuning for Balanced Clinical Predictions on EHR
Emory University(埃默里大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出HTP-Star,通过超图Transformer预训练-微调框架建模EHR数据,并结合平滑性诱导正则化与分组均衡重加权技术,在基础特征与额外特征患者之间实现均衡且更优的临床预测。
2024-06-09 cs.AI cs.LG
Towards Training Transformers as a Universal Computer
The University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Allen Institute for AI(人工智能研究院)
研究展示小型变换器能学习执行简化却计算通用的MicroPy程序,通过PENCIL框架实现高效执行,验证了标准变换器可作为通用计算机的可行性。
2026-10-30 cs.AI
Universal Approximation Under Constraints is Possible with Transformers
Universität Basel(巴塞尔大学);Universität Zürich(苏黎世大学)
许多实际问题需要机器学习模型的输出来满足一组约束$K$。然而,没有已知的保证,经典的神经网络架构可以准确地编码约束,同时实现通用性。本文给出了一个定量约束泛逼近定理,保证了对任意非凸紧集$K$和任意连续函数$f:\mathbb{R}^n\rightarrow K$,存在概率Transformer $\hat{F}$,其随机输出都位于$K$中,且其期望输出一致逼近$f$ .我们的第二个主要结果是Berge极大值定理(1963)的“深层神经版本”。该结果保证了给定目标函数$L$、约束集$K$和软约束集族,存在概率Transformer $\hat{F}$近似最小化$L$且其输出属于$K$ ;而且,$\hat{F}$近似满足软约束.我们的结果隐含了经典Transformers在精确凸约束满足下的第一普适逼近定理。在适当的测地线凸约束下,给出了黎曼流形值函数的一个无图泛逼近定理。
2022-02-08 cs.AI cs.LG cs.NE
Unified Training of Universal Time Series Forecasting Transformers
Salesforce AI Research(Salesforce AI研究院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出Moirai,一种基于掩码编码器的通用时间序列预测Transformer,通过跨频率学习等改进,在大规模数据集LOTSA上训练,实现零样本预测性能媲美全样本模型。
2024-05-22 cs.AI cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移(例如3对3或5对6多代理游戏)。在本文中,我们首次尝试探索一个通用的多智能体强化学习管道,设计一个单一的架构,以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同,我们利用一个基于transformer的模型来生成一个灵活的策略,通过将策略分布与相互交织的输入观察解耦,并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比,该模型进一步放宽了对行为的限制,使多Agent任务的决策过程更具有可解释性,称为通用策略解耦Transformer(UPDeT)。UPDeT足够通用,可以插入任何多智能体强化学习管道,并为它们提供强大的泛化能力,使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明,所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果,在性能和训练速度(快10倍)方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
The Case for Universal Basic Computing Power
Tongji University School of Law(同济大学法学院);Shanghai Collaborative Innovation Center of AI Governance(上海人工智能治理协同创新中心)
本文提出通用基础算力(UBCP)倡议,旨在为AI研发提供全球免费算力,涵盖免费使用、持续纳入最先进AI技术及普遍可及三大要素,呼吁主要利益相关者优先推进。
2023-11-18 cs.AI cs.CY cs.LG
Understanding Video Transformers via Universal Concept Discovery
York University(约克大学);Samsung AI Centre Toronto(三星多伦多人工智能中心);Toyota Research Institute(丰田研究所);Vector Institute(矢量研究所)
针对视频Transformer可解释性研究不足的问题,提出首个VTCD算法以无监督发现时空概念并排序其重要性,揭示了视频Transformer的通用推理机制,还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Investigating Recurrent Transformers with Dynamic Halt
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本研究系统比较了两种循环Transformer增强方法(深度循环与块状时间循环),提出动态停机机制等新组合,并在LRA等诊断任务上探究归纳偏差。
2025-01-21 cs.AI cs.LG cs.NE
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)(脸书人工智能研究院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
图像分割是关于将具有不同语义的像素分组,例如,类别或实例成员资格,其中每个语义选择定义一个任务。虽然每个任务的语义不同,但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer(Mask2Former),一个新的架构能够解决任何图像分割任务(全景,实例或语义)。它的关键组成部分包括掩蔽注意力,它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外,它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是,Mask2Former为全景分割(COCO上为57.8 PQ)、实例分割(COCO上为50.1 AP)和语义分割(ADE 20 K上为57.7 mIoU)设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
Towards Learning Universal Hyperparameter Optimizers with Transformers
Deepmind(深度思维);Google Research(谷歌研究院)
基于先验实验的元学习超参数优化(HPO)算法是一种很有前途的方法,可以提高对相似分布目标函数的优化效率。然而,现有的方法仅限于从共享同一组超参数的实验中学习。在本文中,我们介绍了OptFormer,这是第一个基于文本的Transformer HPO框架,它提供了一个通用的端到端接口,用于在对来自野外的大量调优数据进行训练时联合学习策略和函数预测,例如Google的Vizier数据库,世界上最大的HPO数据集之一。我们广泛的实验表明,OptFormer可以同时模拟至少7种不同的HPO算法,这可以通过其功能不确定性估计进一步改善。与高斯过程相比,OptFormer还学习了超参数响应函数的鲁棒先验分布,从而可以提供更准确和更好的校准预测。这项工作为将来将基于transformer的模型训练为通用HPO优化器铺平了道路。
2022-10-14 cs.AI cs.LG stat.ML
SATr: Slice Attention with Transformer for Universal Lesion Detection
University of Science and Technology of China(中国科学技术大学)
计算机断层扫描中的通用病灶检测(ULD)在计算机辅助诊断中起着至关重要的作用。多切片输入检测方法已经报告了有希望的ULD结果,该方法从多个相邻CT切片对3D上下文进行建模,但是这样的方法仍然难以在不同切片之间和每个单独切片内获得全局表示,因为它们仅使用基于卷积的融合操作。在本文中,我们提出了一种新的切片注意力Transformer(SATr)块,它可以很容易地插入到基于卷积的ULD骨干,形成混合网络结构。这种新形成的混合骨干可以通过Transformer块中的级联自注意模块更好地对长距离特征依赖性进行建模,同时仍然保持利用原始骨干中的卷积操作对局部特征进行建模的强大能力。五个国家的最先进的方法的实验表明,所提出的SATr块可以提供一个几乎免费的提高病变检测精度,而无需额外的超参数或特殊的网络设计。
2022-03-13 cs.AI cs.CV eess.IV
IndicSentEval: How Effectively do Multilingual Transformer Models encode Linguistic Properties for Indic Languages?
IIIT Hyderabad(海德拉巴印度理工学院);University of Bonn(波恩大学);Microsoft(微软);Inria(法国国家信息与自动化技术研究院)
本文提出多语言基准数据集IndicSentEval,通过探测分析9个多语言Transformer模型在6种印度语系语言中8项语言特性的编码能力和13种扰动下的鲁棒性,发现通用模型鲁棒性更好而特定模型编码能力更强。
2025-11-01 cs.AI cs.CL cs.LG
OminiControl: Minimal and Universal Control for Diffusion Transformer
National University of Singapore(新加坡国立大学)
针对现有图像条件方法参数开销大或任务通用性差的问题,提出OminiControl,通过最小化架构设计、统一序列处理和动态位置编码实现仅0.1%额外参数的通用控制,性能超越专用方法并构建Subjects200K数据集。
2025-07-07 cs.AI cs.CV cs.LG
Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators
Emmi AI GmbH(Emmi人工智能有限公司);Software Competence Center Hagenberg GmbH(哈根伯格软件能力中心有限公司)
针对神经算子扩展难题,提出通用物理变换器(UPTs),一种不依赖网格或粒子的统一学习范式,在潜在空间高效传播动力学,并支持任意时空点查询,适用于多种流体与动力学模拟。
2025-02-27 cs.AI cs.LG physics.flu-dyn
Online Decision MetaMorphFormer: A Casual Transformer-Based Reinforcement Learning Framework of Universal Embodied Intelligence
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对Transformer强化学习受离线训练制约探索与泛化能力的问题,提出基于因果Transformer的在线决策MetaMorphFormer框架,实现多环境多任务通用具身智能,经实验验证性能与泛化性良好,助力通用人工智能研究。
2024-09-11 cs.AI cs.LG cs.RO
Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers
Hang Zhou;Yuezhou Ma;Haixu Wu;Haowen Wang;Mingsheng Long
针对现有神经PDE求解器泛化性差的问题,提出以PDE组分为条件的Transformer模型Unisolver,结合物理结构与Transformer技术,在三个大规模基准上实现SOTA,迈向通用神经PDE求解器。
2025-09-04 cs.AI cs.LG cs.NA
Object-Oriented Knowledge Extraction using Universal Exploiters
本文对基于开发者的知识抽取方法进行了分析和扩展,在基本知识抽取方法的基础上产生新的知识。本文的主要成就是一些通用开发者证明的有用特征,它允许通过有限的新对象类和它们之间的关系来扩展基本类和基本关系集,从而允许创建完整的格。所提出的方法提供了一个机会来计算数量的新的类,这可以使用它生成,和数量的不同类型,其中每个获得的类描述;构建定义的层次结构的类与确定的包容关系;避免继承和更有效地恢复数据库内的基本知识的一些问题。
2017-09-08 cs.AI