Sparse Universal Transformer
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);Mila, University of Montreal(蒙特利尔大学米拉研究所)
针对通用 Transformer 扩展参数计算和内存开销大的问题,提出稀疏通用 Transformer,结合稀疏专家混合与基于 stick-breaking 的动态停止机制,在保持参数效率和泛化能力的同时降低计算复杂度,实验证明性能相当且推理计算减半。
2023-10-11 cs.AI cs.CL
Pretrained Transformers as Universal Computation Engines
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们研究了在自然语言上预训练的Transformer以最小的微调推广到其他模态的能力-特别是,没有微调残差块的自注意和前馈层。我们考虑这样一个模型,我们称之为冻结预训练Transformer(FPT),并研究在各种序列分类任务上对其进行微调,这些任务包括数值计算,视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作相比,我们表明,在自然语言上进行预训练可以提高非语言下游任务的性能和计算效率。此外,我们对架构进行了分析,比较了随机初始化的Transformer与随机LSTM的性能。结合这两种见解,我们发现语言预训练的Transformers可以在各种非语言任务上获得强大的性能。
2021-06-30 cs.AI cs.LG
Symbolic Expression Transformer: A Computer Vision Approach for Symbolic Regression
Shanghai Jiao Tong University(上海交通大学)
符号回归(SR)是一种回归分析,用于自动找到最适合数据的数学表达式。目前,SR仍然基本上依赖于各种搜索策略,因此需要针对每个表达式优化样本特定的模型,这大大限制了模型的泛化和效率。受人类可以根据数学表达式的曲线推断数学表达式的启发,从计算机视觉的角度提出了一种与样本无关的符号表达式Transformer(SET)模型。发布了图像域中训练集和测试集之间没有重叠的大规模数据集。我们的研究结果证明了SET的有效性,并提出了基于图像的模型解决具有挑战性的SR问题的有前途的方向。
2022-06-15 cs.AI cs.CV
Universal Approximation of Visual Autoregressive Transformers
The University of Chicago(芝加哥大学);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
该研究扩展对Transformer基础模型基本限制的分析至视觉自回归(VAR)Transformer,证明单头单自注意力层单插值层的VAR Transformer是图像到图像Lipschitz函数的通用逼近器,为高效VAR策略提供设计原则。
2025-02-10 cs.AI cs.CL cs.CV
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford(牛津大学)
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近,且单个注意力头即可逼近任意连续函数,并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois(伊利诺伊大学)
本文是一篇文献综述,梳理了Transformer从自然语言处理到计算机视觉的应用演进,重点分析了其在多目标跟踪(MOT)领域的研究进展,指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal(印度统计研究所西孟加拉)
本文研究了Transformer编码器能否模拟通用注意力机制,通过构建由Transformer编码器组成的通用模拟器U,利用RASP框架提出算法解决方案,证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective
The University of Hong Kong(香港大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Future Network of Intelligence Institute, CUHK-Shenzhen(香港中文大学(深圳)未来智联网络研究院);ShanghaiTech University(上海科技大学)
该综述从面向任务的视角出发,按输入模态将计算机视觉中GNNs和图Transformer的应用分为五大类并细分任务,梳理了任务定义、挑战、代表性方法及未来方向。
2024-08-14 cs.AI cs.CV cs.LG
Unified Training of Universal Time Series Forecasting Transformers
Salesforce AI Research(Salesforce AI研究院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出Moirai,一种基于掩码编码器的通用时间序列预测Transformer,通过跨频率学习等改进,在大规模数据集LOTSA上训练,实现零样本预测性能媲美全样本模型。
2024-05-22 cs.AI cs.LG
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University(斯坦福大学);Center for Brain Science, Harvard University(哈佛大学脑科学中心);The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室(隶属于瑞士意大利语区大学与瑞士南部应用科学大学));AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能倡议)
提出基于混合专家的共享层Transformer架构MoEUT,通过结合MoE进展与新型层归一化和分组方案,首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
A Survey on Visual Transformer
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);The University of Sydney(悉尼大学)
本文综述了视觉Transformer在不同视觉任务中的分类、优缺点及高效方法,并探讨了自注意力机制、当前挑战与未来研究方向。
2023-07-10 cs.AI cs.CV
Dynamic Universal Approximation Theory: The Basic Theory for Transformer-based Large Language Models
The Hong Kong Polytechnic University(香港理工大学)
该研究针对Transformer类大语言模型的理论基础缺失问题,引入通用逼近理论(UAT)作为理论框架,旨在解释Transformer的有效性、ICL能力、LoRA微调增强及模型剪枝实用性等核心问题。
2024-12-11 cs.AI cs.CL cs.LG
Universal Approximation Theorem for a Single-Layer Transformer
Department of Computer Science, University of Sana'a(萨那大学计算机科学系)
本文研究了深度学习与Transformer的数学基础,证明包含自注意力层和ReLU位置前馈网络的单层Transformer能以任意精度近似紧致域上的连续序列到序列映射,推进了模型的理论理解。
2025-07-11 cs.AI cs.LG stat.ML
An Evolved Universal Transformer Memory
Sakana AI
针对现代基础模型成本与性能的权衡问题,提出可进化的神经注意力记忆模型(NAMMs),通过学习记忆管理网络提升Transformer性能与效率,实现跨模态零样本迁移及多任务显著优化。
2025-02-13 cs.AI cs.CL cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移(例如3对3或5对6多代理游戏)。在本文中,我们首次尝试探索一个通用的多智能体强化学习管道,设计一个单一的架构,以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同,我们利用一个基于transformer的模型来生成一个灵活的策略,通过将策略分布与相互交织的输入观察解耦,并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比,该模型进一步放宽了对行为的限制,使多Agent任务的决策过程更具有可解释性,称为通用策略解耦Transformer(UPDeT)。UPDeT足够通用,可以插入任何多智能体强化学习管道,并为它们提供强大的泛化能力,使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明,所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果,在性能和训练速度(快10倍)方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
Universal Approximation Under Constraints is Possible with Transformers
Universität Basel(巴塞尔大学);Universität Zürich(苏黎世大学)
许多实际问题需要机器学习模型的输出来满足一组约束$K$。然而,没有已知的保证,经典的神经网络架构可以准确地编码约束,同时实现通用性。本文给出了一个定量约束泛逼近定理,保证了对任意非凸紧集$K$和任意连续函数$f:\mathbb{R}^n\rightarrow K$,存在概率Transformer $\hat{F}$,其随机输出都位于$K$中,且其期望输出一致逼近$f$ .我们的第二个主要结果是Berge极大值定理(1963)的“深层神经版本”。该结果保证了给定目标函数$L$、约束集$K$和软约束集族,存在概率Transformer $\hat{F}$近似最小化$L$且其输出属于$K$ ;而且,$\hat{F}$近似满足软约束.我们的结果隐含了经典Transformers在精确凸约束满足下的第一普适逼近定理。在适当的测地线凸约束下,给出了黎曼流形值函数的一个无图泛逼近定理。
2022-02-08 cs.AI cs.LG cs.NE
SATr: Slice Attention with Transformer for Universal Lesion Detection
University of Science and Technology of China(中国科学技术大学)
计算机断层扫描中的通用病灶检测(ULD)在计算机辅助诊断中起着至关重要的作用。多切片输入检测方法已经报告了有希望的ULD结果,该方法从多个相邻CT切片对3D上下文进行建模,但是这样的方法仍然难以在不同切片之间和每个单独切片内获得全局表示,因为它们仅使用基于卷积的融合操作。在本文中,我们提出了一种新的切片注意力Transformer(SATr)块,它可以很容易地插入到基于卷积的ULD骨干,形成混合网络结构。这种新形成的混合骨干可以通过Transformer块中的级联自注意模块更好地对长距离特征依赖性进行建模,同时仍然保持利用原始骨干中的卷积操作对局部特征进行建模的强大能力。五个国家的最先进的方法的实验表明,所提出的SATr块可以提供一个几乎免费的提高病变检测精度,而无需额外的超参数或特殊的网络设计。
2022-03-13 cs.AI cs.CV eess.IV
Understanding Video Transformers via Universal Concept Discovery
York University(约克大学);Samsung AI Centre Toronto(三星多伦多人工智能中心);Toyota Research Institute(丰田研究所);Vector Institute(矢量研究所)
针对视频Transformer可解释性研究不足的问题,提出首个VTCD算法以无监督发现时空概念并排序其重要性,揭示了视频Transformer的通用推理机制,还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Investigating Recurrent Transformers with Dynamic Halt
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本研究系统比较了两种循环Transformer增强方法(深度循环与块状时间循环),提出动态停机机制等新组合,并在LRA等诊断任务上探究归纳偏差。
2025-01-21 cs.AI cs.LG cs.NE
EEG-based AI-BCI Wheelchair Advancement: Transformer-Based Learning with Motor Imagery for Brain Computer Interface
Department of Computer Science and Engineering, Kathmandu University(加德满都大学计算机科学与工程系);Department of Electronics and Communication Engineering, Nepal Engineering College, Pokhara University(博卡拉大学尼泊尔工程学院电子与通信工程系);Department of Applied Sciences and Chemical Engineering, Institute of Engineering, Pulchowk Campus, Tribhuvan University(特里布万大学工程学院普尔乔克校区应用科学与化学工程系)
本文提出一种结合运动想象左右手运动机制的AI集成方法,利用EEG数据模拟轮椅导航,采用CNN-Transformer混合模型实现高准确率的EEG分类。
2026-07-17 cs.AI cs.HC cs.LG
BiTA: Bidirectional Gated Recurrent Unit-Transformer Aggregator in a Temporal Graph Network Framework for Alert Prediction in Computer Networks
Faculty of Computer Engineering, Shahrood University of Technology(计算机工程学院,沙赫罗德理工大学)
本文提出BiTA,通过联合编码双向序列依赖性和长距离上下文关系,改进时序图网络中的时间聚合,提升警报预测性能。
2026-04-03 cs.AI cs.LG
Delayed Propagation Transformer: A Universal Computation Engine towards Practical Control in Cyber-Physical Systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
多智能体控制是信息物理系统(CPS)的一个中心主题。然而,目前的控制方法要么接收非马尔可夫状态,由于不充分的传感和分散的设计,或遭受收敛性差。本文提出了延迟传播Transformer(DePT),一个新的变压器为基础的模型,专门在全球建模的CPS,同时考虑到不可变的约束,从物理世界。DePT引入了一个锥形的时空注意先验,它注入了信息传播和聚合原则,并实现了全局视图。随着物理约束归纳偏见烘焙到其设计中,我们的DePT已经准备好了一个广泛的多智能体系统类的即插即用。在最具挑战性的CPS之一-开放世界中的网络规模交通信号控制系统上的实验结果表明,我们的模型在合成和真实世界数据集上的性能优于最先进的专家方法。我们的代码发布于:https://github.com/VITA-Group/DePT。
2021-10-29 cs.AI cs.SY eess.SY
Towards Learning Universal Hyperparameter Optimizers with Transformers
Deepmind(深度思维);Google Research(谷歌研究院)
基于先验实验的元学习超参数优化(HPO)算法是一种很有前途的方法,可以提高对相似分布目标函数的优化效率。然而,现有的方法仅限于从共享同一组超参数的实验中学习。在本文中,我们介绍了OptFormer,这是第一个基于文本的Transformer HPO框架,它提供了一个通用的端到端接口,用于在对来自野外的大量调优数据进行训练时联合学习策略和函数预测,例如Google的Vizier数据库,世界上最大的HPO数据集之一。我们广泛的实验表明,OptFormer可以同时模拟至少7种不同的HPO算法,这可以通过其功能不确定性估计进一步改善。与高斯过程相比,OptFormer还学习了超参数响应函数的鲁棒先验分布,从而可以提供更准确和更好的校准预测。这项工作为将来将基于transformer的模型训练为通用HPO优化器铺平了道路。
2022-10-14 cs.AI cs.LG stat.ML
A Cloud-Based Cross-Modal Transformer for Emotion Recognition and Adaptive Human-Computer Interaction
Beijing University of Post & Telecommunication(北京邮电大学);Vanderbilt University(范德堡大学);Monroe University(门罗大学)
本文提出基于云的跨模态Transformer框架,通过整合多模态信号提升情绪识别的鲁棒性和泛化能力,实现高效、实时的自适应人机交互。
2025-11-21 cs.AI cs.CV cs.HC
A Single Atom in Front of a Mirror is a Universal Reservoir Computer
Wyant College of Optical Sciences, University of Arizona(亚利桑那大学怀恩特光学科学学院);Department of Physics, University of Arizona(亚利桑那大学物理系);School of Electrical Engineering and Telecommunications, University of New South Wales(新南威尔士大学电气工程与电信学院)
该研究提出镜前单个原子构成的极简量子装置可作为通用储备池计算机,其线性极限下能实现衰减记忆映射的通用近似,超出线性极限时可在实际任务中与经典基线协同运行。
2026-08-12 cs.AI quant-ph
Pre-Trained Language Transformers are Universal Image Classifiers
University of Tartu(塔尔图大学);Sharif University of Technology(谢里夫理工大学);University of South Carolina(南卡罗来纳大学)
面部图像揭示了许多隐藏的个人特征,如年龄,性别,种族,健康,情绪和心理。了解这些特征将有助于将人们分为不同的属性。在本文中,我们提出了一种新的方法,使用预训练的Transformer模型进行图像分类。我们将预训练的Transformer应用于犯罪和非犯罪类别的面部图像的二进制分类。GPT-2的预训练的Transformer被训练成生成文本,然后被微调成对面部图像进行分类。在对图像进行微调的过程中,GT-2的大部分层在反向传播过程中被冻结,模型被冻结在预训练的Transformer(FPT)中。FPT作为一种通用的图像分类器,本文展示了FPT在人脸图像上的应用。我们还在加密图像上使用FPT进行分类。我们的FPT在原始面部图像和加密图像上都显示出很高的准确性。我们假设FPT的元学习能力是因为它的规模大,并通过理论和实验进行了大规模的训练。GPT-2训练一次生成一个单词token,通过自回归过程,强制重尾分布。然后FPT使用重尾属性作为其分类图像的元学习能力。我们的工作显示了一种方法,以避免偏见在机器分类的图像。FPT编码的世俗知识,因为一个文本的预训练,它使用在分类。由于增加了文本的上下文信息,减少了分类的统计误差。本文展示了使用加密数据进行分类的伦理维度。犯罪图像对跨边界共享很敏感,但加密在很大程度上避免了伦理问题。FPT在加密图像上表现出良好的分类准确率,为隐私保护机器学习的进一步…
2022-01-25 cs.AI cs.CV
OminiControl: Minimal and Universal Control for Diffusion Transformer
National University of Singapore(新加坡国立大学)
针对现有图像条件方法参数开销大或任务通用性差的问题,提出OminiControl,通过最小化架构设计、统一序列处理和动态位置编码实现仅0.1%额外参数的通用控制,性能超越专用方法并构建Subjects200K数据集。
2025-07-07 cs.AI cs.CV cs.LG
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)(脸书人工智能研究院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
图像分割是关于将具有不同语义的像素分组,例如,类别或实例成员资格,其中每个语义选择定义一个任务。虽然每个任务的语义不同,但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer(Mask2Former),一个新的架构能够解决任何图像分割任务(全景,实例或语义)。它的关键组成部分包括掩蔽注意力,它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外,它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是,Mask2Former为全景分割(COCO上为57.8 PQ)、实例分割(COCO上为50.1 AP)和语义分割(ADE 20 K上为57.7 mIoU)设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
Online Decision MetaMorphFormer: A Casual Transformer-Based Reinforcement Learning Framework of Universal Embodied Intelligence
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对Transformer强化学习受离线训练制约探索与泛化能力的问题,提出基于因果Transformer的在线决策MetaMorphFormer框架,实现多环境多任务通用具身智能,经实验验证性能与泛化性良好,助力通用人工智能研究。
2024-09-11 cs.AI cs.LG cs.RO
Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators
Emmi AI GmbH(Emmi人工智能有限公司);Software Competence Center Hagenberg GmbH(哈根伯格软件能力中心有限公司)
针对神经算子扩展难题,提出通用物理变换器(UPTs),一种不依赖网格或粒子的统一学习范式,在潜在空间高效传播动力学,并支持任意时空点查询,适用于多种流体与动力学模拟。
2025-02-27 cs.AI cs.LG physics.flu-dyn
Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers
Hang Zhou;Yuezhou Ma;Haixu Wu;Haowen Wang;Mingsheng Long
针对现有神经PDE求解器泛化性差的问题,提出以PDE组分为条件的Transformer模型Unisolver,结合物理结构与Transformer技术,在三个大规模基准上实现SOTA,迈向通用神经PDE求解器。
2025-09-04 cs.AI cs.LG cs.NA
Universal Quantum Transformer
Grainger College of Engineering, Department of Civil and Environmental Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院土木与环境工程系)
提出通用量子Transformer(UQT),利用多量子比特系统的物理特性作为归纳偏置,通过参数化几何相位嵌入和SU(2)波干涉实现精确的数学和代数推理,在紧凑的5量子比特基板上完美学习循环模算术和非阿贝尔代数,并实现确定性泛化。
2026-09-29 cs.AI cs.ET quant-ph
Olympus: A Universal Task Router for Computer Vision Tasks
University of Oxford(牛津大学);Microsoft(微软公司)
提出Olympus框架,利用控制器MLLM将20多项计算机视觉任务路由至专用模块,通过链式动作实现复杂工作流,在无需训练生成模型的情况下达到94.75%的路由准确率。
2025-04-01 cs.AI cs.CL cs.CV
Dynamic Universal Approximation Theory: The Basic Theory for Deep Learning-Based Computer Vision Models
The Hong Kong Polytechnic University(香港理工大学)
针对基于卷积神经网络和Transformer的计算机视觉模型存在的深层结构必要性、泛化能力等基础问题,该研究利用通用逼近定理为其提供理论基础,以从理论层面解释相关关键问题。
2024-11-29 cs.AI cs.CV
Vision Language Transformers: A Survey
Boise State University(博伊西州立大学)
本文综述了视觉语言Transformer的研究现状,系统梳理了基于预训练Transformer架构的视觉语言建模方法,分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Feynman Machine: The Universal Dynamical Systems Computer
Ogma Intelligent Systems Corp.(Ogma智能系统公司)
尽管大脑中的计算过程在构建智能机器方面具有重要意义和潜在用途,但理解大脑中的计算过程的努力取得了有限的成功。我们提出了一个简单的新模型,它借鉴了神经科学和相互作用动力系统的应用数学的最新发现。费曼机是动力系统的通用计算机,类似于符号计算的图灵机,但有几个重要的区别。我们证明了简单的相互作用的动力系统的网络和层次结构,每个自适应学习预测其演变,能够自动建立外部和内部世界的感觉运动模型。我们确定这样的网络在哺乳动物的新皮层,并显示现有的理论皮质计算结合我们的模型来解释的力量和灵活性的哺乳动物的智能。这些发现直接导致了机器智能的新架构。一套软件实现已经建立在这些原则的基础上,并应用到一些时空学习任务。
2016-09-13 cs.AI cs.ET cs.NE
Universal Algorithm-Implicit Learning
研究针对当前元学习方法局限性,引入理论框架定义实际通用性及算法显隐式学习。提出基于Transformer的TAIL算法,有随机投影等创新,在少样本基准测试中性能领先,能推广到未见领域和模态,处理更多类别任务且节省计算成本。
2026-07-08 cs.AI cs.CV cs.LG
Looped ReLU MLPs May Be All You Need as Practical Programmable Computers
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);University of Pennsylvania(宾夕法尼亚大学)
本文证明循环的 23 层 ReLU-MLP 可用实际规模权重执行可编程计算,且比循环 Transformer 更高效,揭示简单 MLP 被低估的表达能力。
2025-02-20 cs.AI cs.CC cs.LG
Platonic Transformers: A Solid Choice For Equivariance
University of California, Berkeley(加州大学伯克利分校)
提出Platonic Transformer,通过基于柏拉图立体对称群参考帧的注意力机制实现等变性,在不增加计算成本的前提下提升性能。
2026-06-02 cs.AI cs.CV cs.LG