Exploring Corruption Robustness: Inductive Biases in Vision Transformers and MLP-Mixers
University of Pittsburgh(匹兹堡大学)
最近,为了解决卷积神经网络中的一些普遍弱点,已经开发了视觉Transformer和基于MLP的模型。由于Transformers与自注意力机制一起用于该领域的新颖性,因此仍然不清楚这些架构对损坏的鲁棒程度。尽管一些作品提出,数据增强仍然是必不可少的模型是强大的腐败,我们建议探索的影响,该架构对腐败的鲁棒性。我们发现,视觉Transformer架构本质上是更强大的腐败比ResNet-50和MLP混合器。我们还发现,参数比ResNet-50少5倍的视觉Transformer具有更多的形状偏差。我们的代码可以复制。
2021-07-03 cs.CV cs.LG
Fourier Image Transformer
FMI for Biomedical Research(FMI生物医学研究所);Fondazione Human Technopole(人类技术基金会)
Transformer架构在NLP任务上表现出惊人的性能,最近也被用于图像完成或图像分类等任务。在这里,我们建议使用顺序图像表示,其中完整序列的每个前缀以降低的分辨率描述整个图像。使用这样的傅立叶域编码(FDE),自回归图像完成任务等同于在给定低分辨率输入的情况下预测更高分辨率的输出。此外,我们表明,一个编码器-解码器设置可以用来查询任意傅立叶系数给定一组傅立叶域的意见。我们证明了这种方法在计算机断层扫描(CT)图像重建的背景下的实用性。总之,我们证明了傅立叶图像Transformer(FIT)可以用于解决傅立叶空间中的相关图像分析任务,这是卷积架构固有地无法访问的域。
2022-04-19 cs.CV cs.LG eess.IV
CAST: Clustering Self-Attention using Surrogate Tokens for Efficient Transformers
Department of Computer Science(计算机科学系);University of Twente(特文特大学)
本文提出CAST,一种基于代理令牌的聚类自注意力机制,将复杂度从二次降至线性,在长序列任务中性能不逊于基线,且时间与内存效率更高。
2024-02-06 cs.LG
TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
Bar-Ilan University(巴伊兰大学)
提出TR-PTQ,通过泰勒区域重构和整数算术实现Transformer训练后量化,消除浮点硬件需求,在视觉和语言基准上精度损失小于1.5%。
2026-10-08 cs.LG
RiemannFormer: A Framework for Attention in Curved Spaces
Hangzhou Dianzi University(杭州电子科技大学)
RiemannFormer通过引入曲空间中的几何解释和参数优化,提升变换器模型的性能。
2025-12-14 cs.LG
TeamFormer: Shallow Parallel Transformers with Progressive Approximation
Dept. of Computing, Hong Kong Polytechnic University, Hong Kong(计算机系,香港理工大学,香港)
TeamFormer通过浅层并行结构与渐进近似方法,在保持性能的同时实现模型压缩和加速。
2026-02-24 cs.LG
Transformers Handle Endogeneity in In-Context Linear Regression
UC Davis(加州大学戴维斯分校)
本文研究 transformer 如何利用工具变量处理上下文内线性回归的内生性,揭示其模拟双层优化并指数收敛至 2SLS 的机制,提出预训练方案并通过理论与实验证明其更稳健可靠。
2025-05-11 cs.AI cs.LG econ.EM
Transformer Compressed Sensing via Global Image Tokens
The University of Queensland(昆士兰大学)
卷积神经网络(CNN)与传统的手工制作方法相比,表现出出色的压缩感知(CS)性能。然而,它们在概括性、归纳偏差和难以模拟远距离关系方面受到广泛的限制。Transformer神经网络(TNN)通过实现设计用于捕获输入之间的依赖关系的注意力机制来克服这些问题。然而,高分辨率任务通常需要视觉Transformer(ViT)将图像分解为基于块的令牌,将输入限制为固有的本地上下文。我们提出了一种新的图像分解,自然地嵌入到低分辨率的输入图像。这些万花筒令牌(KD)提供了一种全局注意力机制,其计算成本与基于补丁的方法相同。为了展示这一发展,我们用TNN块替换了知名CS-MRI神经网络中的CNN组件,并展示了KD带来的改进。我们还提出了一个整体的图像令牌,提高整体图像质量和减少模型的大小。补充材料请访问:https://github.com/uqmarlonbran/TCS.git
2022-07-12 cs.CV cs.LG eess.IV
Cottention: Linear Transformers With Cosine Attention
Lyle School of Engineering(莱尔工程学院);Southern Methodist University(南卫理公会大学)
Cottention通过引入余弦相似度替代softmax注意力,实现线性内存复杂性,从而更高效地处理长序列。
2024-09-27 cs.LG
Flowformer: Linearizing Transformers with Conservation Flows
Tsinghua University(清华大学)
基于注意力机制的Transformers在各个领域都取得了令人瞩目的成功。然而,注意力机制具有二次复杂性,这显著阻碍了Transformers处理大量令牌并扩展到更大的模型。以往的方法主要是利用矩阵乘法的相似性分解和结合性来设计线性时间的注意力机制。它们通过重新引入诸如局部性之类的归纳偏差,从而以牺牲模型的通用性和表达性为代价,避免了注意力退化到一个平凡的分布。在本文中,我们线性化的Transformers从特定的感性偏见的基础上的流网络理论。我们将注意力视为通过学习流能力(注意力)从源(值)聚集到汇(结果)的信息流。在此框架下,我们将流守恒的性质应用到注意中,提出了线性复杂度的流-注意力机制。通过分别保存源竞争和源分配的源的流出的流入的汇,流注意固有地产生信息的注意力,而不使用特定的归纳偏差。在Flow-Attention的支持下,Flowformer在线性时间内为广泛的领域提供强大的性能,包括长序列,时间序列,视觉,自然语言和强化学习。代码和设置可在以下存储库中找到:https://github.com/thuml/Flowformer。
2022-06-16 cs.AI cs.LG
Knowledge-Enriched Transformer for Emotion Detection in Textual Conversations
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(南洋理工大学-英属哥伦比亚大学联合卓越研究中心(老年人积极生活方向));Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);Nanyang Technological University(南洋理工大学)
人类对话中的信息固有地传达情感。文本对话中的情感检测任务导致了广泛的应用,例如社交网络中的意见挖掘。然而,让机器分析对话中的情感是一项挑战,部分原因是人类通常依赖上下文和常识知识来表达情感。在本文中,我们提出了一个知识丰富的Transformer(KET),上下文话语解释使用层次化的自我注意力和外部常识知识是动态利用上下文感知的情感图注意力机制来应对这些挑战。在多个文本会话数据集上的实验表明,上下文和常识知识都有利于情感检测性能。此外,实验结果表明,我们的KET模型优于国家的最先进的模型在大多数测试数据集上的F1得分。
2019-10-01 cs.AI cs.CL cs.LG
Trading with the Momentum Transformer: An Intelligent and Interpretable Architecture
Oxford-Man Institute of Quantitative Finance, University of Oxford(牛津大学牛津-曼定量金融研究所);Oxford Internet Institute, University of Oxford(牛津大学牛津互联网研究所)
我们介绍了动量Transformer,这是一种基于注意力的深度学习架构,其表现优于基准时间序列动量和均值回归交易策略。与最先进的长短期记忆(LSTM)架构不同,LSTM架构本质上是顺序的,并为本地处理量身定制,注意力机制为我们的架构提供了与所有先前时间步的直接连接。我们的架构是注意力-LSTM的混合体,使我们能够学习长期依赖关系,在考虑交易成本的净回报时提高性能,并自然适应新的市场机制,例如在SARS-CoV-2危机期间。通过引入多个注意头,我们可以捕捉并发政权,或时间动态,这是发生在不同的时间尺度。动量Transformer具有内在的可解释性,为我们提供了对深度学习动量交易策略的更深入见解,包括不同因素随时间的重要性以及对模型最重要的过去时间步长。
2022-11-22 cs.LG q-fin.TR stat.ML
Transformers Are Universally Consistent
Indian Statistical Institute(印度统计研究院)
针对 Transformers 在非欧数据下的函数回归理论空白,本文证明配备 softmax 非线性注意力的模型在双曲空间执行 OLS 回归时具有普遍一致性,并给出了 $\mathcal{O}(t^{-1/2d})$ 的误差收敛上界。
2025-05-30 cs.LG
The Topological Trouble With Transformers
Google DeepMind(谷歌DeepMind)
本文探讨了Transformer在处理序列结构时的拓扑问题,指出其纯前馈架构限制了动态状态跟踪,提出应通过递归架构转向隐含激活动态,并介绍了连续思维Transformer架构的分类方法及未来研究方向。
2026-09-02 cs.AI cs.LG
Exploring Vision Transformers for Fine-grained Classification
Universidad de Valladolid(巴利亚多利德大学);University of San Francisco(旧金山大学)
现有的计算机视觉分类研究与细粒度的属性识别斗争,由于固有的高类内方差和低类间方差。SOTA方法通过定位信息量最大的图像区域来应对这一挑战,并依赖它们对完整的图像进行分类。最新的工作,视觉Transformer(ViT),显示其在传统和细粒度分类任务的强大性能。在这项工作中,我们提出了一个多阶段的ViT框架细粒度的图像分类任务,本地化的信息图像区域,而不需要使用固有的多头自我注意力机制的建筑变化。我们还引入了注意力引导增强,以提高模型的能力。我们通过实验四个流行的细粒度基准测试来证明我们方法的价值:CUB-200-2011,斯坦福汽车,斯坦福狗和FGVC 7植物病理学。我们还证明了我们的模型的可解释性,通过定性结果。
2021-06-30 cs.CV cs.LG
Generalized Probabilistic Attention Mechanism in Transformers
Handong Global University(韩东全球大学)
本文提出广义概率注意力机制 GPAM 及其双注意力实现 daGPAM,通过允许负注意力分数同时缓解 Transformer 中的秩坍缩和梯度消失问题,并在语言建模和机器翻译任务中验证了其有效性。
2024-10-21 cs.CL cs.LG
Enhanced Momentum with Momentum Transformers
Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);Columbia University(哥伦比亚大学)
本研究构建动量变换器,结合注意力与LSTM,扩展至股票交易,平均回报4.14%,夏普比率1.12,优于基准策略。
2024-12-17 cs.LG q-fin.CP
Exploring the Integration of Key-Value Attention Into Pure and Hybrid Transformers for Semantic Segmentation
本研究针对Transformer依赖大数据、计算成本高的问题,探索KV Transformer在医学影像语义分割任务中的表现,发现其在参数量与运算量显著降低的情况下仍能维持相近性能。
2025-03-24 cs.AI cs.CV cs.LG
Multi-Agent Inverted Transformer for Flight Trajectory Prediction
Department of Air Transport, Transportation, and Logistics, Korea Aerospace University(航空运输与物流系,韩国航空航天大学)
本文提出MAIFormer,一种多智能体倒置变换器,用于预测飞行轨迹,通过双注意力模块提升预测精度与可解释性。
2026-07-22 cs.LG
How Many Tokens Do 3D Point Cloud Transformer Architectures Really Need?
本文提出gitmerge3D全局感知图Token合并方法,发现3D点云Transformer中Token高度冗余,可在减少90-95% Token的同时保持性能,为高效3D基础架构设计提供新见解。
2025-11-07 cs.CV cs.LG
On the Emergence of Position Bias in Transformers
MIT IDSS \& LIDS;MIT CSAIL
本文提出图论框架分析多层attention中的位置偏置,揭示causal masking对早期位置的固有偏向及其与相对位置编码的竞争效应,为理解transformer位置偏置和指导架构设计提供了理论基础。
2025-08-09 cs.LG
FluidFormer: Transformer with Continuous Convolution for Particle-based Fluid Simulation
FluidFormer提出首个结合连续卷积与自注意力的流体注意力块,通过局部-全局层次融合,实现稳定、长程的粒子流体模拟,性能达到最先进水平。
2025-08-03 cs.CE cs.GR cs.LG
In-Context Compositional Learning via Sparse Coding Transformer
Purdue University(普渡大学)
本文提出基于稀疏编码的变换器,通过稀疏注意力机制提升组合学习任务的性能。
2025-11-25 cs.LG
Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation
School of Physics, Peking University(北京大学物理学院);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);Center for High Energy Physics, Peking University(北京大学高能物理研究中心);Beijing Computational Science Research Center(北京计算科学研究中心)
本研究通过几何框架分析Transformer各层令牌内在维度,揭示扩张-收缩模式,发现有效模型将令牌压缩至约10维子流形,与人类语义空间相似,为LLM可解释性和模型诊断提供新视角。
2025-03-28 cs.CL cs.LG
Multi-branch of Attention Yields Accurate Results for Tabular Data
Shanghai Warpdrive Technology Co.Ltd(上海威谱驱动科技有限公司)
针对表格数据特征异质性问题,本文提出MAYA框架,通过编码器中的多分支注意力机制和动态一致性约束协作学习,结合解码器交叉注意力,在表格分类与回归任务上取得了优于现有Transformer方法的性能。
2025-09-22 cs.AI cs.LG
Gecko: An Efficient Neural Architecture Inherently Processing Sequences with Arbitrary Lengths
University of Southern California(美国南加州大学);Meta AI Research(Meta人工智能研究);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
Gecko通过改进的神经架构实现高效长序列处理,优于现有模型在效率和长上下文扩展性上的表现。
2026-01-10 cs.CL cs.LG
Transformer with Koopman-Enhanced Graph Convolutional Network for Spatiotemporal Dynamics Forecasting
Charles F. Dolan School of Business, Fairfield University(Fairfield大学商学院);Department of Industrial & Systems Engineering, The University of Tennessee(田纳西大学工业与系统工程系)
本文提出TK-GCN两阶段框架,结合Koopman增强图卷积网络与Transformer,在不规则几何域上实现长程时空动力学预测,并在心脏动力学预测中验证其优越精度。
2025-07-05 cs.LG stat.ML
Physics-Guided Multimodal Transformers are the Necessary Foundation for the Next Generation of Meteorological Science
School of Artificial Intelligence, Beijing University of Posts;Huawei Noah's Ark Lab;Department of Earth System Science, Tsinghua University;College of Computing \& Data Science, Nanyang Technological University;State Key Laboratory of Networking;Switching Technology, Beijing University of Posts
本文提出通过物理引导的多模态Transformer构建下一代气象科学的统一范式,以提升模型的科学一致性和物理约束能力。
2026-01-28 cs.AI cs.LG
MuViT: Multi-Resolution Vision Transformers for Learning Across Scales in Microscopy
Swiss Federal Institute of Technology Lausanne(瑞士联邦理工学院洛桑分校);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(可扩展数据与人工智能中心(ScaDS.AI));Technische Universität Dresden(德累斯顿技术大学)
MuViT 通过多分辨率视觉变换器在显微镜分析中实现跨尺度学习,提升多分辨率信息利用能力。
2026-02-27 cs.CV cs.LG
Attention is All You Need in Speech Separation
Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Università Politecnica delle Marche(马尔凯理工大学);University of Rochester(罗切斯特大学)
递归神经网络(RNN)长期以来一直是序列到序列学习的主导架构。然而,RNN本质上是顺序模型,不允许其计算的并行化。Transformers正在成为标准RNN的自然替代品,用多头注意力机制取代循环计算。在本文中,我们提出了SepFormer,一种用于语音分离的新型无RNN转换器神经网络。SepFormer通过采用Transformers的多尺度方法学习短期和长期依赖关系。该模型在标准WSJ 0 -2/3 mix数据集上实现了最先进的(SOTA)性能。它在WSJ 0 - 2 mix上达到22.3 dB的SI-SNRi,在WSJ 0 - 3 mix上达到19.5 dB的SI-SNRi。SepFormer继承了Transformers的并行化优势,即使在对编码表示进行8倍下采样时也能实现有竞争力的性能。因此,它比最新的语音分离系统具有更快的速度和更少的内存需求。
2021-03-08 cs.LG cs.SD eess.AS
Predicting Stock Movement with BERTweet and Transformers
Georgia Institute of Technology(佐治亚理工学院)
本文研究融合社交媒体文本预测股票走势,提出利用专门在 Twitter 语料上预训练的 BERTweet 与 Transformer 架构,在无辅助数据的 Stocknet 上取得可比性能并刷新 MCC 基线。
2025-03-13 cs.AI cs.CE cs.LG
MVMTnet: A Multi-variate Multi-modal Transformer for Multi-class Classification of Cardiac Irregularities Using ECG Waveforms and Clinical Notes
University of Toronto(多伦多大学);Stanford Cardiovascular Institute(斯坦福心血管研究所)
深度学习为优化临床应用的诊断和患者监测提供了一个很好的途径,这可以极大地提高对各种条件的发作的响应时间。对于心血管疾病,其中一种情况是患者数量的增加越来越超过世界不同地区医疗资源的可用性,核心挑战是各种心脏异常的自动分类。现有的深度学习方法在很大程度上局限于检测不规则性的存在,如在二进制分类中,这是使用CNN和RNN/LSTM等网络实现的。下一步是准确地执行多类分类并从固有的噪声多变量波形中确定特定条件,这是一项艰巨的任务,可以受益于(1)更强大的顺序网络,以及(2)临床笔记的整合,这提供了来自人类医生的有价值的语义和临床背景。最近,Transformers已经成为使用时间序列数据进行预测和预测的最先进的架构,具有多头注意力机制,能够处理整个序列并学习长距离和短距离依赖关系。所提出的新颖的多模态Transformer架构将能够准确地执行该任务,同时展示Transformers的跨域有效性,建立用于在用于分类任务的Transformer内合并多个数据模态的方法,并为在临床和ER设置中自动化实时患者状况监测奠定基础。
2023-02-21 cs.AI cs.LG q-bio.QM
Understanding Transformer Architecture through Continuous Dynamics: A Partial Differential Equation Perspective
The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学)
本文提出主 PDE 连续动力学框架,将 Transformer 组件映射为数学算子,并通过对比实验论证残差连接与层归一化是必要稳定机制。
2025-09-27 cs.AI cs.IT cs.LG
Accelerating Error Correction Code Transformers
The Blavatnik School of Computer Science(布拉瓦尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
针对纠错码Transformer(ECCT)计算与内存需求高、低精度量化易降效的问题,提出三值权重量化、码感知自注意力、Tanner图特征分解位置编码的加速方案,实现90%压缩率与超224倍算术能耗降低,推动其在资源受限场景落地。
2024-10-08 cs.AI cs.IT cs.LG
Efficient Equivariant Transformer for Self-Driving Agent Modeling
Waabi;University of Toronto(多伦多大学)
本文提出DriveGATr,一种基于变换器的架构,通过多向量在2D投影几何代数中建模几何关系,实现SE(2)-等价性,无需显式成对相对位置编码,提升大规模场景下的效率。
2026-04-01 cs.CV cs.LG cs.RO
Spatially-informed transformers: Injecting geostatistical covariance biases into self-attention for spatio-temporal forecasting
Unimercatorum(乌尼默卡图姆大学)
本文提出一种混合架构,通过可学习的协方差核将地理统计学归纳偏置注入自注意力机制,以提升时空预测的准确性与物理合理性。
2025-12-19 cs.LG stat.ME stat.ML
Transformer brain encoders explain human high-level visual responses
Zuckerman Mind Brain Behavior Institute(祖克erman心智大脑行为研究所);Columbia University(哥伦比亚大学)
本文提出利用变换器中的注意力机制,研究如何将视网膜图式视觉特征动态路由到高级视觉处理的类别选择区域,以提高预测大脑活动的性能和可解释性。
2026-02-05 cs.LG q-bio.NC
Future Sight: Dynamic Story Generation with Large Pretrained Language Models
University of Waterloo(滑铁卢大学)
深度学习研究的最新进展,如Transformers,增强了自动代理生成类似于人类所写的创造性文本的能力。默认情况下,Transformer解码器只能根据先前生成的文本生成新文本。在任何位置的候选标记的输出分布的条件下,先前选择的标记使用自我注意力机制,以模仿自回归的属性。这在本质上限制了诸如可控故事生成之类的任务,在可控故事生成中,在编写故事时可能需要以未来的情节事件为条件。在这项工作中,我们提出了Future Sight,这是一种在未来条件反射任务上微调预训练生成Transformer的方法。Transformer解码器通常通过自我注意力的方式预先训练完成上下文的任务,一次一个令牌。Future Sight还使解码器能够关注编码的未来情节事件。这促使解码器以逻辑上以所提供的未来结束的方式扩展上下文。在推理过程中,未来的情节事件可以由人类作者编写,以引导叙事在某个方向上生成。我们评估我们的方法的功效与人类评估的故事生成任务。
2022-12-20 cs.AI cs.CL cs.LG
Temporal Collaborative Ranking Via Personalized Transformer
University of California, Davis(加州大学戴维斯分校);University of California, Los Angles(加州大学洛杉矶分校)
协同排名问题一直是一个重要的开放式研究问题,因为大多数推荐问题可以自然地表示为排名问题。虽然大部分的协同排名方法假设静态的排名数据,时间信息,以提高排名性能的重要性越来越明显。深度学习的最新进展,特别是除了在自然语言处理中广泛使用的RNN和CNN之外,还发现了各种注意力机制和更新的架构,使我们能够更好地利用每个用户参与的项目的时间排序。特别是,SASRec模型受到自然语言处理中流行的Transformer模型的启发,在时间协作排名问题上取得了最先进的结果,并且与早期的CNN相比,速度提高了10倍以上/基于RNN的方法。然而,SASRec本质上是一个非个性化的模型,不包括个性化的用户嵌入。为了克服这一限制,我们提出了一个个性化的Transformer(SSE-PT)模型,在5个真实世界的数据集上,NDCG@10方面的性能比SASRec高出近5%。此外,在检查了一些随机用户的参与历史和相应的注意力热图在推理阶段使用,我们发现我们的模型不仅是更可解释的,而且能够集中在最近的参与模式为每个用户。此外,我们的SSE-PT模型稍加修改,我们称之为SSE-PT++,可以处理极长的序列,并在训练速度相当的情况下在排名结果方面优于SASRec,在性能和速度要求之间取得平衡。代码和数据在https://github.com/wuliwei9278/SSE-PT上开源。
2019-08-15 cs.IR cs.LG stat.ML
Patches Are All You Need?
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
虽然卷积网络多年来一直是视觉任务的主导架构,但最近的实验表明,基于transformer的模型,最著名的是视觉Transformer(ViT),在某些设置中可能会超过它们的性能。然而,由于Transformers中自注意层的二次运行时间,ViT需要使用补丁嵌入,将图像的小区域组合在一起成为单个输入特征,以便应用于更大的图像尺寸。这就提出了一个问题:ViT的性能是由于固有的更强大的Transformer架构,还是至少部分由于使用补丁作为输入表示?在本文中,我们提出了后者的一些证据:具体来说,我们提出了ConvMixer,这是一个非常简单的模型,在精神上类似于ViT和更基本的MLP混合器,因为它直接在补丁上操作作为输入,分离空间和通道维度的混合,并在整个网络中保持相同的大小和分辨率。然而,相比之下,ConvMixer仅使用标准卷积来实现混合步骤。尽管它很简单,但我们证明了ConvMixer在类似的参数计数和数据集大小方面优于ViT,MLP-Mixer及其一些变体,此外还优于ResNet等经典视觉模型。我们的代码可在https://github.com/locuslab/convmixer上获得。
2022-01-24 cs.AI cs.CV cs.LG
Transformer Is Inherently a Causal Learner
Halıcıoğlu Data Science Institute(哈利奇奥格鲁数据科学研究所);University of California San Diego(加州大学圣地亚哥分校);ABEL Intelligence, Inc.(ABEL智能公司)
本文证明Transformer通过自回归训练自然编码因果结构,无需显式因果目标即可恢复因果图,且在复杂场景中表现优于传统方法。
2026-01-09 cs.AI cs.LG
X-SiT: Inherently Interpretable Surface Vision Transformers for Dementia Diagnosis
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
提出首个内在可解释的表面视觉Transformer(X-SiT),通过原型表面补丁解码器结合皮层原型进行基于案例的推理,在阿尔茨海默病和额颞叶痴呆检测中达到最先进性能并提供符合疾病模式的可解释原型。
2026-11-10 cs.CV cs.GR cs.LG
Chain of Thought Empowers Transformers to Solve Inherently Serial Problems
Stanford University(斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Google(谷歌)
本文从理论上证明思维链(CoT)能赋予低深度Transformer执行内在串行计算的能力,使其突破常数深度并行计算的表达能力上界,并在实验中显著提升了置换群复合等串行任务的准确率。
2024-09-21 cs.CC cs.LG stat.ML
Prediction of Herd Life in Dairy Cows Using Multi-Head Attention Transformers
University of Technology Sydney(悉尼科技大学)
本研究利用多头注意力变换器模型,通过历史多变量时间序列数据预测奶牛群体寿命,实现了83%的预测准确率,为奶牛群管理提供了实用工具。
2025-11-26 cs.LG
VUT: Versatile UI Transformer for Multi-Modal Multi-Task User Interface Modeling
Google Research(谷歌研究院)
用户界面建模本质上是多模态的,它涉及几种不同类型的数据:图像、结构和语言。任务也是多种多样的,包括目标检测、语言生成和接地。在本文中,我们提出了VUT,一个多功能的UI Transformer,需要多模态输入,同时完成5个不同的任务,同一模型。我们的模型由一个多模态Transformer编码器组成,该编码器联合编码UI图像和结构,并在输入中不存在UI结构时执行UI目标检测。我们的模型还包括一个自回归Transformer模型,它对语言输入进行编码,并对输出进行解码,用于回答与UI相关的问题和命令。我们的实验表明,对于大多数任务,当针对多任务进行联合训练时,VUT大大减少了执行多个任务所需的模型和足迹的数量,同时实现了超过或等同于为每个任务训练的基线模型的准确性。
2021-12-10 cs.AI cs.CV cs.HC
TransZero: Parallel Tree Expansion in MuZero using Transformer Networks
Delft University of Technology, The Netherlands(代尔夫特理工大学,荷兰)
TransZero通过Transformer网络同时生成多个潜在状态并结合MVC评估器,消除了MCTS的序列瓶颈,实现了并行子树扩展,在保持样本效率的同时将实际时间加速了11倍。
2025-09-14 cs.AI cs.LG
How Transformers Learn to Plan via Multi-Token Prediction
University of California, Los Angeles(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学);University of Pennsylvania(宾夕法尼亚大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究院先进智能项目中心);The Institute of Statistical Mathematics(统计数学研究所)
本文研究多令牌预测如何促进推理,特别是规划,通过实验和理论分析展示其优于单令牌预测的性能及背后的机制。
2026-07-28 cs.AI cs.LG
On the Reasoning Abilities of Masked Diffusion Language Models
ETH Zürich(苏黎世联邦理工学院);Allen Institute for AI(人工智能研究所)
本文研究了掩码扩散模型在推理任务中的能力,通过与链式思维和填充循环变压器框架对比,证明了其在有限精度对数宽度下与多项式填充PLTs等效,并展示了其在解决特定问题时的高效性。
2026-04-26 cs.AI cs.CL cs.LG
MeshTok: Efficient Multi-Scale Tokenization for Scalable PDE Transformers
School of Mathematical Sciences, University of Science(科学学院,科学大学);Suzhou Institute for Advanced Research, University of Science(先进研究院,科学大学)
提出受自适应网格细化启发的MeshTok框架,通过多尺度分词化在统一Transformer中同时捕获粗粒度全局上下文和细粒度局部细节,改善PDE建模的效率-准确率权衡。
2026-06-03 cs.LG cs.NA math.NA
StagFormer: Time Staggering Transformer Decoding for RunningLayers In Parallel
Google(谷歌);Google Research(谷歌研究)
提出StagFormer架构,通过沿序列轴交错执行打破层间依赖,实现Transformer解码深度并行,提升速度且保持质量,并探索权重共享、窗口注意力及多段扩展。
2025-08-26 cs.AI cs.LG
Multilingual LLMs Inherently Reward In-Language Time-Sensitive Semantic Alignment for Low-Resource Languages
Indian Institute of Technology Delhi(印度德里理工学院);Wipro Research(威普罗研究院)
针对低资源语言时间推理不足,提出CLiTSSA方法及mTEMPREASON数据集,利用语言内语义对齐提升性能,在罗马尼亚语、德语和法语上超越基线。
2025-02-24 cs.AI cs.CL cs.LG
Bubbleformer: Forecasting Boiling with Transformers
University of California, Irvine(加州大学尔湾分校);Argonne National Laboratory(阿贡国家实验室);UIUC(伊利诺伊大学香槟分校)
针对现有神经PDE代理模型无法自主预测沸腾动力学、难以模拟流动沸腾速度场的问题,提出融合分解轴向注意力等机制的Bubbleformer模型,发布BubbleML 2.0数据集,在两相沸腾流任务中取得新基准结果。
2025-07-28 cs.AI cs.CE cs.LG