Video Quality Assessment Based on Swin TransformerV2 and Coarse to Fine Strategy
University of Science and Technology of China(中国科学技术大学)
本文提出一种基于Swin Transformer V2和由粗到细对比策略的无参考视频质量评估方法,通过增强空间感知与轻量时序融合模块提升对不同码率压缩视频的质量判别能力。
2024-01-16 cs.CV cs.LG eess.IV
Action Quality Assessment using Transformers
动作质量评估(AQA)是基于视频的应用中的一个活跃的研究问题,这是一个具有挑战性的任务,由于每帧的分数方差。现有的方法通过基于卷积的方法来解决这个问题,但受到其有效捕获长程依赖性的限制。随着Transformers的最新进展,我们表明它们是传统的基于卷积的架构的合适替代方案。具体来说,基于transformer的模型是否可以通过有效地捕获远程依赖关系,并行计算并为潜水视频提供更广泛的接受域来解决AQA的任务?为了证明我们提出的架构的有效性,我们进行了全面的实验,并取得了竞争力的斯皮尔曼相关性得分为0.9317。此外,我们还探讨了超参数对模型性能的影响,为在AQA中开发Transformers提供了一条新的途径。
2022-07-20 cs.CV cs.LG
Your Transformer is Secretly Linear
AIRI;Skoltech(斯科尔泰克理工学院);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);HSE University(高等经济大学);SberAI
该研究发现Transformer解码器层间嵌入变换存在近完美线性关系,验证了高线性模块移除/近似对性能影响小,还提出余弦相似度正则化在降低线性度的同时提升基准性能,刷新了对Transformer架构的认知。
2024-05-19 cs.AI cs.CL cs.LG
Transformers Learn to Achieve Second-Order Convergence Rates for In-Context Linear Regression
University of Southern California(南加州大学)
本文证明Transformers在上下文线性回归中学会近似二阶优化方法,其收敛速率与迭代牛顿法相似且远快于梯度下降,并在病态数据上表现优异。
2024-11-16 cs.AI cs.CL cs.LG
Attention Down-Sampling Transformer, Relative Ranking and Self-Consistency for Blind Image Quality Assessment
King Fahd University of Petroleum and Minerals(法赫德国王石油与矿业大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(沙特数据与人工智能局-法赫德国王石油与矿业大学人工智能联合研究中心)
该研究针对无参考图像质量评估任务,结合注意力下采样Transformer与CNN提取多尺度特征,引入相对排序强化主客观评估关联,提出自一致性自监督方法提升模型鲁棒性,在多个数据集上取得SOTA性能,小数据集优势更明显。
2024-09-11 cs.AI cs.CV cs.LG
Scaling Transformers for Low-Bitrate High-Quality Speech Coding
Stability AI(稳定性人工智能公司)
针对语音标记化任务,本研究扩展大参数Transformer架构并结合灵活有限标量量化(FSQ)瓶颈,在400或700比特/秒极低比特率下实现最先进语音质量,且在主客观测试中显著优于现有基准。
2024-11-29 cs.AI cs.LG cs.SD
Long Range Arena: A Benchmark for Efficient Transformers
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
Transformers不能很好地扩展到长序列长度,这主要是因为二次自注意复杂度。在最近几个月里,已经提出了一系列高效、快速的Transformers来解决这个问题,而不是声称比普通Transformer模型更好或可比较的模型质量。到目前为止,对于如何评估这类模型还没有达成共识。此外,在广泛的任务和数据集上不一致的基准测试使得难以评估许多模型之间的相对模型质量。本文提出了一个系统的和统一的基准,LRA,专门专注于评估模型质量下的长上下文场景。我们的基准测试是一套任务,包括从$1K$到$16K$令牌的序列,涵盖了广泛的数据类型和形式,如文本,自然,合成图像和数学表达式,需要相似性,结构和视觉空间推理。我们系统地评估了10个成熟的长距离Transformer模型(Reformers,Linformers,Linear Transformers,Sinkhorn Transformers,Performers,Synthesizers,Sparse Transformers和Longformers)在我们新提出的基准套件。LRA为更好地理解这类高效的Transformer模型铺平了道路,促进了这一方向的更多研究,并提出了新的挑战性任务。我们的基准代码将在https://github.com/google-research/long-range-arena上发布。
2020-11-08 cs.AI cs.CL cs.CV
Making Asynchronous Stochastic Gradient Descent Work for Transformers
University of Edinburgh(爱丁堡大学)
异步随机梯度下降(SGD)从速度的角度来看是有吸引力的,因为工人不等待同步。然而,Transformer模型与异步SGD的收敛性较差,导致与同步SGD相比质量显著降低。为了研究为什么会出现这种情况,我们隔离了异步和同步方法之间的差异,以研究批量大小和过期效应。我们发现,总结几个异步更新,而不是立即应用它们,恢复收敛行为。通过这种混合方法,神经机器翻译任务的Transformer训练在单节点多GPU训练中达到了近1.36倍的收敛水平,而对模型质量没有影响。
2019-06-08 cs.CL cs.LG
Parallelizing Linear Transformers with the Delta Rule over Sequence Length
Massachusetts Institute of Technology(麻省理工学院);Soochow University(苏州大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
具有线性注意力的Transformers(即,线性Transformers)和状态空间模型最近被建议作为具有softmax关注的Transformers的可行线性时间替代。然而,这些模型仍然不如transformer,特别是在需要上下文检索的任务上。虽然已经发现用增量规则(DeltaNet)替换线性Transformers中的加法更新的线性Transformers的更有表现力的变体在关联召回方面更有效,但是用于训练这种模型的现有算法在序列长度上不并行化,因此在现代硬件上训练效率低下。这项工作描述了一个硬件高效的算法,用于训练线性Transformers的delta规则,它利用了一个内存高效的表示计算产品的Householder矩阵。该算法允许我们将DeltaNet扩展到标准语言建模设置。我们训练了一个1.3B模型,用于100 B令牌,发现它在下游任务的困惑和zero-shot性能方面优于最近的线性时间基线,如Mamba和GLA。我们还对两个混合模型进行了实验,这些模型将DeltaNet层与(1)每隔一层的滑动窗口注意力层或(2)两个全局注意力层相结合,并发现这些混合模型的性能优于强Transformer基线。
2025-01-15 cs.CL cs.LG
All Bark and No Bite: Rogue Dimensions in Transformer Language Models Obscure Representational Quality
Cornell University(康奈尔大学)
相似性度量是理解语言模型如何表示和处理语言的重要工具。标准的表示相似性度量,如余弦相似性和欧氏距离,已成功地用于静态词嵌入模型,以了解如何在语义空间中的词集群。最近,这些措施已被应用到嵌入的上下文模型,如BERT和GPT-2。在这项工作中,我们提出了这样的措施的信息性的问题,语境化的语言模型。我们发现,少数的流氓维度,往往只有1-3,这些措施占主导地位。此外,我们发现主导相似性度量的维度与对模型行为很重要的维度之间存在显著的不匹配。我们表明,简单的后处理技术,如标准化能够纠正流氓尺寸,并揭示潜在的代表性质量。我们认为,占流氓尺寸是必不可少的任何相似性为基础的分析上下文语言模型。
2021-09-09 cs.CL cs.LG
UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
Yeshiva University(耶鲁大学)
UrbanAI 2025挑战通过对比线性与Transformer模型,发现线性模型在长周期外生温度预测中表现更优,DLinear在所有划分中均取得最佳准确率。
2025-12-11 cs.AI cs.LG
The Surprising Effectiveness of Shared Memory in Looped Transformers
IBM Research(IBM研究院);Cornell University(康奈尔大学)
循环Transformer中共享内存可提升质量并大幅减少内存使用,新模型LPT及其混合变体在FineWeb-Edu上以更少内存取得更低困惑度。
2026-10-05 cs.AI cs.LG
Transformer-VQ: Linear-Time Transformers via Vector Quantization
本文提出Transformer-VQ,通过向量量化键和新颖缓存机制实现线性时间稠密自注意力,在多个基准上取得有竞争力的质量,并在长序列上显著快于二次时间Transformer。
2024-02-25 cs.CL cs.CV cs.LG
Linear attention is (maybe) all you need (to understand transformer optimization)
MIT EECS(麻省理工学院电气工程与计算机科学系);MIT LIDS(麻省理工学院信息与决策系统实验室);KAIST(韩国科学技术院);KAIST ISysE(韩国科学技术院工业系统工程系);KAIST AI(韩国科学技术院人工智能学院);MIT CEE(麻省理工学院土木工程与环境工程系)
本研究通过线性化浅层Transformer模型重现训练动态,证明其可作为理解Transformer优化的有效抽象。
2024-03-13 cs.AI cs.LG math.OC
CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation(博士公司);Indiana University(印第安纳大学)
语音质量评估已经成为许多语音通信相关应用(如电话和在线会议)的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面,非侵入式主观测量是评估语音质量的“金标准”,因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中,我们提出了一种新的端到端的模型结构,称为卷积上下文感知Transformer(CCAT)网络来预测人类评分员的平均意见得分(MOS)。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型,并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明,CCAT提供了有前途的MOS预测相比,目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数(PCC)从0.530增加到0.697和平均RMSE从0.768下降到0.570相比,挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University(三重大学教育学部)
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解,通过层归一化近似获得解,以区别于基于梯度下降算法的近似解,并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
Verb Conjugation in Transformers Is Determined by Linear Encodings of Subject Number
New York University(纽约大学)
本文通过因果干预分析证明,BERT的动词变位能力依赖于主语数的线性可解释编码,该编码在不同网络层中呈现位置分布差异。
2023-10-23 cs.AI cs.CL cs.LG
ViTNT-FIQA: Training-Free Face Image Quality Assessment with Vision Transformers
Fraunhofer IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
ViTNT-FIQA通过测量视觉变换器中间块补丁嵌入演变的稳定性,实现无训练的面部图像质量评估,具有高效计算和广泛适用性。
2026-01-09 cs.CV cs.LG
Spatiotemporal Graph Transformer for 3D Neighborhood Interaction and Quality Prediction in Metal Additive Manufacturing
Department of Industrial Engineering(工业工程系)
提出一种时空图Transformer,通过加权网络表示和双注意力机制建模3D邻域交互,显著提升金属增材制造质量预测性能。
2026-06-08 cs.LG
On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Information Science, Guangdong University of Finance and Economics(广东财经大学信息学院)
本文研究了Transformer在Maxout网络和连续分段线性函数中的表达能力,通过分析线性区域数量揭示了Transformer的理论表达性。
2026-03-03 cs.AI cs.LG
The Devil in Linear Transformer
SenseTime Research(商汤科技研究院);Australian National University(澳大利亚国立大学);OPPO Research Institute(OPPO研究院);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
线性Transformers的目标是降低vanilla Transformers的二次空间-时间复杂度。然而,他们通常遭受各种任务和语料的性能下降。在本文中,我们研究了现有的基于内核的线性Transformers,并确定了两个关键问题,导致这种性能差距:1)在注意力计算的无界梯度的线性Transformer模型的收敛性产生不利影响; 2)注意力稀释,平凡地分布在长序列的注意力得分,而忽略了相邻的结构。为了解决这些问题,我们首先确定注意力矩阵的缩放是无界梯度中的魔鬼,这在线性注意力中是不必要的,因为我们从理论和经验上证明了这一点。为此,我们提出了一个新的线性注意力,取代了缩放操作的归一化,以稳定梯度。对于注意力稀释的问题,我们利用对角注意力将注意力限制在早期层中的相邻标记上。受益于稳定的梯度和改进的注意力,我们的新线性Transformer模型transNormer在文本分类和语言建模任务以及具有挑战性的Long-Range Arena基准测试中表现出卓越的性能,明显超过了vanilla Transformer和现有的线性变体,同时具有更高的时空效率。该代码可在https://github.com/OpenNLPLab/Transnormer上获得。
2022-10-19 cs.CL cs.LG
Linearizing Transformer with Key-Value Memory
Meta AI;The Chinese University of Hong Kong(香港中文大学)
已经开发了具有线性时间复杂度的高效Transformer变体,以减轻普通Transformer的二次计算开销。其中有低秩投影方法,如Linformer和基于内核的Transformers。尽管它们具有独特的优点,但在许多序列生成任务上,它们通常遭受与vanilla Transformer相比的性能下降,并且在生成时间较短时通常无法获得计算增益。我们提出了MemSizer,一种缩小性能差距的方法,同时提高效率,即使是短世代。它将源序列投影到像Linformer这样的低维表示中,同时享受类似于基于内核的Transformers的高效递归式增量计算。这在推理时产生线性计算时间和恒定的内存复杂度。MemSizer还采用了轻量级的多头机制,使计算与单头模型一样轻。我们证明,MemSizer提供了一个改进的平衡效率和准确性的香草Transformer和其他有效的Transformer变种在三个典型的序列生成任务,包括机器翻译,抽象的文本摘要,语言建模。
2022-10-13 cs.CL cs.LG
Linear algebra with transformers
Meta AI
Transformers只能从示例中学习执行数值计算。我研究了线性代数的九个问题,从基本的矩阵运算到特征值分解和求逆,并介绍和讨论了表示实数的四种编码方案。在所有问题上,在随机矩阵集上训练的Transformers都达到了高精度(超过90%)。该模型对噪声具有鲁棒性,并且可以推广到其训练分布之外。特别是,训练来预测拉普拉斯分布特征值的模型可以推广到不同类型的矩阵:维格纳矩阵或具有正特征值的矩阵。反之则不然。
2022-11-08 cs.CL cs.LG
AirFormer: Predicting Nationwide Air Quality in China with Transformers
National University of Singapore(新加坡国立大学);JD Intelligent Cities Research & JD iCity, JD Technology(京东科技京东智能城市研究院与京东城市);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Shanghai Jiao Tong University(上海交通大学)
空气污染是影响人类健康和生计的关键问题,也是经济和社会增长的障碍之一。空气质量预测已成为一项日益重要的工作,具有重大的社会影响,特别是在中国等新兴国家。在本文中,我们提出了一种新的Transformer架构,称为AirFormer,以前所未有的精细空间粒度覆盖数千个位置,共同预测中国全国范围内的空气质量。AirFormer将学习过程分为两个阶段:1)自下而上的确定性阶段,包含两种新型的自我注意机制,以有效地学习时空表示; 2)自上而下的随机阶段,包含潜在变量,以捕获空气质量数据的内在不确定性。我们使用中国大陆1,085个站点的4年数据对AirFormer进行了评估。与最先进的模型相比,AirFormer在72小时的未来预测中减少了5%~8%的预测误差。我们的源代码可以在https://github.com/yoshall/airformer上找到。
2022-11-29 cs.LG eess.SP
Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors
Facebook AI Research(脸书人工智能研究院);Berkeley AI Research (BAIR), UC Berkeley(加州大学伯克利分校伯克利人工智能研究院(BAIR));New York University(纽约大学);Redwood Center for Theoretical Neuroscience, UC Berkeley(加州大学伯克利分校雷德伍德理论神经科学中心)
本文提出利用字典学习将Transformer的上下文嵌入表示为Transformer因子的线性叠加,通过可视化揭示其捕获的层次语义结构(如词级多义消歧、句级模式形成和长距离依赖),为理解Transformer网络内部机制提供了新见解。
2023-04-04 cs.CL cs.LG
Evaluating Vision Transformer Models for Visual Quality Control in Industrial Manufacturing
iteratec GmbH(iteratec 有限公司);University of Applied Sciences Karlsruhe(卡尔斯鲁厄应用技术大学);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
本文评估视觉Transformer与异常检测方法的组合,在MVTecAD和BTAD上寻找适合工业制造的小型快速高效质检模型,并提供选型指南。
2024-11-22 cs.AI cs.CV cs.LG
IO Transformer: Evaluating SwinV2-Based Reward Models for Computer Vision
本研究提出基于SwinV2的IO Transformer等计算机视觉奖励模型,验证其在输入依赖场景下的高评估准确率,并发现原始SwinV2在非完全输入依赖场景中表现更优,拓展了Transformer在视觉奖励建模领域的应用。
2024-10-31 cs.CV cs.LG
Traj-Transformer: Diffusion Models with Transformer for GPS Trajectory Generation
Worcester Polytechnic Institute(沃斯特理工学院);San Diego State University(圣地亚哥州立大学);Guangzhou University(广州大学);Lenovo Group Limited(联想集团有限公司)
本文提出Trajectory Transformer,利用Transformer骨干网络替代卷积架构进行GPS轨迹生成,通过两种坐标嵌入策略,显著提升生成质量并减少偏差。
2025-10-07 cs.AI cs.LG
Higher Order Linear Transformer
Paris Saclay University(巴黎萨克雷大学);Laboratory of Signal and System (L2S)(信号与系统实验室(L2S))
继Katharopoulos等人的文章中的线性Transformer部分之后,从Shen等人那里得到了这个想法,重新使用为注意力机制产生线性复杂度的技巧,并将其扩展到softmax归一化的二阶近似。
2020-10-28 cs.LG
DProQ: A Gated-Graph Transformer for Protein Complex Structure Assessment
University of Missouri(密苏里大学)
蛋白质相互作用形成复合物以执行基本的生物功能。计算方法已经发展到预测蛋白质复合物的结构。然而,在蛋白质复合物结构预测中的一个重要挑战是在没有相应的天然结构的任何知识的情况下估计预测的蛋白质复合物结构的质量。然后,这种估计可以用于选择高质量的预测复杂结构,以促进生物医学研究,如蛋白质功能分析和药物发现。我们用DProQ挑战这一重要任务,DProQ引入了门控邻域调制图Transformer(GGT),旨在预测3D蛋白质复合物结构的质量。值得注意的是,我们将节点和边缘门在一个新的图形Transformer框架控制信息流在图形消息传递。我们训练和评估DProQ上四个新开发的数据集,我们公开在这项工作中。我们严格的实验表明,DProQ在对蛋白质复合物结构进行排名方面达到了最先进的性能。
2022-05-21 cs.AI cs.LG q-bio.BM
Trained Transformers Learn Linear Models In-Context
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
研究单层线性自注意力Transformer通过梯度流学习线性回归的上下文学习机制,证明其能找到全局最优且媲美最佳线性预测器,并揭示其对协变量分布偏移的脆弱性及大型非线性架构的鲁棒性。
2023-10-19 cs.AI cs.CL cs.LG
Raw Produce Quality Detection with Shifted Window Self-Attention
Togi Inc.(Togi公司)
随着气候变化速度加快和人口迅速增加,预计未来几十年全球粮食不安全状况将进一步恶化。因此,必须消除粮食生产各个层面的低效率。深度学习的最新进展可以帮助减少这种低效率,但它们的应用尚未成为整个行业的主流,导致大规模的经济成本。为此,诸如CNN(卷积神经网络)的现代技术已经被应用于RPQD(原产品质量检测)任务。另一方面,Transformer在其他模式中的成功亮相使我们期望RPQD中这些基于Transformer的模型具有更好的性能。在这项工作中,我们专门研究了最近的国家的最先进的Swin(移位窗口)Transformer,它计算在两个窗口内和窗口间的时尚自我注意。我们比较Swin Transformer对CNN模型的四个RPQD图像数据集,每个包含不同种类的原料:水果和蔬菜,鱼,猪肉和牛肉。我们观察到Swin Transformer不仅实现了更好或具有竞争力的性能,而且数据和计算效率高,使其成为现实世界中实际部署的理想选择。据我们所知,这是第一个大规模的实证研究RPQD任务,我们希望在未来的工作中得到更多的关注。
2021-12-24 cs.AI cs.CV cs.LG
NN-LUT: Neural Approximation of Non-Linear Operations for Efficient Transformer Inference
NAVER AI Lab(NAVER人工智能实验室);NAVER Clova;SAIT(三星高级技术研究院);Hanyang University(汉阳大学)
GELU、层归一化和Softmax等非线性操作是Transformer模型的基本但昂贵的构建块。一些现有的工作简化了这些操作与查找表或整数计算,但这样的近似遭受较差的精度或相当大的硬件成本与长的延迟。本文提出了一个准确的和硬件友好的近似框架,有效的Transformer推理。我们的框架采用了一个简单的神经网络作为一个通用的逼近器,其结构等价地转换成一个LUT。提出的框架称为NN-LUT可以准确地取代流行的BERT模型中的所有非线性操作,并显着减少面积,功耗和延迟。
2021-12-03 cs.AI cs.LG
The prediction of the quality of results in Logic Synthesis using Transformer and Graph Neural Networks
Ningbo University(宁波大学);University of New South Wales(新南威尔士大学)
本文提出基于Transformer和图神经网络的深度学习方法,用于预测逻辑综合结果的质量,实验表明该方法在预测精度上表现最佳。
2025-12-15 cs.AR cs.LG
Controlling Computation versus Quality for Neural Sequence Models
Google Research(谷歌研究院)
大多数神经网络对每个例子都使用相同的计算量,而与输入的固有复杂性无关。此外,使计算量适应示例的方法集中于每个示例找到固定的推理时间计算图,忽略任何外部计算预算或变化的推理时间限制。在这项工作中,我们利用条件计算,使神经序列模型(Transformer)更有效和计算感知推理。我们首先修改了Transformer架构,使每组操作都可以根据学习的控制网络的输出有条件地执行。然后,我们在多任务设置中训练该模型,其中每个任务对应于特定的计算预算。这允许我们训练单个模型,该模型可以被控制以在计算质量权衡曲线的不同点上操作,这取决于推断时的可用计算预算。我们在两个任务上评估我们的方法:(i)WMT英法翻译和(ii)无监督表示学习(BERT)。我们的实验表明,所提出的条件计算Transformer(CCT)是有竞争力的香草Transformers时,允许利用其全部计算预算,同时提高显着的计算等效基线时,较小的计算预算。
2020-04-16 cs.CL cs.LG stat.ML
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);University of Geneva(日内瓦大学)
Transformers在几个任务中实现了卓越的性能,但由于其二次复杂性,相对于输入的长度,它们对于非常长的序列是非常慢的。为了解决这一问题,我们将自注意力表示为核特征映射的线性点积,并利用矩阵积的结合性将复杂度从$\mathcal{O}\left(N^2\right)$降低到$\mathcal{O}\left(N\right)$,其中$N$是序列长度.我们表明,这种提法允许迭代实现,大大加快自回归Transformers,并揭示了它们的关系,经常性的神经网络。我们的线性Transformers实现了与vanilla Transformers相似的性能,并且在对非常长的序列进行自回归预测时,它们的速度快达4000倍。
2020-08-31 cs.LG stat.ML
Flexformer: Flexible Linear Transformer with Learnable Attention Kernel
Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计科学研究中心与统计学院)
提出Flexformer,通过将随机傅里叶特征中的频谱频率作为可训练参数,实现数据驱动的注意力核学习,在保持线性复杂度的同时提升表达能力,并在语言建模和序列分类任务上优于基线。
2026-06-29 cs.AI cs.LG
Gated Linear Attention Transformers with Hardware-Efficient Training
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出硬件高效的线性注意力算法 FLASHLINEARATTENTION 及其门控变体 GLA Transformer,在中等规模语言建模中性能媲美 LLaMA、RetNet 和 Mamba,且在长度泛化和训练吞吐量上表现优异。
2024-08-27 cs.CL cs.LG
Linear Transformers are Versatile In-Context Learners
Google Research(谷歌研究院);Google(谷歌公司);Duke University(杜克大学)
该研究证明线性Transformer每层可执行带预条件的梯度下降变体,且能在含噪数据场景下自发发现结合动量与自适应重缩放的高效优化算法,展现出发现复杂优化策略的惊人能力。
2024-10-30 cs.LG
TransFusion: Generating Long, High Fidelity Time Series using Diffusion Models with Transformers
Linköping University(林雪平大学)
针对GAN生成长序列时间序列数据的局限,提出基于扩散和Transformer的生成模型TransFusion,将序列长度扩展至384,并引入两个评估指标,在多种视觉和经验评估上显著超越现有最先进方法。
2024-04-24 cs.LG
Going Beyond Linear Transformers with Recurrent Fast Weight Programmers
The Swiss AI Lab, IDSIA(瑞士人工智能实验室,IDSIA);University of Lugano (USI)(卢加诺大学 (USI));SUPSI;King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学 (KAUST))
具有线性化注意力的Transformers(“线性transformers”)已经证明了90年代基于外积的快速权重编程器(FWP)的实际可扩展性和有效性。然而,原始的FWP公式比线性Transformers公式更通用:一个缓慢的神经网络(NN)不断地重新编程具有任意结构的快速NN的权重。在现有的线性Transformers中,两个NN都是前馈的并且由单层组成。在这里,我们通过向慢网和快网添加递归来探索新的变化。我们评估我们的新的经常性FWP(RFWP)的两个合成算法任务(代码执行和顺序ListOps),Wikitext-103语言模型,和Atari 2600 2D游戏环境。我们的模型展示了Transformers和RNN的特性。在强化学习设置中,我们报告了几个Atari游戏中LSTM的大幅改进。代码是公开的。
2021-10-26 cs.LG
Flowformer: Linearizing Transformers with Conservation Flows
Tsinghua University(清华大学)
基于注意力机制的Transformers在各个领域都取得了令人瞩目的成功。然而,注意力机制具有二次复杂性,这显著阻碍了Transformers处理大量令牌并扩展到更大的模型。以往的方法主要是利用矩阵乘法的相似性分解和结合性来设计线性时间的注意力机制。它们通过重新引入诸如局部性之类的归纳偏差,从而以牺牲模型的通用性和表达性为代价,避免了注意力退化到一个平凡的分布。在本文中,我们线性化的Transformers从特定的感性偏见的基础上的流网络理论。我们将注意力视为通过学习流能力(注意力)从源(值)聚集到汇(结果)的信息流。在此框架下,我们将流守恒的性质应用到注意中,提出了线性复杂度的流-注意力机制。通过分别保存源竞争和源分配的源的流出的流入的汇,流注意固有地产生信息的注意力,而不使用特定的归纳偏差。在Flow-Attention的支持下,Flowformer在线性时间内为广泛的领域提供强大的性能,包括长序列,时间序列,视觉,自然语言和强化学习。代码和设置可在以下存储库中找到:https://github.com/thuml/Flowformer。
2022-06-16 cs.AI cs.LG
Linear Transformers as VAR Models: Aligning Autoregressive Attention Mechanisms with Autoregressive Forecasting
Georgia Institute of Technology(佐治亚理工学院)
本文提出SAMoVAR,一种将Transformer架构与自回归目标对齐的线性变换器变体,通过整合可解释的动态VAR权重,提升时间序列预测的性能和可解释性。
2026-02-05 cs.AI cs.LG stat.ML
FlexiDiT: Your Diffusion Transformer Can Easily Generate High-Quality Samples with Less Compute
Meta GenAI;KAIST(韩国科学技术院)
FlexiDiT通过动态分配计算预算,将预训练扩散Transformer转换为灵活模型,在图像和视频生成中分别减少40%和75%的FLOPs,且不损失质量。
2025-02-27 cs.CV cs.LG
A Novel Approach to Classify Power Quality Signals Using Vision Transformers
University of Toronto(多伦多大学);University of Connecticut(康涅狄格大学);Siemens Energy(西门子能源);Concordia University(康考迪亚大学);Khalifa University(哈利法大学)
本文提出将电能质量信号转换为图像并利用预训练视觉Transformer进行分类的新方法,在包含17类扰动的大规模数据集上取得98.28%精确率和97.98%召回率,优于现有方法。
2024-09-04 cs.CV cs.LG eess.IV
Momentum Transformer: Closing the Performance Gap Between Self-attention and Its Linearization
Rice University(莱斯大学);University of Utah(犹他大学)
Transformers在序列建模及其他方面取得了显著的成功,但相对于输入序列的长度,其计算和存储复杂性是二次的。利用技术包括稀疏和线性注意力和散列技巧;已经提出了有效的Transformers来降低Transformers的二次复杂度,但显著降低了准确性。作为回应,我们首先将计算注意力地图中的线性注意力和残差连接解释为梯度下降步骤。然后,我们引入动量到这些组件,并提出了\emph{momentum transformer},它利用动量来提高线性Transformers的精度,同时保持线性存储器和计算复杂性。此外,我们开发了一个自适应策略来计算我们的模型的最佳动量二次优化的基础上的动量值。这种自适应动量消除了搜索最佳动量值的需要,并进一步增强了动量Transformer的性能。在自回归和非自回归任务(包括图像生成和机器翻译)上进行的一系列实验表明,动量Transformer在训练效率和准确性方面优于流行的线性Transformers。
2022-08-01 cs.LG cs.NA math.NA
GLU Variants Improve Transformer
Google(谷歌)
门控线性单位(arXiv:1612.08083)由两个线性投影的分量乘积组成,其中一个投影首先通过sigmoid函数。GLU的变化是可能的,使用不同的非线性(甚至线性)函数代替sigmoid。我们在Transformer(arXiv:1706.03762)序列到序列模型的前馈子层中测试了这些变体,发现其中一些变体比通常使用的ReLU或GELU激活产生了质量改进。
2020-02-12 cs.LG cs.NE stat.ML
Enhancing Power Quality Event Classification with AI Transformer Models
University of Toronto(多伦多大学);Concordia Institute for Information Systems Engineering(康考迪亚信息系统工程学院)
本文提出基于注意力Transformer的深度学习框架,直接对电压信号进行电能质量事件分类,无需特征提取,在噪声、直流偏置及幅频变化下准确率达91.43%–99.81%,优于现有学习方法。
2024-02-22 cs.LG eess.SP
Exact Learning Dynamics of In-Context Learning in Linear Transformers and Its Application to Non-Linear Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Principles of Intelligent Behavior in Biological and Social Systems (PIBBSS)(生物和社会系统智能行为原理)
本文通过分析线性变换器的SGD动力学,揭示了ICL的精确机制,并提出理论工具解释非线性变换器中的ICL现象和泛化行为。
2025-11-22 cond-mat.dis-nn cs.LG
Multi-domain Integrative Swin Transformer network for Sparse-View Tomographic Reconstruction
Sun Yat-sen University(中山大学);China Three Gorges University(三峡大学);The First People’s Hospital of Yichang(宜昌市第一人民医院)
减少投影视图以降低X射线辐射剂量通常会导致严重的条纹伪影。为了提高稀疏数据的图像质量,本文提出了一种多域集成Swin Transformer网络(MIST-net)。首先,MIST-net采用灵活的网络结构,将数据、残差数据、图像和残差图像等丰富的域特征融合在一起,其中残差数据和残差图像子网络被视为数据一致性模块,以消除插值和重建误差。其次,一个可训练的边缘增强滤波器被纳入检测和保护图像的边缘。第三,高质量的重建Swin Transformer(即,Recformer)被设计用于捕获图像全局特征。在48个视图的数值和真实心脏临床数据集上的实验结果表明,我们提出的MIST-net提供了更好的图像质量,具有更多的小特征和尖锐的边缘比其他竞争对手。
2022-04-15 cs.CV cs.LG eess.IV
InAttention: Linear Context Scaling for Transformers
针对Transformer自注意力机制显存随上下文长度二次增长的问题,提出InAttention机制替换自注意力,实现推理时显存线性增长,可在消费级GPU处理长序列,微调能低成本扩展上下文长度,为长距离依赖建模提供可扩展方案。
2024-10-09 cs.LG
Improving the quality of dental crown using a Transformer-based method
École Polytechnique de Montréal(蒙特利尔理工学院);Centre d'intelligence artificielle appliquée (JACOBB)(应用人工智能中心(JACOBB));Intellident Dentaire Inc.(Intellident Dentaire 公司)
设计人造牙冠是一个耗时、不一致且劳动密集型的过程。在这项工作中,我们提出了一种全自动的方法,不仅可以学习人类设计的牙冠,而且还可以提高牙冠的一致性,功能性和美观性。在使用基于transformer的网络完成点云之后,我们将牙冠生成作为准备好的牙齿周围的点云完成来解决问题。为此,我们使用几何感知的Transformer来生成牙冠。我们的主要贡献是将边缘线信息添加到网络中,因为直接生成精确边缘线的精度决定了设计的牙冠和准备好的牙齿是否紧密匹配以允许适当的粘附。使用我们的地面真实牙冠,我们可以提取边缘线作为样条,并将样条采样为1000个点。我们将获得的边缘线与准备好的牙齿的两颗相邻牙齿和相对颌骨中最接近的三颗牙齿一起喂入。我们还将边距线点添加到地面实况表冠,以提高边距线处的分辨率。我们的实验结果表明,当考虑到实际的上下文组成的准备牙齿与边缘线相比,在一个空的空间中产生的冠,如在文献中的其他研究所做的设计冠的质量的改善。
2023-03-04 cs.CV cs.LG
Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context
Massachusetts Institute of Technology(麻省理工学院);Technical University of Munich(慕尼黑工业大学)
本文从理论和实证两方面证明,非线性Transformers能自然在函数空间实现梯度下降,从而在上下文中学习非线性函数,且最优激活选择取决于目标函数类别。
2024-06-04 cs.LG
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS