Transformer World Model for Sample Efficient Multi-Agent Reinforcement Learning
Artificial Intelligence Research Centre (CitAI), City St George’s, University of London(人工智能研究中心(CitAI)、圣乔治大学);Oxford Institute for Energy Studies (OIES), University of Oxford(牛津能源研究所(OIES)、牛津大学)
本文提出多智能体Transformer世界模型(MATWM),结合去中心化想象、半中心化评论家与队友预测,在星际争霸等基准上实现最先进性能,仅需5万次交互即达近最优,显著提升样本效率。
2025-06-23 cs.LG cs.MA
Logistics, Graphs, and Transformers: Towards improving Travel Time Estimation
Sberbank(俄罗斯联邦储蓄银行);Artificial Intelligence Research Institute(人工智能研究院)
行程时间估计问题被广泛认为是现代物流的基本挑战。道路的空间方面和地面运输的时间动态之间相互联系的复杂性质仍然保留了一个试验领域。然而,目前积累的数据总量鼓励构建具有显著优于早期解决方案的前景的学习模型。为了解决行程时间估计问题,提出了一种基于Transformer结构的新方法-- TransTTE。
2022-07-12 cs.AI cs.LG
Improving Predictions of Tail-end Labels using Concatenated BioMed-Transformers for Long Medical Documents
The University of Auckland(奥克兰大学);The University of Waikato(怀卡托大学)
多标签学习在考虑标签相关性的同时,从给定的标签集中预测未知实例的标签子集。多标签分类的一个已知挑战是标签的长尾分布。许多研究专注于改善模型的整体预测,因此没有优先考虑尾端标签。改善医疗文本多标签分类中的尾端标签预测,可以更好地了解患者并改善护理。通过一个或多个不常见的标签获得的知识可能会影响医疗决策和治疗计划的原因。本研究提出了连接特定领域的语言模型,包括多BioMed-Transformers的变化,以实现两个主要目标。首先,在多标签问题中提高不频繁标签的F1分数,特别是长尾标签;其次,处理长医疗文本和多源电子健康记录(EHR),这对于设计用于短输入序列的标准Transformers来说是一项具有挑战性的任务。这项研究的一个重要贡献是使用TransformerXL预测医疗代码获得的新的最先进(SOTA)结果。在重症监护医学信息市场(MIMIC-III)数据库上进行了各种实验。结果表明,串联BioMed-Transformers在整体微观和宏观F1分数以及尾端标签的单个F1分数方面优于标准Transformers,同时对于长输入序列,比现有的基于变压器的解决方案产生更少的训练时间。
2021-12-03 cs.AI cs.LG
Self-supervised Graph Transformer with Contrastive Learning for Brain Connectivity Analysis towards Improving Autism Detection
University of Arizona(亚利桑那大学);Children's National Hospital(儿童国家医院);Imperial College London(伦敦帝国学院)
本文提出一种结合对比学习与随机图改变的自监督图Transformer框架,通过脑网络Transformer编码器分析fMRI数据,在ABIDE数据集上实现82.6 AUROC和74%准确率,显著提升了自闭症检测性能。
2025-01-18 cs.AI cs.LG
Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research, AI Frontiers(微软研究院AI前沿部门)
针对大型语言模型在长度泛化及训练分布外复杂问题上的不足,提出自改进方法,使标准Transformer通过迭代学习自身解决方案,在多样任务中实现远超训练分布的泛化,部分任务性能呈指数级提升。
2025-02-13 cs.AI cs.LG
Improving Sample Efficiency of Value Based Models Using Attention and Vision Transformers
McGill University(麦吉尔大学);Mila(米拉研究所)
最近深度强化学习的大部分成功都归功于神经架构学习和使用有效的世界内部表征的潜力。虽然许多当前算法访问模拟器以利用大量数据进行训练,但是在现实环境中,包括在玩可能与人对抗的游戏时,收集经验可能是相当昂贵的。在本文中,我们介绍了一种深度强化学习架构,其目的是在不牺牲性能的情况下提高样本效率。我们设计这个架构,结合近年来在自然语言处理和计算机视觉领域取得的进展。具体来说,我们提出了一个视觉上的注意力模型,使用变压器学习状态表示的特征图上的自我注意力机制,同时优化返回。我们的经验表明,这种架构提高了几个雅达利环境的样本复杂性,同时也实现了更好的性能,在一些游戏。
2022-02-01 cs.AI cs.LG
Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers
China Electronics Cloud Technology Co., Ltd.(中国电子云科技有限公司)
针对Transformer层间参数冗余,提出跨层共享专家的CS-MoE架构,实现更低困惑度并仅激活55%参数,为计算受限环境提供高效方案。
2026-09-22 cs.AI cs.LG
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology(河内国立大学工程与技术大学 HMI 实验室)
本文提出在GCN中引入Transformer编码器层,通过注意力机制重排节点特征空间,提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology(佐治亚理工学院)
本文提出 LOTUS 方法,通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练,在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
Improving Transformers using Faithful Positional Encoding
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Ikerlan Research Center(伊克尔兰研究中心)
该研究针对Transformer提出一种基于坚实数学基础、可保证不丢失输入序列位置顺序信息的忠实位置编码方法,经实验验证其能系统性提升时间序列分类任务的预测性能。
2024-05-16 cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research(谷歌研究院)
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制,但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此,我们研究了注意力/Transformer网络的训练问题,并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地,我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后,我们将重新表述为一个凸优化问题,这是可解释的,更容易优化。此外,作为凸分析的副产品,我们揭示了一种隐式正则化机制,它可以促进令牌之间的稀疏性。因此,我们不仅改进了注意力/Transformer网络的优化,而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性,通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation
The Hong Kong University of Science and Technology(香港科技大学)
在这篇论文中,我们介绍了Greenformers,一个集合的模型效率的方法来提高最近著名的Transformer模型的效率与低秩近似的方法。深度学习模型的发展趋势是向更复杂、更大的模型发展。虽然它可以带来更好、更准确的预测,但最终的模型成本更高,因为它需要使用大量GPU资源进行数周的训练。特别是,自2017年首次亮相以来,基于transformer的模型的大小和计算成本已从约1亿个参数大幅增加到2021年初的约1.6万亿个参数。这种计算量巨大的模型也给环境带来了巨大的成本,甚至达到了令人担忧的碳足迹水平。其中一些模型是如此庞大,以至于在没有GPU集群的情况下甚至不可能运行模型。Greenformer通过应用低秩近似方法来提高Transformer模型的模型效率。具体来说,我们提出了一种低秩因式分解方法,以提高效率的Transformer模型称为低秩Transformer。我们进一步比较我们的模型与现有的低秩因子分解方法称为Linformer。基于我们的分析,低秩Transformer模型适合于提高处理短序列(<= 512)输入数据的时间和存储器效率,而Linformer模型适合于提高处理长序列输入数据(>= 512)的效率。我们还表明,低秩Transformer更适合于设备上部署,因为它显着减少了模型的大小。此外,我们估计,将LRT应用于现有的BERT基础模型可以显着降低计算,经济…
2021-08-24 cs.AI cs.CC cs.LG
Improving Unimodal Inference with Multimodal Transformers
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
本文提出多分支架构,通过多任务共同训练,使多模态Transformer分支向单模态分支迁移知识,提升单模态模型性能,并在手势识别、情感识别和情感分析任务上验证了有效性。
2023-11-16 cs.LG
Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning
我已经向arXiv提交了一个新版本:1910.13806。我忘记选择替换旧版本,但提交了一个新的。是我的错
2019-10-31 cs.HC cs.LG stat.ML
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence
Microsoft(微软);TU Wien(维也纳工业大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
Transformer-Kernel(TK)模型在TREC深度学习基准测试中表现出了强大的重新排序性能,可以被认为是一种高效的(但效果稍差)替代其他基于Transformer的架构,这些架构采用(i)大规模预训练(高培训成本),(ii)查询和文档的联合编码(高推理成本),以及(iii)更大数量的Transformer层(高训练和高推理成本)。从那时起,TK模型的一个变体--称为TKL --被开发出来,它结合了局部自注意力,在文档排序的上下文中有效地处理较长的输入序列。在这项工作中,我们提出了一种新的构象层作为一种替代方法来扩展TK更长的输入序列。此外,我们将查询词的独立性和显式的长期匹配扩展到完整的检索设置的模型。我们在TREC 2020深度学习赛道的严格盲评估设置下对我们的模型进行了基准测试,发现我们提出的架构更改导致了TKL检索质量的提高。我们的最佳模型在NDCG@10上的性能也优于所有非神经运行(“trad”)和三分之二的基于transformer的预训练运行(“nnlm”)。
2021-04-19 cs.AI cs.IR cs.LG
Improving Precancerous Case Characterization via Transformer-based Ensemble Learning
Freenome
自然语言处理(NLP)在癌症病理报告中的应用一直集中在检测癌症病例上,而在很大程度上忽略了癌前病例。改善癌前腺瘤的特征有助于开发用于早期癌症检测和预防的诊断测试,特别是对于结直肠癌(CRC)。在这里,我们开发了基于transformer的深度神经网络NLP模型来进行CRC表型分析,目的是提取癌前病变属性并区分癌症和癌前病例。我们将患者分为阴性、非晚期腺瘤、晚期腺瘤和CRC的宏F1评分为0.914。我们进一步提高了性能,为0.923使用分类器的癌症状态分类和病变大小命名实体识别(NER)的合奏。我们的研究结果表明,使用NLP来利用真实世界的健康记录数据,以促进早期癌症预防诊断测试的开发。
2022-12-10 cs.LG
Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering
Department of Mathematics(数学系);University of California, Irvine(加州大学 Irvine 分校);Irvine, CA 92617
本文提出在Transformer模型前加入可学习频谱滤波器,提升长时间序列预测性能,减少计算资源消耗并提高模型效率。
2025-08-27 cs.AI cs.LG
Linear Latent World Models in Simple Transformers: A Case Study on Othello-GPT
Harvard University(哈佛大学)
本文通过案例研究Othello-GPT,发现其内部形成了对棋的线性世界表示,该表示在因果上引导决策过程,并受层深度和模型复杂性影响。
2023-10-12 cs.AI cs.LG
Improving Medium Range Severe Weather Prediction through Transformer Post-processing of AI Weather Forecasts
Department of Atmospheric and Climate Science University of Washington(大气科学与气候系华盛顿大学);US NSF National Center for Atmospheric Research(美国NSF大气研究中心)
本研究利用Transformer后处理提升AI天气预报的中等范围严重天气预测能力,通过改进模型结构和训练方法,提高预测准确性和可靠性。
2025-09-21 cs.AI cs.LG physics.ao-ph
Improving Robustness for Vision Transformer with a Simple Dynamic Scanning Augmentation
Kyushu University(九州大学)
本文提出动态扫描增强技术,通过动态输入序列自适应关注不同图像块,将ViT对抗鲁棒性从17%提升至92%,同时保持自然图像准确性。
2023-11-01 cs.AI cs.CV cs.LG
Improving Transformer Models by Reordering their Sublayers
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Facebook AI Research(Facebook人工智能研究院)
多层Transformer网络由交错的自注意和前馈子层组成。以不同的模式对子层进行排序会带来更好的性能吗?我们生成随机排序的Transformers,并用语言建模目标对它们进行训练。我们观察到,其中一些模型能够实现比交错基线更好的性能,并且那些成功的变体往往在底部具有更多的自我注意力,在顶部具有更多的前馈子层。我们提出了一个新的Transformer模式,坚持这一属性,三明治Transformer,并表明,它提高了多个单词级和字符级语言建模基准的困惑,在参数,内存或训练时间没有成本。然而,三明治重新排序模式并不能保证每个任务的性能增益,正如我们在机器翻译模型上所展示的那样。相反,我们建议,需要进一步探索特定于任务的子层重新排序,以解锁额外的收益。
2020-04-23 cs.CL cs.LG
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);Google Research(谷歌研究院);NYU(纽约大学)
针对Transformer算术任务长度泛化差的问题,提出将任务结构嵌入位置编码的位置耦合方法,经实验和理论验证可大幅提升泛化能力,且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
Improving Model Representation and Reducing KV Cache via Skip Connections with First Value Heads
提出SkipV1Former,通过复用首层值头的跳跃连接,在减少约25%KV缓存的同时提升Transformer表示能力,并支持低成本升级训练及与先进方法结合。
2025-10-23 cs.AI cs.LG
Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco(伯南布哥联邦大学)
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样,最新的改进来自基于深度学习方法的模型。然而,经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中,我们提出了使用视觉注意技术,以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类(DAC)的深度图像聚类模型与空间Transformer网络(STN)的组合。该模型在数据集MNIST和FashionMNIST中进行了评估,并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
Transformers Linearly Represent Highly Structured World Models
LaBRI, CNRS University of Bordeaux(LaBRI、CNRS 波尔多大学)
研究探讨了Transformer在训练过程中是否能构建任务的内部模型,并发现其内部表示结构与领域结构相匹配,通过Sudoku求解轨迹训练的Transformer展示了其内部计算机制和稀疏可解释的决策电路。
2026-05-13 cs.AI cs.LG
Learning Transformer-based World Models with Contrastive Predictive Coding
Computer Vision Lab, CAIDAS & IFI, University of Würzburg(计算机视觉实验室、CAIDAS与IFI、乌尔姆大学)
针对基于Transformer的世界模型学习性能受限的问题,提出TWISTER模型,利用动作条件对比预测编码学习高层时间特征,在Atari 100k基准上取得162%的人类标准化平均得分,创下新纪录。
2025-05-25 cs.AI cs.CV cs.LG
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Corporation(微软公司)
最近,基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互,但它不足以捕获短距离局部上下文,这对于准确提取说话人信息至关重要。在这项研究中,我们加强了Transformer与增强局部建模在两个方向。首先,我们提出了局部增强型构象(LE-Confomer),通过引入深度卷积和通道注意到构象块。第二,我们提出了扬声器Swin Transformer(SST)的适应Swin Transformer,最初提出的视觉任务,到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言(MS内部)数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER,优于先前提出的基于Transformer的模型和基于CNN的模型,如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时,所提出的模型取得了令人满意的结果,与Res 2Net 50模型相比,EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
Improving Recursive Transformers with Mixture of LoRAs
NLPIE Research, UK(NLPIE研究机构,英国);University of Zurich, Switzerland(瑞士苏黎世大学);Department of Engineering Science, University of Oxford, UK(牛津大学工程科学系)
通过混合LoRAs改进递归变换器,实现轻量条件计算机制,提升模型表达能力与效率。
2025-12-17 cs.LG
Improving N-gram Language Models with Pre-trained Deep Transformer
Facebook(脸书)
尽管n-gram语言模型(language models,LM)的性能已经被最先进的神经LM所超越,但由于其推理效率高,仍然被广泛应用于语音识别中。在本文中,我们证明了n-gram LM可以通过基于文本生成的数据增强方法由神经LM来改进。与以前的方法相比,我们采用大规模的一般域预训练,然后在域微调策略,以构建基于深度Transformer的神经LM。使用经过良好训练的深度Transformer生成大量域内文本数据,以构建新的n-gram LM,然后使用基线n-gram系统进行插值。对不同语音识别任务的实验研究表明,该方法能有效提高识别准确率。特别是,我们提出的方法带来了显着的相对字出错率减少到6.0%的域有限的域内数据。
2019-11-22 cs.CL cs.LG
Improving the Efficiency of Transformers for Resource-Constrained Devices
NavInfo Europe(欧洲四维图新)
Transformers提供了有希望的准确性,并且已经变得流行并用于诸如自然语言处理和计算机视觉的各种领域。然而,由于其大量的模型参数,内存和计算要求,它们不适合资源受限的低功耗设备。即使使用高性能的专用设备,内存带宽也可能成为性能限制瓶颈。在本文中,我们提出了一个国家的最先进的视觉Transformer在几个设备上的性能分析。我们建议通过聚类模型参数来减少整体内存占用和内存传输。我们表明,通过仅使用64个集群来表示模型参数,可以将从主存储器的数据传输减少4倍以上,在移动设备上实现高达22%的加速比和39%的节能,并且精度损失小于0.1%。
2021-06-30 cs.CV cs.LG
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
University of Notre Dame(圣母大学)
神经序列到序列模型,特别是Transformer,是机器翻译的最新技术。然而,这些神经网络对架构和超参数设置非常敏感。通过网格或随机搜索优化这些设置在计算上是昂贵的,因为它需要许多训练运行。在本文中,我们通过自动调整将架构搜索纳入到单个训练运行中,该自动调整使用正则化在训练过程中删除网络中的神经元。在资源非常少的语言对上,我们发现自动调整大小可以将BLEU分数提高3.9分,同时从模型中删除三分之一的参数。
2019-10-01 cs.CL cs.LG stat.ML
Improving Performance Prediction of Electrolyte Formulations with Transformer-based Molecular Representation Model
IBM Research - Tokyo(IBM东京研究院);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出一种基于Transformer的分子表示模型来捕捉电解质配方表示,并在两个电池性质预测任务上验证其性能优于现有最优方法。
2024-06-28 cs.ET cs.LG
Efficient Feature Interactions with Transformers: Improving User Spending Propensity Predictions in Gaming
Dream11
针对游戏用户消费倾向预测问题,提出改进的Transformer架构以高效捕获特征交互,超越FT-Transformer等基线模型,显著提升MAE和MSE指标。
2024-09-25 cs.LG
Improving Transformers with Probabilistic Attention Keys
FPT Software AI Center(FPT软件人工智能中心);University of California, Los Angeles(加州大学洛杉矶分校);VinUniversity(文大);Deezer Research(Deezer研究院);Rice University(莱斯大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
多头注意力是最先进的Transformers背后的驱动力,它在各种自然语言处理(NLP)和计算机视觉任务中实现了卓越的性能。已经观察到,对于许多应用,这些注意力头学习冗余嵌入,并且其中大多数可以在不降低模型性能的情况下被移除。受此启发,我们提出了Transformer与混合高斯密钥(transformer-MGK),一种新的Transformer架构,取代冗余的头在每个头的混合密钥的变压器。这些键的混合遵循高斯混合模型,并允许每个注意力头有效地集中在输入序列的不同部分。与传统的Transformer相比,Transformer-MGK加速了训练和推理,参数更少,需要计算的FLOP更少,同时在任务中实现了相当或更好的准确性。transformer-MGK也可以很容易地扩展到使用线性注意力。我们经验证明了Transformer-MGK在一系列实际应用中的优势,包括语言建模和涉及很长序列的任务。在Wikitext-103和Long Range Arena基准测试中,具有4个头的Transformer-MGK获得了与具有8个头的基线Transformers相当或更好的性能。
2022-06-13 cs.CL cs.LG stat.ML
Improving Visual Prompt Tuning for Self-supervised Vision Transformers
Seoul National University(首尔国立大学)
针对视觉提示调优在自监督视觉Transformer上表现不佳的问题,提出为每个ViT块学习门控以选择性干预提示令牌的方法,在多项图像分类和语义分割任务上优于现有VPT变体。
2023-06-08 cs.AI cs.CV cs.LG
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
在本文中,我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类(MTGC)的可移植性。特别是,我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估,Trailers 12 k是一个新的手动策划的电影预告片数据集,由12,000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面,例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距,我们提出了双图像和视频Transformer架构(DIViTA),它执行镜头检测,以便将预告片分割成高度相关的片段,为预训练的骨干提供更有凝聚力的输入,并提高可移植性(ImageNet增加1.83%,Kinetics增加3.75%)。我们的研究结果表明,在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外,两个数据集都提供了互补的信息,可以结合起来提高分类性能(与前一个预训练相比,提高了2.91%)。有趣的是,使用轻量级ConvNets作为预训练的骨干,与顶级Transformer相比,分类性能仅下降3.46%,同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
Transformers and Slot Encoding for Sample Efficient Physical World Modelling
Institute for Cognitive Sciences and Technologies(认知科学与技术研究所);National Research Council(国家研究委员会);University of Bologna(博洛尼亚大学);ISTC-CNR
本文提出一种结合Transformers与slot-attention范式的神经架构用于物理世界建模,通过学习物体表征克服了现有方法仅在图像层面运作的局限,在样本效率和性能稳定性上均取得提升。
2024-05-30 cs.AI cs.CV cs.LG
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock(阿拉巴马州立大学)
本文提出一种结合语义相似度过滤机制的混合Transformer模型,以增强Legal-BERT在法律实体识别中的准确率,在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
Improving diagnosis and prognosis of lung cancer using vision transformers: A scoping review
College of Science and Engineering, Hamad Bin Khalifa University(科学与工程学院,哈马德·本·哈利法大学)
本综述总结了2020-2022年间34项研究,指出视觉Transformer在肺癌诊断与预后中日益流行,但缺乏临床转化策略,计算复杂性和临床相关性是未来关键考量。
2023-09-06 cs.AI cs.CV cs.LG
Improving DNS Exfiltration Detection via Transformer Pretraining
School of Electrical Engineering, University of Belgrade(贝尔格莱德大学电气工程学院)
研究变换器预训练对子域级数据外泄检测的影响,通过控制流程验证预训练对分类任务的效果,结果显示在ROC曲线左尾有显著提升,尤其对抗随机初始化基线。
2026-04-09 cs.CR cs.LG
Transformers without Tears: Improving the Normalization of Self-Attention
University of Notre Dame(圣母大学);Amazon AWS AI(亚马逊AWS人工智能)
我们评估了三个简单的、以规范化为中心的变化,以改进Transformer培训。首先,我们证明了预范数残差连接(PreNorm)和较小的初始化可以实现无预热,基于验证的训练,具有较大的学习率。其次,我们提出了使用单个尺度参数(ScaleNorm)的$\ell_2$归一化,以实现更快的训练和更好的性能。最后,我们重申了将词嵌入规范化为固定长度(FixNorm)的有效性。在基于TED Talks的语料库中的五个低资源翻译对上,这些变化总是收敛的,在最先进的双语基线上给出平均+1.1 BLEU,在IWELT的15个英语-越南语上给出新的32.8 BLEU。我们观察到更清晰的性能曲线,更一致的梯度规范,以及激活缩放和解码器深度之间的线性关系。令人惊讶的是,在高资源设置(WMT'14英语-德语)中,ScaleNorm和FixNorm仍然具有竞争力,但PreNorm降低了性能。
2019-12-30 cs.CL cs.LG stat.ML
Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods
Peking University(北京大学);Tsinghua University(清华大学);Microsoft(微软公司)
本文提出次邻接Transformer,通过将注意力限制在与目标点不直接相邻的次邻接邻域来增加异常重构难度,并采用改进的线性注意力实现,在六个真实世界异常检测基准上取得最先进性能。
2024-04-27 cs.LG
MedPCFM: Improving Medical Point Cloud Completion by Integrating Point Transformers and Flow Matching
Department of Measurement and Electronics, AGH University of Krakow(AGH科技大学测量与电子系);Sano Centre for Computational Medicine(Sano计算医学中心)
提出基于PTv3的流匹配方法PCFM用于医学点云补全,在三个数据集上达到最优生成性能,采样步数远少于扩散模型,且PTv3带来高达7倍的速度提升。
2026-06-24 cs.AI cs.CV cs.LG
Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images
本文针对无源目标自适应中的视觉Transformer,提出利用域表示图像(DRIs)通过key元素注入域特定信息,实验表明该方法相比SHOT-B*等基准能提升平均精度并增强域泛化能力。
2023-12-02 cs.AI cs.CV cs.LG
Improving Transformers with Dynamically Composable Multi-Head Attention
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院);ColorfulClouds Technology Co.,Ltd.(彩云科技有限公司)
提出动态可组合多头注意力(DCMHA),通过输入依赖的Compose函数动态组合注意力头,解决MHA头冗余等问题,显著提升Transformer性能且匹配1.7x-2.0x计算量的模型。
2024-06-04 cs.CL cs.LG
Improving Length-Generalization in Transformers via Task Hinting
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
针对Transformer的长度泛化难题,提出任务提示方法,通过同步训练相关辅助任务,结合多任务框架、机制分析与长度依赖参数优化,大幅提升排序等任务的长序列性能,拓展了技术适用场景。
2023-10-01 cs.AI cs.LG stat.ML
Accurate and Efficient World Modeling with Masked Latent Transformers
Computer Vision Lab, CAIDAS \& IFI, University of Würzburg, Germany
EMERALD通过高效掩码潜在变换器实现精准高效的世界建模,首次在1000万环境步骤内超越人类专家性能。
2026-02-03 cs.AI cs.CV cs.LG
Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models
Tsinghua University(清华大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
针对多智能体强化学习世界模型的可扩展性与非平稳性难题,提出结合去中心化局部动力学学习与Perceiver Transformer集中表示聚合的Transformer世界模型,在SMAC基准上样本效率和性能均优于现有方法。
2025-09-02 cs.AI cs.LG cs.MA
Improving Credit Card Fraud Detection through Transformer-Enhanced GAN Oversampling
提出一种结合Transformer编码器的GAN过采样方法,生成高质量合成少数类样本,在信用卡欺诈数据集上显著提升召回率、F1分数和AUC,有效解决类别不平衡问题。
2025-09-24 cs.LG
Improving Interpretation Faithfulness for Vision Transformers
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Lehigh University(利哈伊大学);University of Georgia(佐治亚大学);Iowa State University(爱荷华州立大学)
本文针对视觉Transformer解释易受扰动影响的问题,提出去噪扩散平滑方法以构建忠实视觉Transformer,使其在保持注意力可解释性的同时提升对抗鲁棒性。
2024-05-03 cs.AI cs.CV cs.LG
On Improving Adversarial Transferability of Vision Transformers
Australian National University(澳大利亚国立大学);Stony Brook University(石溪大学);Linköping University(林雪平大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Qualcomm USA(美国高通公司)
视觉Transformer(ViTs)通过自我注意将输入图像处理为补丁序列;这是一种与卷积神经网络(CNN)完全不同的架构。这使得研究ViT模型的对抗特征空间及其可转移性变得有趣。特别是,我们观察到,通过传统的对抗攻击发现的对抗性模式显示非常\emph{low}黑盒可转移性,即使是大型ViT模型。我们表明,这种现象是由于次优的攻击程序,不利用真正的代表性的潜力的ViTs。深度ViT由多个块组成,具有由自注意和前馈层组成的一致架构,其中每个块能够独立地产生类令牌。仅使用最后一个类令牌(传统方法)制定攻击不会直接利用存储在早期令牌中的判别信息,导致ViT的对抗性可转移性较差。使用组合性质的ViT模型,我们通过引入两个新的策略,具体的ViT模型的架构,提高现有的攻击的可转移性。(i)自我包围:我们提出了一种方法,通过将单个ViT模型分解为一个网络集合来找到多个有区别的通路。这允许在每个ViT块处明确地利用类特定信息。(ii)令牌细化:然后我们建议细化令牌,以进一步提高ViT每个块的区分能力。我们的令牌细化系统地结合类令牌与结构信息中保存的补丁令牌。
2022-03-03 cs.AI cs.CV cs.LG
Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View
Peking University(北京大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
Transformer体系结构广泛用于自然语言处理。尽管取得了成功,但Transformer的设计原理仍然难以捉摸。在本文中,我们提供了一个新的角度来理解的架构:我们表明,Transformer可以在数学上解释为一个数值常微分方程(ODE)求解器的对流扩散方程在多粒子动力系统。特别是,如何在一个句子中的单词被抽象到上下文通过通过层的Transformer可以被解释为近似多个粒子的运动在空间中使用Lie-Trotter分裂方案和欧拉的方法。鉴于这种ODE的观点,丰富的文献的数值分析可以引导我们在设计有效的结构以外的Transformer。作为一个例子,我们建议取代李-特罗特分裂计划的Strang-Marchuk分裂计划,一个计划,更常用的和低得多的局部截断误差。Strang-Marchuk分裂方案表明,自注意和位置前馈网络(FFN)子层不应该被同等对待。相反,在每一层中,应使用两个按位置FFN子层,并且自注意子层被放置在其间。这导致了一个全新的架构。这样的FFN-attention-FFN层是“马卡龙式的”,因此我们将具有这种新架构的网络称为马卡龙网。通过大量的实验,我们表明,Macaron网络是优于Transformer的监督和无监督学习任务。可重复的代码和预训练模型可以在https://github.com/zhuohan123/macaron-net上找到
2019-06-06 cs.CL cs.LG stat.ML
MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation
KAIST AI(韩国科学技术院人工智能);Korea University(高丽大学);KAKAO
成功的顺序推荐系统依赖于准确地捕捉用户的短期和长期兴趣。虽然基于transformer的模型在顺序推荐任务中取得了最先进的性能,但它们通常需要二次记忆和序列长度的时间复杂度,使得难以提取用户的长期兴趣。另一方面,基于多层感知器(MLP)的模型,以其线性记忆和时间复杂度而闻名,最近在各种任务中与Transformer相比显示出竞争力。鉴于大量用户的行为历史的可用性,基于MLP的模型的线性记忆和时间复杂度使他们成为一个有前途的替代探索在顺序推荐任务。为此,我们采用了基于MLP的模型在顺序推荐,但始终观察到,基于MLP的方法获得较低的性能比那些Transformer,尽管其计算的好处。从实验中,我们观察到,引入显式高阶相互作用的MLP层减轻了这样的性能差距。作为回应,我们提出了多阶交互(MOI)层,它能够表达输入中的任意交互顺序,同时保持MLP层的内存和时间复杂度。通过将MLP层替换为MOI层,我们的模型能够实现与基于Transformer的模型相当的性能,同时保留基于MLP的模型的计算优势。
2021-08-17 cs.AI cs.IR cs.LG
Depth Estimation with Simplified Transformer
NVIDIA(英伟达)
Transformer及其变体最近在许多视觉任务中显示了最先进的结果,范围从图像分类到密集预测。尽管他们取得了成功,但在提高模型效率以部署在延迟关键型应用(如自动驾驶和机器人导航)方面的工作有限。在本文中,我们旨在改善现有的Transformers在视觉,并提出了一种自监督的单目深度估计方法与简化的Transformer(DEST),这是有效的,特别适合于部署在基于GPU的平台。通过战略性的设计选择,我们的模型导致模型大小,复杂性以及推理延迟的显着降低,同时与最先进的技术相比,实现了更高的准确性。我们还表明,我们的设计可以很好地推广到其他密集的预测任务,而无需花里胡哨。
2022-05-27 cs.CV cs.LG