Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco(伯南布哥联邦大学)
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样,最新的改进来自基于深度学习方法的模型。然而,经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中,我们提出了使用视觉注意技术,以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类(DAC)的深度图像聚类模型与空间Transformer网络(STN)的组合。该模型在数据集MNIST和FashionMNIST中进行了评估,并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
Improving Transformers using Faithful Positional Encoding
IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Ikerlan Research Center(伊克尔兰研究中心)
该研究针对Transformer提出一种基于坚实数学基础、可保证不丢失输入序列位置顺序信息的忠实位置编码方法,经实验验证其能系统性提升时间序列分类任务的预测性能。
2024-05-16 cs.LG
Self-supervised Graph Transformer with Contrastive Learning for Brain Connectivity Analysis towards Improving Autism Detection
University of Arizona(亚利桑那大学);Children's National Hospital(儿童国家医院);Imperial College London(伦敦帝国学院)
本文提出一种结合对比学习与随机图改变的自监督图Transformer框架,通过脑网络Transformer编码器分析fMRI数据,在ABIDE数据集上实现82.6 AUROC和74%准确率,显著提升了自闭症检测性能。
2025-01-18 cs.AI cs.LG
Self-Improving Transformers Overcome Easy-to-Hard and Length Generalization Challenges
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research, AI Frontiers(微软研究院AI前沿部门)
针对大型语言模型在长度泛化及训练分布外复杂问题上的不足,提出自改进方法,使标准Transformer通过迭代学习自身解决方案,在多样任务中实现远超训练分布的泛化,部分任务性能呈指数级提升。
2025-02-13 cs.AI cs.LG
Improving Sample Efficiency of Value Based Models Using Attention and Vision Transformers
McGill University(麦吉尔大学);Mila(米拉研究所)
最近深度强化学习的大部分成功都归功于神经架构学习和使用有效的世界内部表征的潜力。虽然许多当前算法访问模拟器以利用大量数据进行训练,但是在现实环境中,包括在玩可能与人对抗的游戏时,收集经验可能是相当昂贵的。在本文中,我们介绍了一种深度强化学习架构,其目的是在不牺牲性能的情况下提高样本效率。我们设计这个架构,结合近年来在自然语言处理和计算机视觉领域取得的进展。具体来说,我们提出了一个视觉上的注意力模型,使用变压器学习状态表示的特征图上的自我注意力机制,同时优化返回。我们的经验表明,这种架构提高了几个雅达利环境的样本复杂性,同时也实现了更好的性能,在一些游戏。
2022-02-01 cs.AI cs.LG
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
University of Notre Dame(圣母大学)
神经序列到序列模型,特别是Transformer,是机器翻译的最新技术。然而,这些神经网络对架构和超参数设置非常敏感。通过网格或随机搜索优化这些设置在计算上是昂贵的,因为它需要许多训练运行。在本文中,我们通过自动调整将架构搜索纳入到单个训练运行中,该自动调整使用正则化在训练过程中删除网络中的神经元。在资源非常少的语言对上,我们发现自动调整大小可以将BLEU分数提高3.9分,同时从模型中删除三分之一的参数。
2019-10-01 cs.CL cs.LG stat.ML
Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation
The Hong Kong University of Science and Technology(香港科技大学)
在这篇论文中,我们介绍了Greenformers,一个集合的模型效率的方法来提高最近著名的Transformer模型的效率与低秩近似的方法。深度学习模型的发展趋势是向更复杂、更大的模型发展。虽然它可以带来更好、更准确的预测,但最终的模型成本更高,因为它需要使用大量GPU资源进行数周的训练。特别是,自2017年首次亮相以来,基于transformer的模型的大小和计算成本已从约1亿个参数大幅增加到2021年初的约1.6万亿个参数。这种计算量巨大的模型也给环境带来了巨大的成本,甚至达到了令人担忧的碳足迹水平。其中一些模型是如此庞大,以至于在没有GPU集群的情况下甚至不可能运行模型。Greenformer通过应用低秩近似方法来提高Transformer模型的模型效率。具体来说,我们提出了一种低秩因式分解方法,以提高效率的Transformer模型称为低秩Transformer。我们进一步比较我们的模型与现有的低秩因子分解方法称为Linformer。基于我们的分析,低秩Transformer模型适合于提高处理短序列(<= 512)输入数据的时间和存储器效率,而Linformer模型适合于提高处理长序列输入数据(>= 512)的效率。我们还表明,低秩Transformer更适合于设备上部署,因为它显着减少了模型的大小。此外,我们估计,将LRT应用于现有的BERT基础模型可以显着降低计算,经济…
2021-08-24 cs.AI cs.CC cs.LG
Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers
China Electronics Cloud Technology Co., Ltd.(中国电子云科技有限公司)
针对Transformer层间参数冗余,提出跨层共享专家的CS-MoE架构,实现更低困惑度并仅激活55%参数,为计算受限环境提供高效方案。
2026-09-22 cs.AI cs.LG
Improving Unimodal Inference with Multimodal Transformers
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
本文提出多分支架构,通过多任务共同训练,使多模态Transformer分支向单模态分支迁移知识,提升单模态模型性能,并在手势识别、情感识别和情感分析任务上验证了有效性。
2023-11-16 cs.LG
Improving Transformers with Probabilistic Attention Keys
FPT Software AI Center(FPT软件人工智能中心);University of California, Los Angeles(加州大学洛杉矶分校);VinUniversity(文大);Deezer Research(Deezer研究院);Rice University(莱斯大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
多头注意力是最先进的Transformers背后的驱动力,它在各种自然语言处理(NLP)和计算机视觉任务中实现了卓越的性能。已经观察到,对于许多应用,这些注意力头学习冗余嵌入,并且其中大多数可以在不降低模型性能的情况下被移除。受此启发,我们提出了Transformer与混合高斯密钥(transformer-MGK),一种新的Transformer架构,取代冗余的头在每个头的混合密钥的变压器。这些键的混合遵循高斯混合模型,并允许每个注意力头有效地集中在输入序列的不同部分。与传统的Transformer相比,Transformer-MGK加速了训练和推理,参数更少,需要计算的FLOP更少,同时在任务中实现了相当或更好的准确性。transformer-MGK也可以很容易地扩展到使用线性注意力。我们经验证明了Transformer-MGK在一系列实际应用中的优势,包括语言建模和涉及很长序列的任务。在Wikitext-103和Long Range Arena基准测试中,具有4个头的Transformer-MGK获得了与具有8个头的基线Transformers相当或更好的性能。
2022-06-13 cs.CL cs.LG stat.ML
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence
Microsoft(微软);TU Wien(维也纳工业大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
Transformer-Kernel(TK)模型在TREC深度学习基准测试中表现出了强大的重新排序性能,可以被认为是一种高效的(但效果稍差)替代其他基于Transformer的架构,这些架构采用(i)大规模预训练(高培训成本),(ii)查询和文档的联合编码(高推理成本),以及(iii)更大数量的Transformer层(高训练和高推理成本)。从那时起,TK模型的一个变体--称为TKL --被开发出来,它结合了局部自注意力,在文档排序的上下文中有效地处理较长的输入序列。在这项工作中,我们提出了一种新的构象层作为一种替代方法来扩展TK更长的输入序列。此外,我们将查询词的独立性和显式的长期匹配扩展到完整的检索设置的模型。我们在TREC 2020深度学习赛道的严格盲评估设置下对我们的模型进行了基准测试,发现我们提出的架构更改导致了TKL检索质量的提高。我们的最佳模型在NDCG@10上的性能也优于所有非神经运行(“trad”)和三分之二的基于transformer的预训练运行(“nnlm”)。
2021-04-19 cs.AI cs.IR cs.LG
Improving Precancerous Case Characterization via Transformer-based Ensemble Learning
Freenome
自然语言处理(NLP)在癌症病理报告中的应用一直集中在检测癌症病例上,而在很大程度上忽略了癌前病例。改善癌前腺瘤的特征有助于开发用于早期癌症检测和预防的诊断测试,特别是对于结直肠癌(CRC)。在这里,我们开发了基于transformer的深度神经网络NLP模型来进行CRC表型分析,目的是提取癌前病变属性并区分癌症和癌前病例。我们将患者分为阴性、非晚期腺瘤、晚期腺瘤和CRC的宏F1评分为0.914。我们进一步提高了性能,为0.923使用分类器的癌症状态分类和病变大小命名实体识别(NER)的合奏。我们的研究结果表明,使用NLP来利用真实世界的健康记录数据,以促进早期癌症预防诊断测试的开发。
2022-12-10 cs.LG
Transformers without Tears: Improving the Normalization of Self-Attention
University of Notre Dame(圣母大学);Amazon AWS AI(亚马逊AWS人工智能)
我们评估了三个简单的、以规范化为中心的变化,以改进Transformer培训。首先,我们证明了预范数残差连接(PreNorm)和较小的初始化可以实现无预热,基于验证的训练,具有较大的学习率。其次,我们提出了使用单个尺度参数(ScaleNorm)的$\ell_2$归一化,以实现更快的训练和更好的性能。最后,我们重申了将词嵌入规范化为固定长度(FixNorm)的有效性。在基于TED Talks的语料库中的五个低资源翻译对上,这些变化总是收敛的,在最先进的双语基线上给出平均+1.1 BLEU,在IWELT的15个英语-越南语上给出新的32.8 BLEU。我们观察到更清晰的性能曲线,更一致的梯度规范,以及激活缩放和解码器深度之间的线性关系。令人惊讶的是,在高资源设置(WMT'14英语-德语)中,ScaleNorm和FixNorm仍然具有竞争力,但PreNorm降低了性能。
2019-12-30 cs.CL cs.LG stat.ML
Improving Transformer Models by Reordering their Sublayers
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Facebook AI Research(Facebook人工智能研究院)
多层Transformer网络由交错的自注意和前馈子层组成。以不同的模式对子层进行排序会带来更好的性能吗?我们生成随机排序的Transformers,并用语言建模目标对它们进行训练。我们观察到,其中一些模型能够实现比交错基线更好的性能,并且那些成功的变体往往在底部具有更多的自我注意力,在顶部具有更多的前馈子层。我们提出了一个新的Transformer模式,坚持这一属性,三明治Transformer,并表明,它提高了多个单词级和字符级语言建模基准的困惑,在参数,内存或训练时间没有成本。然而,三明治重新排序模式并不能保证每个任务的性能增益,正如我们在机器翻译模型上所展示的那样。相反,我们建议,需要进一步探索特定于任务的子层重新排序,以解锁额外的收益。
2020-04-23 cs.CL cs.LG
Improving Medium Range Severe Weather Prediction through Transformer Post-processing of AI Weather Forecasts
Department of Atmospheric and Climate Science University of Washington(大气科学与气候系华盛顿大学);US NSF National Center for Atmospheric Research(美国NSF大气研究中心)
本研究利用Transformer后处理提升AI天气预报的中等范围严重天气预测能力,通过改进模型结构和训练方法,提高预测准确性和可靠性。
2025-09-21 cs.AI cs.LG physics.ao-ph
Improving Robustness for Vision Transformer with a Simple Dynamic Scanning Augmentation
Kyushu University(九州大学)
本文提出动态扫描增强技术,通过动态输入序列自适应关注不同图像块,将ViT对抗鲁棒性从17%提升至92%,同时保持自然图像准确性。
2023-11-01 cs.AI cs.CV cs.LG
Improving Transformer World Models for Data-Efficient RL
Google DeepMind(谷歌DeepMind)
本文提出三项改进Transformer世界模型的技术——带预热的Dyna、最近邻分词器和分块教师强制,在Craftax-classic等基准上以1M环境步实现69.66%奖励,首次超越人类表现。
2025-07-16 cs.AI cs.LG
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Corporation(微软公司)
最近,基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互,但它不足以捕获短距离局部上下文,这对于准确提取说话人信息至关重要。在这项研究中,我们加强了Transformer与增强局部建模在两个方向。首先,我们提出了局部增强型构象(LE-Confomer),通过引入深度卷积和通道注意到构象块。第二,我们提出了扬声器Swin Transformer(SST)的适应Swin Transformer,最初提出的视觉任务,到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言(MS内部)数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER,优于先前提出的基于Transformer的模型和基于CNN的模型,如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时,所提出的模型取得了令人满意的结果,与Res 2Net 50模型相比,EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);Google Research(谷歌研究院);NYU(纽约大学)
针对Transformer算术任务长度泛化差的问题,提出将任务结构嵌入位置编码的位置耦合方法,经实验和理论验证可大幅提升泛化能力,且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia(弗吉尼亚大学);Amazon(亚马逊公司)
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题,提出带检索增强的分层提示方法,通过全局与自适应两层软令牌实现动态引导,在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Improving N-gram Language Models with Pre-trained Deep Transformer
Facebook(脸书)
尽管n-gram语言模型(language models,LM)的性能已经被最先进的神经LM所超越,但由于其推理效率高,仍然被广泛应用于语音识别中。在本文中,我们证明了n-gram LM可以通过基于文本生成的数据增强方法由神经LM来改进。与以前的方法相比,我们采用大规模的一般域预训练,然后在域微调策略,以构建基于深度Transformer的神经LM。使用经过良好训练的深度Transformer生成大量域内文本数据,以构建新的n-gram LM,然后使用基线n-gram系统进行插值。对不同语音识别任务的实验研究表明,该方法能有效提高识别准确率。特别是,我们提出的方法带来了显着的相对字出错率减少到6.0%的域有限的域内数据。
2019-11-22 cs.CL cs.LG
Improving the Efficiency of Transformers for Resource-Constrained Devices
NavInfo Europe(欧洲四维图新)
Transformers提供了有希望的准确性,并且已经变得流行并用于诸如自然语言处理和计算机视觉的各种领域。然而,由于其大量的模型参数,内存和计算要求,它们不适合资源受限的低功耗设备。即使使用高性能的专用设备,内存带宽也可能成为性能限制瓶颈。在本文中,我们提出了一个国家的最先进的视觉Transformer在几个设备上的性能分析。我们建议通过聚类模型参数来减少整体内存占用和内存传输。我们表明,通过仅使用64个集群来表示模型参数,可以将从主存储器的数据传输减少4倍以上,在移动设备上实现高达22%的加速比和39%的节能,并且精度损失小于0.1%。
2021-06-30 cs.CV cs.LG
Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering
Department of Mathematics(数学系);University of California, Irvine(加州大学 Irvine 分校);Irvine, CA 92617
本文提出在Transformer模型前加入可学习频谱滤波器,提升长时间序列预测性能,减少计算资源消耗并提高模型效率。
2025-08-27 cs.AI cs.LG
Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View
Peking University(北京大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
Transformer体系结构广泛用于自然语言处理。尽管取得了成功,但Transformer的设计原理仍然难以捉摸。在本文中,我们提供了一个新的角度来理解的架构:我们表明,Transformer可以在数学上解释为一个数值常微分方程(ODE)求解器的对流扩散方程在多粒子动力系统。特别是,如何在一个句子中的单词被抽象到上下文通过通过层的Transformer可以被解释为近似多个粒子的运动在空间中使用Lie-Trotter分裂方案和欧拉的方法。鉴于这种ODE的观点,丰富的文献的数值分析可以引导我们在设计有效的结构以外的Transformer。作为一个例子,我们建议取代李-特罗特分裂计划的Strang-Marchuk分裂计划,一个计划,更常用的和低得多的局部截断误差。Strang-Marchuk分裂方案表明,自注意和位置前馈网络(FFN)子层不应该被同等对待。相反,在每一层中,应使用两个按位置FFN子层,并且自注意子层被放置在其间。这导致了一个全新的架构。这样的FFN-attention-FFN层是“马卡龙式的”,因此我们将具有这种新架构的网络称为马卡龙网。通过大量的实验,我们表明,Macaron网络是优于Transformer的监督和无监督学习任务。可重复的代码和预训练模型可以在https://github.com/zhuohan123/macaron-net上找到
2019-06-06 cs.CL cs.LG stat.ML
Improving Performance Prediction of Electrolyte Formulations with Transformer-based Molecular Representation Model
IBM Research - Tokyo(IBM东京研究院);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出一种基于Transformer的分子表示模型来捕捉电解质配方表示,并在两个电池性质预测任务上验证其性能优于现有最优方法。
2024-06-28 cs.ET cs.LG
Improving Recursive Transformers with Mixture of LoRAs
NLPIE Research, UK(NLPIE研究机构,英国);University of Zurich, Switzerland(瑞士苏黎世大学);Department of Engineering Science, University of Oxford, UK(牛津大学工程科学系)
通过混合LoRAs改进递归变换器,实现轻量条件计算机制,提升模型表达能力与效率。
2025-12-17 cs.LG
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock(阿拉巴马州立大学)
本文提出一种结合语义相似度过滤机制的混合Transformer模型,以增强Legal-BERT在法律实体识别中的准确率,在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
Improving Transfer Learning with a Dual Image and Video Transformer for Multi-label Movie Trailer Genre Classification
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
在本文中,我们研究了ImageNet空间和Kinetics时空表示到多标签电影预告片类型分类(MTGC)的可移植性。特别是,我们对在ImageNet和Kinetics上预训练的ConvNet和Transformer模型到Trailers 12 k的可移植性进行了广泛的评估,Trailers 12 k是一个新的手动策划的电影预告片数据集,由12,000个标记有10种不同类型和相关元数据的视频组成。我们分析了可能影响可传输性的不同方面,例如帧速率、输入视频扩展和时空建模。为了减少ImageNet/Kinetics和Trailers 12 k之间的时空结构差距,我们提出了双图像和视频Transformer架构(DIViTA),它执行镜头检测,以便将预告片分割成高度相关的片段,为预训练的骨干提供更有凝聚力的输入,并提高可移植性(ImageNet增加1.83%,Kinetics增加3.75%)。我们的研究结果表明,在ImageNet或Kinetics上学习的表示相对而言可以转移到Trailers 12 k。此外,两个数据集都提供了互补的信息,可以结合起来提高分类性能(与前一个预训练相比,提高了2.91%)。有趣的是,使用轻量级ConvNets作为预训练的骨干,与顶级Transformer相比,分类性能仅下降3.46%,同时仅需要其参数的11.82%和FLOPS的0.81%。
2023-03-29 cs.CV cs.LG
Efficient Feature Interactions with Transformers: Improving User Spending Propensity Predictions in Gaming
Dream11
针对游戏用户消费倾向预测问题,提出改进的Transformer架构以高效捕获特征交互,超越FT-Transformer等基线模型,显著提升MAE和MSE指标。
2024-09-25 cs.LG
Improving diagnosis and prognosis of lung cancer using vision transformers: A scoping review
College of Science and Engineering, Hamad Bin Khalifa University(科学与工程学院,哈马德·本·哈利法大学)
本综述总结了2020-2022年间34项研究,指出视觉Transformer在肺癌诊断与预后中日益流行,但缺乏临床转化策略,计算复杂性和临床相关性是未来关键考量。
2023-09-06 cs.AI cs.CV cs.LG
Improving DNS Exfiltration Detection via Transformer Pretraining
School of Electrical Engineering, University of Belgrade(贝尔格莱德大学电气工程学院)
研究变换器预训练对子域级数据外泄检测的影响,通过控制流程验证预训练对分类任务的效果,结果显示在ROC曲线左尾有显著提升,尤其对抗随机初始化基线。
2026-04-09 cs.CR cs.LG
Improving Visual Prompt Tuning for Self-supervised Vision Transformers
Seoul National University(首尔国立大学)
针对视觉提示调优在自监督视觉Transformer上表现不佳的问题,提出为每个ViT块学习门控以选择性干预提示令牌的方法,在多项图像分类和语义分割任务上优于现有VPT变体。
2023-06-08 cs.AI cs.CV cs.LG
Improving Model Representation and Reducing KV Cache via Skip Connections with First Value Heads
提出SkipV1Former,通过复用首层值头的跳跃连接,在减少约25%KV缓存的同时提升Transformer表示能力,并支持低成本升级训练及与先进方法结合。
2025-10-23 cs.AI cs.LG
Improving Transformers with Dynamically Composable Multi-Head Attention
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院);ColorfulClouds Technology Co.,Ltd.(彩云科技有限公司)
提出动态可组合多头注意力(DCMHA),通过输入依赖的Compose函数动态组合注意力头,解决MHA头冗余等问题,显著提升Transformer性能且匹配1.7x-2.0x计算量的模型。
2024-06-04 cs.CL cs.LG
ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases
Ecole Normale Supérieure(巴黎高等师范学院);Facebook AI Research(脸书人工智能研究院)
卷积架构已被证明在视觉任务中非常成功。它们的硬归纳偏差使样本有效学习成为可能,但代价是潜在的性能上限较低。视觉Transformer(ViTs)依赖于更灵活的自我注意层,最近在图像分类方面优于CNN。然而,它们需要在大型外部数据集上进行昂贵的预训练,或者从预训练的卷积网络中提取。在本文中,我们提出了以下问题:是否有可能结合这两种架构的优势,同时避免各自的局限性?为此,我们引入了门控位置自我注意(GPSA),一种可以配备“软”卷积归纳偏差的位置自我注意形式。我们初始化GPSA层以模仿卷积层的局部性,然后通过调整门控参数来调节对位置与内容信息的注意力,从而使每个注意力头部都可以自由地逃离局部性。由此产生的卷积类ViT架构ConViT在ImageNet上的性能优于DeiT,同时提供了更高的样本效率。我们进一步研究了局部性在学习中的作用,首先量化它是如何在香草自我注意层中被鼓励的,然后分析它是如何在GPSA层中被逃脱的。最后,我们介绍了各种消融术,以更好地了解ConViT的成功。我们的代码和模型在https://github.com/facebookresearch/convit上公开发布。
2021-06-10 cs.CV cs.LG stat.ML
Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods
Peking University(北京大学);Tsinghua University(清华大学);Microsoft(微软公司)
本文提出次邻接Transformer,通过将注意力限制在与目标点不直接相邻的次邻接邻域来增加异常重构难度,并采用改进的线性注意力实现,在六个真实世界异常检测基准上取得最先进性能。
2024-04-27 cs.LG
MedPCFM: Improving Medical Point Cloud Completion by Integrating Point Transformers and Flow Matching
Department of Measurement and Electronics, AGH University of Krakow(AGH科技大学测量与电子系);Sano Centre for Computational Medicine(Sano计算医学中心)
提出基于PTv3的流匹配方法PCFM用于医学点云补全,在三个数据集上达到最优生成性能,采样步数远少于扩散模型,且PTv3带来高达7倍的速度提升。
2026-06-24 cs.AI cs.CV cs.LG
Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images
本文针对无源目标自适应中的视觉Transformer,提出利用域表示图像(DRIs)通过key元素注入域特定信息,实验表明该方法相比SHOT-B*等基准能提升平均精度并增强域泛化能力。
2023-12-02 cs.AI cs.CV cs.LG
Depth Estimation with Simplified Transformer
NVIDIA(英伟达)
Transformer及其变体最近在许多视觉任务中显示了最先进的结果,范围从图像分类到密集预测。尽管他们取得了成功,但在提高模型效率以部署在延迟关键型应用(如自动驾驶和机器人导航)方面的工作有限。在本文中,我们旨在改善现有的Transformers在视觉,并提出了一种自监督的单目深度估计方法与简化的Transformer(DEST),这是有效的,特别适合于部署在基于GPU的平台。通过战略性的设计选择,我们的模型导致模型大小,复杂性以及推理延迟的显着降低,同时与最先进的技术相比,实现了更高的准确性。我们还表明,我们的设计可以很好地推广到其他密集的预测任务,而无需花里胡哨。
2022-05-27 cs.CV cs.LG
Improving Credit Card Fraud Detection through Transformer-Enhanced GAN Oversampling
提出一种结合Transformer编码器的GAN过采样方法,生成高质量合成少数类样本,在信用卡欺诈数据集上显著提升召回率、F1分数和AUC,有效解决类别不平衡问题。
2025-09-24 cs.LG
Improving Interpretation Faithfulness for Vision Transformers
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Lehigh University(利哈伊大学);University of Georgia(佐治亚大学);Iowa State University(爱荷华州立大学)
本文针对视觉Transformer解释易受扰动影响的问题,提出去噪扩散平滑方法以构建忠实视觉Transformer,使其在保持注意力可解释性的同时提升对抗鲁棒性。
2024-05-03 cs.AI cs.CV cs.LG
On Improving Adversarial Transferability of Vision Transformers
Australian National University(澳大利亚国立大学);Stony Brook University(石溪大学);Linköping University(林雪平大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Qualcomm USA(美国高通公司)
视觉Transformer(ViTs)通过自我注意将输入图像处理为补丁序列;这是一种与卷积神经网络(CNN)完全不同的架构。这使得研究ViT模型的对抗特征空间及其可转移性变得有趣。特别是,我们观察到,通过传统的对抗攻击发现的对抗性模式显示非常\emph{low}黑盒可转移性,即使是大型ViT模型。我们表明,这种现象是由于次优的攻击程序,不利用真正的代表性的潜力的ViTs。深度ViT由多个块组成,具有由自注意和前馈层组成的一致架构,其中每个块能够独立地产生类令牌。仅使用最后一个类令牌(传统方法)制定攻击不会直接利用存储在早期令牌中的判别信息,导致ViT的对抗性可转移性较差。使用组合性质的ViT模型,我们通过引入两个新的策略,具体的ViT模型的架构,提高现有的攻击的可转移性。(i)自我包围:我们提出了一种方法,通过将单个ViT模型分解为一个网络集合来找到多个有区别的通路。这允许在每个ViT块处明确地利用类特定信息。(ii)令牌细化:然后我们建议细化令牌,以进一步提高ViT每个块的区分能力。我们的令牌细化系统地结合类令牌与结构信息中保存的补丁令牌。
2022-03-03 cs.AI cs.CV cs.LG
Improving the quality of dental crown using a Transformer-based method
École Polytechnique de Montréal(蒙特利尔理工学院);Centre d'intelligence artificielle appliquée (JACOBB)(应用人工智能中心(JACOBB));Intellident Dentaire Inc.(Intellident Dentaire 公司)
设计人造牙冠是一个耗时、不一致且劳动密集型的过程。在这项工作中,我们提出了一种全自动的方法,不仅可以学习人类设计的牙冠,而且还可以提高牙冠的一致性,功能性和美观性。在使用基于transformer的网络完成点云之后,我们将牙冠生成作为准备好的牙齿周围的点云完成来解决问题。为此,我们使用几何感知的Transformer来生成牙冠。我们的主要贡献是将边缘线信息添加到网络中,因为直接生成精确边缘线的精度决定了设计的牙冠和准备好的牙齿是否紧密匹配以允许适当的粘附。使用我们的地面真实牙冠,我们可以提取边缘线作为样条,并将样条采样为1000个点。我们将获得的边缘线与准备好的牙齿的两颗相邻牙齿和相对颌骨中最接近的三颗牙齿一起喂入。我们还将边距线点添加到地面实况表冠,以提高边距线处的分辨率。我们的实验结果表明,当考虑到实际的上下文组成的准备牙齿与边缘线相比,在一个空的空间中产生的冠,如在文献中的其他研究所做的设计冠的质量的改善。
2023-03-04 cs.CV cs.LG
MOI-Mixer: Improving MLP-Mixer with Multi Order Interactions in Sequential Recommendation
KAIST AI(韩国科学技术院人工智能);Korea University(高丽大学);KAKAO
成功的顺序推荐系统依赖于准确地捕捉用户的短期和长期兴趣。虽然基于transformer的模型在顺序推荐任务中取得了最先进的性能,但它们通常需要二次记忆和序列长度的时间复杂度,使得难以提取用户的长期兴趣。另一方面,基于多层感知器(MLP)的模型,以其线性记忆和时间复杂度而闻名,最近在各种任务中与Transformer相比显示出竞争力。鉴于大量用户的行为历史的可用性,基于MLP的模型的线性记忆和时间复杂度使他们成为一个有前途的替代探索在顺序推荐任务。为此,我们采用了基于MLP的模型在顺序推荐,但始终观察到,基于MLP的方法获得较低的性能比那些Transformer,尽管其计算的好处。从实验中,我们观察到,引入显式高阶相互作用的MLP层减轻了这样的性能差距。作为回应,我们提出了多阶交互(MOI)层,它能够表达输入中的任意交互顺序,同时保持MLP层的内存和时间复杂度。通过将MLP层替换为MOI层,我们的模型能够实现与基于Transformer的模型相当的性能,同时保留基于MLP的模型的计算优势。
2021-08-17 cs.AI cs.IR cs.LG
All You Need is an Improving Column: Enhancing Column Generation for Parallel Machine Scheduling via Transformers
North Carolina State University(北卡罗来纳州立大学)
本文提出用Transformer和pointer架构的神经网络增强列生成,通过预测负削减成本列替代动态规划求解子问题,在保持最优性保证的同时显著提升并行机调度的计算效率与泛化能力。
2024-10-21 cs.LG math.OC
PCaM: A Progressive Focus Attention-Based Information Fusion Method for Improving Vision Transformer Domain Adaptation
Westlake Institute for Advanced Studies(西湖研究学院);Centre for Artificial Intelligence(人工智能中心);State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)(多模态人工智能系统国家重点实验室);Institute of Automation(自动化研究所);Chinese Academy of Sciences (CASIA)(中国科学院);School of Artificial Intelligence(人工智能学院);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Alibaba Group(阿里巴巴集团);School of Computer Science(计算机学院);Engineering, the Faculty of Innovation Engineering, Macau University of Science(工程学院,创新工程 faculty,澳门科学大学);Microsoft(微软公司)
针对无监督域自适应中前景对象不匹配问题,提出渐进式焦点交叉注意力机制PCaM,通过逐步过滤背景并引入注意力引导损失,提升跨域注意力一致性,在多个基准上取得最先进结果。
2025-05-27 cs.AI cs.CV cs.LG
Understanding and Improving Robustness of Vision Transformers through Patch-based Negative Augmentation
Google Research(谷歌研究院)
我们研究了视觉Transformer(ViTs)的鲁棒性,通过他们特殊的基于补丁的架构结构,即,它们将图像处理为图像块的序列。我们发现,ViTs是令人惊讶的不敏感补丁为基础的转换,即使在很大程度上破坏了原始的语义,使人类无法识别的图像。这表明ViTs大量使用在这种转换中幸存下来的特征,但通常不指示人类的语义类。进一步的研究表明,这些特征是有用的,但不稳健,因为在它们上训练的ViT可以实现高的分布内准确性,但在分布偏移下会崩溃。基于这种理解,我们会问:训练模型以减少对这些特征的依赖,是否可以提高ViT的鲁棒性和分布外性能?我们使用基于补丁的操作转换的图像作为负增强视图,并提供损失来正则化训练,避免使用非鲁棒特征。这是对现有研究的补充,现有研究主要集中在用语义保持转换来增强输入以增强模型的不变性。我们表明,基于补丁的负增强在广泛的基于ImageNet的鲁棒性基准测试中始终提高了ViTs的鲁棒性。此外,我们发现我们的补丁为基础的负增强传统的(正)数据增强的补充,并一起进一步提高性能。
2023-02-22 cs.CV cs.LG
Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention
Zhejiang University(浙江大学);Penn State(宾夕法尼亚州立大学);Shandong University(山东大学)
本文提出动态注意力方法,通过注意力校正和动态建模增强Transformer大语言模型对文本对抗攻击的固有鲁棒性,无需下游任务知识且不增加额外成本,实验显示性能最高提升33%,并可与对抗训练等方法结合进一步提升鲁棒性。
2023-11-30 cs.CL cs.CR cs.LG
Improving Computational Efficiency for Powered Descent Guidance via Transformer-based Tight Constraint Prediction
Massachusetts Institute of Technology(麻省理工学院)
提出 T-PDG,用 Transformer 依据历史轨迹优化数据预测紧约束与最优着陆时间,并经可行性检查保证安全最优,使火星 3 自由度燃料最优轨迹计算由 1–8 秒降至 500 毫秒内。
2023-12-11 cs.LG cs.RO cs.SY
Improving Position Encoding of Transformers for Multivariate Time Series Classification
Monash University(莫纳什大学)
本文针对多元时间序列分类中位置编码争议,提出 tAPE 绝对位置编码和高效 eRPE 相对位置编码,并结合卷积输入编码构建 ConvTran 模型,在 32 个数据集上显著超越现有方法。
2023-05-26 cs.CV cs.LG
Improving Acoustic Side-Channel Attacks on Keyboards Using Transformers and Large Language Models
本文结合 VT、CoAtNet 与经 LoRA 微调的 LLM,提升键盘声学侧信道攻击在手机、Zoom 和噪声环境下的识别与纠错性能。
2025-02-18 cs.AI cs.CL cs.LG
Improving Test-Time Scaling with Adaptive Looped Transformers
Tsinghua University(清华大学);Yale University(耶鲁大学)
提出TaH2,通过前瞻深度监督自适应分配循环迭代,提升循环Transformer的测试时扩展效率与准确率,在AIME基准上斜率提升53%。
2026-09-29 cs.CL cs.LG
LakhNES: Improving multi-instrumental music generation with cross-domain pre-training
UC San Diego(加州大学圣地亚哥分校)
我们对生成多乐器乐谱的任务感兴趣。Transformer架构最近在钢琴乐谱生成任务中表现出了很大的潜力;在这里,我们将其调整为多乐器设置。Transformers是一种复杂的、高维的语言模型,它能够捕获序列数据中的长期结构,但需要大量的数据来拟合。他们在钢琴乐谱生成上的成功部分地解释了大量的符号数据。我们利用最近推出的NES-MDB数据集的四个乐器的分数从早期的视频游戏声音合成芯片(NES),我们发现这是非常适合训练与Transformer架构。为了进一步提高模型的性能,我们提出了一种预训练技术,以利用大量异构音乐(即Lakh音乐数据集)中的信息。尽管这两个语料库之间的差异,我们发现,这种迁移学习程序提高了我们的主要任务的定量和定性性能。
2019-07-10 cs.LG cs.MM cs.SD
Data Augmentation using Transformers and Similarity Measures for Improving Arabic Text Classification
Princess Sumaya University for Technology (PSUT)(公主SUMaya技术大学(PSUT))
提出基于 AraGPT-2 的阿拉伯语文本数据增强方法,并结合多种相似度度量评估生成句,用 AraBERT 验证其在四个情感数据集上的分类增益。
2023-08-20 cs.AI cs.CL cs.LG