ManiFusion: Unlocking the High-Throughput Generation via Superposition in Manifold Space
Seoul National University（首尔大学）；Kookmin University（国民大学）
ManiFusion是一种与骨干网络无关的多样本生成框架，通过流形空间叠加实现，结合轨迹融合调度动态调整融合因子，可与现有加速方法兼容，在质量损失极小的情况下大幅提升图像生成吞吐量。
2026-10-27 cs.CV cs.LG
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
Stony Brook University（石英 Brook 大学）
本文评估了状态空间模型作为视觉编码器在视觉语言模型中的有效性，发现其在VQA和定位任务中表现优异，并提出稳定策略提升鲁棒性。
2026-03-19 cs.CV cs.LG
Transformer for Image Quality Assessment
NORCE Norwegian Research Centre（挪威研究中心）；Shenzhen University（深圳大学）
Transformer已成为自然语言处理的新的标准方法，也引起了计算机视觉领域的研究兴趣。本文研究了Transformer在图像质量评价中的应用。在视觉Transformer（ViT）中采用的原始Transformer编码器之后，我们提出了一种在卷积神经网络（CNN）提取的特征图顶部使用浅层Transformer编码器的架构。自适应位置嵌入在Transformer编码器中被采用以处理具有任意分辨率的图像。Transformer体系结构的不同设置已在公开可用的图像质量数据库上进行了研究。我们已经发现，所提出的TRIQ架构实现了出色的性能。TRIQ的实现发布在Github上（https：//github.com/junyongyou/triq）。
2021-01-08 cs.CV cs.LG eess.IV
Group Diffusion: Enhancing Image Generation by Unlocking Cross-Sample Collaboration
University of California, Los Angeles（加州大学洛杉矶分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Adobe Research（Adobe研究）
组扩散通过解锁跨样本协作机制，提升图像生成质量，实现32.2%的FID改进。
2025-12-11 cs.CV
RapidDock: Unlocking Proteome-scale Molecular Docking
Cardinal Stefan Wyszynski University（斯特凡·维申斯基红衣主教大学）；Warsaw University of Technology（华沙理工大学）；IDEAS NCBR（IDEAS NCBR机构）；IMPAN（波兰科学院生物化学与生物物理研究所）；University of Warsaw（华沙大学）
针对现有分子对接工具速度慢、无法实现蛋白质组规模筛选的问题，本研究提出基于Transformer的RapidDock模型，通过三维结构相对距离嵌入等设计，在保证精度的同时实现超百倍提速，可支撑大规模药物筛选研究。
2024-10-16 cs.LG q-bio.BM
Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning
National University of Singapore（新加坡国立大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出NoRA框架，首次直接微调Transformer中的非线性激活函数，通过低秩更新有理函数系数实现参数高效调整，并在视觉和语言任务上以极少参数超越或匹配现有PEFT方法。
2025-09-18 cs.LG
Unlocking Diffusion Hierarchies: Adaptive Timestep Selection for Zero-Shot Segmentation
Google（谷歌）
提出自适应时间步选择机制，利用扩散模型去噪过程中的层次语义进展，结合上下文相似度图融合高分辨率注意力与U-Net特征，实现零样本分割性能提升。
2026-06-16 cs.CV
ParaRNN: Unlocking Parallel Training of Nonlinear RNNs for Large Language Models
Apple（苹果公司）
本文提出 ParaRNN 框架，通过将非线性递归转化为方程组并利用 Newton 迭代法进行并行求解，打破了非线性 RNN 的序列训练限制，实现了最高 665 倍加速，成功训练 7B 参数模型并开源。
2025-11-03 cs.LG
Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting
iFLYTEK Research（讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出基于 Patch 的简单 MLP 模型 PatchMLP，通过移动平均分解时间序列并结合通道混合与通道独立处理，在长期时间序列预测中超越复杂 Transformer 模型，达到最先进性能。
2024-12-25 cs.AI cs.LG
Unlocking the Power of Representations in Long-term Novelty-based Exploration
DeepMind（深度思维）；Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
该研究提出RECODE非参数探索方法与基于掩码Transformer的逆动力学损失泛化方法，在3D探索任务和高难度Atari游戏中实现新SOTA，且首次通关“Pitfall!”。
2023-05-02 cs.LG stat.ML
On the Convergence of Encoder-only Shallow Transformers
EPFL（洛桑联邦理工学院）；University of Warwick（华威大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有限宽度仅编码器浅层 Transformer，本文分析 softmax、缩放与 He/LeCun 初始化，证明二次超参数化足以实现全局收敛，并辅以 NTK 比较。
2023-11-02 cs.LG
Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models
Université Laval（拉瓦尔大学）
本文实证揭示Transformer分类模型因不同类别序列长度分布差异而依赖长度特征的问题，并提出缓解方法以减少其影响。
2024-03-14 cs.LG
Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks
Google Inc（谷歌公司）
本文提出Gemma Encoder，将Gemma解码器模型适配为编码器架构，通过系统分析池化策略、注意力机制与超参数优化适配过程，在GLUE和MS MARCO基准上验证了其在分类、回归和排序等非生成式任务中的有效性与多功能性。
2025-03-04 cs.CL cs.LG
Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems
Jadavpur University（贾达普大学）；IIIT-Delhi（德里印度信息技术学院）；IIT-Bombay（孟买印度理工学院）
Transformer及其变体已被证明是许多不同领域中的有效序列学习器。尽管它们取得了惊人的成功，但一个关键问题是必须训练大量的参数（从$10^7$到$10^{11}$）以及点积注意力的二次复杂性。在这项工作中，我们调查的问题，近似的两个中心组成部分的Transformer -多头自关注和逐点前馈变换，减少参数空间和计算复杂性。我们建立在分析深度神经网络作为常微分方程的数值求解器的最新发展。利用Transformer阶段和多个相互作用的粒子的动力系统的演化之间的类比，我们制定了一个时间演化方案，transEvolve，绕过昂贵的点产品注意多个堆叠层。我们进行详尽的实验与TransEvolve著名的编码器解码器以及编码器的任务。我们观察到，近似的程度（或相反，参数减少的程度）对性能有不同的影响，这取决于任务。在编码器-解码器机制中，TransEvolve提供的性能可与原始Transformer媲美，在仅编码器任务中，它始终优于Transformer以及几个后续变体。
2021-10-27 cs.LG
VINCIE: Unlocking In-context Image Editing from Video
National University of Singapore（国立新加坡大学）；ByteDance Seed（字节跳动种子）
VINCIE通过视频直接训练模型，实现了强大的上下文图像编辑能力，并在多轮图像编辑基准中取得最佳成绩。
2026-02-28 cs.AI cs.CL cs.CV
Logical Languages Accepted by Transformer Encoders with Hard Attention
Institute for Mathematical and Computational Engineering, Universidad Católica de Chile（智利天主教大学数学与计算工程研究所）；IMFD Chile（智利数学与计算工程研究所）；CENIA（智利国家人工智能中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所）
该研究聚焦两种硬注意力Transformer的形式语言识别能力，证明了UHAT的${\sf AC}^0$语言识别边界及AHAT对含计数项一阶逻辑语言的识别能力，并推导了字母置换下的相关新结论。
2023-10-05 cs.FL cs.LG
TENT: Tensorized Encoder Transformer for Temperature Forecasting
Maastricht University（马斯特里赫特大学）；Mathematics Centre Maastricht（马斯特里赫特数学中心）
可靠的天气预报在科学、商业和社会中具有重要意义。用于天气预测任务的最佳性能数据驱动模型依赖于循环或卷积神经网络，其中一些包含注意力机制。在这项工作中，我们介绍了一种新的模型的基础上Transformer架构的天气预报。建议的张量编码器Transformer（TENT）模型配备了张量注意力，因此，它利用天气数据的时空结构，通过处理它在多维张量格式。我们表明，与经典的编码器Transformer、3D卷积神经网络、LSTM和卷积LSTM相比，提出的TENT模型可以更好地学习所研究的温度预测任务的天气数据的底层复杂模式。在两个真实天气数据集上进行了实验。这些数据集由美国、加拿大和欧洲气象站的历史测量数据组成。第一个数据集包含2012年10月至2017年11月期间美国和加拿大30个城市的天气属性的每小时测量值。第二个数据集包含2005年5月至2020年4月期间欧洲18个城市天气属性的每日测量结果。两个注意力分数的基础上获得理发注意力和可视化，以阐明我们的模型的决策过程，并提供洞察力的知识，最重要的城市的目标城市。
2022-02-21 cs.AI cs.LG
Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning
Google Research Language（谷歌研究院语言部门）
基于自我注意力的高度流行的Transformer架构是大型预训练模型（如BERT）的基础，这些模型已成为NLP中持久的范式。虽然功能强大，但预训练此类模型所需的计算资源和时间可能令人望而却步。在这项工作中，我们提出了一种替代的自我注意力架构，破碎，更有效地编码序列信息，通过软分区的相对位置的空间和应用不同的值矩阵的序列的不同部分。这种机制进一步允许我们将Transformer中的多头注意简化为单头注意。我们进行了大量的实验，表明Shatter比BERT实现了更好的性能，预训练每步更快（TPU上为15%），收敛步骤更少，并节省了大量内存（>50%）。总之，Shatter可以在7天内在8个V100 GPU上进行预训练，并与BERT_Base的性能相匹配-使预训练的成本更加实惠。
2021-08-30 cs.CL cs.LG
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器，它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接，更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1（SWBC）和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景（Concat和Overlap）下，与四个强基线相比，该模型表现出更好的性能，与H向量和S向量相比，相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比，相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
Unleashing the Power of Transformer for Graphs
Zhejiang University（浙江大学）
尽管最近在自然语言处理和计算机视觉方面取得了成功，但Transformer在处理图形时存在可扩展性问题。计算复杂性对于大规模图是不可接受的，例如，知识图谱。一种解决方案是只考虑最近的邻居，然而，这将失去Transformer关注任何距离的元素的关键优点。在本文中，我们提出了一种新的Transformer架构，命名为双编码Transformer（DET）。DET有一个结构化编码器来聚合来自相连邻居的信息，还有一个语义编码器来关注语义上有用的远端节点。与采用多跳邻居相比，DET通过自我监督训练来寻找所需的远距离邻居。我们进一步发现这两个编码器可以合并，以提高彼此的性能。我们的实验表明，DET在处理不同大小的分子、网络和知识图谱时，与相应的最先进的方法相比，取得了优越的性能。
2022-02-18 cs.AI cs.LG
FGATT: A Robust Framework for Wireless Data Imputation Using Fuzzy Graph Attention Networks and Transformer Encoders
North Carolina State University（北卡罗来纳州立大学）；Yeshiva University（叶史瓦大学）；South China University of Technology（华南理工大学）；Guangxi University（广西大学）
提出FGATT框架，结合模糊图注意力网络与Transformer编码器以动态捕获时空依赖关系，在无线数据缺失填补任务中显著优于现有方法。
2025-02-01 cs.IR cs.LG cs.NE
Improving Video Diffusion Transformer Training by Multi-Feature Fusion and Alignment from Self-Supervised Vision Encoders
提出Align4Gen，通过多特征融合与对齐自监督视觉编码器特征，改进视频扩散Transformer训练，提升视频生成质量。
2025-09-11 cs.AI cs.CV
Unlocking Insights into Business Trajectories with Transformer-based Spatio-temporal Data Analysis
Laboratoire Interdisciplinaire Carnot de Bourgogne (ICB)（勃艮第卡诺跨学科实验室）
本文利用新闻文章数据，通过基于Transformer的时空数据分析方法对商业轨迹进行建模，以洞察市场趋势和表现。
2023-06-07 cs.IR cs.LG
Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval
National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出基于双流 Transformer 的层次对齐框架 HAT，通过统一图像与文本编码器架构并建模多层对应关系，在 MSCOCO 和 Flickr30K 上显著提升跨模态检索性能。
2023-08-08 cs.CV cs.IR cs.MM
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来，非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功，但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力，这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品，并且本质上具有有限的基于规则的模型空间，因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此，我们提出了一种称为基于图Transformer的自动编码器（GTAE）的方法，该方法将句子建模为语言图，并在图级别上执行特征提取和风格转换，以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明，我们的模型优于国家的最先进的方法，在内容保存，同时实现了相当的性能，转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Semi-Supervised Masked Autoencoders: Unlocking Vision Transformer Potential with Limited Data
Department of Electrical and Computer Engineering, Rowan University, Glassboro, NJ, USA（电子与计算机工程系，罗文大学，Glassboro, NJ, USA）；Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, USA（计算机科学系，史蒂文斯理工学院，Hoboken, NJ, USA）
SSMAE通过动态伪标签和验证驱动门控机制，在有限数据下提升视觉变换器性能，实验显示其在低标签条件下表现显著优于传统方法。
2026-01-27 cs.AI cs.CV cs.LG
Unlocking Pretrained Vision Transformers for Time Series Classification
Helmholtz Munich（海德堡-慕尼黑研究所）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；MDSI（慕尼黑数据科学研究所）；Paris Noah’s Ark Lab（巴黎诺亚实验室）
提出TiViT框架，利用冻结的预训练视觉Transformer表征，无需微调即在时间序列分类上达到最先进性能，并发现与TSFM的互补性，通过特征拼接和持续预训练进一步提升性能。
2026-09-22 cs.AI cs.CV cs.LG
Unlocking Out-of-Distribution Generalization in Transformers via Recursive Latent Space Reasoning
Department of Statistics & Data Science, Yale University（统计与数据科学系，耶鲁大学）
本研究提出四种架构机制（输入自适应递归、算法监督、离散瓶颈锚定表示、显式纠错），在计算图模块化算术任务上显著提升Transformer的分布外泛化，并通过可解释性分析揭示其内在机理。
2025-10-15 cs.AI cs.LG
SAMformer: Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention
Paris Descartes University（巴黎笛卡尔大学）；LIPADE
针对Transformer在多变量时间序列长期预测中逊于线性基线的问题，本文发现注意力机制导致泛化能力低下，提出使用锐度感知优化训练的浅层轻量级模型SAMformer，成功逃离不良局部极小值，在真实数据集上超越现有方法且参数显著少于大型基础模型MOIRAI。
2024-06-03 cs.LG stat.ML
Transformer Model Detects Antidepressant Use From a Single Night of Sleep, Unlocking an Adherence Biomarker
Massachusetts Institute of Technology (MIT)（麻省理工学院）；University of Michigan（密歇根大学）；King Abdulaziz City for Science and Technology (KACST)（阿卜杜勒-阿齐兹国王科技城）；University of Prishtina（普里什蒂纳大学）；University of Pittsburgh Medical Center（匹兹堡大学医学中心）；Massachusetts General Hospital & Harvard Medical School（麻省总医院与哈佛医学院）
研究提出首个非侵入性生物标志物，利用Transformer模型分析单夜可穿戴或无线传感器睡眠数据检测抗抑郁药摄入，在62,000夜数据中AUROC达0.84，实现居家每日依从性评估。
2025-10-11 cs.LG
Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training
IMT Atlantique, Lab-STICC, UMR CNRS 6285, Brest, France（IMT Atlantique，Lab-STICC，CNRS 6285，法国布列塔尼）；Sony Europe Ltd. Stuttgart Technology Center, EUREC, Germany（索尼欧洲有限公司斯图加特技术中心，EUREC，德国）
通过在预训练语言模型中引入推理时的内循环，无需训练即可提升模型的潜在能力，实现更稳定的语义细化。
2026-03-02 cs.AI cs.LG
TABLET: Table Structure Recognition using Encoder-only Transformers
iWudao Tech（iWudao科技）
本文提出一种基于拆分-合并策略、使用多个仅编码器Transformer的表格结构识别模型，通过序列标注和网格分类避免边界框预测，在FinTabNet和PubTabNet上取得高精度与高速度，适合工业部署。
2025-06-08 cs.CV cs.LG
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Oxford（牛津大学）
自监督视觉表示学习（SSL）的研究提高了编码器的骨干，以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能，但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发，我们提出了一个CNN注意力恢复（CARE）框架，以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流（C-stream）和Transformer流（T-stream）组成，其中每个流包含两个分支。C-stream遵循现有的SSL框架，具有两个CNN编码器，两个投影仪和一个预测器。T-stream包含两个Transformers，两个projector和一个predictor。T-Stream连接到CNN编码器，并与其余的C-Stream并行。在训练过程中，我们同时在两个流中执行SSL，并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强，并且变得适合于SSL场景。我们使用这些调制特征来监督C流，以学习专注的CNN编码器。为此，我们以Transformers为指导，重振CNN的关注。几个标准的视觉识别基准，包括图像分类，目标检测和语义分割的实验表明，所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
Domain Generalisation with Bidirectional Encoder Representations from Vision Transformers
Dublin City University（都柏林城市大学）
本研究使用视觉Transformer进行域泛化，发现BEIT架构最佳，并在PACS、Home-Office和DomainNet基准上显著提升准确率，缩小分布内外差距。
2023-07-16 cs.CV cs.LG
Image-Specific Adaptation of Transformer Encoders for Compute-Efficient Segmentation
NEC Laboratories, America（美国NEC实验室）；University of California, Riverside（加州大学河滨分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出ECO-M2F方法，通过自适应选择编码器层数来提升分割任务的计算效率，同时保持性能并适应不同计算资源。
2026-03-31 cs.CV cs.LG
Unlocking Potential Binders: Multimodal Pretraining DEL-Fusion for Denoising DNA-Encoded Libraries
The Chinese University of Hong Kong（香港中文大学）；Lanzhou University（兰州大学）；Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
针对DEL筛选噪声及单尺度特征局限，本文提出MPDF多模态预训练与DEL-fusion框架，融合原子、亚分子和分子特征，在三个数据集上提升去噪与高亲和力分子识别性能。
2024-09-07 cs.AI cs.LG q-bio.BM
Scaffold Then Internalize: Representation Injection for Diffusion Transformers
Sun Yat-sen University（中山大学）；Video Rebirth；The Hong Kong Polytechnic University（香港理工大学）
提出REPI，通过将预训练编码器表示注入扩散Transformer并逐步内化，与REPA互补，显著加速训练，仅16万步即可匹配700万步的SiT性能。
2026-09-29 cs.CV cs.LG
Unlocking Feature Learning in Gated Delta Networks at Scale
University of California Los Angeles（加州大学洛杉矶分校）
本文通过推导门控Delta网络的缩放规则，实现了超参数（尤其是学习率）在不同模型宽度下的零样本迁移，验证了Maximal Update Parametrization在结构化状态空间模型中的有效性。
2026-06-02 cs.AI cs.LG
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视觉和语言推理需要理解视觉概念，语言语义，最重要的是，这两种形式之间的对齐和关系。因此，我们提出了LXMERT（从Transformers学习跨模态编码器表示）框架来学习这些视觉和语言连接。在LXMERT中，我们构建了一个大规模的Transformer模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器。接下来，为了赋予我们的模型连接视觉和语言语义的能力，我们通过五个不同的代表性预训练任务，用大量的图像和句子对预训练模型：掩蔽语言建模，掩蔽对象预测（特征回归和标签分类），跨模态匹配和图像问答。这些任务有助于学习模态内和跨模态的关系。在对我们的预训练参数进行微调后，我们的模型在两个视觉问答数据集上实现了最先进的结果（即，VQA和GQA）。我们还通过将预训练的跨模态模型适应于具有挑战性的视觉推理任务NLVR 2来展示其通用性，并将之前的最佳结果提高了22%（54%至76%）。最后，我们展示了详细的消融研究，以证明我们的新模型组件和预训练策略都对我们的强大结果做出了重大贡献;并且还为不同的编码器提供了几个注意力可视化。代码和预训练模型可在以下网址公开获取：https://github.com/airsplay/lxmert
2019-12-03 cs.CL cs.CV cs.LG
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Unlocking Multi-Modal Potentials for Link Prediction on Dynamic Text-Attributed Graphs
针对动态文本属性图现有方法忽略时间、文本模态导致性能不佳的问题，提出多模态模型MoMent，通过模态独立编码、带理论保证的融合及双域对齐损失学习节点表示，在七个数据集上实现准确率最高17.28%、速度最高31倍的提升。
2025-08-01 cs.CL cs.LG
Tighter Bounds on the Expressivity of Transformer Encoders
University of Notre Dame（圣母大学）
本研究通过识别一种带计数量词的一阶逻辑变体，同时作为固定精度 Transformer 编码器的上界和 Transformer 编码器的下界，从而更精确地刻画了 Transformer 编码器可识别的语言类别。
2023-11-13 cs.FL cs.LG cs.LO
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
On the rate of convergence of a classifier based on a Transformer encoder
Technical University of Darmstadt（达姆施塔特工业大学）
基于高维预测的模式识别被认为是。定义了一个基于Transformer编码器的分类器。分析了分类器的误分类概率向最优误分类概率的收敛速度收敛速率。结果表明，该分类器是能够规避灾难的维数提供的后验概率满足一个合适的层次组成模型。并结合自然语言处理中的分类问题，说明了本文理论分析的Transformer分类器与实际使用的Transformer分类器的区别。
2021-11-29 cs.LG math.ST stat.TH
Generating Visual Stimuli from EEG Recordings using Transformer-encoder based EEG encoder and GAN
School of Computing & Electrical Engineering, IIT Mandi（印度理工学院曼迪分校计算与电气工程学院）
本研究提出一种基于Transformer编码器的EEG编码器与GAN相结合的框架，利用受试者观看图像时的EEG记录重建不同物体类别的图像，并通过对抗损失和感知损失提升生成质量。
2024-11-20 cs.AI cs.LG eess.SP
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
Cross-Attention of Disentangled Modalities for 3D Human Mesh Recovery with Transformers
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Yonsei University（延世大学）
Transformer编码器架构最近在单目3D人体网格重建上取得了最先进的结果，但是它们需要大量的参数和昂贵的计算。由于大的内存开销和缓慢的推理速度，这是很难部署这样的模型用于实际使用。在本文中，我们提出了一种新的Transformer编码器-解码器架构的三维人体网格重建从一个单一的图像，称为FastMETRO。我们发现基于编码器的Transformers中的性能瓶颈是由令牌设计引起的，该令牌设计在输入令牌之间引入了高复杂度的交互。我们通过编码器-解码器架构来解开交互，这使得我们的模型需要更少的参数和更短的推理时间。此外，我们通过注意力掩蔽和网格上采样操作来施加人体形态关系的先验知识，这导致更快的收敛速度和更高的精度。我们的FastMETRO提高了准确性和效率的帕累托前沿，并且在Human3.6M和3DPW上明显优于基于图像的方法。此外，我们验证了它的推广FreiHAND。
2022-07-27 cs.AI cs.CV cs.LG
Vision Transformer with Convolutional Encoder-Decoder for Hand Gesture Recognition using 24 GHz Doppler Radar
University of Moratuwa（莫拉图瓦大学）；Northeastern University（东北大学）；Florida International University（佛罗里达国际大学）
结合卷积编码器的Transformers最近已经用于使用微多普勒签名的手势识别（HGR）。我们提出了一种基于视觉变换器的HGR架构与多天线连续波多普勒雷达接收机。所提出的架构由三个模块组成：卷积encoderdecoder，注意力模块与三个Transformer层，和一个多层感知器。新的卷积解码器有助于将较大尺寸的补丁馈送到注意力模块，以改进特征提取。实验结果获得的数据集对应于一个双天线连续波多普勒雷达接收器工作在24 GHz（由Skaria等人出版）。确认所提出的架构实现了98.3%的准确度，这大大超过了所使用数据集的最新技术水平。
2022-09-12 cs.LG eess.SP
Last Query Transformer RNN for knowledge tracing
Samsung Electronics（三星电子）
本文提出了一个有效的模型来预测学生的答案的正确性，他过去的学习活动。基本上，我使用Transformer编码器和RNN来处理时间序列输入。该模型的创新之处在于在Transformer编码器中只使用最后一个输入作为查询，而不是所有的序列，这使得Transformer编码器中的QK矩阵乘法具有O（L）时间复杂度，而不是O（L^2）。它允许模型输入更长的序列。使用这个模型，我取得了第一名在'Riiid！答案正确性预测“竞赛在kaggle上举办。
2021-02-10 cs.CY cs.LG
TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain
Concordia University（康考迪亚大学）
在本文中，我们提出了一种基于变换的架构，称为两级Transformer神经网络（TSTNN）的端到端的语音去噪在时域。该模型由编码器、两级Transformer模块（TSTM）、掩蔽模块和解码器组成。编码器将输入的噪声语音映射为特征表示。TSTM利用四个堆叠的两级Transformer块来逐级有效地从编码器输出中提取局部和全局信息。掩码模块创建将与编码器输出相乘的掩码。最后，解码器使用掩蔽的编码器特征来重建增强的语音。在基准数据集上的实验结果表明，TSTNN在时域或频域上优于大多数最先进的模型，同时具有显着降低的模型复杂度。
2021-03-18 cs.LG cs.SD eess.AS
Multi-Encoder Learning and Stream Fusion for Transformer-Based End-to-End Automatic Speech Recognition
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
流融合，也称为系统组合，是传统混合隐马尔可夫模型方法的自动语音识别中的一种常用技术，但对于现代深度神经网络端到端模型架构来说，大多数尚未探索。在这里，我们研究各种融合技术的所有注意力为基础的编码器-解码器架构称为Transformer，努力实现最佳融合，通过研究不同的融合水平，在一个示例单麦克风设置与融合的标准幅度和相位功能。我们引入了一种新的多编码器学习方法，该方法仅在训练期间执行两个编码器-解码器多头注意力输出的加权组合。在推理中只使用幅度特征编码器，我们能够在不增加运行时间或参数的情况下，用语言模型和Libripeech在华尔街日报（WSJ）上显示出一致的改进。通过简单的后期融合推理将两个这样的多编码器训练模型结合起来，我们在WSJ上实现了基于transformer的模型的最新性能，与当前的基准方法相比，WER显著降低了19%。
2021-07-14 cs.CL cs.LG cs.SD
Action Q-Transformer: Visual Explanation in Deep Reinforcement Learning with Encoder-Decoder Model using Action Query
Chubu University（中部大学）；Keio University（庆应义塾大学）
提出Action Q-Transformer，引入编码器-解码器结构与动作查询机制计算状态价值和优势函数，通过可视化注意力实现DRL决策的高可解释性，并在部分Atari游戏中取得优于基线的性能。
2023-06-24 cs.LG
