Multi-Stream Transformers
Artificial Intelligence Research Institute（人工智能研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Univ. of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
基于变换器的编码器-解码器模型在每个编码器层之后产生融合的令牌式表示。我们调查的影响，允许编码器保存和探索替代假设，结合在编码过程结束。为此，我们设计和检查$\textit{Multi-stream Transformer}$架构，并发现分裂的Transformer编码器到多个编码器流，并允许该模型合并多个代表性的假设提高性能，通过添加第一和最后的编码器层之间的跳过连接获得进一步的改善。
2021-07-21 cs.CL cs.NE
Transformer-based encoder-encoder architecture for Spoken Term Detection
University of West Bohemia（西波西米亚大学）
提出了一种基于Transformer结构的口语词检测方法。我们提出的编码器编码器架构采用两个BERT类编码器与额外的修改，包括卷积和上采样层，注意力掩蔽，和共享参数。编码器将识别的假设和搜索的术语投影到共享的嵌入空间中，其中使用校准的点积计算推定命中的分数。在实验中，我们使用了Wav2Vec 2.0语音识别器，所提出的系统在基于USC Shoah Foundation Visual History Archive（MALACH）的英语和捷克STD数据集上优于基于深度LSTM的基线方法。
2022-11-02 cs.CL cs.SD eess.AS
Abstractive summarization of hospitalisation histories with transformer networks
Sber AI Lab（Sber人工智能实验室）
在本文中，我们提出了一种新的方法来抽象总结病人的住院史。我们应用了一个编码器-解码器框架，Longformer神经网络作为编码器，BERT作为解码器。我们的实验表明，与指针生成器网络相比，某些摘要任务的质量有所提高。我们还与经验丰富的医生进行了一项研究，将我们的模型结果与PGN基线和人类生成的摘要进行了比较，这表明了我们模型的有效性。
2022-04-05 cs.AI cs.CL cs.LG
Zero-Shot Controlled Generation with Encoder-Decoder Transformers
Amazon Alexa AI（亚马逊Alexa人工智能部门）
控制用于自然语言生成（NLG）的基于神经网络的模型在诸如机器翻译、文档摘要和对话系统的许多领域中具有广泛的应用。以zero-shot方式实现这种控制的方法将是非常重要的，因为除其他原因外，它们消除了对附加注释数据和训练的需要。在这项工作中，我们提出了新的方法来控制编码器-解码器变换为基础的NLG模型在zero-shot。这是通过引入三个控制旋钮，即注意力偏置，解码器混合，上下文增强，这是适用于这些模型在生成时间。这些旋钮通过直接操纵训练的NLG模型（例如，偏置交叉注意层）以在所生成的输出中实现期望的属性。我们表明，这些NLG模型不仅对这种操作具有鲁棒性，而且它们的行为可以在不影响其生成性能的情况下进行控制。据我们所知，这些结果是同类中的第一个。通过这些控制旋钮，我们还调查了Transformer解码器的自我注意模块的作用，并显示出强有力的证据表明，其主要作用是保持这些模型生成的句子的流畅性。基于这一假设，我们表明，替代架构的Transformer解码器可能是可行的选择。我们还研究了这个假设如何导致更有效的方法来训练编码器-解码器Transformer模型。
2022-04-06 cs.AI cs.CL
FinTree: Financial Dataset Pretrain Transformer Encoder for Relation Extraction
Kyung Hee University（庆熙大学）
FinTree是一种在金融数据集上预训练的Transformer编码器，通过预测掩码标记而非[CLS]标记，并采用独特输入模式，在REFinD数据集上实现了更准确的关系抽取。
2023-07-26 cs.AI cs.CL
Attention Visualizer Package: Revealing Word Importance for Deeper Insight into Encoder-Only Transformer Models
School of Computer Science, University of Windsor（温莎大学计算机科学学院）
本文介绍 Attention Visualizer 包，通过分析单词对最终嵌入的影响来可视化仅编码器 Transformer 模型中词的重要性，以增强模型可解释性。
2023-08-28 cs.AI cs.CL
A Concise Model for Multi-Criteria Chinese Word Segmentation with Transformer Encoder
Fudan University（复旦大学）
多准则汉语分词（MCCWS）的目的是利用多个异质的分词准则之间的关系，进一步提高单个准则的性能。以往的研究通常将MCCWS视为不同的任务，在多任务学习框架下一起学习。在本文中，我们提出了一个简洁而有效的统一模型MCCWS，这是完全共享的所有标准。该模型利用Transformer编码器的强大功能，根据一个唯一的表示输出标准的标准标记进行中文文本切分。此外，本文提出的统一模型可以同时分割简体和繁体中文，并具有良好的传输能力。在8个不同标准的数据集上的实验表明，我们的模型优于我们的单标准基线模型和其他多标准模型。本文的源代码可以在Github https://github.com/acphile/MCCWS上找到。
2020-10-05 cs.AI cs.CL
Quantifying Context Mixing in Transformers
Tilburg University（蒂尔堡大学）；University of Amsterdam（阿姆斯特丹大学）
自注意权重及其转换变体一直是分析基于transformer的模型中令牌间交互的主要信息来源。但是，尽管它们易于解释，但这些权重并不忠实于模型的决策，因为它们只是编码器的一部分，并且编码器层中的其他组件可能对输出表示中的信息混合产生相当大的影响。在这项工作中，通过将分析范围扩展到整个编码器块，我们提出了Value Zeroing，这是一种为Transformers定制的新颖上下文混合分数，它为我们提供了对信息如何在每个编码器层混合的更深入理解。我们证明了我们的上下文混合得分优于其他分析方法，通过一系列的补充评估与不同的观点，基于语言学上知情的理由，探测，和忠实性分析。
2023-02-08 cs.CL cs.LG
ViRanker: A BGE-M3 & Blockwise Parallel Transformer Cross-Encoder for Vietnamese Reranking
Bank for Investment and Development of Vietnam (BIDV)（越南投资发展银行）；Posts and Telecommunications Institute of Technology（越南邮电技术学院）
ViRanker是一种基于BGE-M3和分块并行Transformer的越南语交叉编码器重排序模型，通过8 GB语料训练和混合难负样本采样，在MMARCO-VI上超越多语言基线并接近PhoRanker，展示了低资源语言重排序的可行方案。
2025-09-11 cs.AI cs.CL
Multi-Encoder Learning and Stream Fusion for Transformer-Based End-to-End Automatic Speech Recognition
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
流融合，也称为系统组合，是传统混合隐马尔可夫模型方法的自动语音识别中的一种常用技术，但对于现代深度神经网络端到端模型架构来说，大多数尚未探索。在这里，我们研究各种融合技术的所有注意力为基础的编码器-解码器架构称为Transformer，努力实现最佳融合，通过研究不同的融合水平，在一个示例单麦克风设置与融合的标准幅度和相位功能。我们引入了一种新的多编码器学习方法，该方法仅在训练期间执行两个编码器-解码器多头注意力输出的加权组合。在推理中只使用幅度特征编码器，我们能够在不增加运行时间或参数的情况下，用语言模型和Libripeech在华尔街日报（WSJ）上显示出一致的改进。通过简单的后期融合推理将两个这样的多编码器训练模型结合起来，我们在WSJ上实现了基于transformer的模型的最新性能，与当前的基准方法相比，WER显著降低了19%。
2021-07-14 cs.CL cs.LG cs.SD
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
神经机器翻译（NMT）采用确定性序列作为源表示。然而，无论是词级还是子词级分割都有多种选择，可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合，我们提出了基于格的编码器，以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法：1）格位置编码和2）格感知的自我注意。这两种方法可以结合使用，相互补充，进一步提高翻译性能。实验结果表明，基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers
University of Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；University of Groningen（格罗宁根大学）
本文提出 DecoderLens，通过让解码器交叉注意编码器中间层表示，逐层分析编码器-解码器 Transformer，并在多任务模型中揭示低层和中间层完成的子任务。
2024-04-03 cs.CL
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视觉和语言推理需要理解视觉概念，语言语义，最重要的是，这两种形式之间的对齐和关系。因此，我们提出了LXMERT（从Transformers学习跨模态编码器表示）框架来学习这些视觉和语言连接。在LXMERT中，我们构建了一个大规模的Transformer模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器。接下来，为了赋予我们的模型连接视觉和语言语义的能力，我们通过五个不同的代表性预训练任务，用大量的图像和句子对预训练模型：掩蔽语言建模，掩蔽对象预测（特征回归和标签分类），跨模态匹配和图像问答。这些任务有助于学习模态内和跨模态的关系。在对我们的预训练参数进行微调后，我们的模型在两个视觉问答数据集上实现了最先进的结果（即，VQA和GQA）。我们还通过将预训练的跨模态模型适应于具有挑战性的视觉推理任务NLVR 2来展示其通用性，并将之前的最佳结果提高了22%（54%至76%）。最后，我们展示了详细的消融研究，以证明我们的新模型组件和预训练策略都对我们的强大结果做出了重大贡献;并且还为不同的编码器提供了几个注意力可视化。代码和预训练模型可在以下网址公开获取：https://github.com/airsplay/lxmert
2019-12-03 cs.CL cs.CV cs.LG
Fast-FNet: Accelerating Transformer Encoder Models via Efficient Fourier Layers
Bilkent University（比尔肯特大学）；KU Leuven（荷语鲁汶大学）；TU Darmstadt（达姆施塔特工业大学）
针对Transformer注意力机制计算复杂度高的问题，提出Fast-FNet，利用傅里叶变换替代注意力层并优化其部署，在减少参数、训练时间和内存的同时提升性能。
2023-05-16 cs.AI cs.CL cs.GL
Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning
Google Research Language（谷歌研究院语言部门）
基于自我注意力的高度流行的Transformer架构是大型预训练模型（如BERT）的基础，这些模型已成为NLP中持久的范式。虽然功能强大，但预训练此类模型所需的计算资源和时间可能令人望而却步。在这项工作中，我们提出了一种替代的自我注意力架构，破碎，更有效地编码序列信息，通过软分区的相对位置的空间和应用不同的值矩阵的序列的不同部分。这种机制进一步允许我们将Transformer中的多头注意简化为单头注意。我们进行了大量的实验，表明Shatter比BERT实现了更好的性能，预训练每步更快（TPU上为15%），收敛步骤更少，并节省了大量内存（>50%）。总之，Shatter可以在7天内在8个V100 GPU上进行预训练，并与BERT_Base的性能相匹配-使预训练的成本更加实惠。
2021-08-30 cs.CL cs.LG
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；China Mobile Online Services（中移在线服务有限公司）；Tianjin University（天津大学）
由于其有效性和性能，Transformer翻译模型引起了广泛的关注，最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止，单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息，而解码器层进行转换。在这项工作中，我们表明情况并非如此：翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是，我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法，我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化：如果翻译已经发生在编码器层中，也许我们可以增加编码器层的数量，同时减少解码器层的数量，提高解码速度，而不会损失翻译质量？我们的实验表明确实如此：我们可以将速度提高到2.3倍，而翻译质量略有提高，而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU（En-De）。
2021-04-20 cs.CL
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute（沃斯特理工学院）
本文提出Transformer-编码树(TET)，通过共享相似语言的中间表示提升低资源语言准确率，减少计算冗余，实现单次前向传递生成所有目标语言，比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
Hierarchical Transformer Encoders for Vietnamese Spelling Correction
University of Science（科学大学）；Vietnam National University（越南国家大学）；Zalo Group - VNG Corporation（Zalo集团-VNG公司）
在本文中，我们提出了一个层次Transformer模型的越南语拼写纠正问题。该模型由多个Transformer编码器组成，并利用字符级和单词级来检测错误并进行更正。此外，为了促进越南语拼写纠正任务的未来工作，我们提出了一个现实的数据集，从现实生活中的文本收集的问题。我们比较我们的方法与其他方法和公开可用的系统。所提出的方法优于所有的当代方法的召回率，精度和f1分数。演示版本是公开的。
2021-05-28 cs.CL
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Korea University（高丽大学）
本文提出仅编码器下一词元预测（ENTP），通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
Transformers and Cortical Waves: Encoders for Pulling In Context Across Time
Western University（韦仕敦大学）；Fields Institute（菲尔兹研究所）；University of California at San Diego（加州大学圣地亚哥分校）；Salk Institute for Biological Studies（索尔克生物研究所）
本研究提出皮层神经活动波可能采用与Transformer类似的编码原理，通过将输入历史封装为空间模式提取感官序列的时间上下文，为理解大脑时序信息处理提供新视角。
2024-08-16 cs.AI cs.CL
Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks
Istanbul Bilgi University（伊斯坦布尔比尔基大学）
本研究针对土耳其语自然语言理解任务，微调基础版土耳其语BERT模型BERTurk，在命名实体识别等四项任务上超越现有基线，公开发布相关模型资源以支持领域研究。
2024-01-30 cs.AI cs.CL
Balancing Cost and Benefit with Tied-Multi Transformers
National Institute of Information and Communications Technology（信息通信技术国家研究所）
我们提出并评估了一种新的程序，用于训练多个Transformers与捆绑参数，压缩多个模型成一个，使动态选择的编码器和解码器层的数量在解码过程中。在序列到序列建模中，通常，N层编码器的最后一层的输出被馈送到M层解码器，并且最后一个解码器层的输出被用于计算损失。相反，我们的方法计算由NXM个损失组成的单个损失，其中每个损失是从连接到N个编码器层之一的M个解码器层之一的输出计算的。这样的模型包含具有不同数量的编码器和解码器层的NXM模型，并且可以用于具有少于最大数量的编码器和解码器层的解码。然后，我们提出了一种机制，选择先验的编码器和解码器层的数量更快的解码，并探讨了经常性的堆栈层和知识蒸馏的模型压缩。我们提出了一个成本效益分析的神经机器翻译，并表明他们降低解码成本，同时保持翻译质量。
2020-02-20 cs.CL cs.LG
The Stem Cell Hypothesis: Dilemma behind Multi-Task Learning with Transformer Encoders
Emory University（埃默里大学）
使用Transformer编码器（MTL）的多任务学习已经成为一种强大的技术，可以提高密切相关任务的准确性和效率，同时仍然存在一个问题，即它是否可以在本质上不同的任务上表现良好。我们首先提出了MTL的五个NLP任务，POS，NER，DEP，CON，和SRL的结果，并描述了它的不足之处单任务学习。然后，我们进行了广泛的修剪分析表明，一定的一组注意头得到声称的大多数任务在MTL，谁干扰彼此微调这些头为自己的目标。基于这一发现，我们提出了干细胞假说，以揭示存在的注意力头自然天赋的许多任务，不能联合训练，以创造足够的嵌入所有这些任务。最后，我们设计了新的无参数探针来证明我们的假设，并通过标签分析展示了注意头是如何在MTL的五个任务中转换的。
2021-09-14 cs.AI cs.CL
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
依赖于大型预训练语言模型，例如来自Transformers的双向编码器表示（BERT）进行编码并添加简单的预测层，在许多临床自然语言处理（NLP）任务中取得了令人印象深刻的性能。在这项工作中，我们提出了一种新的扩展的Transformer架构，将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明，该架构是优于三个信息抽取任务中的两个，与基线模型。最后，我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss
Google Inc.（谷歌公司）
在本文中，我们提出了一个端到端的语音识别模型与Transformer编码器，可用于流式语音识别系统。基于自注意的Transformer计算块用于独立地编码音频和标签序列。来自音频和标签编码器两者的激活与前馈层组合，以针对声学帧位置和标签历史的每个组合计算标签空间上的概率分布。这类似于递归神经网络传感器（RNN-T）模型，它使用RNN进行信息编码，而不是Transformer编码器。该模型使用非常适合流解码的RNN-T损失进行训练。我们目前的LibriSpeech数据集上的结果表明，限制左上下文的自我注意力在Transformer层，使解码计算易于处理的流，只有轻微的精度下降。我们还表明，我们的模型的完全注意力版本击败了LibriSpeech基准测试的最先进的准确性。我们的研究结果还表明，我们可以通过关注有限数量的未来帧来弥合我们模型的完全注意力和有限注意力版本之间的差距。
2020-02-14 cs.CL cs.SD eess.AS
Assessing Logical Reasoning Capabilities of Encoder-Only Transformer Models
Instituto Mauá de Tecnologia（莫阿技术学院）；University of Alberta（阿尔伯塔大学）；Universidade de São Paulo（圣保罗大学）
本文通过定理推导、交叉探测和逐层分析评估仅编码器Transformer模型的逻辑推理能力，发现其学到的多为数据集特定特征而非通用逻辑能力，且任务主要由高层网络解决。
2024-07-01 cs.AI cs.CL
Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本研究提出多编码器Transformer，集成多达五个异构编码器，通过简单组合策略和性能驱动协同标准，在多种语言及数据集规模上提升翻译质量，低资源语言中最高提升7.16 BLEU。
2023-12-26 cs.CL
Traditional Machine Learning Models and Bidirectional Encoder Representations From Transformer (BERT)-Based Automatic Classification of Tweets About Eating Disorders: Algorithm Development and Validation Study
University of León（莱昂大学）；Leibniz University of Hannover（汉诺威莱布尼茨大学）；Spanish National University for Distance Education（西班牙国家远程教育大学）
本研究收集三个月内105万条饮食失调推文，用传统机器学习与BERT等深度学习模型分类，发现基于变换器的模型F1分数最高（71.1%-86.4%），但计算资源消耗更大。
2024-02-08 cs.CL cs.LG
MaBERT:A Padding Safe Interleaved Transformer Mamba Hybrid Encoder for Efficient Extended Context Masked Language Modeling
Graduate School of Industrial Data Engineering, Hanyang University（韩阳大学工业数据工程研究生院）
MaBERT结合Transformer与Mamba层，通过安全填充掩码和掩码感知注意力池化，实现高效长上下文掩码语言模型。
2026-03-03 cs.CL
GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer结构由一系列编码器和解码器网络层堆叠而成，在神经机器翻译中取得了重大发展。然而，vanilla Transformer主要利用顶层表示，假设较低层提供琐碎或冗余的信息，因此忽略了潜在有价值的底层功能。在这项工作中，我们提出了组转换器模型（GTrans），灵活地将编码器和解码器的多层表示分为不同的组，然后融合这些组特征来生成目标词。为了验证该方法的有效性，在IWLST-14、IWLST-17、LDC、WMT-14和OPUS-100等三个双语翻译基准和两个多语种翻译任务上进行了大量实验和分析实验。实验和分析结果表明，我们的模型优于它的Transformer同行一致的增益。此外，它可以成功地扩展到60个编码器层和36个解码器层。
2022-11-07 cs.CL cs.LG
Hybrid Encoder: Towards Efficient and Precise Native AdsRecommendation via Hybrid Transformer Encoding Networks
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Microsoft（微软）
Transformer编码网络已被证明是理解自然语言的有力工具。它们在原生广告服务中发挥着关键作用，这有助于根据用户的Web浏览历史推荐合适的广告。为了高效推荐，常规方法将利用连体Transformer编码器独立地生成用户和广告嵌入，使得可以利用近似最近邻搜索（ANN）。鉴于用户和广告的潜在语义可能是复杂的，这种独立生成的嵌入容易丢失信息，这导致较差的推荐质量。虽然另一种编码策略，交叉编码器，可以更准确，这将导致巨大的运行成本，并成为不可行的实时服务，如原生广告推荐。在这项工作中，我们提出了混合编码器，通过两个连续的步骤：检索和排名，使高效和精确的原生广告推荐。在检索步骤中，用户和广告被编码的连体组件，这使得相关的候选人通过人工神经网络搜索检索。在排名步骤中，它进一步表示每个具有分解嵌入的广告和每个具有广告相关嵌入的用户，这有助于从候选集中细粒度地选择高质量的广告。这两个步骤都是轻量级的，这要归功于预先计算和缓存的中间结果。为了优化混合编码器在这个两阶段工作流程中的性能，开发了一个渐进式训练管道，该管道逐步建立模型在检索和排名任务中的能力。混合编码器的有效性进行了实验验证：很少的额外成本，它优于暹罗编码器显着，并实现了可比的建议质量的交叉编码器。
2021-04-22 cs.AI cs.CL cs.IR
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA（洛林计算机科学及其应用实验室）；Posos（Posos公司）
一些基于transformer的模型可以执行跨语言迁移学习：这些模型可以在一种语言的特定任务上进行训练，并在另一种语言的相同任务上给出相对较好的结果，尽管只在单语任务上进行了预训练。但是，对于这些基于transformer的模型是否能够跨语言学习通用模式，目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明，我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明，基于多语言transformer的模型的一些内层优于其他显式对齐的表示，根据更严格的多语言对齐定义，甚至更是如此。
2022-07-19 cs.CL
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield（谢菲尔德大学）
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器，它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接，更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1（SWBC）和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景（Concat和Overlap）下，与四个强基线相比，该模型表现出更好的性能，与H向量和S向量相比，相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比，相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
XD at SemEval-2020 Task 12: Ensemble Approach to Offensive Language Identification in Social Media Using Transformer Encoders
Emory University（埃默里大学）
本文提出了六个文档分类模型，使用最新的Transformer编码器和高性能的集成模型的攻击性语言识别的任务，在社交媒体。对于单个模型，应用深Transformer层来执行多头注意力。对于集成模型，从这些单独的模型中提取的话语表示被连接并馈送到线性解码器中以做出最终决定。我们的集成模型优于单个模型，并显示出比开发集上的单个模型高出8.6%的改进。在测试集上，它达到了90.9%的宏F1，成为该共享任务的子任务A中85个参与者中的高性能系统之一。我们的分析表明，尽管集成模型显着提高了开发集的准确性，但在测试集上的提高并不明显。
2020-07-21 cs.CL
DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models
AWS AI Labs（AWS AI实验室）；University of California San Diego（加州大学圣迭戈分校）
提出DEED方法，在编码器-解码器Transformer解码器中实现动态早退，通过多出口和深度监督训练，按步置信度减少解码层数，降低30%-60%推理延迟，保持或提升准确性。
2023-11-15 cs.CL cs.CV cs.LG
Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency
Meta
本文发现，简单的自监督预训练音频模型配合纯自注意力编码器，在低比特量化下能达到与混合卷积-注意力语音Transformer相当的推理效率，且避免量化模块间误差传播。
2024-02-08 cs.CL cs.SD eess.AS
GlobEnc: Quantifying Global Token Attribution by Incorporating the Whole Encoder Layer in Transformers
University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies, Khatam University（哈塔姆大学德黑兰高等研究院）；Iran University of Science and Technology（伊朗科技大学）
人们对解释Transformers的潜在动力学越来越感兴趣。虽然自我注意力模式最初被认为是主要的选择，但最近的研究表明，整合其他成分可以产生更准确的解释。本文介绍了一种新的令牌属性分析方法，该方法将编码器块中的所有组件合并在一起，并在整个层中聚合。通过大量的定量和定性实验，我们证明了我们的方法可以产生忠实和有意义的全球令牌属性。我们的实验表明，将几乎每个编码器组件都集成在一起，可以在局部（单层）和全局（整个模型）设置中进行越来越准确的分析。我们的全球归因分析显着优于以前的方法在各种任务的相关性与基于梯度的显着性分数。我们的代码可以在https://github.com/mohsenfayyaz/GlobEnc上免费获得。
2022-05-06 cs.CL
Learning affective meanings that derives the social behavior using Bidirectional Encoder Representations from Transformers
University of Virginia（弗吉尼亚大学）；University of Georgia（佐治亚大学）
预测过程的结果需要对系统进行动态建模并观察状态。在社会行为的背景下，情绪表征系统的状态。情感控制理论（ACT）使用情感来表现潜在的互动。ACT是一种基于三维情感词典的文化和行为生成理论。传统上，情绪是使用调查数据量化的，这些数据被输入回归模型来解释社会行为。由于费用过高，调查中使用的词汇有限。本文使用一个微调双向编码器表示从Transformers（BERT）模型开发这些调查的替代品。该模型在估计情感含义、扩展情感词典和允许解释更多行为方面达到了最先进的精度。
2022-09-13 cs.CL
Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study
Alibaba Group（阿里巴巴集团）
本研究实证探讨了将预训练语言模型中的 Transformer 用作 ASR 编码器的有效性，发现其能显著降低 CER 和 WER，并在需要语义理解的场景中大幅提升系统性能。
2024-09-26 cs.CL cs.SD eess.AS
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University（德里理工大学）
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系，这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平，其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器，用于捕获用户话语中的情商，以产生类似人类的移情反应。本文的贡献如下：1）在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2）提出了一种新颖的Transformer编码器，其将词嵌入与情感嵌入相加并归一化，从而集成了输入话语的语义和情感方面3）编码器和解码器栈属于Transformer。XL体系结构，这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性，与现有方法相比，生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实，包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
Mockingjay: Unsupervised Speech Representation Learning with Deep Bidirectional Transformer Encoders
National Taiwan University（台湾大学）
我们提出Mockingjay作为一种新的语音表示学习方法，其中双向Transformer编码器在大量未标记的语音上进行预训练。以前的语音表示方法通过对过去帧的条件反射和预测未来帧的信息来学习。而Mockingjay的设计是通过对过去和未来背景的联合条件作用来预测当前框架。Mockingjay表示提高了广泛的下游任务的性能，包括音素分类，说话人识别和对口语内容的情感分类，同时优于其他方法。Mockingjay是经验强大的，可以与下游模型进行微调，只有2个时代，我们进一步提高性能显着。在只有0.1%标记数据的低资源设置中，我们的表现优于使用所有100%标记数据的Mel特征的结果。
2020-02-02 cs.CL cs.LG cs.SD
Interference Matrix: Quantifying Cross-Lingual Interference in Transformer Encoders
FAIR at Meta（Meta 的 FAIR 部门）；Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
本文通过构建干扰矩阵，量化了83种语言间的不对称跨语言干扰，发现其与文字系统相关而非语系，并能预测下游任务性能，助力多语言模型设计。
2025-08-04 cs.CL
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来，非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功，但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力，这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品，并且本质上具有有限的基于规则的模型空间，因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此，我们提出了一种称为基于图Transformer的自动编码器（GTAE）的方法，该方法将句子建模为语言图，并在图级别上执行特征提取和风格转换，以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明，我们的模型优于国家的最先进的方法，在内容保存，同时实现了相当的性能，转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning
Microsoft Research（微软研究院）
预训练的双向Transformers，例如BERT，在各种各样的语言理解任务中已经实现了显著的改进，而直接将它们应用于自然语言生成并不简单。在本文中，我们提出了一个序列到序列的微调工具包s2 s-ft，它采用预训练的Transformers的条件生成任务。受UniLM的启发，我们实现了三种序列到序列的微调算法，即因果微调、掩蔽微调和伪掩蔽微调。通过利用现有的预训练的双向Transformers，实验结果表明，s2 s-ft在抽象摘要和问题生成的几个基准上实现了强大的性能。此外，我们证明了包s2 s-ft支持单语和多语言NLG任务。s2 s-ft工具包可以在https://github.com/microsoft/unilm/tree/master/s2s-ft上找到。
2021-10-26 cs.CL
TERA: Self-Supervised Learning of Transformer Encoder Representation for Speech
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）
我们介绍了一种自监督的语音预训练方法，称为TERA，它代表来自Alteration的Transformer Encoder Representations。最近的方法通常通过使用单个辅助任务来学习，如对比预测，自回归预测或掩码重建。与以前的方法不同，我们使用沿三个正交轴的改变来在大量未标记的语音上预训练Transformer编码器。该模型通过从改变的对应物中重建声学帧来学习，在那里我们使用随机策略来改变各个维度：时间，频率和幅度。TERA可用于语音表示提取或与下游模型进行微调。我们评估TERA的几个下游任务，包括音素分类，关键字定位，说话人识别，和语音识别。我们对各种自监督模型进行了大规模的比较。TERA通过改进表面特征并优于以前的模型，在比较中实现了强大的性能。在我们的实验中，我们研究了应用不同的更改技术，对更多数据进行预训练以及对各种特征进行预训练的效果。我们分析了不同的模型大小，发现较小的模型比较大的模型更强的表示学习器，而较大的模型比较小的模型更有效地进行下游微调。此外，我们还证明了所提出的方法可以转移到预训练中未使用的下游数据集。
2021-08-04 cs.CL cs.LG eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
An Empirical Study of Training End-to-End Vision-and-Language Transformers
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Corporation（微软公司）
视觉和语言（VL）预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明，完全基于transformer的VL模型可以比以前的基于区域特征的方法更有效，但它们在下游任务上的性能往往会显着下降。在本文中，我们提出了METER，一个多模式端到端的Transformer框架，通过它，我们研究了如何以端到端的方式设计和预训练一个完全基于transformer的VL模型。具体来说，我们沿着多个维度剖析模型设计：视觉编码器（例如，CLIP-ViT、Swin Transformer）、文本编码器（例如，RoBERTa，DeBERTa），多模态融合模块（例如，合并注意力对共同注意力），建筑设计（例如，仅编码器对编码器-解码器），以及预训练目标（例如，掩码图像建模）。我们进行全面的实验，并提供有关如何训练一个高性能的VL Transformer的见解。METER仅使用4 M图像进行预训练，在VQAv 2测试标准集上实现了77.64%的准确率，超过了最先进的基于区域特征的模型1.04%，并超过了之前最好的完全基于transformer的模型1.6%。值得注意的是，当进一步扩大规模时，我们最好的VQA模型的准确率达到80.54%。代码和预训练模型在https://github.com/zdou0830/METER上发布。
2022-03-18 cs.CL cs.CV cs.LG
Utilizing Bidirectional Encoder Representations from Transformers for Answer Selection
York University（约克大学）
近年来，人们发现，在大型数据集中为语言建模任务预训练基于transformer的模型，然后为下游任务对其进行微调非常有用。这种预先训练的语言模型的一个主要优点是，它们可以有效地吸收句子中每个单词的上下文。然而，对于诸如答案选择任务之类的任务，预训练的语言模型尚未被广泛使用。为了研究它们在此类任务中的有效性，本文采用预训练的来自Transformer（BERT）语言模型的双向编码器表示，并在两个问答（QA）数据集和三个社区问答（CQA）数据集上对其进行微调以用于答案选择任务。我们发现，微调BERT模型的答案选择任务是非常有效的，并观察到最大的改善13.1%的QA数据集和18.7%的CQA数据集相比，以前的最先进的。
2020-11-14 cs.CL cs.IR
TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning
Technical University of Darmstadt（达姆施塔特工业大学）
学习句子嵌入通常需要大量的标记数据。然而，对于大多数任务和域，标记数据很少可用，并且创建它是昂贵的。在这项工作中，我们提出了一种新的国家的最先进的无监督方法的基础上预先训练的Transformers和顺序去噪自动编码器（TSDAE），它优于以前的方法高达6.4点。它可以实现高达93.1%的域内监督方法的性能。此外，我们表明，TSDAE是一个强大的领域自适应和预训练方法的句子嵌入，显着优于其他方法，如掩蔽语言模型。以往研究的一个重要缺点是评估范围狭窄：大多数工作主要评估语义文本相似性（STS）的单一任务，这不需要任何领域知识。目前还不清楚这些方法是否适用于其他领域和任务。我们填补了这一空白，并评估TSDAE和其他最近的方法对四个不同的数据集从异构域。
2021-09-10 cs.CL
Delaying Interaction Layers in Transformer-based Encoders for Efficient Open Domain Question Answering
Worldline（沃捷（Worldline））
在大规模文档语料库（如维基百科）上进行开放领域问答（ODQA）是计算机科学领域的一个关键挑战。虽然基于transformer的语言模型（如BERT）在SQuAD上显示出超越人类的能力，可以在小段文本中提取答案，但当面对更大的搜索空间时，它们会受到高度复杂性的影响。解决这个问题的最常见的方法是添加一个初步的信息检索步骤，对语料库进行严格过滤，只保留相关段落。在本文中，我们提出了一个更直接和互补的解决方案，包括在应用一个通用的变化，在架构中的变压器为基础的模型，以延迟子部分之间的注意力的输入，并允许更有效的管理计算。由此产生的变体在提取任务上与原始模型具有竞争力，并且在ODQA设置上允许显着的加速，甚至在许多情况下的性能改进。
2020-10-16 cs.CL
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
语言模型（LM）预训练在各种语言理解任务上取得了令人印象深刻的性能和样本效率。然而，目前还不清楚如何最好地使用预训练的LM生成任务，如抽象总结，特别是提高样本效率。在这些序列到序列设置中，先前的工作已经试验了将预训练的权重加载到编码器和/或解码器网络中，但是使用了非预训练的编码器-解码器注意力权重。相反，我们使用一个预先训练的仅解码器网络，其中相同的Transformer LM既编码源又生成摘要。这确保了网络中的所有参数，包括那些控制对源状态的注意力的参数，都在微调步骤之前进行了预训练。在CNN/Daily Mail数据集上的实验表明，我们预先训练的Transformer LM在有限的数据设置中大大改善了预先训练的Transformer编码器-解码器网络。例如，它仅使用1%的训练数据（约3000个示例）就达到了13.1 ROUGE-2，而预训练的编码器-解码器模型得分为2.3 ROUGE-2。
2019-05-21 cs.CL
Graph-Aware Transformer: Is Attention All Graphs Need?
Samsung Advanced Institute of Technology（三星先进技术研究院）
图是表示许多领域中的关系和结构信息的自然数据结构。为了覆盖包括图分类以及图生成的广泛的图数据应用，期望具有由可以处理图数据的编码器和解码器组成的通用且灵活的模型。虽然有代表性的编码器-解码器模型，Transformer，在各种任务，特别是自然语言处理，表现出优越的性能，它不是立即可用于图，由于其非顺序特性。为了解决这种不兼容性，我们提出了GRaph-Aware Transformer（GRAT），这是第一个基于Transformer的模型，可以以端到端的方式对整个图进行编码和解码。GRAT具有自适应边缘信息的自注意机制和基于双路径方法的自回归解码机制，该双路径方法包括子图编码路径和每个解码步骤的节点和边缘生成路径。我们在多个设置上经验性地评估了GRAT，包括基于编码器的任务，例如对QM 9数据集的分子性质预测和基于编码器-解码器的任务，例如有机分子合成领域中的分子图生成。GRAT已经显示出非常有前途的结果，包括在QM 9基准测试中的4个回归任务上的最新性能。
2020-06-09 cs.CL cs.LG stat.ML
