Transformer-based Automatic Speech Recognition of Formal and Colloquial Czech in MALACH Project
University of West Bohemia in Pilsen（比尔森西波西米亚大学）
捷克语是一种非常特殊的语言，因为它在正式和口语形式之间有很大的差异。正式（书面）形式主要用于官方文件、文学和公开演讲，而口语（口语）形式则广泛用于人们的日常演讲。这一差距给ASR系统带来了严重的问题，特别是在包含大量口语的数据集上训练或评估ASR模型时，例如MALACH项目。在本文中，我们正在解决这个问题，在端到端的ASR系统的一个新的范例-最近推出的自我监督音频Transformers。具体来说，我们正在研究口语对Wav 2 Vec 2.0模型性能的影响，以及它们将口语直接转录为正式转录本的能力。我们在训练成绩单、语言模型和评估成绩单中以正式和口语形式呈现结果。
2022-06-15 cs.CL
Automatic Readability Assessment of German Sentences with Transformer Ensembles
FH Aachen University of Applied Sciences（亚琛应用科学大学）；ORDIX AG（ORDIX股份公司）
可靠的自动可读性评估方法有可能影响从机器翻译到自学的各个领域。最近，德语的大语言模型（如GBERT和GPT-2-Wechsel）已经可用，允许开发基于深度学习的方法，这些方法有望进一步改进自动可读性评估。在这篇文章中，我们研究了微调GBERT和GPT-2-Wechsel模型的集合可靠地预测德语句子可读性的能力。我们将这些模型与语言特征相结合，并研究了预测性能对集合大小和组成的依赖性。GBERT和GPT-2-Wechsel的混合系综比仅由GBERT或GPT-2-Wechsel模型组成的相同大小的系综表现更好。我们的模型在GermEval 2022共享任务中对德语句子的文本复杂性评估进行了评估。在样本外数据上，我们的最佳集成实现了0.435的均方根误差。
2022-09-09 cs.CL
DxFormer: A Decoupled Automatic Diagnostic System Based on Decoder-Encoder Transformer with Dense Symptom Representations
Fudan University（复旦大学）；Northwestern Polytechnical University（西北工业大学）
面向诊断的对话系统通过与患者的持续交互来查询患者的健康状况并对可能的疾病进行预测。少数研究使用强化学习（RL）从症状和疾病的联合作用空间学习最优策略。然而，现有的RL（或非RL）方法不能达到足够好的预测精度，仍然远离其上限。为了解决这个问题，我们提出了一个解耦的自动诊断框架DxFormer，它将诊断过程分为两个步骤：症状查询和疾病诊断，其中从症状查询到疾病诊断的过渡是由停止标准明确确定的。在DxFormer中，我们将每个症状作为一个标记，并将症状查询和疾病诊断分别形式化为语言生成模型和序列分类模型。我们使用Transformer的反转版本，即，解码器-编码器结构，通过联合优化强化奖励和交叉熵损失来学习症状的表示。在三个公开的真实世界数据集上的大量实验证明，我们提出的模型可以有效地学习医生的临床经验，并在症状回忆和诊断准确率方面达到最先进的结果。
2022-12-24 cs.CL
Spatio-temporal transformer to support automatic sign language translation
Universidad Industrial de Santander（桑坦德工业大学）
本文提出一种基于Transformer的时空手语翻译架构，通过卷积与注意力机制同时建模局部和长程手势信息，在CoL-SLTD和PHOENIX14T上分别取得46.84%和30.77%的BLEU4，验证了其对真实手语变体的鲁棒性。
2025-02-04 cs.CL
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University（阿尔及利亚科学与技术大学）；University of MEDEA（迈代阿大学）；College of Engineering and Information Technology, University of Dubai（迪拜大学工程与信息技术学院）
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展，阐述了其架构、应用、相关研究及局限性，为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
Adaptive Sparse and Monotonic Attention for Transformer-based Automatic Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua University（清华大学）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于自注意和多头注意力的Transformer架构模型在离线端到端自动语音识别（ASR）中取得了显著的成功。然而，自我注意力和多头注意力不能容易地应用于流或在线ASR。针对Transformer语音识别中的自注意问题，基于softmax归一化函数的注意力机制使得语音识别中的重要语音信息无法突出。对于Transformer ASR中的多头注意力，不容易对不同头中的单调对齐进行建模。为了克服这两个限制，我们将稀疏注意力和单调注意力集成到基于transformer的ASR中。稀疏机制引入了一个学习的稀疏方案，使每个自注意力结构，以适应相应的头部更好。单调注意部署正则化以修剪用于多头注意力结构的冗余头。实验结果表明，该方法可以有效地改善语音识别中广泛使用的基准测试的注意力机制。
2022-09-30 cs.AI cs.CL
Taking a Stance on Fake News: Towards Automatic Disinformation Assessment via Deep Bidirectional Transformer Language Models for Stance Detection
University of Waterloo（滑铁卢大学）
在过去十年中，社交媒体和数字新闻的指数级增长带来了不幸的后果，加剧了联合国所称的全球关注话题：虚假信息的日益普遍。鉴于通过人工评估打击虚假信息的复杂性和耗时性，人们有动力探索利用人工智能解决方案来自动评估新闻文章中是否存在虚假信息。自动识别虚假信息的有价值的第一步是立场检测，在给定的声明和新闻文章中，目标是预测文章是否同意，不同意，不采取任何立场，或者与声明无关。文献中的现有方法在很大程度上依赖于手工设计的特征或浅学习的表示（例如，词嵌入）来对声明-文章对进行编码，这可能限制解决虚假信息识别的高复杂性所需的代表性表达水平。在这项工作中，我们探讨了利用大规模深度双向Transformer语言模型编码索赔文章对的概念，以构建最先进的立场检测，以识别虚假信息。利用声明-文章对之间的双向交叉注意力，通过对自注意力进行配对编码，我们通过对RoBERTa深度双向Transformer语言模型进行迁移学习，构建了一个用于立场检测的大规模语言模型，并且能够在假新闻挑战第一阶段（FNC-I）基准测试中实现最先进的性能（加权准确率为90.01%）。这些有希望的结果是利用这种大规模语言模型作为强大的构建模块来创建有效的人工智能解决方案以对抗虚假信息的动机。
2019-11-27 cs.CL
Investigating Failures of Automatic Translation in the Case of Unambiguous Gender
Facebook AI；Facebook AI Research
基于Transformer的模型是神经机器翻译（NMT）的现代工作机器，在多个基准测试中达到了最先进的水平。尽管它们的准确性令人印象深刻，但我们观察到基于Transformer的模型在从一种不标记名词性别的语言翻译成其他语言时所犯的系统性和基本错误。我们发现，即使周围的上下文提供了明确的证据，适当的语法性别标记，没有Transformer为基础的模型，我们测试能够准确地性别职业名词系统。我们发布了一个评估方案和数据集，用于测量基于Transformer的NMT模型在句法不同的句子中在明确的上下文中正确翻译性别形态的能力。我们的数据集从英语源翻译成来自几个不同语系的20种语言。有了这个数据集，我们希望NMT社区可以为这类特别严重的错误提供解决方案。
2021-04-16 cs.CL
Automatic Rule Induction for Interpretable Semi-Supervised Learning
Microsoft（微软）
半监督学习在允许NLP模型从少量标记数据中概括方面表现出了希望。同时，预训练的Transformer模型充当了黑盒关联引擎，难以解释，有时行为不可靠。在本文中，我们提出通过自动规则归纳（ARI）来解决这两个挑战，ARI是一个简单而通用的框架，用于自动发现符号规则并将其集成到预训练的Transformer模型中。首先，我们从在少量标记数据上训练的低容量机器学习模型中提取弱符号规则。接下来，我们使用注意力机制将这些规则集成到高容量的预训练Transformer模型中。最后，规则增强系统成为自训练框架的一部分，以增强对未标记数据的监督信号。这些步骤可以在各种现有的弱监督和半监督NLP算法下分层，以提高性能和可解释性。九个序列分类和关系抽取任务的实验表明，ARI可以改善国家的最先进的方法，没有手动工作和最小的计算开销。
2022-10-14 cs.CL
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA（英伟达）
在这项工作中，我们介绍了一个简单而有效的自动语音识别（ASR）后处理模型。我们的模型具有基于transformer的编码器-解码器架构，该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略，并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中，我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善，特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
Transformer-Based Models for Automatic Identification of Argument Relations: A Cross-Domain Evaluation
Universitat Politècnica de València（瓦伦西亚理工大学）；Valencian Research Institute for Artificial Intelligence (VRAIN)（瓦伦西亚人工智能研究所）
论证挖掘被定义为自动识别和提取论证成分的任务（例如，房地、索赔等）并检测它们之间的现有关系（即，支持，攻击，换句话说，没有关系）。在处理这个问题时的主要问题之一是缺乏数据，以及公开可用的语料库的大小。在这项工作中，我们使用最近注释的US2016辩论语料库。US2016是现有最大的参数注释语料库，它允许探索自然语言处理在复杂领域（如参数（关系）挖掘）的最新进展的好处。我们对基于transformer的模型的行为进行了详尽的分析（即，BERT、XLNET、RoBERTa、DistilBERT和ALBERT）。最后，我们评估了五个不同领域的模型，目的是找到更少的领域依赖模型。我们使用US2016评估语料库获得的宏观F1分数为0.70，使用道德迷宫跨域语料库获得的宏观F1分数为0.61。
2021-04-15 cs.CL
Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
自动译后编辑（APE）研究的最新方法表明，多源模型可以获得更好的结果，该模型联合编码源（src）和机器翻译输出（mt）以产生译后编辑句子（pe）。沿着这一趋势，我们提出了一个新的多源APE模型的基础上的Transformer。为了构建有效的联合表示，我们的模型内部学习将src上下文纳入mt表示。通过这种方法，我们实现了一个显着的改善基线系统，以及国家的最先进的多源APE模型。此外，为了证明我们的模型将src上下文的能力，我们表明，未知的MT系统的字对齐成功地捕获在我们的编码结果。
2019-08-15 cs.CL cs.LG
Towards Online End-to-end Transformer Automatic Speech Recognition
Sony Corporation（索尼公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
Transformer自注意网络最近显示出作为端到端（E2 E）自动语音识别（ASR）系统中的递归神经网络的替代方案的有前途的性能。然而，Transformer有一个缺点，即需要整个输入序列来计算自注意力。我们提出了一个块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码，还有助于对全局语言、通道和扬声器属性进行编码。在本文中，我们将其扩展到一个完整的在线E2 E ASR系统，通过引入一个在线解码过程的启发单调块注意（MoChA）到Transformer解码器。我们的新型MoChA训练和推理算法利用了Transformer的独特属性，其注意力并不总是单调或峰值的，并且具有解码器层的多个头和剩余连接。华尔街日报（WSJ）和AISHELL-1的评估表明，我们提出的在线Transformer解码器优于传统的分块方法。
2019-10-25 cs.CL cs.SD eess.AS
BayesSpeech: A Bayesian Transformer Network for Automatic Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
使用端到端深度学习模型的最新发展已被证明在自动语音识别任务上具有接近或优于最先进的递归神经网络（RNN）的性能。这些模型往往比传统的基于RNN的方法更轻，需要更少的训练时间。然而，这些模型采用频率主义方法进行重量训练。从理论上讲，网络权重是从一个潜在的、难以处理的概率分布中提取的。我们介绍贝叶斯语音的端到端自动语音识别。BayesSpeech是一个贝叶斯Transformer网络，其中这些棘手的后验是通过变分推理和局部重新参数化技巧学习的，而无需递归。我们展示了如何在权重中引入方差，从而在LibriSpeech-960上实现更快的训练时间和接近最先进的性能。
2023-01-16 cs.CL cs.LG cs.SD
COMET: Commonsense Transformers for Automatic Knowledge Graph Construction
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）
我们提出了关于两个流行的常识知识图谱的自动知识库构建的第一个全面研究：ATOMIC（Sap等人，2019）和ConceptNet（Speer等人，2017年）。与使用规范模板存储知识的许多传统知识库相反，常识知识库仅存储知识的松散结构的开放文本描述。我们认为，自动常识完成的重要一步是常识知识的生成模型的发展，并提出COMmonsEnse Transformers（COMET），学习生成丰富多样的常识描述自然语言。尽管常识建模面临挑战，但我们的调查显示，当来自深度预训练语言模型的隐式知识被转移到常识知识图谱中生成显式知识时，结果是有希望的。实证结果表明，COMET能够生成人类评价为高质量的新知识，前1名的准确率高达77.5%（ATOMIC）和91.7%（ConceptNet），接近人类对这些资源的表现。我们的研究结果表明，使用生成常识模型自动常识知识库完成可能很快成为一个合理的替代提取方法。
2019-06-14 cs.AI cs.CL
GradTS: A Gradient-Based Automatic Auxiliary Task Selection Method Based on Transformer Networks
Dartmouth College（达特茅斯学院）；Zhejiang University City College（浙江大学城市学院）；Tsinghua University（清华大学）
多任务学习研究的一个关键问题是如何自动选择高质量的辅助任务。提出了一种基于梯度计算的辅助任务自动选择方法GradTS。与AUTOSEM（一种强基线方法）相比，GradTS使用基于bert的后端模型将MT-DNN的性能从0.33%提高到17.93%，用于GLUE基准测试中的8个自然语言理解（NLU）任务。GradTS也是节省时间的，因为（1）它的梯度计算是基于单任务实验的，（2）当候选任务集改变时，梯度被重新使用，而无需额外的实验。例如，在8个GLUE分类任务上，GradTS的平均时间比AUTOSEM少21.32%，GPU消耗相当。此外，我们展示了GradTS在各种任务设置和模型选择中的鲁棒性，例如候选任务之间的混合目标。GradTS在这些案例研究中的效率和功效说明了其在MTL研究中的普遍适用性，而无需手动任务过滤或昂贵的参数调整。
2021-09-13 cs.CL cs.LG
Automatic Sentence Completion Using Bengali Audio Speech with a Transformer-Based Early Speech Recognition System
Daffodil International University（达福迪尔国际学校）；Department of Computer Science and Engineering, Daffodil International University（达福迪尔国际学校计算机科学与工程系）
本研究针对孟加拉语这一代表性不足的语言，开发了结合Transformer语音识别与Bi-LSTM注意力机制的系统，用于检测痴呆症并实现对话中的句子自动补全，填补了相关领域空白。
2026-10-16 cs.CL
Cross-Modal Transformer-Based Neural Correction Models for Automatic Speech Recognition
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
提出了一种基于跨模态变换的神经校正模型，该模型对自动语音识别（ASR）系统的输出进行改进，以排除ASR错误。一般来说，神经校正模型由编码器-解码器网络组成，可以直接模拟序列到序列的映射问题。最成功的方法是使用输入语音及其ASR输出文本作为编码器-解码器网络的输入上下文。然而，传统的方法不能考虑这两个不同的模态输入之间的关系，因为输入上下文被单独编码为每个模态。为了有效地利用两个不同模态输入之间的相关信息，我们提出的模型编码两个不同的上下文联合使用Transformer的跨模态自我注意的基础上。我们期望跨通道自我注意能有效地捕捉两个不同通道之间的关系，以完善ASR假设。我们还引入了一种浅层融合技术，有效地整合了第一遍ASR模型和我们提出的神经校正模型。日语自然语言ASR任务的实验表明，我们提出的模型实现了更好的ASR性能比传统的神经校正模型。
2021-07-04 cs.CL cs.LG
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Transformer Based Implementation for Automatic Book Summarization
Vishwakarma Institute of Information Technology（维什瓦卡玛信息技术学院）
文档摘要是生成给定文档的有意义和简洁的摘要的过程，其中包括相关和主题重要的点。有两种方法：一种是从文档本身中提取最相关的语句，并将其添加到摘要中，称为提取，另一种是为摘要生成句子，称为抽象摘要。训练机器学习模型来执行耗时或人类难以评估的任务是一项重大挑战。图书摘要生成就是这样一个复杂的任务。传统的机器学习模型正在通过预先训练的Transformers进行修改。以自监督方式训练的基于Transformer的语言模型正在获得大量关注;当针对文本摘要等自然语言处理（NLP）下游任务进行微调时。这项工作是一种尝试，使用Transformer为基础的技术，抽象生成。
2023-01-17 cs.AI cs.CL cs.LG
Categorize Early, Integrate Late: Divergent Processing Strategies in Automatic Speech Recognition
Stanford University（斯坦福大学）
研究通过架构指纹法分析Transformer和Conformer在语音识别中的处理策略，发现Conformer早分类早判别，而Transformer晚整合，揭示了不同架构对表示学习的影响。
2026-06-27 cs.CL
Non-autoregressive Transformer with Unified Bidirectional Decoder for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；Key Laboratory of Knowledge Automation for Industrial Processes of Ministry of Education（教育部工业过程知识自动化重点实验室）；EEasy Technology Company Ltd.（易捷科技有限公司）
非自回归（NAR）Transformer模型在自动语音识别（ASR）中得到了广泛的研究，而NAR Transformer模型的一个重要部分就是使用因果掩码来限制标记依赖。然而，因果掩码是针对非并行自回归（AR）Transformer的从左到右解码过程而设计的，这对于并行NAR Transformer是不合适的，因为它忽略了从右到左的上下文。一些模型被提出来利用具有额外解码器的从右到左上下文，但是这些方法增加了模型复杂度。为了解决上述问题，我们提出了一种新的非自回归Transformer与统一的双向解码器（NAT-UBD），它可以同时利用从左到右和从右到左的上下文。然而，直接使用双向上下文会导致信息泄漏，这意味着解码器的输出会受到来自相同位置输入的字符信息的影响。为了避免信息泄漏，我们提出了一种新的注意力掩码和修改香草查询，键和值矩阵的NAT-UBD。实验结果表明，NAT-UBD可以实现5.0%/5.5%的字符出错率（CER）的Aishell 1开发/测试集，优于所有以前的NAR Transformer模型。此外，当在单步的中解码时，NAT-UBD可以比AR Transformer基线快49.8倍。
2021-09-14 cs.CL cs.SD eess.AS
Streaming automatic speech recognition with the transformer model
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
基于编码器-解码器的序列到序列模型已经在端到端自动语音识别（ASR）中展示了最先进的结果。最近，Transformer架构，其使用自注意力来建模时间上下文信息，已经被证明与基于递归神经网络（RNN）的系统架构相比，实现了显著更低的字出错率（WER）。尽管其成功，但实际使用仅限于离线ASR任务，因为编码器-解码器架构通常需要整个语音话语作为输入。在这项工作中，我们提出了一个基于Transformer的端到端ASR系统流ASR，其中输出必须在每个口语单词后不久生成。为了实现这一点，我们应用时间限制的自我注意的编码器和触发注意的编码器-解码器的注意力机制。我们提出的流传输Transformer架构实现了LibriSpeech的“干净”和“其他”测试数据的2.8%和7.2% WER，据我们所知，这是针对该任务的最佳发布流传输端到端ASR结果。
2020-06-30 cs.CL cs.LG cs.SD
Automatic Assessment of Divergent Thinking in Chinese Language with TransDis: A Transformer-Based Language Model Approach
Peking University（北京大学）；George Washington University（乔治华盛顿大学）
针对中文创造力评估缺失，提出基于Transformer的TransDis系统，能有效评估AUT任务的原创性与灵活性，效度与人类评分相当，并开放多语言平台。
2023-12-24 cs.CL stat.AP
Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer
Kakao Enterprise Corp.（Kakao企业公司）
文本风格转换是指在保持输入句子内容的基础上，转换文本的风格，从而生成句子的任务。由于并行数据集的有限性和难以构建性，现有的研究大多是在非并行数据集上进行的。在这项工作中，我们介绍了一种方法，在非并行数据集的两个阶段。第一阶段是通过分类器直接删除句子的属性标记。第二阶段是通过组合内容令牌和目标样式来生成转移的句子。我们在两个基准数据集上进行实验，并评估上下文，风格，流畅性和语义。仅使用这些自动度量很难选择最佳系统，但可以选择稳定的系统。我们认为，在所有的自动评估指标中，只有鲁棒系统才是可以在实际应用中使用的最低条件。许多以前的系统很难在某些情况下使用，因为性能在几个评估指标中显着较低。然而，我们的系统在所有自动评估指标中都是稳定的，并且具有与其他模型相当的结果。此外，我们比较了我们的系统和不稳定的系统，通过人的评价的性能结果。我们的代码和数据可以在链接（https：//github.com/rungjoo/Stable-Style-Transformer）上找到。
2020-11-26 cs.CL
Streaming Punctuation for Long-form Dictation with Transformers
Microsoft Corporation（微软公司）
虽然语音识别单词出错率（WER）已经达到了英语的人类平等，但长形式听写场景仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的，这对于自动标点至关重要。然而，自动语音识别（ASR）生成系统受到实时要求的限制，使得在做出标点决定时难以结合正确的上下文。在本文中，我们提出了一个流的方法，使用动态解码窗口的ASR输出的标点符号或重新标点符号，并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题，将分割F0.5分数提高了13.9%。流标点符号实现了机器翻译（MT）下游任务的平均BLEU分数提高0.66。
2022-12-06 cs.CL
On the Usefulness of Self-Attention for Automatic Speech Recognition with Transformers
University of Edinburgh（爱丁堡大学）
诸如Transformers之类的自注意模型可以捕获时间关系而不受事件之间距离的限制，已经给出了竞争性的语音识别结果。然而，我们注意到学习的上下文范围从较低的自我注意层到较高的自我注意层增加，而声学事件通常以从左到右的顺序在短时间内发生。这就引出了一个问题：对于语音识别，整个序列的全局视图对于Transformers中的自注意编码器上层有用吗？为了研究这一点，我们训练模型与较低的自我关注/上前馈层编码器在华尔街日报和交换机。与基线Transformers相比，没有观察到性能下降，但略有增益。我们进一步开发了一种新的注意矩阵对角性度量，发现学习的对角性确实从较低的编码器自注意层到较高的编码器自注意层增加。我们得出结论，在训练上层编码器层时，全局视图是不必要的。
2020-11-08 cs.CL cs.SD eess.AS
Deep Learning Models for Automatic Summarization
onepoint（一点公司）
文本摘要是一项NLP任务，旨在将文本文档转换为更短的文档，同时尽可能保留更多的含义。这篇教学文章回顾了一些最近的深度学习架构，这些架构有助于推进该领域的研究。我们将特别讨论指针网络、分层Transformers和强化学习的应用。我们假设有Seq2Seq架构和NLP中的Transformer网络的基本知识。
2020-05-25 cs.CL cs.LG
Exploring Capabilities of Monolingual Audio Transformers using Large Datasets in Automatic Speech Recognition of Czech
University of West Bohemia Pilsen（西波西米亚大学比尔森分校）
在本文中，我们介绍了我们在预训练捷克单语音频Transformers方面的进展，该转换器来自一个包含超过8万小时未标记语音的大型数据集，随后使用域内数据和近6000小时的域外转录语音的组合对自动语音识别任务的模型进行微调。我们正在展示一系列实验，其中包括在两个公共数据集（CommonVoice和VoxPopuli）和一个来自MALACH项目的极具挑战性的数据集上评估的各种微调设置。我们的研究结果表明，单语Wav2Vec 2.0模型是鲁棒的ASR系统，可以利用大型标记和未标记数据集，并成功地与最先进的LVCSR系统竞争。此外，Wav2Vec模型被证明是很好的zero-shot学习者时，没有训练数据可用于目标ASR任务。
2022-06-15 cs.CL cs.SD eess.AS
End-to-End Transformer-based Automatic Speech Recognition for Northern Kurdish: A Pioneering Approach
University of Kurdistan Hewler（库尔德斯坦休勒大学）；Cyberspace Research Institute, Shahid Beheshti University（沙希德贝赫什提大学网络空间研究所）；University of Tehran（德黑兰大学）；The University of Melbourne（墨尔本大学）
本文针对低资源语言北库尔德语，系统比较Whisper模型的三种微调策略，发现附加模块微调效果最佳，在约68小时语料上取得WER 10.5%和CER 5.7%，证明了定制微调对低资源ASR的重要性。
2024-10-19 cs.CL eess.AS
Exploiting News Article Structure for Automatic Corpus Generation of Entailment Datasets
De La Salle University（德拉萨大学）；University of the Philippines Diliman（菲律宾大学迪利曼分校）
Transformers代表了近年来自然语言处理（NLP）的最新技术，即使在低资源语言中完成的任务中也证明了其有效性。虽然可以为这些语言制作预训练的Transformers，但由于缺乏硬基准数据集，以及制作它们的难度和成本，衡量它们的真实性能和容量具有挑战性。在本文中，我们提出了三个贡献：第一，我们提出了一种方法，自动生产自然语言推理（NLI）基准数据集的低资源的语言，使用已发表的新闻文章。通过这一点，我们创建并发布了NewsPH-NLI，这是低资源菲律宾语的第一个句子蕴涵基准数据集。其次，我们基于ELECTRA技术生产新的预训练Transformers，以进一步缓解菲律宾语的资源稀缺性，并将其与其他常用的迁移学习技术进行比较。最后，我们对迁移学习技术进行了分析，通过使用降级测试来揭示它们在低数据域中运行时的真实性能。
2021-08-13 cs.CL
Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognition
NTNU（挪威科技大学）；KU Leuven（鲁汶大学）；National Institute of Informatics（国立信息学研究所）；Zhejiang University（浙江大学）
针对边缘设备ASR模型参数量大的问题，提出块重用策略BRST与适配器模块ADM，在AISHELL-1上仅用7.6M/8.3M参数即实现9.3%/6.63%的CER，有效平衡了资源限制与识别准确率。
2023-04-05 cs.CL cs.SD eess.AS
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）；Computer Science and Engineering（计算机科学与工程）；University of Michigan（密歇根大学）
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破，但它们的输出通常是“漫无边际”的，没有连贯的内容。在这项工作中，我们提出了一种新的内容控制的文本生成框架，PAIR，规划和迭代细化，这是建立在一个大的模型，BART。我们首先适应BERT模型自动构建的内容计划，包括关键词分配和相应的文档级别的位置。BART模型用于生成，而不修改其结构。然后，我们提出了一个细化算法，逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明，添加规划一致地提高了三个不同领域的生成质量，平均提高了20个BLEU点和12个METEOR点。此外，人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
Ensembling Transformers for Cross-domain Automatic Term Extraction
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；University of La Rochelle（拉罗谢尔大学）
术语自动抽取在领域语言理解和若干自然语言处理下游任务中起着至关重要的作用。在本文中，我们提出了一个基于transformers的预训练语言模型的预测能力的比较研究，在多语言跨域设置的术语提取。除了评估单语模型提取单个和多个单词术语的能力之外，我们还通过对不同语言模型的术语输出集进行交集或并集来实验单语和多语言模型的集合。我们的实验已经进行了ACTER语料库，涵盖四个专业领域（腐败，风能，马术，心力衰竭）和三种语言（英语，法语和荷兰语），并在RSDO5斯洛文尼亚语料库，涵盖四个额外的领域（生物力学，化学，兽医，语言学）。结果表明，采用单语模型的策略优于国家的最先进的方法，从利用多语言模型的相关工作，关于所有的语言，除了荷兰语和法语，如果长期提取任务排除了命名实体条款的提取。此外，通过结合两个性能最好的模型的输出，我们实现了显着的改进。
2022-12-12 cs.CL cs.IR
Multi-Encoder Learning and Stream Fusion for Transformer-Based End-to-End Automatic Speech Recognition
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
流融合，也称为系统组合，是传统混合隐马尔可夫模型方法的自动语音识别中的一种常用技术，但对于现代深度神经网络端到端模型架构来说，大多数尚未探索。在这里，我们研究各种融合技术的所有注意力为基础的编码器-解码器架构称为Transformer，努力实现最佳融合，通过研究不同的融合水平，在一个示例单麦克风设置与融合的标准幅度和相位功能。我们引入了一种新的多编码器学习方法，该方法仅在训练期间执行两个编码器-解码器多头注意力输出的加权组合。在推理中只使用幅度特征编码器，我们能够在不增加运行时间或参数的情况下，用语言模型和Libripeech在华尔街日报（WSJ）上显示出一致的改进。通过简单的后期融合推理将两个这样的多编码器训练模型结合起来，我们在WSJ上实现了基于transformer的模型的最新性能，与当前的基准方法相比，WER显著降低了19%。
2021-07-14 cs.CL cs.LG cs.SD
Traditional Machine Learning Models and Bidirectional Encoder Representations From Transformer (BERT)-Based Automatic Classification of Tweets About Eating Disorders: Algorithm Development and Validation Study
University of León（莱昂大学）；Leibniz University of Hannover（汉诺威莱布尼茨大学）；Spanish National University for Distance Education（西班牙国家远程教育大学）
本研究收集三个月内105万条饮食失调推文，用传统机器学习与BERT等深度学习模型分类，发现基于变换器的模型F1分数最高（71.1%-86.4%），但计算资源消耗更大。
2024-02-08 cs.CL cs.LG
Automatic Pruning of Fine-tuning Datasets for Transformer-based Language Models
McGill University（麦吉尔大学）
本研究提出一种基于训练样本分类成功率的微调数据集自动剪枝方法，可自动生成适配不同模型与任务的多个剪枝子集，在5项下游任务上验证了剪枝后训练集更小且性能略有提升的效果。
2024-07-11 cs.CL cs.LG
Automatic Sexism Detection with Multilingual Transformer Models
Austrian Institute of Technology GmbH（奥地利技术研究所股份公司）；St. Pölten University of Applied Sciences（圣珀尔滕应用科技大学）
在过去的几年里，性别歧视已经成为社交网络上日益严重的问题。IberLEF 2021上的第一个关于社交网络中的性别歧视识别（EXIST）的共享任务是自然语言处理（NLP）领域的国际竞赛，旨在通过应用机器学习方法自动识别社交媒体内容中的性别歧视。因此，性别歧视检测被公式化为粗（二元）分类问题和细粒度分类任务，该细粒度分类任务区分多种类型的性别歧视内容（例如，支配、刻板印象和客观化）。本文介绍了AIT_FHSTP团队在EXIST 2021基准测试中对这两项任务的贡献。为了解决这些问题，我们应用了两种多语言的Transformer模型，一种基于多语言的BERT，另一种基于XLM-R。我们的方法使用两种不同的策略来适应Transformers的检测性别歧视的内容：第一，无监督的预训练与额外的数据和第二，监督微调与额外的和增强的数据。对于这两项任务，我们的最佳模型是XLM-R，对EXIST数据和其他数据集进行无监督预训练，并对提供的数据集进行微调。二元分类（任务1）的最佳运行达到了0.7752的宏观F1分数，在基准测试中排名第5;对于多类分类（任务2），我们的最佳提交分数排名第6，宏观F1分数为0.5589。
2022-02-08 cs.AI cs.CL
Classifying Long Clinical Documents with Pre-trained Transformers
University of Arizona（亚利桑那大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Loyola University Chicago（芝加哥洛约拉大学）
自动表型分析是识别与预定义的一组标准匹配的患者队列的任务。表型分析通常涉及对包含数千个标记的长临床文档进行分类。同时，最近最先进的基于transformer的预训练语言模型将输入限制为几百个标记（例如，对于BERT为512个标记）。我们评估了将预训练的句子编码器纳入临床文本的文档级表示的几种策略，并发现没有预训练的分层Transformers与任务预训练模型具有竞争力。
2021-05-14 cs.CL
Transformers Go for the LOLs: Generating (Humourous) Titles from Scientific Abstracts End-to-End
University of Mannheim（曼海姆大学）
本研究探索端到端摘要生成标题，微调七个Transformer模型，并首次构建幽默标题数据集，发现最佳系统接近人类但幽默生成更难，ChatGPT无需微调即达最佳水平。
2023-12-26 cs.CL
Towards BERT-based Automatic ICD Coding: Limitations and Opportunities
ETH Zurich（苏黎世联邦理工学院）
自动ICD编码是将国际疾病分类（ICD）中的代码分配给医疗记录的任务。这些代码描述了患者的状态，并具有多种应用，例如，计算机辅助诊断或流行病学研究。由于医疗记录的复杂性和长度，ICD编码是一项具有挑战性的任务。与语言处理的一般趋势不同，没有Transformer模型被报道在这项任务上达到高性能。在这里，我们详细调查ICD编码使用PubMedBERT，一个国家的最先进的Transformer模型的生物医学语言理解。我们发现，微调模型的困难是主要的限制，基于BERT的模型对ICD编码的长文本。我们进行了大量的实验，结果表明，尽管与当前最先进的技术存在差距，但经过预训练的Transformers可以使用相对较小的文本部分达到具有竞争力的性能。我们指出，更好的方法来聚合信息，从长文本的主要需求，以改善基于BERT的ICD编码。
2021-04-14 cs.AI cs.CL
YAD: Leveraging T5 for Improved Automatic Diacritization of Yorùbá Text
University of Ibadan（伊巴丹大学）；University College London（伦敦大学学院）；Saarland University（萨尔大学）
本文提出YAD基准数据集，并通过预训练约鲁巴语T5模型证明其在自动变音符号标注上优于多语言T5模型，同时验证了更多数据和更大模型能进一步提升标注效果。
2024-12-28 cs.CL
CNsum:Automatic Summarization for Chinese News Text
本文针对中文新闻摘要生成问题，提出基于Transformer结构的中文新闻文本摘要模型CNsum，并在THUCNews等数据集上验证其ROUGE分数优于基线模型。
2025-03-07 cs.AI cs.CL
Automatic Differential Diagnosis using Transformer-Based Multi-Label Sequence Classification
North South University（北南大学）；Sir Salimullah Medical College（萨尔米乌拉医学院）
本研究提出一种基于Transformer的多标签序列分类方法，结合DDXPlus数据集与数据修改模块，实现了高精度的自动鉴别诊断并提升了模型泛化能力。
2024-08-28 cs.CL cs.LG
A CTC Alignment-based Non-autoregressive Transformer for End-to-end Automatic Speech Recognition
University of California, Los Angeles（加州大学洛杉矶分校）；PAII Inc.（平安科技（美国）有限公司）
本文提出基于CTC对齐的单步非自回归Transformer（CASS-NAT），用词元级声学嵌入替代词嵌入实现并行解码，在保持接近自回归模型识别精度的同时获得约24倍推理加速，并在多个数据集上刷新非自回归ASR最优结果。
2023-04-15 cs.CL eess.AS
Multilingual estimation of political-party positioning: From label aggregation to long-input Transformers
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本研究比较了政党宣言自动尺度分析的两种方法：标签聚合和长输入Transformers模型，基于41国27种语言的Comparative Manifestos Project数据集发现标签聚合效果最佳。
2023-10-19 cs.CL
SAMPA: Transformer-based segmentation of prosodic boundaries in Brazilian Portuguese
ICMC（Instituto Superior Técnico）；University of Lisbon（里斯本大学）
研究巴西葡萄牙语韵律边界分割问题，基于Whisper提出SAMPA分割器，通过微调及评估不同配置，在多数据集测试中取得有竞争力的边界检测性能，模型能遵循多种线索检测韵律边界。
2026-10-27 cs.AI cs.CL
Beyond Binary: Multiclass Paraphasia Detection with Generative Pretrained Transformers and End-to-End Models
University of Michigan（密歇根大学）
本文提出使用GPT和端到端模型进行多类别错语检测，证明单序列模型优于GPT基线，有助于失语症临床评估与治疗规划。
2024-07-16 cs.CL cs.SD eess.AS
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs（SHL实验室）
针对自动作文评分系统难以识别跑题作答的问题，提出带主题正则化模块的无监督AOES模型，结合混合损失训练与马氏距离实现评分与跑题检测，性能优于基线与传统方法，且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
NEEDED: Introducing Hierarchical Transformer to Eye Diseases Diagnosis
Computer Network Information Center, CAS（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Changsha Aier Eye Hospital（长沙爱尔眼科医院）
随着自然语言处理技术的发展，利用眼科电子病历进行眼科疾病的自动诊断成为可能。它的目的是评估的情况下，患者的双眼分别，我们制定了一个特定的多标签分类任务，在本文中。虽然在其他疾病方面的相关研究较少，但眼科疾病的自动诊断具有独特的特点。首先，两只眼睛的描述在OEMR文档中混合，既有自由文本又有模板化的无症状描述，导致信息稀疏和混乱。其次，OEMR文档包含多个描述部分，并且文档长度很长。第三，为疾病诊断模型提供可解释性至关重要。为了克服这些挑战，我们提出了一个有效的自动眼科疾病诊断框架，NEEDED。在该框架中，集成了预处理模块，以提高信息的密度和质量。然后，我们设计了一个层次化的Transformer结构，用于学习OEMR文档中每个句子的上下文表示。对于诊断部分，我们提出了一个基于注意力的预测，使可追溯的诊断，通过获得疾病的具体信息。在真实数据集上的实验以及与几个基线模型的比较表明了该框架的优势和可解释性。
2023-01-11 cs.CL cs.IR
Applying Automatic Text Summarization for Fake News Detection
University of Regensburg（雷根斯堡大学）
假新闻的传播不是一个新问题，而是一个迅速增长的问题。通过社交媒体消费新闻的转变是误导性和故意错误信息传播的驱动因素之一，因为除了易于使用之外，很少有任何真实性监测。由于这些假新闻对社会的有害影响，对这些假新闻的检测变得越来越重要。我们提出了一种方法的问题，结合了基于transformer的语言模型的力量，同时解决其固有的问题之一。我们的框架CMTR-BERT结合了多种文本表示，其目标是规避底层Transformer架构通常遭受的顺序限制和相关信息丢失。此外，它还可以合并上下文信息。在两个非常不同的公开数据集上进行的大量实验表明，我们的方法能够设置新的最先进的性能基准。除了使用自动文本摘要技术的好处，我们还发现，纳入上下文信息有助于性能增益。
2022-04-04 cs.AI cs.CL
Squeezeformer: An Efficient Transformer for Automatic Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；LBNL（劳伦斯伯克利国家实验室）；Google（谷歌）
最近提出的Conformer模型已成为事实上的骨干模型的各种下游语音任务的基础上，其混合注意力卷积架构，捕捉本地和全球的功能。然而，通过一系列系统的研究，我们发现Conformer架构的设计选择并不是最优的。在重新审视Conformer的宏观和微观架构的设计选择后，我们提出了Squeezeformer，它在相同的训练方案下始终优于最先进的ASR模型。特别地，对于宏架构，Squeezeformer结合了（i）时间U-网络结构，其降低了长序列上多头注意力模块的成本，以及（ii）由前馈模块跟随的多头注意力或卷积模块的更简单的块结构，而不是Conformer中提出的Macaron结构。此外，对于微架构，Squeezeformer（i）简化了卷积块中的激活，（ii）去除了冗余的层归一化操作，（iii）引入了一个高效的降采样层，以有效地对输入信号进行子采样。在没有外部语言模型的情况下，Squeezeformer在LibriSpeech test-other上实现了7.5%，6.5%和6.0%的单词错误率（WER）的最新结果，比具有相同数量FLOP的Conformer-CTC好3.1%，1.4%和0.6%。我们的代码是开源的，可以在线获得。
2022-10-15 cs.CL cs.SD eess.AS
Transformer-Based Extraction of Statutory Definitions from the U.S. Code
Google（谷歌）；Cornell University（康奈尔大学）
本研究提出一个基于Legal-BERT的多阶段NLP流水线，用于从美国法典中自动提取法定定义及其适用范围，在数千条定义上达到96.8%精确率、98.9%召回率，显著优于传统方法，为法律推理奠定基础。
2025-04-23 cs.AI cs.CL
Tree Transformer: Integrating Tree Structures into Self-Attention
National Taiwan University（台湾大学）
从大规模原始文本中预训练Transformer并对所需任务进行微调，在各种NLP任务上取得了最先进的结果。然而，目前还不清楚学习的注意力捕捉到了什么。注意力头计算出的注意力似乎与人类对层次结构的直觉不符。本文提出了树型Transformer，它对双向Transformer编码器的注意头增加了一个额外的约束，以鼓励注意头遵循树结构。我们提出的“成分注意力”模块可以从原始文本中自动归纳出树结构，该模块简单地通过两个相邻单词之间的自我注意力来实现。使用与BERT相同的训练过程，实验证明了Tree Transformer在诱导树结构、更好的语言建模和进一步学习更多可解释的注意力分数方面的有效性。
2019-11-01 cs.CL cs.LG
