Transformer Network for Semantically-Aware and Speech-Driven Upper-Face Generation
我们提出了一个语义感知的语音驱动模型，以产生表现力和自然的上面部和头部运动的会话代理（ECA）。在这项工作中，我们的目标是产生自然和连续的头部运动和上面部手势与语音同步。我们提出了一个模型，生成这些手势的多模态输入功能的基础上：第一模态是文本，第二个是语音韵律。我们的模型利用Transformers和卷积映射的多模态特征，对应于连续的眉毛和头部姿态的话语。我们进行主观和客观的评估，以验证我们的方法，并将其与最先进的。
2022-05-21 eess.AS
Listen with Intent: Improving Speech Recognition with Audio-to-Intent Front-End
Amazon Alexa, USA（亚马逊Alexa（美国））；Amazon Alexa, India（亚马逊Alexa（印度））
理解话语的整体意图有助于听者识别所讲的各个单词。受这一事实的启发，我们进行了一项新的研究的影响，明确纳入意图表示作为额外的信息，以改善基于递归神经网络换能器（RNN-T）的自动语音识别（ASR）系统。音频到意图（A2 I）模型以嵌入或后验的形式对话语的意图进行编码，这些被用作RNN-T训练和推理的辅助输入。这项研究使用50千小时的远场英语语音语料库进行实验，结果表明，当系统在非流模式下运行时，从整个话语中提取意图表示，然后从一开始就用于偏向流RNN-T搜索，它提供了5.56%的相对单词错误率降低（WERR）。另一方面，使用每帧意图后验作为RNN-T ASR系统的额外输入的流系统产生3.33%的相对WERR。对流媒体系统的进一步详细分析表明，我们提出的方法在媒体播放相关意图上带来了特别好的增益（例如，PlayMusicIntent上的9.12%相对WERR）。
2021-06-16 cs.CL cs.SD eess.AS
When Intent Arrives Late: A Benchmark for Full-Duplex Speech Models under Delayed Intent Revelation
University of Melbourne（墨尔本大学）；Duke Kunshan University（昆山杜克大学）；UNSW Sydney（悉尼新南威尔士大学）
针对全双工语音模型在延迟意图揭示下的行为，提出LateIntent-Bench配对基准和过早响应率指标，发现多数模型在延迟意图下增加有害参与，插入静音可缓解，凸显评估延迟意图的必要性。
2026-10-02 cs.SD eess.AS
Speech Emotion Recognition Via CNN-Transformer and Multidimensional Attention Mechanism
提出基于CNN-Transformer与多维注意力机制的语音情感识别网络，通过CNN块、时间-通道-空间注意力及轻量级Transformer模块分别建模局部与全局信息，在IEMOCAP和Emo-DB数据集上显著优于现有方法。
2024-06-04 eess.AS
Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems
The Ohio State University（俄亥俄州立大学）；IBM Research AI（IBM研究院人工智能部门）
端到端（E2E）口语语言理解（SLU）的最新进展主要是由于语音表征的有效预训练。一种这样的预训练范例是将语义知识从最先进的基于文本的模型（如BERT）升华到语音编码器神经网络。这项工作是朝着以更有效和细粒度的方式做同样的事情迈出的一步，我们在逐个令牌的基础上对齐语音嵌入和BERT嵌入。我们介绍了一种简单而新颖的技术，使用跨模态注意力机制从语音编码器中提取令牌级上下文嵌入，以便这些可以直接与基于BERT的上下文嵌入进行比较和对齐。这种对齐是使用一种新型的符号对比丢失来执行的。微调这样一个预训练的模型来直接使用语音执行意图识别，在两个广泛使用的SLU数据集上产生了最先进的性能。当使用SpecAugment进行额外的正则化微调时，我们的模型进一步改进，特别是当语音有噪声时，与以前的结果相比，绝对改进高达8%。
2022-07-01 cs.CL cs.SD eess.AS
A Study into Pre-training Strategies for Spoken Language Understanding on Dysarthric Speech
端到端（E2E）口语理解（SLU）系统通过将语音直接映射到具有槽值的意图来避免中间文本表示。这种方法需要大量的特定领域的训练数据。在低资源情况下，这是一个主要问题，例如，在本研究中处理SLU构音障碍的讲话。针对自动语音识别目标的SLU模型的预训练部分有所帮助，但没有研究表明，SLU对构音障碍语音的益处在多大程度上来自于从其他构音障碍语音任务转移的知识。本文探讨了构音障碍言语的SLU任务预训练策略的效率。设计的SLU系统包括一个TDNN声学模型的特征编码和一个胶囊网络的意图和时隙解码。声学模型的预训练分为两个阶段：使用正常语音语料库进行初始化，以及对构音障碍和正常语音的混合进行微调。本文通过引入可懂度分数作为构音障碍语音损伤程度的度量指标，定量分析构音障碍语音的泛化程度与病理严重程度的关系。
2021-06-15 eess.AS
ULTRAS -- Unified Learning of Transformer Representations for Audio and Speech Signals
LEAP Laboratory, Electrical Engineering, Indian Institute of Science（印度科学学院电气工程系LEAP实验室）
ULTRAS通过统一的Transformer架构，利用时频图谱进行预测建模，提升语音和音频处理性能。
2026-04-08 eess.AS
Rethinking Depth: A study of the Recursive-Transformer for Speech Recognition
INESC-ID, Portugal（葡萄牙 INESC-ID）
本文实验研究了递归Transformer在语音识别编码器中的应用，通过潜空间有限循环递归，在保持性能的同时减少66%参数。
2026-06-08 eess.AS
MamTra: A Hybrid Mamba-Transformer Backbone for Speech Synthesis
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chung-Ang University（中央大学）
提出MamTra混合框架，结合Mamba的线性效率与Transformer的全局建模能力，通过知识迁移策略降低训练成本，在仅用2%数据时仍保持语音保真度并减少34%推理显存。
2026-06-23 eess.AS
Transformer-based Online Speech Recognition with Decoder-end Adaptive Computation Steps
基于转换器的端到端（E2 E）自动语音识别（ASR）系统最近获得了广泛的普及，并且在许多ASR任务上被示出优于基于递归结构的E2 E模型。然而，与其他E2 E模型一样，Transformer ASR也需要完整的输入序列来计算编码器和解码器上的注意力，这导致延迟增加，并对在线ASR构成挑战。本文提出了解码端自适应计算步骤（DACS）算法，以解决延迟的问题，并促进在线ASR。该算法通过在从编码器状态获取的置信度达到一定阈值后触发输出来流式解码Transformer ASR。不同于其他单调注意机制，风险访问整个编码器状态的每个输出步骤，本文介绍了一个最大的前瞻步骤到DACS算法，以防止到达语音结束太快。在我们的系统中采用了一个Chunkwise编码器来处理实时语音输入。建议的在线Transformer ASR系统已经在华尔街日报（WSJ）和AIShell-1数据集上进行了评估，分别产生5.5%的字错误率（WER）和7.1%的字符错误率（CER），与离线系统相比，性能只有轻微的下降。
2020-11-27 eess.AS
Binaural Speech Enhancement Using Deep Complex Convolutional Transformer Networks
针对嘈杂环境下助听设备的双耳语音增强需求，提出融合编码器-解码器架构复值卷积网络与复值多头注意力Transformer的方法，采用兼顾空间信息保留等的新型损失函数训练，在多种噪声场景下相比基线算法更优。
2024-03-08 eess.AS
Improving the Intent Classification accuracy in Noisy Environment
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
意图分类是口语语言理解领域的一项基本任务，最近引起了科学界的关注，主要是因为端到端神经模型的可行性。通过这种方式，避免使用中间步骤，即自动语音识别，是可能的，因此传播的错误，由于背景噪声，自发的语音，用户的说话风格等，朝着发展的解决方案，适用于实际情况下，这是有趣的研究如何环境噪声和相关的降噪技术，以解决与端到端的神经模型的意图分类任务。在本文中，我们用一个有噪声的版本的流利的语音命令数据集进行实验，结合意图分类器与基于Wave-U-Net的时域语音增强解决方案，并考虑不同的训练策略。实验结果表明，对于这项任务，语音增强的使用大大提高了在嘈杂的条件下的分类精度，特别是当分类模型是在增强的信号上训练时。
2023-03-12 cs.CL cs.SD eess.AS
End-to-End Speech to Intent Prediction to improve E-commerce Customer Support Voicebot in Hindi and English
Flipkart（Flipkart（弗利普卡特））
本文提出一种基于预训练ASR模型微调的端到端语音到意图模型，用于印地语和英语双语电商客服语音机器人，在F1分数上比传统流水线相对提升约27%。
2022-10-26 cs.CL cs.HC cs.LG
Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation
Jiangsu University（江苏大学）；Jiangsu Engineering Research Center of big data ubiquitous perception and intelligent agriculture applications（江苏省大数据泛在感知与智能农业应用工程研究中心）
主要的语音分离模型是基于复杂的递归或卷积神经网络，其对语音序列进行建模，间接地以上下文为条件，例如通过递归神经网络中的许多中间状态传递信息，从而导致次优分离性能。在本文中，我们提出了一个双路Transformer网络（DPTNet）的端到端的语音分离，它引入了直接的上下文感知的语音序列的建模。通过引入一种改进的Transformer，语音序列中的元素可以直接交互，这使得DPTNet可以对语音序列进行直接的上下文感知建模。改进的Transformer在我们的方法中学习的顺序信息的语音序列的位置编码，通过将一个递归神经网络到原来的Transformer。此外，双路径的结构，使我们的模型非常长的语音序列建模的效率。在基准数据集上进行的大量实验表明，我们的方法优于当前最先进的方法（在公共WSj 0 - 2 mix数据语料库上为20.6 dB SDR）。
2020-08-14 cs.SD eess.AS
EEG-Transformer: Self-attention from Transformer Architecture for Decoding EEG of Imagined Speech
Korea University（高丽大学）
Transformers是突破性的架构，它改变了深度学习的流程，许多高性能模型都是基于Transformer架构开发的。Transformers只关注seq 2seq之后的编码器-解码器结构，而不使用RNN，但性能优于RNN。本文研究了由Transformer结构中的自我注意模块构成的脑电解码技术。我们使用基于EEGNet的卷积神经网络对9个受试者进行分类，该EEGNet从想象语音和公开语音的EEG中捕获时间-频谱-空间特征。此外，我们还将自注意模块应用于脑电信号的解码，以提高解码性能并减少参数数量。我们的研究结果表明，解码的大脑活动的想象的语音和公开的语音使用注意模块的可能性。此外，只有单通道EEG或耳EEG可以用于解码实际BCI的想象语音。
2021-12-15 cs.HC cs.SD eess.AS
s-Transformer: Segment-Transformer for Robust Neural Speech Synthesis
Microsoft (China) Corporation（微软（中国）有限公司）
神经元端到端的文本到语音转换（TTS）采用递归模型（如Tacotron）或注意力模型（如Transformer）对语音进行表征，显著提高了语音合成的性能。然而，它仍然是非常具有挑战性的，以处理不同的句子长度，特别是对于长句，序列模型的有效上下文长度的限制。我们提出了一种新的段变压器（S-变压器），它的语音模型在段级别的递归是通过缓存存储器的编码器和解码器的重用。扩展的存储器可以捕获长范围的上下文，同时，编码器和解码器的注意力集中在更容易处理的片段上。此外，我们采用了一个修改的相对位置自我注意泛化序列长度超出一个可能看不见的训练数据。通过将所提出的s-Transformer与标准的Transformer进行比较，在短句上，两者都实现了相同的MOS分数4.29，这与记录的4.32非常接近;在长句上的相似分数为4.22 vs 4.2，并且在MOS中的增益为0.2的超长句子上显著更好。由于缓存的内存会随着时间的推移而更新，因此s-Transformer可以长时间生成相当自然和连贯的语音。
2020-11-17 cs.SD eess.AS
Pre-training for low resource speech-to-intent applications
KU Leuven（鲁汶大学）
由于不同用户的语法和词汇偏好不同，设计将用户的口头命令映射到代理的期望任务动作的语音到意图（S2 I）代理可能具有挑战性。作为一种补救措施，我们在本文中讨论了一个用户教S2 I系统。用户自教系统从用户的语音输入中从头开始学习，并进行动作演示，确保它完全匹配用户制定意图的方式和他们的发音习惯。主要问题是由于用户的努力而导致的训练数据稀缺。在这种情况下，现有的最先进的方法是基于非负矩阵分解（NMF）和胶囊网络。在本文中，我们将端到端ASR系统的编码器与先前的基于NMF/胶囊网络的用户自教解码器相结合，并研究预训练方法是否可以减少NMF和胶囊网络的训练数据要求。实验结果表明，预训练的ASR-NMF框架显着优于其他模型，同时，我们讨论了不同类型的命令和控制（C&C）应用程序的预训练的局限性。
2021-03-30 cs.CL cs.HC cs.SD
ITALIC: An Italian Intent Classification Dataset
Politecnico di Torino（都灵理工大学）；Kore University of Enna（恩纳科雷大学）；Bocconi University（博科尼大学）
针对现有口语理解数据集多聚焦英语、缺乏意大利语相关资源的问题，研究发布首个意大利语大规模意图分类语音数据集ITALIC，通过实验验证了模型规模、语言适配等对性能的影响，为意大利语SLU研究提供支撑。
2023-06-14 cs.CL cs.SD eess.AS
T-GSA: Transformer with Gaussian-weighted self-attention for speech enhancement
Samsung Semiconductor, Inc.（三星半导体有限公司）
Transformer神经网络（TNN）在许多自然语言处理（NLP）任务上表现出最先进的性能，取代了递归神经网络（RNN），如LSTM或GRU。然而，TNN在语音增强中表现不佳，其上下文性质不同于NLP任务，如机器翻译。自注意是Transformer的核心构建块，它不仅可以实现序列计算的并行化，而且还提供了符号之间的恒定路径长度，这对于学习长距离依赖性至关重要。在本文中，我们提出了一个Transformer与高斯加权自注意（T-GSA），其注意力的权重衰减根据目标和上下文符号之间的距离。实验结果表明，与Transformer和RNN相比，T-GSA具有显著的语音增强性能。
2020-02-11 cs.SD eess.AS
Transformers in Speech Processing: A Survey
Queensland University of Technology（昆士兰理工大学）；Information Technology University（信息科技大学）；University of Lincoln（林肯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）；Qatar University（卡塔尔大学）
本文综述了Transformer在自动语音识别、合成、翻译、增强及多模态等语音处理各子领域中的应用、挑战与解决方案。
2025-06-04 cs.CL cs.SD eess.AS
TransMask: A Compact and Fast Speech Separation Model Based on Transformer
PVoice Technology Singapore（新加坡PVoice科技公司）；National University of Singapore（新加坡国立大学）
语音分离是语音处理中的一个重要问题，其目标是从包含不同说话人语音的混合音频中分离并生成干净的语音。在序列到序列域的深度学习技术的支持下，最近的神经语音分离模型现在能够生成高度清晰的语音音频。为了使这些模型更实用，通过减少模型的大小和推理时间，同时保持高的分离质量，我们提出了一种新的基于变换的语音分离方法，称为TransMask。通过充分释放自我注意力对长期依赖异常的影响，我们证明了TransMask的大小比最先进的解决方案小60%以上，推理速度比最先进的解决方案快2倍以上。在合理的输入音频长度范围内，TransMask充分利用了推理过程中的并行性，实现了近似线性的推理时间。它在输出语音音频质量方面也优于现有解决方案，在Librimix基准测试中实现了16以上的SDR。
2021-02-19 cs.SD eess.AS
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Developing Real-time Streaming Transformer Transducer for Speech Recognition on Large-scale Dataset
Microsoft Speech and Language Group（微软语音与语言组）；Microsoft Research Asia（微软亚洲研究院）
近年来，基于Transformer的端到端模型在包括语音识别在内的许多领域都取得了巨大的成功。然而，与LSTM模型相比，Transformer在推理过程中的沉重计算成本是阻碍其应用的关键问题。在这项工作中，我们探索了Transformer Transducer（T-T）模型在大规模数据集上以低延迟和快速进行第一遍解码的潜力。我们结合Transformer-XL和块式流式处理的思想，设计了一个可流式传输的Transformer换能器模型。我们证明了T-T优于混合模型，RNN传感器（RNN-T），和流式Transformer注意力为基础的编码器-解码器模型在流的情况下。此外，运行时成本和延迟可以用相对小的前瞻来优化。
2021-02-28 cs.CL eess.AS
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin（都柏林圣三一学院）
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别（AVSR）中表现出显着的性能改进。性能提高范围在7%到30%之间，具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体，其中经常性的长短期记忆（LSTM）计算块被最近提出的Transformer块取代。我们比较了这两种方法，更详细地讨论了它们的优点和缺点。我们发现，Transformers也学习跨模态单调对齐，但与LSTM模型一样存在视觉收敛问题，需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
Tiny-Sepformer: A Tiny Time-Domain Transformer Network for Speech Separation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Aquinas International Academy（阿奎纳斯国际学院）
时域Transformer神经网络在语音分离任务中已经证明了其优越性。然而，这些模型通常具有大量的网络参数，因此经常遇到GPU内存爆炸的问题。在本文中，我们提出了Tiny-Sepformer，一个小型版本的Transformer网络的语音分离。我们提出了两种技术来减少模型参数和内存消耗：（1）卷积注意（CA）块，分裂的香草Transformer到两个路径，多头注意力和1D dependency可分离卷积，（2）参数共享，共享CA块内的层参数。在我们的实验中，Tiny-Sepformer可以大大减小模型大小，并在WSJ 0 -2/3 Mix数据集上实现与vanilla Sepformer相当的分离性能。
2022-06-30 cs.SD eess.AS
Exploring the Capability of Mamba in Speech Applications
CyberAgent, Inc.（赛博代理公司）；Tokyo Metropolitan University（东京都立大学）
本研究探索基于状态空间模型的Mamba架构在语音领域的应用潜力，通过在自动语音识别、文本转语音等多类语音任务上与主流Transformer变体对比，验证了其性能可比肩甚至更优，且在长语音处理中具备效率优势。
2024-06-24 cs.SD eess.AS
Context-aware Coherent Speaking Style Prediction with Hierarchical Transformers for Audiobook Speech Synthesis
Xverse Inc.（Xverse公司）
针对有声书多句语音合成中风格不连贯的问题，本文提出基于层次化Transformer和混合注意力掩码的上下文感知风格预测方法，结合文本与语音历史信息，实现风格连贯的长篇语音生成。
2023-04-13 cs.SD eess.AS
Fast offline Transformer-based end-to-end automatic speech recognition for real-world applications
Electronics and Telecommunications Research Institute（电子通信研究院）
随着近年来技术的进步，自动语音识别（ASR）在实际应用中得到了广泛的应用。利用有限的资源将大量语音准确转换为文本的效率变得比以往任何时候都更加重要。本文提出了一种基于Transformer的端到端模型来快速识别大型语音库的方法。Transformers提高了许多领域的最先进性能。然而，它们不容易用于长序列。在本文中，提出并测试了各种技术，以加快现实世界的语音识别，包括解码通过多话语批量波束搜索，检测语音结束的基础上的连接主义时间分类（CTC），限制CTC前缀分数，和分裂成短段的长语音。实验进行了Librispeech英语和现实世界的韩国ASR任务，以验证所提出的方法。实验结果表明，该系统可以在3分钟内将8小时的会议发言转换为文本，字符错误率为10.73%，比传统系统低27.1%。
2021-09-11 cs.SD eess.AS
Fast-Slow Transformer for Visually Grounding Speech
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了快速-慢速Transformer的视觉接地语音，或快速-VGS。FaST-VGS是一个基于transformer的模型，用于学习原始语音波形和视觉图像之间的关联。该模型将双编码器和交叉注意体系结构统一到一个模型中，获得了前者的卓越检索速度以及后者的准确性。FaST-VGS在基准数据集上实现了最先进的语音图像检索精度，其学习的表示在ZeroSpeech 2021语音和语义任务上表现出强大的性能。
2022-03-02 cs.CL cs.IR eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Sequential End-to-End Intent and Slot Label Classification and Localization
University of Waterloo（滑铁卢大学）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
人机交互（HCI）受到来自口语对话系统的延迟响应的显著影响。因此，最近提出了端到端（e2 e）口语语言理解（SLU）解决方案来减少延迟。这样的方法允许直接从语音信号中提取语义信息，从而绕过对来自自动语音识别（ASR）系统的转录的需要。在本文中，我们提出了一个紧凑的e2 e SLU架构的流媒体的情况下，连续处理块的语音信号预测意图和时隙值。我们的模型基于3D卷积神经网络（3D-CNN）和单向长短期记忆（LSTM）。我们比较了两种无干扰损失的性能：连接主义时间分类（CTC）方法及其适应版本，即连接主义时间定位（CTL）。后者不仅执行分类，但也定位的顺序音频事件。在Fluent Speech Command数据集上对所提出的解决方案进行了评估，结果表明我们的模型能够处理输入的语音信号，在单标签分类上，CTC和CTL的准确率分别高达98.97%和98.78%，在双标签预测上，CTC和CTL的准确率分别高达95.69%和95.28%。
2021-06-08 cs.CL cs.SD eess.AS
DST: Deformable Speech Transformer for Emotion Recognition
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；UBTECH Robotics Corp（优必选机器人公司）；iFLYTEK Research（讯飞研究院）
Transformer采用多头自注意机制，在语音情感识别方面取得了显著的效果。与原有的全注意力机制相比，基于窗口的注意力机制在学习细粒度特征时更有效，同时大大减少了模型冗余。然而，情感线索是以多粒度的方式存在的，使得预定义的固定窗口可以严重降低模型的灵活性。此外，很难手动获得最佳窗口设置。在本文中，我们提出了一个可变形的语音Transformer，命名为DST，SER任务。DST通过一个轻量级的决策网络来确定输入语音的窗口大小。同时，数据依赖的偏移量来自声学特征被用来调整注意窗口的位置，允许DST自适应地发现和注意到嵌入在语音中的有价值的信息。在IEMOCAP和MELD上的大量实验证明了DST的优越性。
2023-02-27 cs.SD eess.AS
VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration
VoiceRestore利用自监督流匹配Transformer在合成数据上训练，统一恢复多种退化的语音录音，无需成对数据即可泛化到真实短时与长时语音恢复任务。
2025-01-01 cs.SD eess.AS
Transformer-based Acoustic Modeling for Hybrid Speech Recognition
Facebook（脸书）
我们提出并评估基于变换的声学模型（AM）的混合语音识别。在这项工作中讨论了几种建模选择，包括各种位置嵌入方法和迭代损失，以训练深度Transformers。我们还提出了一个初步的研究，使用有限的权利的上下文中的Transformer模型，这使得它可能的流式应用程序。我们证明，在广泛使用的Librispeech基准，我们的基于变换的AM优于最好的发表的混合结果19%至26%相对使用标准的n元语言模型（LM）。结合神经网络LM的重新评分，我们提出的方法取得了国家的最先进的结果Librispeech。我们的发现也在更大的内部数据集上得到了证实。
2020-04-30 cs.CL eess.AS
Time-Frequency Transformer: A Novel Time Frequency Joint Learning Method for Speech Emotion Recognition
Southeast University（东南大学）
本研究针对语音情感识别提出Time-Frequency Transformer时频联合学习方法，通过时域、频域Transformer分别建模局部情感并挖掘时频全局关联，在IEMOCAP、CASIA数据集上性能超越现有最优方法。
2023-08-28 cs.SD eess.AS
Speech Recognition Transformers: Topological-lingualism Perspective
University of Petroleum and Energy Studies（石油与能源研究大学）；Ulster University（阿尔斯特大学）
本文从拓扑语言学视角全面综述了面向语音模态的 Transformer 技术，涵盖传统 ASR 背景、多语言基础模型、架构与评估指标及工具包，并探讨了开放挑战与未来方向。
2024-08-27 cs.CL cs.SD eess.AS
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究连续语音识别使用脑电图（EEG）的功能，使用最近推出的端到端的Transformer为基础的自动语音识别（ASR）模型。我们的研究结果表明，基于Transformer的模型表现出更快的训练相比，基于递归神经网络（RNN）的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇，但随着我们增加的词汇量，基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University（阿尔及利亚科学与技术大学）；University of MEDEA（迈代阿大学）；College of Engineering and Information Technology, University of Dubai（迪拜大学工程与信息技术学院）
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展，阐述了其架构、应用、相关研究及局限性，为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
End-to-end Acoustic-linguistic Emotion and Intent Recognition Enhanced by Semi-supervised Learning
Cognitive Systems Lab, University of Bremen（布雷斯特大学认知系统实验室）；Institute of Science Tokyo（东京科学研究所）
针对语音情感与意图识别中标注数据成本高昂的问题，提出结合大规模未标记数据的半监督学习方法，训练端到端声学与语言学多任务模型，实验表明该方法显著提升了识别性能，最佳模型后期融合在联合识别平衡指标上分别比声学和文本基线提升12.3%和10.4%。
2025-07-10 cs.SD eess.AS
XNOR-FORMER: Learning Accurate Approximations in Long Speech Transformers
Carnegie Mellon University（卡内基梅隆大学）
Transformers是语音、视觉和自然语言处理等领域中许多任务的最新技术。自注意力是这种性能的关键贡献者，具有二次计算复杂性，这使得在更长的输入序列上训练具有挑战性。先前的工作已经产生了具有线性注意力的最先进的Transformer变体，然而，当前的模型牺牲性能以实现高效的实现。在这项工作中，我们开发了一种新的线性Transformer通过检查的自我关注内的关键查询产品的属性。我们的模型在语音识别和语音摘要方面优于最先进的方法，导致Librispeech-100语音识别基准和新的INTERVIEW语音识别基准的绝对WER提高了1%，并且对于使用How2的摘要，ROUGE提高了5分。
2022-12-19 cs.AI cs.CL cs.SD
Enhancing Speech Quality through the Integration of BGRU and Transformer Architectures
Damascus University（大马士革大学）
本研究提出集成BGRU与Transformer的混合架构用于语音增强，通过捕捉时间依赖和复杂信号模式，显著提升噪声抑制与语音质量，优于传统及单一模型方法。
2025-02-25 cs.AI cs.SD eess.AS
Dropout Regularization for Self-Supervised Learning of Transformer Encoder Speech Representation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
预测改变的声学帧是语音表示的自监督学习的一种有效方法。然而，防止预训练模型过度拟合是一个挑战。本文提出在Transformer编码器的预训练中引入两种dropout正则化方法：（1）注意力dropout，（2）层dropout。这两种dropout方法都鼓励模型利用全局语音信息，避免在重构掩蔽帧时只复制局部频谱特征。我们在音素分类和说话人识别任务上评估了所提出的方法。实验结果表明，我们的dropout方法取得了有竞争力的结果，并提高了下游任务的分类精度。
2021-07-09 cs.SD eess.AS
Leveraging Pretrained ASR Encoders for Effective and Efficient End-to-End Speech Intent Classification and Slot Filling
NVIDIA（英伟达）
本文提出用 ASR 预训练编码器初始化端到端 Conformer-Transformer，并结合 Adapter 实现高效 SICSF，在 SLURP 上达到新最优且首次追平 oracle ASR 级联模型。
2023-07-13 cs.CL cs.CV cs.SD
ESC: Efficient Speech Coding with Cross-Scale Residual Vector Quantized Transformers
University of Pennsylvania（宾夕法尼亚大学）；Duke University（杜克大学）
本文提出高效语音编解码器ESC，通过跨尺度残差向量量化与镜像分层窗口Transformer实现从粗到细的逐步解码，以更低模型复杂度取得高保真语音重建效果。
2024-10-03 cs.SD eess.AS
Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
Columbia University（哥伦比亚大学）
该研究针对语音分离、识别、合成三类任务提出Mamba及混合模型，对比相近规模Transformer发现，长语音下Mamba效率更优、性能相当或更好，短语音及文语联合建模场景下表现较差，二者优劣取决于具体问题与模型。
2024-07-13 cs.LG cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
AmbiSep: Ambisonic-to-Ambisonic Reverberant Speech Separation Using Transformer Networks
考虑包含若干混响语音信号的混合的多通道高保真度立体声录音。从混合物中盲目地恢复与各个语音源相对应的混响高保真度立体声信号是一项具有挑战性的任务，因为它需要估计每个源的多个信号通道。在这项工作中，我们提出了AmbiSep，一种基于深度神经网络的平面波域掩蔽方法来解决这一任务。掩蔽网络在三路径处理配置中使用学习的特征表示和Transformers。我们训练和评估建议的网络架构的空间化WSJ 0 - 2 mix数据集，并表明，该方法实现了多通道尺度不变的信号失真比改善17.7 dB的盲测试集，同时保持分离的声音的空间特性。
2022-06-13 eess.AS eess.SP
TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild
Massachusetts Institute of Technology, USA（麻省理工学院）；National Taiwan University, Taipei, Taiwan（国立台湾大学）；National Taiwan University Artificial Intelligence Center of Research Excellence, Taipei, Taiwan（国立台湾大学人工智能研究中心）；Academia Sinica, Taiwan（台湾“中央”研究院）；National Yang Ming Chiao Tung University, Taiwan（阳明交通大学）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, USA（信号分析与解释实验室（SAIL），南加州大学）
针对低资源台语，构建包含21位老年人3000条话语的语音意图数据集，并探索关键词匹配与LLM伪标注、音视频框架两种数据挖掘策略，以解决标注数据稀缺问题。
2026-06-23 cs.CL cs.LG eess.AS
U-shaped Transformer with Frequency-Band Aware Attention for Speech Enhancement
Newcastle University（纽卡斯尔大学）；University of Oxford（牛津大学）
针对语音增强估计精度有限的问题，提出结合频带感知注意力与U形Transformer的方法，通过并行时间/频率多头注意力提升性能，并在四个公共数据集上验证了有效性。
2021-12-11 cs.SD eess.AS
An Empirical Study on the Impact of Positional Encoding in Transformer-based Monaural Speech Enhancement
University of New South Wales（新南威尔士大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Meta；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文实证研究了五种位置编码方法在因果与非因果配置下对基于Transformer的单声道语音增强的影响，发现非因果配置显著受益于位置编码且相对位置嵌入优于绝对位置嵌入，而因果配置则帮助不大。
2024-02-13 cs.SD eess.AS
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation（LINE公司）
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别（ASR）。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同，该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐，受益于最先进的基于注意力的编码器-解码器模型的强推理能力，这不能应用于传统方法。两种不同的Transformer模型，即前向Transformer和后向Transformer，分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语（CSJ）的实验表明，所提出的方法提供了一个准确的话语明智的对齐，匹配手动注释对齐的误差只有0.2%。实验结果表明，基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据，可以将字符错误率降低到59.0%，明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Speech-Mamba: Long-Context Speech Recognition with Selective State Spaces Models
Institute for Infocomm Research, Agency for Science, Technology；Research (A STAR), Singapore
针对Transformer模型处理长语音序列复杂度高的问题，提出Speech-Mamba架构，通过融合选择性状态空间模型与Transformer低层特征，实现近线性扩展并显著提升长程依赖建模能力。
2024-09-27 cs.SD eess.AS
Luganda Speech Intent Recognition for IoT Applications
Makerere University（马凯雷雷大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
本研究针对低资源语言卢干达语在物联网智能家居中的支持不足问题，开发了一种基于Raspberry Pi部署、采用MFCC特征和Conv2D架构的卢干达语语音意图分类系统，并开源了相关数据集，解决了本地化挑战。
2024-05-16 cs.AI cs.CL cs.SD
