Spectral Masking with Explicit Time-Context Windowing for Neural Network-Based Monaural Speech Enhancement
Eindhoven University of Technology（埃因霍温理工大学）；NXP Semiconductors（恩智浦半导体）
提出一种显式时间上下文加窗方法，通过在神经网络输入输出端结合多上下文估计改善软掩蔽过程，无需额外训练且参数增加不到1%，有效提升了去噪语音的可懂度与质量。
2024-08-28 cs.SD eess.AS
Exploratory Evaluation of Speech Content Masking
University of Southampton（南安普顿大学）；Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Technical University Munich（慕尼黑工业大学）；University of Avignon（阿维尼翁大学）；Technical University of Denmark（丹麦技术大学）
本文探索语音内容掩码隐私问题，基于VQ-VAE和WaveRNN评估噪声替换、单词删除和音素序列反转等基线掩码技术对ASR和ASV下游任务的影响。
2024-01-08 cs.CR cs.LG cs.SD
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
D2Former: A Fully Complex Dual-Path Dual-Decoder Conformer Network using Joint Complex Masking and Complex Spectral Mapping for Monaural Speech Enhancement
Alibaba Group（阿里巴巴集团）
单声道语音增强已被广泛研究，使用真正的网络在时间-频率（TF）域。然而，输入和目标在TF域中自然是复值的，完全复杂的网络对于有效地学习特征表示和在复域中对序列建模是非常理想的。此外，相位，语音的感知质量的一个重要因素，已被证明是可学习的一起从噪声语音使用复杂的掩蔽或复杂的频谱映射的幅度。最近的许多研究集中在复掩蔽或复光谱映射，忽略了它们的性能边界。为了解决上述问题，我们提出了一个完全复杂的双路径双解码器构象网络（D2 Former）使用联合复掩蔽和复频谱映射单声道语音增强。在D2 Former中，我们将构象网络扩展到复域，形成了一个双路径复TF自注意体系结构，用于有效地对复值TF序列进行建模。我们进一步提高TF特征表示的编码器和解码器使用双路径学习结构，利用复杂的扩张卷积的时间依赖性和复杂的前馈顺序记忆网络（CFSMN）的频率递归。此外，我们通过将两个训练目标的优势结合到联合学习框架中来提高复掩蔽和复谱映射的性能边界。因此，D2 Former充分利用了复值运算、双路径处理和联合训练目标。与以前的模型相比，D2 Former在VoiceBank+Demand基准测试中获得了最先进的结果，模型尺寸最小，仅为0.87 M参数。
2023-02-23 cs.SD eess.AS
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Deep Interaction between Masking and Mapping Targets for Single-Channel Speech Enhancement
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
最新的深度神经网络（DNN）模型在时频（T-F）幅度域中表现出令人印象深刻的去噪性能。然而，相位也是语音信号中容易被忽视的关键成分。在本文中，我们提出了一个多分支扩张卷积网络（DCN），同时增强噪声语音的幅度和相位。基于复谱和理想比率模板目标的多目标学习框架，实现了一种因果性和鲁棒性的单耳语音增强系统。在联合学习过程中，将目标间的中间估计作为特征注意因子的生成方式，实现两个目标间的信息交互。此外，所提出的多尺度扩张卷积使DCN模型具有更有效的时间建模能力。实验结果表明，与现有的语音识别模型相比，该模型具有更好的语音质量和可懂度，且计算量更小。
2021-06-09 cs.SD eess.AS
MaskedSpeech: Context-aware Speech Synthesis with Masking Strategy
JD Technology Group（京东科技集团）
本文提出上下文感知语音合成系统MaskedSpeech，通过掩码策略结合上下文语义与声学特征重建被掩蔽声学特征，显著提升了段落级语音的自然度与表现力。
2023-05-18 cs.SD eess.AS
DTM-Codec: Dynamic Token Masking for VFR Speech Coding with Efficient Boundary Selection
Graduate School of Cultural Technology, KAIST, South Korea（韩国科学技术院文化技术研究生院）
提出DTM-Codec，通过动态令牌掩码和路径长度均衡（PLE）边界选择器，在严格匹配总比特率下优于固定帧率基线，提升重建质量和可懂度。
2026-06-28 cs.SD eess.AS
Improving Streaming Speech Recognition With Time-Shifted Contextual Attention And Dynamic Right Context Masking
Zalo AI（Zalo人工智能）；University of Science（科学大学）；Vietnam National University（越南国立大学）
针对流式语音识别中基于块的推理因缺乏未来上下文导致性能下降的问题，提出结合TSCA与DRC掩码的方法，在Librispeech上实现10%-13.9%的词错误率相对下降，并设计了低延迟、支持批处理的实用流式ASR流水线。
2025-02-21 cs.SD eess.AS
Parameter Tuning of Time-Frequency Masking Algorithms for Reverberant Artifact Removal within the Cochlear Implant Stimulus
Duke University（杜克大学）
人工耳蜗使用者很难在混响环境中理解语音。为了恢复语音感知，可以从耳蜗植入刺激中去除由混响反射主导的伪影。伪影可以通过应用增益值矩阵来识别和去除，该技术被称为时频掩蔽。增益值由oracle算法确定，该算法使用未失真信号的知识来最小化由混响反射主导的信号分量的保留。在实践中，增益值是从失真信号中估计的，其中oracle算法提供了估计目标。存在不同的oracle技术用于确定增益值，并且每种技术都必须被参数化以设置信号保持量。这项工作评估的甲骨文掩蔽策略和参数化导致最好的改善语音清晰度的人工耳蜗植入用户在混响条件下使用在线语音清晰度测试的正常听力个体与声码。
2021-08-12 cs.SD eess.AS
Variable Attention Masking for Configurable Transformer Transducer Speech Recognition
Apple（苹果公司）
本文提出在 Transformer Transducer 中采用训练时从目标分布采样的可变注意力掩码，构建单一可配置模型，以支持流式识别与声学重打分，并改善准确率-延迟权衡。
2023-04-18 cs.CL cs.SD eess.AS
Deep Active Speech Cancellation with Mamba-Masking Network
Blavatnik School of Computer Science Tel Aviv University（塔尔医学院计算机科学学院）；School of Electrical and Computer Engineering Ben-Gurion University of the Negev（本·古里安大学电气与计算机工程学院）
提出Mamba-Masking网络用于主动语音消除，通过掩蔽机制和多频段分割实现精确反向信号生成，在ANC和ASC上分别提升7.2dB和6.2dB。
2025-05-25 cs.AI cs.LG cs.SD
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
Masking Kernel for Learning Energy-Efficient Representations for Speaker Recognition and Mobile Health
Worcester Polytechnic Institute（伍斯特理工学院）
针对智能手机语音采集与 DNN 推理的能耗问题，提出在训练中结合梯度下降、掩码函数和低通滤波器的掩码核，以优化语音长度与采样率，实现 57% 节能并保持检测性能。
2023-08-15 cs.SD eess.AS
Improving Automatic Speech Recognition with Decoder-Centric Regularisation in Encoder-Decoder Models
本文提出DeCRED方法，通过在编码器-解码器ASR模型的解码器中引入辅助分类器及两种解码策略，在有限数据和模型规模下提升识别性能，并在AMI和Gigaspeech等域外数据集上显著降低词错误率。
2024-10-22 eess.AS
Transformer-based Online Speech Recognition with Decoder-end Adaptive Computation Steps
基于转换器的端到端（E2 E）自动语音识别（ASR）系统最近获得了广泛的普及，并且在许多ASR任务上被示出优于基于递归结构的E2 E模型。然而，与其他E2 E模型一样，Transformer ASR也需要完整的输入序列来计算编码器和解码器上的注意力，这导致延迟增加，并对在线ASR构成挑战。本文提出了解码端自适应计算步骤（DACS）算法，以解决延迟的问题，并促进在线ASR。该算法通过在从编码器状态获取的置信度达到一定阈值后触发输出来流式解码Transformer ASR。不同于其他单调注意机制，风险访问整个编码器状态的每个输出步骤，本文介绍了一个最大的前瞻步骤到DACS算法，以防止到达语音结束太快。在我们的系统中采用了一个Chunkwise编码器来处理实时语音输入。建议的在线Transformer ASR系统已经在华尔街日报（WSJ）和AIShell-1数据集上进行了评估，分别产生5.5%的字错误率（WER）和7.1%的字符错误率（CER），与离线系统相比，性能只有轻微的下降。
2020-11-27 eess.AS
Mamba-based Decoder-Only Approach with Bidirectional Speech Modeling for Speech Recognition
本文提出MADEON，一种基于Mamba的仅解码器ASR架构，通过引入语音前缀技术进行双向语音建模以增强上下文信息，在大型数据集上取得了与Transformer模型相当的性能。
2024-11-11 cs.SD eess.AS
DeCRED: Decoder-Centric Regularization for Encoder-Decoder Based Speech Recognition
本文提出DeCRED正则化方法，通过在解码器中添加辅助分类器改进内部语言模型，显著降低困惑度并在多个域内外测试集上提升语音识别WER，性能优于基线且具竞争力。
2025-08-12 eess.AS
Adaptive Reverberation Absorption using Non-stationary Masking Components Detection for Intelligibility Improvement
Military Institute of Engineering (IME)（军事工程学院）
这封信提出了一种新的时域吸收方法，旨在减少噪声混响条件下的语音信号的掩蔽成分。在该方法中，被破坏的信号段的非平稳性被用来检测基于定义的阈值的掩蔽失真。对非平稳性进行了客观的测量，并用于确定吸收过程。此外，该技术不需要语音统计或房间信息的先验知识。三个可懂度测量（ESII，ASIST，SRMRnorm）和感知听力测试用于评估。实验结果表明，该方案导致更高的可懂度改善时，与竞争的方法。
2019-10-07 cs.SD eess.AS
Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech
HojoAI
针对掩码扩散模型TTS的中间预测无法修改导致误差累积的问题，提出Revise-TTS框架，用HBQ替换FSQ并引入GRN，实现可自校正的零样本语音合成，性能具竞争力且可扩展。
2026-10-15 cs.SD eess.AS
Small energy masking for improved neural network training for end-to-end speech recognition
Samsung Research（三星研究院）
在本文中，我们提出了一个小能量屏蔽（SEM）算法，它屏蔽输入值低于一定的阈值。更具体地，如果时频仓中的滤波器组能量小于某个能量阈值，则该时频仓被掩蔽。采用均匀分布来随机地生成该能量阈值与以分贝为单位的每个发声的峰值滤波器组能量的比率。未掩蔽的特征元素被缩放，使得特征值的总和通过该掩蔽过程保持相同。这个非常简单的算法显示出相对于基线端到端语音识别系统，标准LibriSpeech测试-干净和测试-其他集的字错误率（WER）分别提高了11.2%和13.5%。此外，与输入丢弃算法相比，SEM算法在相同的LibriSpeech测试干净集和测试其他集上显示出相对7.7%和11.6%的改进。通过使用Transformer LM的改进的浅融合技术，我们在LibriSpeech测试-干净集上获得了2.62%的WER，在LibriSpeech测试-其他集上获得了7.87%的WER。
2020-02-15 cs.LG cs.SD eess.AS
CochCeps-Augment: A Novel Self-Supervised Contrastive Learning Using Cochlear Cepstrum-based Masking for Speech Emotion Recognition
Khalifa University of Science and Technology（哈利法克斯科技大学）
本文提出CochCeps-Augment，一种基于仿生耳蜗倒谱图（CCGRAM）的掩码增强任务，通过SimCLR生成对比视图进行自监督对比学习，在K-EmoCon数据集上验证了其在语音情感识别中的噪声鲁棒性和有效性。
2024-02-10 cs.LG cs.SD eess.AS
Cross-Modal Masking for Robust Silent Speech Synthesis Using sEMG and Lipreading
Aholab research group within the HiTZ Center at University of the Basque Country (UPV/EHU)（巴斯克大学HiTZ中心内Aholab研究组）；PRHLT research center, Universitat Politècnica de València (UPV)（瓦伦西亚理工大学PRHLT研究中心）
提出掩蔽多模态语音合成框架，联合表面肌电图和唇读信号，通过训练时模态掩蔽提升鲁棒性，在多说话人设置下词错误率降低14个百分点。
2026-06-08 cs.CL cs.SD eess.AS
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯少数民族-普通话翻译部门）
维吾尔语语音中经常会遇到辅音和元音的压缩，特别是在高速率的自发语音中，这会导致语音识别性能的下降。针对这一问题，本文提出了一种有效的音素模板训练方法，用于基于Conformer的维吾尔语端到端（E2 E）语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征，模拟上述言语现象，便于E2 E模型学习更多的上下文信息。根据实验，上述问题可以大大缓解。此外，对不同的掩蔽单元进行了深入的研究，这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后，与没有模板训练的基于Conformer的E2 E基线相比，我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率（WER）降低。在开放源数据THUYG-20的测试集上验证了上述方法，结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University（西北工业大学）；Du Xiaoman Financial（度小满金融）
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型，通过因果注意力掩码、右块注意力及数据增强，在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
REDnet: Recursive Encoder and Decoder for Speech Separation under Unknown Number of Speakers and Variable Number of Microphones
Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本研究提出REDnet模型，采用递归编码器和解码器结构，解决了说话者数量和麦克风数量均未知的语音分离问题，在多个公开数据集上实现了领先性能。
2026-08-26 eess.AS
Accent-Invariant Automatic Speech Recognition via Saliency-Driven Spectrogram Masking
Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）；Department of Computer Engineering, University of Tehran（德黑兰大学计算机工程系）
本文提出一种口音不变的ASR框架，通过频谱图分类器捕获口音线索并掩码关键区域进行数据增强，显著降低了英语和波斯语的词错率。
2025-10-10 cs.CL cs.SD eess.AS
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而，这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题，这有几个缺点，包括信号的相位和幅度的解耦，用于语音分离的时频表示的次优性，以及计算频谱图的长延迟。为了解决这些缺点，我们提出了一个全卷积时域音频分离网络（Conv-TasNet），这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示，该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数（掩码）来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络（TCN）来找到掩码，这允许网络对语音信号的长期依赖性进行建模，同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外，Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模，这是通过客观失真测量和人类听众的主观质量评估来评估的。最后，Conv-TasNet具有更小的模型大小和更短的最小延迟，使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
Deep Xi as a Front-End for Robust Automatic Speech Recognition
Griffith University（格里菲斯大学）
当前用于鲁棒自动语音识别（ASR）的前端包括用于语音增强的基于掩蔽和映射的深度学习方法。最近提出的一种用于优先SNR估计的深度学习方法，称为DeepXi，能够以比当前基于掩蔽和映射的方法更高的质量和可懂度产生增强的语音。受此启发，我们将Deep Xi作为强大ASR的前端进行研究。使用真实世界的非平稳和有色噪声源在多个SNR水平下对Deep Xi进行评估。我们的实验研究表明，DeepXi作为前端能够产生比最近基于掩蔽和映射的深度学习前端更低的单词错误率。这项工作中的结果表明，Deep Xi是一个可行的前端，能够显着提高ASR系统的鲁棒性。可用性：Deep Xi可在：https://github.com/anicolson/DeepXi
2020-01-28 cs.SD eess.AS eess.SP
MP-SENet: A Speech Enhancement Model with Parallel Denoising of Magnitude and Phase Spectra
本文提出MP-SENet语音增强模型，通过卷积增强Transformer编解码架构并行去噪幅值与相位谱，并利用多级损失联合训练，在VoiceBank+DEMAND数据集上取得3.50的PESQ，优于现有先进方法。
2023-05-23 eess.AS
Adapting Large Language Model with Speech for Fully Formatted End-to-End Speech Recognition
本文提出将预训练大语言模型适配于语音以解决文本LLM与E2E ASR模型间的失配问题，实验表明该方法在多领域完全格式化转录任务中有效利用LLM优势，错误率超越Whisper等强模型。
2023-08-03 eess.AS
HD-DEMUCS: General Speech Restoration with Heterogeneous Decoders
Yonsei University（延世大学）；NAVER Cloud（NAVER云）
提出端到端 HD-DEMUCS，通过两个异构解码器并行完成降噪与缺失成分恢复，并以可学习权重聚合波形，在多种失真环境下优于单解码器和级联系统。
2023-06-02 cs.SD eess.AS
Relating EEG recordings to speech using envelope tracking and the speech-FFR
在言语感知过程中，听者的脑电图（EEG）反映了听觉水平的处理以及更高层次的认知因素，如言语理解和注意。然而，由于EEG信号的低信噪比，从EEG记录解码语音是具有挑战性的。我们报告了ICASSP 2023“听觉EEG解码”信号处理大挑战的方法。一个简单的集成方法，大大提高了基线解码器的性能。甚至更高的分类率是通过联合解码的语音诱发的频率以下的响应和响应的时间包络的语音，以及通过微调的解码器个别科目。我们的研究结果可以应用于听力障碍的诊断或认知导向助听器。
2023-03-11 eess.AS
SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
单通道预训练的快速发展促使研究者更加关注跨通道预训练方法。在本文中，我们提出了一个统一的模态语音单元文本预训练模型，SpeechUT，连接语音编码器和文本解码器的表示与共享的单元编码器。利用隐藏单元作为对齐语音和文本的接口，我们可以将语音到文本模型分解为语音到单元模型和单元到文本模型，它们可以分别使用未配对的语音和文本数据进行联合预训练。我们提出的SpeechUT是微调和自动语音识别（ASR）和语音翻译（ST）的任务进行评估。实验结果表明，SpeechUT在强基线上得到了实质性的改进，并在LibriSpeech ASR和MuST-C ST任务上实现了最先进的性能。为了更好地理解建议的演讲稿，进行了详细的分析。代码和预训练模型可在https://aka.ms/SpeechUT上获得。
2022-10-07 cs.CL eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
Decoder-only Architecture for Streaming End-to-end Speech Recognition
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于仅解码器架构的分块流式语音识别方法，利用 CTC 压缩语音特征并采用随机长度前缀提示训练，在 LibriSpeech 上实现 8% 相对词错误率降低且速度提升一倍。
2024-08-01 cs.CL eess.AS
Hierarchical Context-Aware Transformers for Non-Autoregressive Text to Speech
在本文中，我们提出了一种方法，用于提高基于transformer的非自回归文本到语音（TNA-TTS）模型的建模性能。尽管文本编码器和音频解码器处理不同类型和长度的数据（即，文本和音频），TNA-TTS模型的设计没有考虑这些变化。因此，为了提高TNA-TTS模型的建模性能，我们提出了一个分层的Transformer结构为基础的文本编码器和音频解码器，旨在适应每个模块的特点。对于文本编码器，我们约束每个自关注层，以便编码器从局部范围到全局范围关注文本序列。相反，音频解码器约束其自注意层以在相反方向上聚焦，即，从全球范围到地方范围。此外，我们进一步提高音高建模的准确性的音频解码器提供句子和单词级的音高作为条件。各种客观和主观评价验证了所提出的方法优于基线TNA-TTS。
2021-06-29 eess.AS
An Asynchronous WFST-Based Decoder For Automatic Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corporation（小米公司）；Shanghai Jiao Tong University（上海交通大学）
本文介绍了一种异步动态解码器，它采用一种高效的A* 算法，在大词汇量连续语音识别的一次解码中加入大语言模型。与可能引起显著计算开销的具有即时合成解码器的标准单遍解码不同，异步动态解码器具有新颖的设计，其中其具有两个前端，一个执行“探索”而另一个执行“回填”。两个前沿的计算在解码过程中交替进行，从而比具有动态合成解码器的标准一遍解码更有效地修剪。实验结果表明，该解码器比标准的on-the-fly复合解码器的单遍解码速度快得多，而且随着数据复杂度的增加，这种加速效果更加明显。
2021-03-16 cs.SD eess.AS
Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data
Microsoft Research Asia（微软亚洲研究院）
本文研究了一种新的预训练技术Speech 2C，用于基于编解码器的自动语音识别（ASR）。在多任务学习框架内，我们使用声学单元为编码器-解码器网络引入两个预训练任务，即，伪代码，源自离线集群模型。一种是通过编码器输出中的掩码语言建模（如HuBERT模型）来预测伪代码，而另一种是让解码器学习自回归地重建伪代码，而不是生成文本脚本。通过这种方式，解码器在学习生成正确的文本之前学习用代码重构原始语音信息。在LibriSpeech语料库上的综合实验表明，与不进行解码器预训练的方法相比，Speech 2C可以将词出错率（WER）降低19.2%，并且在10 h和100 h的微调子集上也明显优于最先进的wav 2 vec 2.0和HuBERT。我们在https://github.com/microsoft/SpeechT5/tree/main/Speech2C上发布我们的代码和模型。
2022-06-20 cs.LG cs.SD eess.AS
One In A Hundred: Select The Best Predicted Sequence from Numerous Candidates for Streaming Speech Recognition
RNN-Transducers和改进的基于注意力的编解码器模型被广泛应用于流式语音识别。与这两种端到端模型相比，CTC模型在训练和推理方面更有效。但是，它不能捕获输出标记之间的语言依赖性。受两遍端到端模型的成功启发，我们将Transformer解码器和两阶段推理方法引入流式CTC模型。在推理期间，CTC解码器首先以流方式生成许多候选。然后，Transformer解码器基于对应的声学编码状态来选择最佳候选。第二阶段的Transformer解码器可以看作是一个条件语言模型。我们假设在第一阶段中产生的候选者的足够大的数量和足够的多样性可以补偿CTC模型的语言建模能力的缺乏。所有的实验都是在汉语普通话数据集AISHELL-1上进行的。结果表明，我们提出的模型可以实现流解码的快速和直接的方式。我们的模型可以实现高达20%的字符错误率比基线CTC模型减少。此外，我们的模型也可以执行非流推理，只有一点点性能下降。
2021-04-04 eess.AS
MAGE: A Coarse-to-Fine Speech Enhancer with Masked Generative Model
MAGE通过紧凑稳健的设计提升生成式语音增强效果，采用稀缺感知的粗到细掩码策略，结合轻量级校正模块，实现高效且高质量的语音增强，实验显示在DNS挑战和噪声LibriSpeech上取得最佳感知质量和更低的词错误率。
2026-03-13 cs.SD eess.AS
Decoding Envelope and Frequency-Following EEG Responses to Continuous Speech Using Deep Neural Networks
Imperial College London（帝国理工学院）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本研究全面记录了为ICASSP SPGC开发的深度神经网络EEG语音匹配解码器，探究说话人特征对性能的影响，验证了其准确鲁棒的分类效果与跨数据集泛化能力，且可直接用作听觉注意力解码器。
2023-12-15 cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）
受T5（Text-To-Text Transfer Transformer）在预训练自然语言处理模型中的成功启发，我们提出了一个统一模态SpeechT5框架，该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态（语音/文本）的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后，共享的编码器-解码器网络对序列到序列的变换进行建模，然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据，我们对SpeechT5进行了预训练，以学习统一的模态表示，希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中，我们提出了一种跨模态矢量量化方法，该方法将语音/文本状态与潜在单元随机混合，作为编码器和解码器之间的接口。广泛的评估表明，所提出的SpeechT5框架在各种各样的口头语言处理任务，包括自动语音识别，语音合成，语音翻译，语音转换，语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition
National University of Singapore（新加坡国立大学）
语码转换是指说话人在同一个句子内或句子之间交替使用两种或两种以上语言的词汇。CS语音的自动语音识别（ASR）需要同时处理两种或两种以上的语言。在这项研究中，我们提出了一个基于transformer的架构，具有两个对称的语言特定的编码器来捕获各个语言属性，从而提高每种语言的声学表示。在解码器模块中使用语言特定的多头注意机制来组合这些表示。解码器中的每个编码器及其相应的注意力模块使用大型单语语料库进行预训练，旨在减轻有限的CS训练数据的影响。我们称这样的网络为多编码器-解码器（MED）架构。在SEAME语料库上的实验结果表明，在以汉语和英语为矩阵语言的CS评价集上，该MED结构分别实现了10.2%和10.8%的相对错误率降低.
2020-06-18 cs.SD eess.AS
AmbiSep: Ambisonic-to-Ambisonic Reverberant Speech Separation Using Transformer Networks
考虑包含若干混响语音信号的混合的多通道高保真度立体声录音。从混合物中盲目地恢复与各个语音源相对应的混响高保真度立体声信号是一项具有挑战性的任务，因为它需要估计每个源的多个信号通道。在这项工作中，我们提出了AmbiSep，一种基于深度神经网络的平面波域掩蔽方法来解决这一任务。掩蔽网络在三路径处理配置中使用学习的特征表示和Transformers。我们训练和评估建议的网络架构的空间化WSJ 0 - 2 mix数据集，并表明，该方法实现了多通道尺度不变的信号失真比改善17.7 dB的盲测试集，同时保持分离的声音的空间特性。
2022-06-13 eess.AS eess.SP
SkipConvGAN: Monaural Speech Dereverberation using Generative Adversarial Networks via Complex Time-Frequency Masking
University of Texas at Dallas（德克萨斯大学达拉斯分校）
随着深度学习方法的进步，语音增强系统在存在背景噪声的情况下的性能已经显示出显着的改善。然而，提高系统对混响的鲁棒性仍然是一项正在进行的工作，因为混响往往会由于时间和频率上的拖尾效应而导致共振峰结构的损失。各种基于深度学习的系统要么增强幅度响应并重新使用失真相位，要么使用复杂的时频掩模增强复杂的频谱图。虽然这些方法已经证明了令人满意的性能，但它们不能直接解决由混响引起的共振峰结构丢失。我们相信，共振峰结构的检索可以帮助提高现有系统的效率。在这项研究中，我们提出了SkipConvGAN-我们以前的工作SkipConvNet的扩展。所提出的系统的发电机网络试图估计一个有效的复杂的时间-频率掩模，而在驱动发电机恢复丢失的共振峰结构的ESTA网络的援助。我们评估我们提出的系统的性能，从单通道任务的REVERB挑战语料库的混响语音的模拟和真实录音。与其他基于深度学习的生成对抗框架相比，该系统在多个房间配置中表现出一致的改进。
2022-11-22 cs.LG cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
An automatic mixing speech enhancement system for multi-track audio
Queen Mary University of London（伦敦玛丽女王大学）
本文提出一种基于ITU-R BS.1387 PEAQ模型和迭代Harmony搜索算法的多轨音频自动混音语音增强系统，通过优化电平、均衡、压缩和空间化等效果最小化听觉掩蔽，主观测试表明其混音质量可媲美专业工程师并优于现有自动混音系统。
2024-10-18 cs.MM cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University（东南大学）；National University of Singapore（新加坡国立大学）
本文提出了一种新的框架，建立一个语音转换（VC）系统的学习从文本到语音（TTS）合成系统，即TTS-VC迁移学习。首先，我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构，其中编码器提取强大的语言表示的文本，和解码器，条件下的目标说话人嵌入，需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实，并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中，编码器以语音代替文本作为输入，而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入，因此系统可以在非并行数据上进行训练，以进行任意到任意的语音转换。在语音转换训练过程中，我们分别提出了文本和语音到语音合成和语音转换网络。在运行时，语音转换网络使用自己的编码器-解码器架构。实验表明，该方法优于两个竞争的语音转换基线一致，即语音后验图和变分自动编码器的方法，在语音质量，自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
Inter-connection: Effective Connection between Pre-trained Encoder and Decoder for Speech Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对语音翻译中预训练编码器与解码器简单连接导致信息利用不足的问题，本文提出互连机制，通过加权聚合编码器各层信息输入解码器，在仅增加2K参数的情况下使英德、英日、英中翻译BLEU提升约2个点。
2023-05-26 cs.CL cs.SD eess.AS
Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks
Carnegie Mellon University（卡内基梅隆大学）；dot Inc.（42dot公司）
本文提出统一仅解码器模型 VoxtLM，通过融合文本词汇与离散语音 token 及特殊 token，支持识别、合成、文本生成和语音续写，并在多项任务上优于单任务模型，且开源数据配方与检查点。
2024-01-24 cs.LG cs.SD eess.AS
On decoder-only architecture for speech-to-text and large language model integration
Microsoft（微软）
针对语音与大语言模型集成不足的问题，提出Speech-LLaMA方法，通过连接主义时序分类和音频编码器将声学特征映射至LLM语义空间，验证了纯解码器架构在多语言语音转文本任务上的性能优势。
2023-10-02 cs.CL cs.SD eess.AS
Attention-Constrained Inference for Robust Decoder-Only Text-to-Speech
MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong（香港中文大学深圳研究院）
本文针对解码器仅TTS模型的跳词和重复问题，提出注意力约束推理方法ACI，通过识别并约束对齐涌现注意力头，在VALL-E上使WER相对降低最多20.5%，且保持自然度和说话人相似度。
2024-10-18 cs.SD eess.AS
