UmbraTTS: Adapting Text-to-Speech to Environmental Contexts with Flow Matching
aiOla Research（aiOla研究）
提出基于流匹配的UmbraTTS模型，通过自监督框架解决缺乏成对训练数据的问题，联合生成语音与环境音频，实现对背景音量的细粒度控制，显著优于现有基线。
2025-07-10 cs.LG cs.SD eess.AS
Zero-Shot Text-to-Speech for Vietnamese
Movian AI
本文构建了包含941小时高质量越南语语音的PhoAudiobook数据集，并在VALL-E、VoiceCraft和XTTS-V2三个零样本TTS模型上验证其能持续提升多项性能指标，同时发现VALL-E和VoiceCraft在短句合成上表现更优。
2025-06-02 cs.CL cs.SD eess.AS
Generative Modeling for Low Dimensional Speech Attributes with Neural Spline Flows
NVIDIA（英伟达）
尽管最近在文本到语音合成的生成建模方面取得了进展，但这些模型还没有像FastPitch和FastSpeech2这样的音高条件确定性模型那样具有相同的细粒度可调性。音高信息不仅是低维的，而且是不连续的，这使得在生成环境中建模特别困难。我们的工作探讨了几种技术来处理上述问题的规范化流模型的背景下。我们还发现这个问题非常适合神经样条流，这是一个高度表达的替代规范化流中更常见的仿射耦合机制。
2022-06-27 cs.LG cs.SD eess.AS
Noisy-to-Noisy Voice Conversion Framework with Denoising Model
Nagoya University（名古屋大学）
在传统的语音转换（VC）框架中，VC模型通常使用干净的数据集来训练，该干净的数据集包括通过最小化背景干扰而仔细记录和选择的语音数据。然而，收集这样一个高质量的数据集是昂贵和耗时的。在训练中利用众包语音数据更经济。此外，对于一些真实世界的VC场景，例如视频中的VC和用于语音识别系统的基于VC的数据增强，背景声音本身也是信息性的并且需要被维护。在本文中，探索VC与处理背景声音的灵活性，我们提出了一个噪声到噪声（N2N）的VC框架组成的去噪模块和VC模块。利用所提出的框架，我们可以在保持背景声音的同时转换说话者的身份。客观和主观的评价进行，结果表明所提出的框架的有效性。
2021-09-22 cs.SD eess.AS
Improving Robustness of LLM-based Speech Synthesis by Learning Monotonic Alignment
NVIDIA Corporation（英伟达公司）
针对基于大语言模型的语音合成易产生重复、漏词及错位问题，本文提出利用CTC损失和注意力先验引导单调交叉对齐，在不增加参数的情况下显著提升模型鲁棒性。
2024-06-25 cs.AI cs.SD eess.AS
A Fast and Accurate Pitch Estimation Algorithm Based on the Pseudo Wigner-Ville Distribution
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
在语音信号的浊音段中的基频（F0）的估计，也称为基音跟踪，在基音同步语音分析、语音合成和语音处理中起着至关重要的作用。本文利用伪Wigner-Ville分布（PWVD）的高时频分辨率，提出了一种新的基于PWVD的基音周期估计方法。我们设计了一个有效的算法来计算PWVD更快，并使用基于倒谱的预滤波，以避免交叉项干扰。在语音和电声门图（EGG）记录的数据库上评估我们的方法产生了大约4Hz的最先进的平均绝对误差（MAE）。我们的方法在浊音/清音分类和处理突然的频率变化方面也是有效的。
2022-10-27 cs.SD eess.AS eess.SP
Speech Quality Assessment Model Based on Mixture of Experts: System-Level Performance Enhancement and Utterance-Level Challenge Analysis
College of CS Zhejiang University Hangzhou, CHINA（计算机学院 浙江大学 杭州 中国）
本文提出基于专家混合的语音质量评估系统，利用自监督模型与合成数据增强，虽提升系统级性能，但揭示语句级预测的局限性并分析其成因。
2025-07-08 cs.AI cs.SD eess.AS
Central Kurdish Text-to-Speech Synthesis with Novel End-to-End Transformer Training
Salahaddin University-Erbil（埃尔比勒萨拉赫丁大学）；University of Kurdistan Hawler（库尔德斯坦豪勒大学）
针对中库尔德语 Sorani 方言 TTS 资源不足的问题，提出结合 VAE、对抗潜分布对齐和随机时长预测器的端到端 Transformer 模型，实现高质量实时语音合成，MOS 达 3.94。
2024-08-06 cs.SD eess.AS
DeCodec: Rethinking Audio Codecs as Universal Disentangled Representation Learners
Jiutian Artificial Intelligence Research Institute, China Mobile, China State Key Laboratory of Multimedia Information Processing, Peking University, China（九天人工智能研究院，中国移动，国家多媒体信息处理重点实验室，北京大学）
DeCodec通过正交子空间投影和表示交换训练，将音频编解码器转化为通用解耦表示学习器，实现语音与背景声音及语义与副语言的分层解耦，支持灵活特征选择，在语音增强、声音转换、ASR和TTS中展现新能力。
2025-09-11 cs.SD
Augmenting Images for ASR and TTS through Single-loop and Dual-loop Multimodal Chain Framework
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）
先前的研究已经提出了一种机器语音链，以使自动语音识别（ASR）和文本到语音合成（TTS），以协助对方的半监督学习，并避免需要大量的成对的语音和文本数据。然而，该框架仍然需要大量的未配对（语音或文本）数据。然后探索了一个原型多模态机器链，以进一步减少对大量未配对数据的需求，即使在没有更多语音或文本数据可用的情况下，也可以改善ASR或TTS。不幸的是，这个框架依赖于图像检索（IR）模型，因此它仅限于处理那些在训练过程中已经知道的图像。此外，该框架的性能只与单说话人的人工语音数据进行了研究。在这项研究中，我们修改了多模态机器链框架与图像生成（IG）和调查的可能性，增加图像数据的ASR和TTS使用单循环和双循环架构的多扬声器自然语音数据。实验结果表明，单循环和双循环多模态链框架使ASR和TTS使用仅图像数据集提高其性能。
2020-11-04 cs.CL cs.SD eess.AS
CrossSpeech: Speaker-independent Acoustic Representation for Cross-lingual Speech Synthesis
dot Inc.（42dot公司）
针对跨语言语音合成中说话人与语言信息纠缠的问题，提出CrossSpeech方法，通过分离说话人无关与相关生成器解耦两类信息，显著提升跨语言TTS的说话人相似度与合成质量。
2023-06-12 cs.AI cs.SD eess.AS
CrossSpeech++: Cross-lingual Speech Synthesis with Decoupled Language and Speaker Generation
School of Electric Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）；dot Inc.（42dot公司）
本文提出CrossSpeech++，通过将语音生成拆分为语言相关和说话人相关两个生成器来解耦语言与说话人信息，显著提升跨语言语音合成质量并大幅超越现有方法。
2024-12-28 cs.AI cs.SD eess.AS
Handling Trade-Offs in Speech Separation with Sparsely-Gated Mixture of Experts
Microsoft（微软）
本文提出稀疏门控专家混合语音分离模型，在提升重叠语音分离性能、减少非重叠区域语音失真的同时，仅增加极小的计算开销。
2023-05-31 cs.SD eess.AS eess.SP
Robust and Efficient Autoregressive Speech Synthesis with Dynamic Chunk-wise Prediction Policy
X-LANCE Lab, School of Computer Science（X-LANCE实验室，计算机科学学院）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能MOE重点实验室，人工智能学院，上海交通大学）；MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing（人工智能MOE重点实验室，江苏省语言计算重点实验室）
提出动态分块自回归语音合成框架DCAR，通过多词元预测训练引入块到帧注意力机制并动态调整预测跨度，显著提升合成可懂度与推理速度，为下一代语音合成奠定基础。
2025-06-27 cs.CL cs.SD eess.AS
SceneGuard: Training-Time Voice Protection with Scene-Consistent Audible Background Noise
SceneGuard通过在训练时添加场景一致的可听背景噪声，有效提升语音保护的鲁棒性，显著降低说话人相似度，同时保持语音可懂度。
2025-11-20 cs.SD
Complex-Text Robustness Evaluation and Failure Diagnosis for Low-Resource Multilingual Text-to-Speech
Northwestern Polytechnical University（西北工业大学）；iFLYTEK Company Ltd.（科大讯飞股份有限公司）
本文提出针对低资源多语言TTS的复杂文本鲁棒性诊断框架，从内容、语言和生成稳定性三维度评估，并引入轻量级文本风险评分（TRS），在多个系统上验证了其有效性。
2026-09-11 cs.CL cs.SD
FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks
Concordia University（康科德大学）；Mila-Quebec AI Institute（魁北克AI研究院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Université Laval（拉瓦尔大学）
本文提出FocalCodec，一种基于焦点调制的低比特率语音编解码器，利用单一二进制码本在0.16-0.65 kbps下压缩语音，兼顾语义与声学信息，性能优于现有方法，并支持多语言及噪声环境。
2025-10-24 cs.AI cs.LG cs.SD
Adapting Diffusion-Based Music Synthesis to Speech and Singing Voice Conversion
研究将基于扩散的音乐合成模型用于语音转换，通过扩展条件设定、重新解释音色条件等方法，使模型在自然度等方面表现良好，还发现纳入乐器数据的问题及现成特征提取器的作用，凸显跨域模型转移对统一音频生成系统的潜力。
2026-07-17 cs.SD
SOLIDO: A Robust Watermarking Method for Speech Synthesis via Low-Rank Adaptation
Xiamen Key Laboratory of Data Security and Blockchain Technology（厦门市数据安全与区块链技术重点实验室）
针对语音生成模型的安全问题，本文提出SOLIDO，一种基于低秩适配的生成式水印方法，结合参数高效微调与深度可分离卷积解码器，实现高容量、高鲁棒的水印嵌入与提取。
2025-04-21 cs.AI cs.CR cs.SD
Online Streaming End-to-End Neural Diarization Handling Overlapping Speech and Flexible Numbers of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种基于端到端神经日志化（EEND）模型的流日志化方法，该方法可以处理灵活的说话人数量和重叠语音。在我们之前的研究中，提出了说话人跟踪缓冲区（STB）机制，使用预训练的EEND模型实现分块流式日志化。STB跟踪先前块中的说话者信息以映射新块中的说话者。但是，它只适用于两个扬声器的录音。在本文中，我们提出了一个扩展的STB灵活的扬声器，FLEX-STB。所提出的方法使用零填充，然后是扬声器跟踪，其消除了缓冲区和当前块之间的扬声器数量的差异。我们还研究了缓冲区更新策略，以选择重要帧来跟踪多个说话者。CALLHOME和DIHARD II数据集上的实验表明，该方法实现了与离线EEND方法相当的性能，延迟为1秒。结果还表明，我们提出的方法优于最近提出的基于EEND（BW-EDA-EEND）的分块日记化方法。
2021-04-07 cs.SD eess.AS
Overlap-aware diarization: resegmentation using neural end-to-end overlapped speech detection
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们解决的问题，有效地处理重叠的语音在一个日记系统。首先，我们详细介绍了一种基于神经长短期记忆的重叠检测架构。其次，利用检测到的重叠区域结合帧级扬声器后验矩阵，使重叠帧中的两个扬声器分配的重新分割步骤。重叠检测模块在AMI、DIHARD和ETAPE语料库上实现了最先进的性能。我们应用AMI上的可感知的重新分割，导致基线系统上相对DER减少20%。虽然这种方法绝不是一个最终的解决方案，以了解日志，它揭示了有前途的方向处理重叠。
2019-10-25 cs.SD eess.AS
Automatic Speech Recognition for Non-Native English: Accuracy and Disfluency Handling
Doshisha University（同志社大学）
本研究评估五个ASR系统对非母语英语语音的识别，发现Whisper和AssemblyAI在朗读语音上接近人类水平，RevAI在自发言语上最佳，并分析了不流畅性处理差异。
2025-03-30 cs.CL cs.SD eess.AS
Full-Duplex-Bench v1.5: Evaluating Overlap Handling for Full-Duplex Speech Models
National Taiwan University（国立台湾大学）；University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立台湾大学人工智能卓越研究中心）
本文提出全双工bench v1.5，通过模拟四种重叠场景评估全双工语音模型的行为，揭示了两种策略：响应优先和保留对话流程。
2026-04-26 eess.AS
Handling Numeric Expressions in Automatic Speech Recognition
Interactive Systems Lab（交互系统实验室）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对ASR转录中数字表达式格式化问题，比较级联与端到端方法，提出用LLM和TTS生成适配数据的端到端方案，在保持性能的同时降低延迟和推理成本。
2025-06-23 cs.AI cs.CL eess.AS
Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech
NTT Corporation（日本电报电话公司）
最近，我们提出了一种新的说话人日志化方法，称为端到端神经日志化向量聚类（EEND-vector clustering），它将基于聚类和端到端神经网络的日志化方法集成到一个框架中。所提出的方法结合了两个框架的优点，即高的日记化性能和处理重叠的语音的基础上的EEND，和鲁棒的处理长录音与任意数量的扬声器基于聚类的方法。然而，到目前为止，该方法仅在模拟的2扬声器会议类数据上进行了评估。本文将（1）报告我们对该框架所做的最新进展，包括新引入的鲁棒约束聚类算法，以及（2）实验表明，该方法现在可以显着优于竞争性的日志化方法，如编码器-解码器吸引子（EDA）-EEND，在CALLHOME数据上，该数据包括真实的会话语音数据，包括重叠语音和任意数量的扬声器。通过对实验结果的进一步分析，本文还讨论了该方法的优缺点，并揭示了进一步改进的潜力。在https://github.com/nttcslab-sp/EEND-vector-clustering上可以找到一组重现结果的代码。
2021-08-31 cs.SD eess.AS
A Benchmarking on Cloud based Speech-To-Text Services for French Speech and Background Noise Effect
DiappyMed；EuroMov Digital Health in Motion, Univ Montpellier, IMT Mines Alès（EuroMov数字健康运动实验室，蒙彼利埃大学，IMT阿莱斯矿业学院）
这项研究对基于云的语音到文本系统进行了大规模的基准测试：{Google Cloud Speech-To-Text}，{Microsoft Azure Cognitive Services}，{Amazon Transcribe}，{IBM Watson Speech to Text}。对于每个系统，40158个干净的和嘈杂的语音文件约101小时进行了测试。在40 dB ~ 0 dB的5种不同信噪比下，评价了背景噪声对STT质量的影响。结果表明，{Microsoft Azure}在干净语音上提供最低的转录出错率$9.09\%$，对噪声环境具有高鲁棒性。{Google Cloud}和{Amazon Transcribe}提供了类似的性能，但后者对于时间限制的使用非常有限。虽然{IBM Watson}可以在安静的条件下正常工作，但它对嘈杂的语音非常敏感，这可能会严重限制其在现实生活中的应用。
2021-05-07 cs.CL cs.SD eess.AS
Cellular Network Speech Enhancement: Removing Background and Transmission Noise
Carnegie Mellon University（卡内基梅隆大学）
语音增强的主要目标是在保留目标语音的同时降低背景噪声。当说话者被限制在嘈杂的环境中并且接收具有高背景和传输噪声的呼叫时，常见的困境发生。为了解决这个问题，深度噪声抑制（DNS）挑战赛的重点是使用下一代深度学习模型消除背景噪声，以增强目标的语音;然而，研究人员未能考虑IP语音（VoIP）应用的传输噪声。我们专注于Google Meet及其蜂窝应用程序，在VoIP DNS挑战赛的Google Meet To Phone Track上实现了最先进的性能。本文演示了如何击败工业性能，实现1.92 PESQ和0.88 STOI，以及各种指标的卓越声学保真度，感知质量和可懂度。
2023-01-22 cs.LG cs.SD eess.AS
A Knowledge-Driven Approach to Target Speech Extraction in the Presence of Background Sound Effects for Cinematic Audio Source Separation (CASS)
Georgia Institute of Technology（佐治亚理工学院）；University of Palermo（巴勒莫大学）；Dolby Laboratory（杜比实验室）
本文提出一种基于知识的语音提取方法，利用语音帧中检测到的发音方式形成知识向量，提升语音分离效果，尤其在复杂背景声音中表现更优。
2026-07-09 eess.AS
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University（哥伦比亚大学）；Academia Sinica（中央研究院）
提出NRSER系统，结合语音增强与信噪比级别检测，提升语音情感识别在噪声环境下的鲁棒性，并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
DualDub: Video-to-Soundtrack Generation via Joint Speech and Background Audio Synthesis
Northwestern Polytechnical University（西北工业大学）；Centre for Vision Speech and Signal Processing, University of Surrey（视觉语音与信号处理中心，萨里大学）；AI Lab, Giant Network（巨人网络人工智能实验室）
本文提出视频到原声带（V2ST）生成新任务及统一框架DualDub，通过多模态语言模型联合生成同步的背景音频与语音，并引入DualBench基准，实现了最先进的性能。
2025-07-14 cs.MM cs.SD eess.AS
Adapting Multi-Lingual ASR Models for Handling Multiple Talkers
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
本文提出通过增强版序列化输出训练和轻量级适配器模块适配通用语音模型，使其在保持多语言能力的同时实现多说话人ASR与时间戳预测。
2023-05-30 cs.CL eess.AS
Anchored Speech Recognition with Neural Transducers
Meta AI
神经传感器在标准语音识别基准测试中达到了人类水平的性能。然而，它们的性能在存在串扰的情况下显著降低，特别是当主扬声器具有低信噪比时。锚定语音识别是指使用来自锚定段（例如，唤醒词）来识别设备引导的语音而忽略干扰的背景语音。在本文中，我们研究锚定语音识别，使神经传感器的背景语音鲁棒。我们用一个微小的辅助网络从锚段中提取上下文信息，并使用编码器偏置和连接器门控来引导换能器朝向目标语音。此外，为了提高上下文嵌入提取的鲁棒性，我们提出了辅助训练目标，以从说话风格中分离词汇内容。我们评估我们的方法合成LibriSpeech为基础的混合物，包括几个SNR和重叠条件;他们提高了19.6%的相对字错误率在一个强基线，平均在所有条件下。
2023-03-29 cs.SD eess.AS
CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile Application
Research Center for Information Technology Innovation at Academia Sinica（中央研究院资讯科技创新研究中心）
这项研究提出了一个基于深度学习的语音信号处理移动应用程序，称为CITISEN。CITISEN提供三种功能：语音增强（SE）、模型自适应（MA）和背景噪声转换（BNC），允许CITISEN用作使用和评估SE模型的平台，并灵活地扩展模型以应对各种噪声环境和用户。对于SE，从云服务器下载的预训练SE模型用于有效地减少来自用户提供的即时或保存的记录的噪声分量。对于遇到看不见的噪声或扬声器环境，MA功能被应用于提升CITISEN。上传在嘈杂环境中录制的一些音频样本，并用于在服务器上调整预训练的SE模型。最后，对于BNC，CITISEN首先通过SE模型去除背景噪声，然后将处理后的语音与新的背景噪声混合。新的BNC功能可以评估特定条件下的SE性能，覆盖人们的轨迹，并提供娱乐。实验结果证实了SE、MA和BNC函数的有效性。与含噪语音信号相比，增强后的语音信号在短时客观可懂度（STOI）和语音质量感知评价（PESQ）方面分别提高了约6%和33%。MA可使STOI和PESQ分别提高约6%和11%。最后，BNC实验结果表明，从噪声背景和无声背景转换的语音信号具有相近的场景识别精度，并且在声学场景分类模型中具有相似的嵌入。因此，提出的BNC可以有效地转换语音信号的背景噪声，并在干净的语音信号不可用时作为数据增强方法。
2022-04-25 cs.LG cs.SD eess.AS
Speech Denoising with Deep Feature Losses
Stanford University（斯坦福大学）；Intel Labs（英特尔研究院）
我们提出了一种端到端的深度学习方法，通过直接处理原始波形来对语音信号进行去噪。给定包含被加性背景信号破坏的语音的输入音频，该系统旨在产生仅包含语音内容的经处理的信号。最近的方法使用各种深度网络架构显示出有希望的结果。在本文中，我们提出使用深度特征丢失来训练全卷积上下文聚合网络。这种损失是基于比较不同网络中的内部特征激活，这些网络被训练用于声学环境检测和国内音频标记。我们的方法优于国家的最先进的客观语音质量指标，并在大规模的感知实验与人类听众。它也优于使用传统回归损失训练的相同网络。新方法的优势对于具有最侵入性背景噪声的最硬数据尤其明显，对于这些数据，去噪是最需要和最具挑战性的。
2018-09-14 cs.SD eess.AS
ParaNoise-SV: Integrated Approach for Noise-Robust Speaker Verification with Parallel Joint Learning of Speech Enhancement and Noise Extraction
School of Electrical Engineering（电气工程学院）
提出ParaNoise-SV框架，通过双U-Net并行联合学习显式提取噪声与语音增强，有效保留说话人特征，使等错误率较以往联合模型相对降低8.4%。
2025-08-10 cs.SD eess.AS
Indian EmoSpeech Command Dataset: A dataset for emotion based speech recognition in the wild
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩思工程学院）；Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
语音情感分析是一项重要的任务，它进一步实现了几个应用用例。言语中的非言语声音在言语情感分析中也起着关键作用。由于智能手机的广泛使用，通过利用设备上的机器学习模型来分析使用麦克风捕获的语音命令以用于情感理解变得可行。非语言信息包括描述周围环境的类型、当前情况和正在进行的活动的环境背景声音。在这项工作中，我们认为口头（语音命令）和非口头的声音（背景噪音）在现实生活中的情况下的情绪分析的话语。我们为这项任务创建了一个本地数据集，即“印度语语音命令数据集”。它包含具有不同情感和背景声音的关键字，旨在探索音频分析中的新挑战。我们详尽地比较了语音命令的几个性能指标的情感分析与各种基线模型。我们证明，我们实现了一个显着的平均增益为3.3%的前一个分数超过一个子集的语音命令数据集的关键字定位。
2019-10-18 cs.MM cs.SD eess.AS
End-to-end Anchored Speech Recognition
Amazon（亚马逊）
语音控制的家用设备（如Amazon Echo或Google Home）面临在存在干扰背景语音的情况下执行设备引导的语音的语音识别的问题，即，背景噪声和来自邻近的另一个人或媒体设备的干扰语音需要被忽略。我们提出了两个端到端的模型来解决这个问题，从“锚定段”提取的信息。锚定段是指音频流的唤醒词部分，其包含可用于抑制干扰语音和背景噪声的有价值的说话者信息。第一种方法被称为“多源注意”，其中注意力机制考虑说话者信息和解码器状态。第二种方法直接在编码器输出之上学习帧级掩码。我们还探索了一种多任务学习设置，在该设置中，我们使用面具的地面真相来指导学习者。考虑到在我们的训练数据集中带有干扰语音的音频数据是罕见的，我们还提出了一种从“干净”语音合成“嘈杂”语音的方法，以减轻训练数据和测试数据之间的不匹配。我们提出的方法显示，亚马逊Alexa实时数据的WER相对减少了15%，干扰背景语音，而不会显着降低干净的语音。
2019-02-06 cs.CL cs.LG cs.SD
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
ClearBuds: Wireless Binaural Earbuds for Learning-Based Speech Enhancement
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
我们提出ClearBuds，第一个硬件和软件系统，利用神经网络，以提高语音流从两个无线耳塞。无线耳塞的实时语音增强需要高质量的声音分离和背景消除，在移动电话上实时操作。Clear-Buds通过两项关键技术贡献，将盲音频声源分离和入耳式移动系统的最先进深度学习连接起来：1）能够作为同步双耳麦克风阵列运行的新型无线耳塞设计，以及2）在移动终端上运行的轻量级双通道语音增强神经网络。我们的神经网络有一个新的级联架构，结合了时域传统的神经网络与基于频谱的频率掩蔽神经网络，以减少在音频输出的文物。结果表明，我们的无线耳塞实现了小于64微秒的同步误差，我们的网络在配套手机上的运行时间为21.4毫秒。在以前看不见的室内和室外多径场景中对八个用户进行的野外评估表明，我们的神经网络可以概括学习空间和声学线索，以执行噪声抑制和背景语音去除。在一项用户研究中，37名参与者花了超过15.4小时对1041个野外收集的音频样本进行评级，我们的系统实现了改善的平均意见得分和背景噪声抑制。项目演示页面：https://clearbuds.cs.washington.edu
2022-06-27 cs.SD eess.AS
Improving RNN Transducer With Target Speaker Extraction and Neural Uncertainty Estimation
Tencent AI Lab（腾讯AI实验室）
目标说话人语音识别的目的是从含有背景噪声和干扰说话人的噪声环境中识别出目标说话人的语音。本文提出了一种结合时域目标说话人语音提取和递归神经网络转换器（RNN-T）的联合框架。为了稳定联合训练，我们提出了一种多阶段的训练策略，在联合训练之前对系统中的每个模块进行预训练和微调。同时，说话人身份和语音增强的不确定性措施，提出了补偿残余噪声和文物从目标语音提取模块。实验结果表明，与基于目标语音提取模型的识别器相比，加入神经元不确定性模块后，在有背景噪声的多说话人信号中，相对特征出错率（CER）降低了17%.多条件实验表明，我们的方法可以实现9%的相对性能增益在噪声条件下，而保持在清洁条件下的性能。
2021-02-26 cs.SD eess.AS
SSNAPS: Audio-Visual Separation of Speech and Background Noise with Diffusion Inverse Sampling
Bar-Ilan University（巴伊兰大学）；OriginAI
提出一种无监督的视听语音分离方法，利用扩散先验和逆采样联合建模语音与噪声，在单麦克风场景下优于有监督基线，并支持离屏说话人分离。
2026-06-16 cs.LG cs.SD eess.AS
DNSMOS P.835: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors
Microsoft Corporation（微软公司）
人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。我们最近开发了一种非侵入性的语音质量度量，称为深度噪声抑制平均意见得分（DNSMOS），使用ITU-T Rec.P.808主观评估的得分。P.808分数反映了音频剪辑的整体质量。ITU-T Rec.P.835主观评价框架除了给出总体质量之外，还给出了语音和背景噪声的独立质量分数。在这项工作中，我们训练基于P.835人类评级的客观度量，其输出3个分数：i）语音质量（SIG），ii）背景噪声质量（BAK），以及iii）音频的整体质量（OVRL）。所开发的度量与人类评级高度相关，SIG的Pearson相关系数（PCC）=0.94，BAK和OVRL的PCC=0.98。这是我们所知道的第一个非侵入式P.835预测器。DNSMOS P.835作为Azure服务公开提供。
2022-02-04 cs.SD eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中，语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展，单耳多说话人语音分离研究取得了很大进展。然而，在这方面的研究大多集中在一个简单的问题设置的实验室环境中，没有考虑背景噪声和房间混响。在本文中，我们提出了一个基于conv-TasNet的两阶段模型，分别处理噪声和干扰扬声器的显着影响，其中使用深度扩展时间卷积网络（TCN）依次进行增强和分离。此外，我们提出了一种新的目标函数，称为最佳尺度不变信噪比（OSI-SNR），它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型，我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
Voices Obscured in Complex Environmental Settings (VOICES) corpus
In-Q-Tel Laboratories（In-Q-Tel实验室）；Lab41（Lab41实验室）；SRI International（斯坦福国际研究院）
本文介绍了在复杂环境设置（VOICES）语料库，一个免费的数据集下的知识共享BY 4.0。该数据集将促进在嘈杂的房间条件下由远场麦克风记录的语音和信号处理研究。公开的语音语料库大多由近距离的孤立语音组成。更好地表示真实场景的典型方法是将干净的语音与噪声和模拟的房间响应进行卷积以用于模型训练。尽管有这些努力，但在自然条件下对未经策划的语音进行测试时，模型性能会下降。对于该语料库，音频是在带家具的房间中录制的，背景噪音与从LibriSpeech语料库中选择的前景语音一起播放。在每个房间记录多个会话，以适应所有前景语音-背景噪声组合。录音时使用了12个麦克风，每个麦克风可以录制120小时的音频。这项工作是由SRI International和Lab 41领导的多组织努力，旨在推动信号处理和语音识别中最先进的远距离麦克风方法。
2018-05-15 cs.SD eess.AS
Subjective Evaluation of Noise Suppression Algorithms in Crowdsourcing
Microsoft Corp.（微软公司）
包括噪声抑制算法的语音通信系统的质量通常根据ITU-T Rec.P.835在实验室实验中进行评估，其中参与者分别对背景噪声、语音信号和总体质量进行评级。本文介绍了一个开源的工具包进行主观质量评价的噪声抑制的语音众包。我们遵循ITU-T Rec. P.835和P.808，并高度自动化该过程以防止主持人错误。为了评估我们的评估方法的有效性，我们比较了平均意见得分（MOS），使用我们的实施收集的评级计算，以及根据ITU-T Rec P.835进行的标准实验室实验的MOS值。结果表明，在所有三个尺度，即背景噪声，语音信号和整体质量（平均PCC = 0.961）的有效性高。循环测试（N=5）的结果表明，我们的实现也是一个高度可重复的评估方法（PCC=0.99）。最后，我们在INTERSPEECH 2021深度噪声抑制挑战赛中使用了我们的实现作为主要评估指标，这表明它在大规模使用时是可行的。分析结果，以确定为什么在背景噪声和语音质量方面的整体性能是最好的。
2021-04-16 cs.SD eess.AS
Incorporating Talker Identity Aids With Improving Speech Recognition in Adversarial Environments
Harvard University（哈佛大学）
针对语音识别模型在噪声等分布外条件下性能脆弱的问题，提出融合Whisper语音嵌入与ECAPA-TDNN说话人嵌入的Transformer联合模型，在高噪声和强增强语音场景下鲁棒性优于Whisper，干净环境下性能相当。
2024-10-07 cs.AI cs.SD eess.AS
Audio-Visual Speech Separation and Dereverberation with a Two-Stage Multimodal Network
The Ohio State University（俄亥俄州立大学）；Tencent AI Lab（腾讯AI实验室）
在真实的听音环境中，背景噪声、干扰语音和室内混响常常会使目标语音失真。在这项研究中，我们解决联合语音分离和去混响，其目的是从背景噪声，干扰语音和室内混响分离目标语音。为了解决这个根本性的难题，我们提出了一种新的多模态网络，利用音频和视觉信号。该网络结构采用两阶段策略，第一阶段采用分离模块衰减背景噪声和干扰语音，第二阶段采用去混响模块抑制室内混响。这两个模块首先单独训练，然后集成的联合训练，这是基于一个新的多目标损失函数。我们的实验结果表明，所提出的多模态网络产生一贯更好的客观可懂度和感知质量比几个一阶段和两阶段的基线。我们发现，我们的网络实现了21.10%的改善，在ESTOI和0.79改善PESQ比未经处理的混合物。此外，我们的网络架构不需要知道扬声器的数量。
2020-04-10 cs.SD eess.AS eess.SP
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation
Huawei TSC（华为技术服务中心）
针对现有基于大语言模型的自动语音识别方法在口音等声学条件下性能受限的问题，提出新型检索增强生成范式LA-RAG，通过细粒度token级语音数据存储与语对语检索结合上下文学习提升准确率，在普通话及方言数据集上验证了有效性。
2024-09-13 cs.CL cs.SD eess.AS
The PCG-AIID System for L3DAS22 Challenge: MIMO and MISO convolutional recurrent Network for Multi Channel Speech Enhancement and Speech Recognition
Tencent PCG（腾讯平台与内容事业群）
本文介绍了PCG-AIID系统在L3 DAS 22挑战任务1：办公室混响环境下的三维语音增强中的应用。我们提出了一个两阶段的框架来解决多通道语音去噪和去混响。在第一级中，多输入多输出（MIMO）网络被应用于去除背景噪声，同时保持多通道信号的空间特性。在第二阶段中，多输入和单输出（MISO）网络被应用于从期望的方向和后滤波来增强语音。因此，我们的系统在ICASSP 2022 L3 DAS 22挑战中排名第三，并显著优于基线系统，同时在盲测集上实现了3.2%的WER和0.972的STOI。
2022-02-21 cs.SD eess.AS
SpeechX: Neural Codec Language Model as a Versatile Speech Transformer
Microsoft Corporation（微软公司）；Microsoft Research Asia（微软亚洲研究院）
本文提出多功能语音生成模型SpeechX，通过结合神经编解码器语言建模与多任务学习及任务相关提示，统一实现零样本TTS及多种语音转换任务，并在多项任务上取得优于专用模型的性能。
2024-06-25 cs.CL cs.LG cs.SD
Noise-Aware Speech Separation with Contrastive Learning
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；Georgia Institute of Technology（佐治亚理工学院）
提出噪声感知语音分离方法NASS，通过将背景噪声作为额外输出并引入块级对比学习抑制噪声信息，在WHAM!和LibriMix数据集上比DPRNN和Sepformer提升1至2dB SI-SNRi或SDRi，且参数增加不到0.1M。
2024-01-08 cs.SD eess.AS
Deploying Enhanced Speech Feature Decreased Audio Complaints at SVT Play VOD Service
SVT（瑞典电视台）；Polish-Japanese Academy of Information Technology（波日信息技术学院）
在瑞典的公共服务广播公司SVT，节目中的背景音乐和声音多年来一直是观众最常见的抱怨之一。最敏感的群体是听力残疾的人，但其他许多人也觉得背景声音很烦人。为了解决这个问题，SVT在VOD服务SVT Play中的许多电视节目中添加了增强语音，这是一种具有较低背景噪音的功能。因此，当具有增强语音功能的程序数量增加时，客户服务的音频投诉水平就会下降。增强语音功能在86名参与者的调查中获得了8.3/10的评分。未来可能使用的评级为9.0/10。在这篇文章中，我们描述了这个功能的设计和开发过程，以及它的技术规格，限制和未来的发展机会。
2022-08-18 cs.MM cs.SD eess.AS
End-to-end Music-mixed Speech Recognition
多媒体内容中的自动语音识别（ASR）是一种很有前景的应用，但这类内容中的语音数据经常与背景音乐混在一起，这对ASR的性能是不利的。在这项研究中，我们提出了一种基于时域源分离的背景音乐提高ASR的方法。我们利用Conv-TasNet作为一个分离网络，它已经实现了最先进的多扬声器源分离的性能，在波形域中从语音-音乐混合中提取语音信号。我们还建议使用分离和ASR目标对预训练的Conv-TasNet前端和基于注意力的ASR后端进行联合微调。我们评估我们的方法，通过ASR实验，使用语音数据与各种各样的日本动画的背景音乐混合。我们表明，时域语音音乐分离大大提高了用混合数据训练的后端模型的ASR性能，联合优化进一步显著降低了WER。时域分离方法优于频域分离方法，频域分离方法在简单的级联和联合训练设置中重复使用输入混合信号的相位信息。我们还证明了我们的方法适用于古典，爵士和流行流派的音乐干扰。
2020-08-27 eess.AS
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音，或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解，我们的目标是把不断增长的自动音频字幕（AAC）和深入研究的自动语音识别（ASR）领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模，并展示了它们的优势，传统的方法，这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此，我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估，并显示我们提出的方法相比，现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
