Optimizing Neural Architectures for Hindi Speech Separation and Enhancement in Noisy Environments
Department of Computer Science（计算机科学系）；Birla Institute of Technology and Science Pilani（比拉理工学院和科学学院皮兰）
本文针对印地语语音分离与增强问题，提出基于DEMUCS并结合U-Net与LSTM的改进模型，在40万条增强数据上训练，显著提升噪声环境下的语音清晰度，并通过量化技术实现边缘设备部署。
2025-08-16 cs.LG cs.SD
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）
本文提出端到端视频到语音合成模型DiVISe，仅从视频帧直接预测梅尔频谱图，无需声学提示即可在保持说话人特征的同时提升语音可懂度，并在LRS2和LRS3数据集上优于现有方法。
2025-03-07 cs.CV cs.LG cs.MM
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University（信息科学与工程学院，山东大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题，提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架，在多基准上优于现有基线，兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Enhancement of Spatial Clustering-Based Time-Frequency Masks using LSTM Neural Networks
The Graduate Center, City University of New York（纽约城市大学研究生中心）；Brooklyn College, City University of New York（纽约城市大学布鲁克林学院）
最近的工作表明，使用LSTM架构的深度递归神经网络可以通过估计时频掩码来实现强大的单通道语音增强。然而，这些模型不能自然地推广到来自不同麦克风配置的多声道输入。相比之下，空间聚类技术可以实现这样的推广，但缺乏一个强大的信号模型。我们的工作建议将这两种方法结合起来。通过使用LSTM来增强基于时频掩模的空间聚类，我们实现了多个单通道LSTM-DNN语音增强器的信号建模性能和多通道空间聚类的信号分离性能和通用性。我们将我们提出的系统与CHiME-3数据集上的几个基线进行了比较。我们使用BSS\_eval工具包和PESQ中的SDR评估每个系统的音频质量。我们使用Kaldi自动语音识别器的单词出错率来评估每个系统输出的可懂度。
2020-12-02 cs.LG cs.SD eess.AS
Electrolaryngeal Speech Intelligibility Enhancement Through Robust Linguistic Encoders
Nagoya University（名古屋大学）；TARVO, Inc.（TARVO公司）
本文提出利用鲁棒语言编码器统一电喉语音与正常语音的潜在表示，并引入HuBERT输出特征减少说话人不匹配，从而显著提升电喉语音的可懂度和自然度。
2024-01-20 cs.SD eess.AS
Spectrogram Patch Codec: A 2D Block-Quantized VQ-VAE and HiFi-GAN for Neural Speech Coding
Universidade de São Paulo（圣保罗大学）
本研究提出一种基于mel语谱图4×4块单阶段量化的神经语音编解码器，结合VQ-VAE后期对抗微调与HiFi-GAN声码器，在7.5kbits/s速率下达到与现有先进方案相当的语音质量，为低延迟编解码器提供开放基础。
2025-09-02 cs.CL cs.SD eess.AS
Extracting Different Levels of Speech Information from EEG Using an LSTM-Based Model
KU Leuven（鲁汶大学）
通过脑电图（EEG）解码一个人从人脑中听到的语音信号可以帮助我们了解我们的听觉系统是如何工作的。线性模型已被用于从语音重建EEG，反之亦然。最近，人工神经网络（ANN），例如基于卷积神经网络（CNN）和长短期记忆（LSTM）的架构，在对EEG和语音之间的关系建模方面优于线性模型。在尝试将这些模型用于诸如听力测试或（第二）语言理解评估之类的实际应用之前，我们需要知道这些模型正在使用什么级别的语音信息。在这项研究中，我们的目标是分析基于LSTM的模型使用不同级别的语音特征的性能。该模型的任务是确定两个给定语音片段中的哪一个与记录的EEG相匹配。我们使用了低层次和高层次的语音特征，包括：包络，梅尔频谱图，语音活动，音素身份和单词嵌入。我们的研究结果表明，该模型利用信息的沉默，强度和广泛的语音类从EEG。此外，包含所有这些信息的mel频谱图在所有特征中产生最高的准确度（84%）。
2021-06-17 cs.SD eess.AS
Tensor-Train Long Short-Term Memory for Monaural Speech Enhancement
Idiap Research Institute（Idiap研究所）；Indian Institute of Technology (IIT) Kharagpur（印度理工学院卡拉格普尔分校）
近年来，长短期记忆（LSTM）已成为语音分离和语音增强任务的热门选择。LSTM网络的能力可以通过扩大和增加更多的层来增强。然而，这将在网络中引入数百万个参数，并且还增加了对计算资源的需求。这些限制阻碍了RNN模型在低端设备（如手机和内存有限的嵌入式系统）中的有效实现。为了克服这些问题，我们提出了一种有效的替代方法，通过基于Tensor-Train（TT）格式表示LSTM的权重矩阵参数来减少参数。我们将这种Tensor-Train分解的LSTM称为TT-LSTM模型。基于这个TT-LSTM单元，我们提出了一个用于单通道语音增强任务的深度TensorNet模型。在各种测试条件下以及标准语音质量和可懂度指标方面的实验结果表明，所提出的基于深度TT-LSTM的语音增强框架可以实现与最先进的未压缩RNN模型竞争的性能，即使所提出的模型架构的复杂度低了几个数量级。
2018-12-25 cs.LG cs.SD eess.AS
Msdtron: a high-capability multi-speaker speech synthesis system for diverse data using characteristic information
Xiaomi Corporation（小米公司）
在多说话人语音合成中，由于多个说话人在年龄、说话风格、情感等方面存在很大差异，因此多说话人语音合成的建模能力是一个重要而又具有挑战性的问题。针对这一问题，本文提出了一种高性能的语音合成系统Msdtron，该系统包括：1）设计了一种语音谐波结构的表示方法，称为激励谱图，用于直接指导语音谐波的学习。2)提出了条件选通LSTM（CGLSTM），通过使用说话人信息重新加权LSTM的门来控制文本内容信息通过网络的流动。实验结果表明，在训练多说话人模型时，Mel声谱图的重建误差明显减小，说话人自适应模型的主观评价也有很大提高。
2022-02-11 cs.SD eess.AS
Prediction of speech intelligibility with DNN-based performance measures
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出了一种基于自动语音识别（ASR）的语音可懂度模型，该模型结合了来自深度神经网络（DNN）的音素概率和从这些概率估计单词出错率的性能度量。该模型在测试过程中不需要干净的语音参考，也不需要单词标签，因为ASR解码步骤被省略，该步骤在给定音素后验概率的情况下找到最可能的单词序列。该模型通过从8个正常听力的听众的预测和观察到的语音接收阈值之间的均方根误差进行评估。识别任务包括从德国矩阵句子测试中识别噪声单词。语音材料与八个噪声掩蔽物混合，覆盖不同的调制类型，从语音形状的静态噪声到单个说话者掩蔽物。的预测性能进行比较，五个已建立的模型和一个ASR模型，使用单词标签。测试了功能和网络的两种组合。两者都包括在特征级（幅度调制滤波器组和前馈网络）或由架构（梅尔频谱图和时间延迟深度神经网络，TDNN）捕获的时间信息。TDNN模型与DNN相当，同时将参数数量减少了37倍;这种优化允许在专用助听器硬件上并行流，因为可以在每帧的10 ms内计算前向传递。该模型的性能几乎与基于标签的模型一样好，并且比基线模型产生更准确的预测。
2022-03-17 cs.AI cs.CL cs.LG
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Parrotron: An End-to-End Speech-to-Speech Conversion Model and its Applications to Hearing-Impaired Speech and Speech Separation
Google（谷歌）
我们描述了Parrotron，一种端到端训练的语音到语音转换模型，它将输入频谱图直接映射到另一个频谱图，而不使用任何中间离散表示。该网络由编码器、声谱图和音素解码器组成，随后是声码器以合成时域波形。我们证明，这个模型可以训练，以规范化语音从任何扬声器，无论口音，韵律和背景噪声，到一个单一的标准目标扬声器的声音与固定的口音和一致的发音和韵律。我们进一步表明，这种规范化模型可以适应于规范化的高度非典型的语音从聋人扬声器，从而显着提高可懂度和自然度，通过语音识别器和听力测试测量。最后，展示了该模型在其他语音任务上的实用性，我们表明，可以训练相同的模型架构来执行语音分离任务
2019-10-29 cs.SD eess.AS
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）；Paris-Sud University（巴黎南大学）；Paris-Saclay University（巴黎萨克雷大学）；DreamQuark（DreamQuark公司）
在这项工作中，我们设计了一个神经网络识别语音中的情绪，使用IEMOCAP数据集。根据音频分析的最新进展，我们使用了一种涉及两个卷积层的架构，用于从原始频谱图中提取高级特征，以及用于聚合长期依赖关系的递归特征。我们研究的技术，数据增强与声乐音轨长度扰动，逐层优化调整，批量归一化的递归层，并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
最近，渐进式学习已经显示出其在与基于深度神经网络（DNN）和长短期记忆（LSTM）的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力，特别是在低信噪比（SNR）条件下。然而，由于大量的参数和高计算复杂性，很难在当前资源有限的微控制器中实现，因此，对于实际应用而言，显著减少参数的数量和计算负荷是必要的。为此，我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN，它利用了卷积神经网络和递归神经网络，大大减少了参数的数量，同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性，并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法，并且在客观测量方面，它也得到了接近甚至优于CRNN的结果。与PL-DNN，PL-LSTM和CRNN相比，所提出的PL-CRNN算法可以分别减少高达93%，97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
Binaural Speech Enhancement Using Complex Convolutional Recurrent Networks
提出一种基于编码器-解码器与复数 LSTM 的端到端复数卷积循环网络，通过兼顾空间信息保留的损失函数估计左右耳复数比率掩膜，在单说话人各向同性噪声场景中提升可懂度、降噪并保留空间信息。
2025-07-26 eess.AS eess.SP
FullSubNet+: Channel Attention FullSubNet with Complex Spectrograms for Speech Enhancement
Huya Inc.（虎牙公司）
此前提出的FullSubNet在深度噪声抑制（DNS）挑战中取得了出色的表现，引起了广泛关注。然而，它仍然遇到的问题，如输入输出失配和粗处理的频带。在本文中，我们提出了一个扩展的单通道实时语音增强框架FullSubNet+，具有以下显着改进。首先，我们设计了一个轻量级的多尺度时间敏感信道注意（MulCA）模块，该模块采用多尺度卷积和信道注意力机制来帮助网络集中在更具鉴别力的频带上进行降噪。然后，为了充分利用含噪语音中的相位信息，我们的模型将所有的幅度、实部和虚部谱图作为输入。此外，通过用堆叠的时间卷积网络（TCN）块代替原始全带模型中的长短期记忆（LSTM）层，我们设计了一个更有效的全带模块，称为全带提取器。在DNS Challenge数据集上的实验结果表明，我们的FullSubNet+具有优异的性能，达到了最先进的（SOTA）性能，并优于其他现有的语音增强方法。
2022-03-26 cs.AI cs.SD eess.AS
Lip2AudSpec: Speech reconstruction from silent lip movements video
Columbia University（哥伦比亚大学）
在这项研究中，我们提出了一个深度神经网络，用于从无声的嘴唇运动视频中重建可理解的语音。我们使用听觉频谱图作为语音的频谱表示和相应的声音生成方法，从而产生一个更自然的声音重建语音。我们提出的网络由一个自动编码器组成，用于从听觉频谱图中提取瓶颈特征，然后将其用作我们的主要唇读网络的目标，该网络由CNN，LSTM和全连接层组成。我们的实验表明，自动编码器是能够重建原始的听觉频谱图与98%的相关性，也提高了重建语音的质量，从主要的唇读网络。我们的模型，在不同的扬声器上联合训练，能够提取单个扬声器的特征，并给出了有希望的结果，重建清晰的语音与优越的单词识别精度。
2017-10-26 cs.CV eess.AS eess.IV
Face Landmark-based Speaker-Independent Audio-Visual Speech Enhancement in Multi-Talker Environments
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在本文中，我们解决的问题，增强感兴趣的演讲者在鸡尾酒会的情况下，当感兴趣的演讲者的视觉信息是可用的。与大多数以前的研究相反，我们没有在通常较小的视听数据集上学习视觉特征，而是使用已经可用的人脸地标检测器（在单独的图像数据集上训练）。基于LSTM的模型使用地标来生成应用于声学混合语音谱图的时频掩模。结果表明：（i）界标运动特征对于该任务是非常有效的特征，（ii）类似于先前的工作，通过掩蔽介导的目标说话者的声谱图的重建比直接声谱图重建明显更准确，以及（iii）最佳掩模取决于运动界标特征和输入混合语音声谱图两者。据我们所知，我们提出的模型是第一个在有限大小的GRID和TCD-TIMIT数据集上训练和评估的模型，它在多说话者环境中实现了与说话者无关的语音增强。
2019-05-02 cs.CL cs.LG cs.SD
Atss-Net: Target Speaker Separation via Attention-based Neural Network
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Tiangong University（天津工业大学）
最近，基于卷积神经网络（CNN）和长短期记忆（LSTM）的模型已被引入到基于深度学习的目标说话人分离中。在本文中，我们提出了一个基于注意力的神经网络（Atss-Net）在频谱域的任务。与CNN-LSTM架构相比，它允许网络计算每个特征向量之间的相关性，并使用更浅的层来提取更多的特征。实验结果表明，我们的Atss-Net产生更好的性能比VoiceFilter，虽然它只包含一半的参数。此外，我们提出的模型也表现出良好的性能在语音增强。
2020-05-19 cs.SD eess.AS
Extracting the Auditory Attention in a Dual-Speaker Scenario from EEG using a Joint CNN-LSTM Model
WS Audiology
在多说话人的情况下，人脑在分离特定说话人与干扰说话人方面表现得非常好。最近已经表明，我们可以定量评估的分离能力，通过建模的语音信号之间的关系存在于一个听觉场景和使用脑电图（EEG）测量的听者的皮层信号。这开辟了将神经反馈集成到助听器中的途径，从而该设备可以推断用户的注意力并增强参加的扬声器。用于推断听觉注意的常用算法是基于线性系统理论，其中语音线索（诸如包络）被映射到EEG信号上。在这里，我们提出了一个联合卷积神经网络（CNN）-长短期记忆（LSTM）模型来推断听觉注意。我们的联合CNN-LSTM模型将多个说话者的EEG信号和频谱图作为输入，并将注意力分类到其中一个说话者。我们评估了我们的神经网络的可靠性，使用三个不同的数据集，包括61名受试者，每个受试者进行了双扬声器实验。分析的三个数据集对应于以三种不同语言呈现的语音刺激，即德语、丹麦语和荷兰语。使用提出的联合CNN-LSTM模型，我们在三秒的试验持续时间内获得了77.2%的中值解码准确率。此外，我们通过幅度修剪评估了我们的模型可以容忍的稀疏度，发现该模型可以容忍高达50%的稀疏度，而不会大幅降低解码精度。
2021-07-09 cs.AI cs.LG cs.SD
Multi-Scale Attention Neural Network for Acoustic Echo Cancellation
TAL Education Group（好未来教育集团）
声学回声消除（AEC）是语音交互中的一个关键技术，它能有效地消除扬声器混响在麦克风处产生的回声。由于在实际场景中线性自适应滤波器（AF）的性能会由于非线性失真、背景噪声和麦克风削波而严重下降，深度学习因其良好的非线性建模能力而被用于AEC。在本文中，我们构建了一个端到端的多尺度注意力神经网络的AEC。首先利用时域卷积将波形转换为频谱图。远端参考和近端混合的频谱图被连接，并被馈送到具有堆叠的扩张卷积层的时间卷积网络（TCN）。在这些来自不同层的表示之间执行注意力机制，以通过参考编码器长短期记忆（LSTM）单元中的先前隐藏状态来自适应地提取相关特征。表示被加权平均并馈送到编码器LSTM用于近端语音估计。实验表明，我们的方法在回声回波损耗增强（ERLE）的单通话期间和语音质量的感知评价（PESQ）分数的双通话期间在背景噪声和非线性失真的情况下的优势。
2021-05-31 cs.SD eess.AS
Joint Separation and Denoising of Noisy Multi-talker Speech using Recurrent Neural Networks and Permutation Invariant Training
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出使用话语级排列不变训练（uPIT）的说话人无关的多说话人语音分离和去噪，同时。具体而言，我们使用uPIT训练深度双向长短期记忆（LSTM）循环神经网络（RNN），用于在多种噪声条件下（包括合成和真实噪声信号）进行单通道说话者独立的多说话者语音分离。我们专注于我们的实验依赖于各种类型的先验知识，例如在噪声类型和同时发言者的数量的模型的泛化能力和噪声鲁棒性。我们表明，在噪声环境中使用uPIT训练的深度双向LSTM RNN可以提高信号失真比（SDR）以及扩展的短时客观可懂度（ESTOI）测量，对于各种噪声类型和信噪比（SNR），在说话人独立的多说话人语音分离和去噪任务中。具体来说，我们首先表明，当使用已知的噪声类型进行评估时，LSTM RNN可以实现较大的SDR和ESTOI改进，并且单个模型能够处理多种噪声类型，性能仅略有下降。此外，我们证明了单个LSTM RNN可以处理两个扬声器和三个扬声器的噪声混合，而无需关于扬声器确切数量的先验知识。最后，我们证明了使用uPIT训练的LSTM RNN可以很好地推广到训练过程中看不到的噪声类型。
2017-08-31 cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
DAT-CFTNet: Speech Enhancement for Cochlear Implant Recipients using Attention-based Dual-Path Recurrent Neural Network
Chittagong University of Engineering and Technology（吉大港工程技术大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出DAT-CFTNet，结合改进的复值频域变换网络与基于注意力的双路径RNN，提升助听器用户在噪声环境下的语音清晰度和质量。
2026-04-08 eess.AS
NaturalL2S: End-to-End High-quality Multispeaker Lip-to-Speech Synthesis with Differential Digital Signal Processing
针对现有唇语转语音合成方法依赖梅尔频谱图导致域差距的问题，提出端到端框架NaturalL2S，集成F0预测器与可微分数字信号处理合成器，无需参考说话人嵌入，有效提升合成语音质量。
2025-02-17 cs.CV cs.SD eess.AS
Attention-based multi-task learning for speech-enhancement and speaker-identification in multi-speaker dialogue scenario
National Chiao Tung University（国立交通大学）；Academia Sinica（中央研究院）；Yuan Ze University（元智大学）
多任务学习（MTL）和注意机制已被证明可以有效地提取鲁棒的声学特征，用于噪声环境中的各种语音相关任务。在这项研究中，我们提出了一个基于注意力的MTL（ATM）的方法，集成MTL和注意力加权机制，同时实现多模型学习结构，执行语音增强（SE）和说话人识别（SI）。ATM系统由三部分组成：SE、SI和Attention-Net（AttNet）。SE部分由长短期记忆（LSTM）模型组成，深度神经网络（DNN）模型用于开发SI和AttNet部分。整个ATM系统首先提取代表性特征，然后在LSTM-SE中增强语音信号，并在DNN-SI中指定说话人身份。AttNet基于DNN-SI计算权重，为LSTM-SE准备更好的代表性特征。我们在噪音测试句子中测试了所提出的ATM系统对台湾普通话听力的影响。实验结果表明，该系统能够有效地提高语音质量和可懂度。此外，通过使用所提出的ATM系统，SI的准确性也可以显著提高。
2021-02-21 cs.SD eess.AS
An Ensemble 1D-CNN-LSTM-GRU Model with Data Augmentation for Speech Emotion Recognition
United International University（联合国际大学）
在本文中，我们提出了一种深度神经网络集成以及使用有效的基于语音的特征学习的数据增强（DA），以从语音中识别情感。我们的集成模型建立在三个基于深度神经网络的模型上。这些神经网络是使用基本的局部特征获取块（LFAB）构建的，LFAB是扩张的1D卷积神经网络的连续层，随后是最大池化和批量归一化层。为了获得语音信号中的长期依赖性，分别通过添加门控循环单元（GRU）和长短期记忆（LSTM）层提出了另外两种变体。所有三个网络模型在最后的softmax层之前都有连续的全连接层用于分类。集成模型使用加权平均来提供最终分类。我们使用了五个标准的基准数据集：TESS，EMO-DB，RAVDESS，SAVEE和CREMA-D进行评估。我们已经通过注入加性高斯白噪声、音调移位和拉伸信号电平来泛化模型来执行DA，从而提高模型的准确性并减少过拟合。我们手工制作了五类特征：梅尔频率倒谱系数，对数梅尔尺度频谱图，过零率，色度图和每个音频样本的统计均方根能量值。这些特征被用作LFAB块的输入，LFAB块进一步提取隐藏的局部特征，然后根据模型类型将其馈送到全连接层或LSTM或GRU，以获取额外的长期上下文表示。与基线模型相比，LFAB之后是GRU或LSTM会产生更好的性能。集成模型在所有数据集中达到了最先进的加权平均精度。
2022-11-22 cs.SD eess.AS
Conformer-based Ultrasound-to-Speech Conversion
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of Szeged, Institute of Informatics（塞格德大学信息学院）；HUN-REN–SZTE Research Group on Artificial Intelligence（HUN-REN–SZTE人工智能研究组）
本文研究基于Conformer的超声到语音转换方法，在Ultrasuite-Tal80数据集上验证了Conformer Base和带双向LSTM的两种架构，发现带双向LSTM的Conformer感知质量更优，而Conformer Base以3倍训练速度达到与CNN基线相当的性能。
2025-06-04 cs.MM cs.SD eess.AS
LocSelect: Target Speaker Localization with an Auditory Selective Hearing Mechanism
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种基于听觉选择性机制的目标说话人定位算法LocSelect，通过生成说话人依赖的频谱图掩码消除干扰并利用LSTM提取目标位置，在低信噪比下显著提升了定位精度。
2023-10-17 cs.AI cs.SD eess.AS
Speech Emotion Recognition via an Attentive Time-Frequency Neural Network
Southeast University（东南大学）
语谱图通常被用作深度神经网络的输入特征，以学习用于语音情感识别（SER）的语音信号的高（较）级别时频模式。为了解决这些问题，我们提出了一种用于SER的注意时频神经网络（ATFNN），包括时频神经网络（TFNN）和时频注意。具体来说，针对第一个问题，我们设计了一个TFNN，其频域编码器（F-Encoder）基于Transformer编码器，时域编码器（T-Encoder）基于双向长短期记忆（Bi-LSTM）。F-Encoder和T-Encoder分别对频带和时间帧内的相关性进行建模，并将其嵌入到时频联合学习策略中，以获得语音情感的时频模式。此外，为了处理第二个问题，我们还采用了频率-注意力网络（F-Attention）和时间-注意力网络（T-Attention）的时间-频率注意力集中在情感相关的频带范围和时间帧范围，这可以提高语音情感特征的可区分性。
2022-10-22 cs.LG cs.MM cs.SD
Highly Controllable Diffusion-based Any-to-Any Voice Conversion Model with Frame-level Prosody Feature
Qualcomm Technologies, Inc.（高通技术公司）
提出一种基于扩散模型的任意到任意语音转换系统，通过引入帧级韵律条件模块和自监督后处理步骤，实现对音高、能量和语速的精细控制，在保持语音质量的同时提升了清晰度。
2023-09-06 cs.SD eess.AS
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模（基于滤波的方法）两者的互补优势，与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中，采用了一种新的基于深度学习的唇读回归模型。在第二级中，唇读近似干净的音频功能，利用增强的，视觉推导的维纳滤波器（EVWF），干净的音频功率谱估计。具体地，基于堆叠的长短期记忆（LSTM）的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计，一个新的滤波器组域EVWF制定，利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下，不同的动态现实世界的商业动机的情况下（例如咖啡馆，公共交通，行人区）在不同的SNR水平（从低到高的SNR）使用基准网格和ChiME3语料库。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD
Noise Classification Aided Attention-Based Neural Network for Monaural Speech Enhancement
TAL Education Group（好未来教育集团）
提出了一种基于噪声类型分类辅助注意力的神经网络单声道语音增强方法。该网络在前人工作的基础上，通过在网络结构中引入噪声分类子网络，并将分类嵌入引入注意力机制中，以指导网络更好地进行特征提取。具体地说，为了使网络成为一个端到端的方式，使用一个由时间卷积构造的音频编码器和解码器来进行波形和频谱图之间的转换。此外，我们的模型由两个基于长短期记忆（LSTM）的编码器、两个注意力机制、一个噪声分类器和一个语音掩码生成器组成。实验结果表明，与OM-LSA和以前的工作相比，所提出的噪声分类辅助的基于注意力的方法可以实现更好的性能在语音质量（PESQ）。更有希望的是，我们的方法具有更好的泛化能力，看不见的噪声条件。
2021-05-31 cs.SD eess.AS
Automatic Detection of Depression in Speech Using Ensemble Convolutional Neural Networks
本文提出一种基于集成一维卷积神经网络的语音抑郁症自动分类方法，通过集成平均融合多个模型预测，在AVEC-2016 DCC上取得优于对比系统的结果。
2024-02-05 eess.AS
A New Amharic Speech Emotion Dataset and Classification Benchmark
Northwest University（西北大学）；University of Essex（埃塞克斯大学）
在本文中，我们提出了阿姆哈拉语语音情感数据集（ASED），它涵盖了四种方言（Gojjam，Wollo，Shewa和Gonder）和五种不同的情绪（中性，恐惧，快乐，悲伤和愤怒）。我们相信这是第一个阿姆哈拉语的语音情感识别（SER）数据集。65名志愿者，所有母语为英语的人，记录了2,474个声音样本，长度为2到4秒。8名评委将情绪分配给具有高一致性水平（Fleiss kappa = 0.8）的样本。生成的数据集可免费下载。接下来，我们开发了一个著名的VGG模型的四层变体，我们称之为VGGb。然后使用VGGb进行SER，使用ASED进行三个实验。首先，我们研究了是否梅尔频谱图功能或梅尔频率倒谱系数（MFCC）功能最适合阿姆哈拉语。这是通过在ASED上训练两个VGGb SER模型来完成的，一个使用Mel谱图，另一个使用MFCC。我们尝试了四种形式的训练，标准的交叉验证，以及基于句子、方言和说话者群体的三种变体。因此，用于训练的句子不会用于测试，对于方言和说话者组也是如此。结论是MFCC特征在所有四种训练方案下都是优越的。因此，实验2采用了MFCC，在ASED上比较了VGGb和其他三个现有模型：RESNet 50，Alex-Net和LSTM。VGGb被发现具有非常好的准确性（90.73%）以及最快的训练时间。在实验3中，当在两个现有的SER数据集RAVDESS（英语）和EMO-DB（德语）…
2022-01-07 cs.CL cs.SD eess.AS
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab（腾讯AI实验室）
本研究提出无需文本音频配对的无监督TTS声学模型UTTS，基于C-DSVAE主干与解纠缠表示学习，通过对齐转换实现零样本多说话人合成，经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
A Multilingual Framework for Dysarthria: Detection, Severity Classification, Speech-to-Text, and Clean Speech Generation
Beaver Works Summer Institute, Massachusetts Institute of Technology（麻省理工学院贝弗工作暑期研究所）；Columbia University（哥伦比亚大学）
本研究针对现有构音障碍工具跨语言泛化性不足的问题，提出统一多语言AI框架，覆盖检测、严重程度分类等六大任务，在英俄德三语数据上取得优异效果，可辅助诊断并改善多语言患者沟通。
2025-10-05 cs.SD eess.AS
Combining Textual and Spectral Features for Robust Classification of Pilot Communications
1 Department of Computer Science, University of Nebraska Omaha, Omaha, NE, USA 2 Aviation Institute, University of Nebraska Omaha, Omaha, NE, USA 3 Durham School of Architectural Engineering \& Construction, University of Nebraska Lincoln, Lincoln, NE, USA 4 School of Graduate Studies, Embry-Riddle Aeronautical University Daytona Beach, Daytona Beach, FL, USA
本文提出一种双流水线机器学习框架，结合文本与频谱特征对无塔台机场的飞行员无线电通信进行分类，频谱特征结合深度模型F1超91%，数据增强提升鲁棒性，为空中交通监控提供低成本可扩展方案。
2025-09-11 cs.CY cs.SD eess.AS
Speech-preserving active noise control: a deep learning approach in reverberant environments
School of Electrical and Electronic Engineering（电气与电子工程学院）
本文提出一种深度学习主动噪声控制系统，通过卷积循环网络和复杂频谱映射技术，在混响环境中实现稳定降噪并保留语音。
2026-04-13 cs.SD eess.AS eess.SP
