Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
Baidu Research（百度研究院）；OpenAI（开放人工智能研究中心）；University of California, Berkeley（加州大学伯克利分校）
我们介绍了Deep Voice 3，一个完全卷积的基于注意力的神经文本到语音（TTS）系统。Deep Voice 3在自然度方面与最先进的神经语音合成系统相匹配，同时训练速度快十倍。我们将Deep Voice 3扩展到TTS前所未有的数据集大小，对来自2000多个扬声器的800多个小时的音频进行训练。此外，我们确定了常见的错误模式的注意力为基础的语音合成网络，演示了如何减轻他们，并比较几种不同的波形合成方法。我们还描述了如何在一台GPU服务器上将推理扩展到每天1000万次查询。
2018-02-22 cs.AI cs.CL cs.LG
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab（Brainekt AI实验室）；Khulna University of Engineering and Technology（库尔纳工程技术大学）
语音合成是通过深度学习自动化的具有挑战性的任务之一，也是一种低资源语言，很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本，非常短的句子等。这项工作试图通过将Byakta（有史以来第一个基于开源深度学习的双语（孟加拉语和英语）文本）引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集，用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks
College of Computer Science, Inner Mongolian University（内蒙古大学计算机学院）；Kingsoft AI Laboratory（金山人工智能实验室）
近几十年来，基于神经网络的语音增强方法显著提高了语音增强的性能。大多数方法都是直接或间接地估计出目标语音的时频（T-F）表示，然后利用估计出的T-F表示重新合成波形。在这项工作中，我们提出了时间卷积递归网络（TCRN），这是一种端到端模型，可以直接将噪声波形映射到干净波形。结合卷积和递归神经网络的TCRN能够有效地利用短期和长期信息。Futuremore，我们提出了在前向传播过程中重复下采样和上采样语音的架构。我们表明，与现有的卷积递归网络相比，我们的模型能够提高模型的性能。未来，我们提出了几个关键技术，以稳定的训练过程。实验结果表明，我们的模型始终优于现有的语音增强方法，在语音清晰度和质量。
2020-02-02 cs.LG cs.SD eess.AS
Investigation of Densely Connected Convolutional Networks with Domain Adversarial Learning for Noise Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
我们研究了密集连接的卷积网络（DenseNets）及其扩展与域对抗训练的噪声鲁棒性语音识别。DenseNets是非常深入，紧凑的卷积神经网络，它在计算机视觉的最新成果上表现出令人难以置信的改进。我们的实验结果表明，DenseNets比其他基于神经网络的模型（如深度前馈神经网络和卷积神经网络）对噪声更具鲁棒性。此外，域对抗学习可以进一步提高DenseNets对已知和未知噪声条件的鲁棒性。
2021-12-19 cs.CL cs.LG eess.AS
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已被提出用于语音去混响任务中的序列建模。在这项工作中，加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明，这种加权多膨胀时间卷积网络（WD-TCN）在各种模型配置中始终优于TCN，并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比，最佳性能改善为0.55 dB尺度不变信号失真比（SISDR），而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation（NAVER 公司）
在这项工作中，我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统，执行二进制分类是否包含重叠的语音帧，所提出的方法分为三类：非语音，单扬声器语音，和重叠的语音。通过使用更详细的标签定义训练网络，模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能，精确度为0.6648，召回率为0.3222，显示召回率增加了20%，精确度也更高。此外，我们还介绍了一个简单的方法，利用建议的重叠语音检测模型的说话人日记，排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.（罗技欧洲股份公司）
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的，它们可以从称为房间脉冲响应（RIR）的房间测量中得出。然而，测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明，人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展，并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明，卷积循环神经网络在这项任务中表现最好，并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.（3M健康信息系统公司）
在许多语音处理应用中，语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的（SOTA）结果。一类被称为时间卷积网络（TCN）的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野（RF）。语音去混响的最新研究表明，TCN的最佳RF随语音信号的混响特性而变化。在这项工作中，提出了可变形卷积作为一种解决方案，允许TCN模型具有动态RF，可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比（SISDR）的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议，它提供了可比的分离性能更大，更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group（阿里巴巴集团）
针对单声道语音增强任务，提出轻量级复卷积块注意力模块（CCBAM）并结合联合时频损失函数，集成到深度复U-Net和CRN中形成新端到端框架，实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University（普渡大学）
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行，合成语音在今天是常见的。合成语音也可以用于邪恶的目的，包括创建一个声称的语音信号，并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中，我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer（CCT）的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络，从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练，我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
Receptive Field Analysis of Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响通常是鲁棒语音处理任务中的重要要求。有监督的深度学习（DL）模型为单通道语音去混响提供了最先进的性能。时间卷积网络（TCN）通常用于语音增强任务中的序列建模。TCN的一个特征是它们具有依赖于特定模型配置的感受野（RF），该模型配置确定可以被观察以产生单个输出帧的输入帧的数量。它已被证明，TCN是能够执行去混响的模拟语音数据，然而，一个彻底的分析，特别是与RF的重点还缺乏在文献中。本文分析了TCN的模型尺寸和RF对混响抑制性能的影响。实验使用WHAMR语料库，扩展到包括房间脉冲响应（RIR）与较大的T60值表明，一个较大的RF可以有显着的改善性能时，训练较小的TCN模型。它还表明，TCN受益于更广泛的RF时，去混响RIR与较大的RT60值。
2022-07-01 cs.LG cs.SD eess.AS
Convolutional Speech Recognition with Pitch and Voice Quality Features
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
在这项工作中，添加音高和语音质量特征，如抖动和闪烁的最先进的CNN模型的自动语音识别的影响进行了研究。音高特征以前曾被用于改进传统的HMM和DNN基线，而抖动和闪烁参数已被证明对说话人或情感识别等任务有用。据我们所知，这是第一个将这种音高和语音质量特征与现代卷积架构相结合的工作，对于公开的西班牙语普通语音和LibriSpeech 100h数据集，相对WER点分别提高了7%和3%。特别地，我们的工作将这些特征与梅尔频谱系数（MFSC）相结合，以训练具有门控线性单元（Conv GLU）的卷积架构。这种模型已经显示出产生小的单词错误率，同时非常适合在线流识别用例的并行处理。我们已经在Facebook的wav2letter语音识别框架中添加了音高和语音质量功能，我们向社区提供了这样的代码和配方，以进行进一步的实验。此外，据我们所知，我们的西班牙语通用语音食谱是wav2letter的第一个公共西班牙语食谱。
2020-11-10 cs.AI cs.LG cs.SD
CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation（博士公司）；Indiana University（印第安纳大学）
语音质量评估已经成为许多语音通信相关应用（如电话和在线会议）的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面，非侵入式主观测量是评估语音质量的“金标准”，因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中，我们提出了一种新的端到端的模型结构，称为卷积上下文感知Transformer（CCAT）网络来预测人类评分员的平均意见得分（MOS）。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型，并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明，CCAT提供了有前途的MOS预测相比，目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数（PCC）从0.530增加到0.697和平均RMSE从0.768下降到0.570相比，挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
Frame-based overlapping speech detection using Convolutional Neural Networks
自然主义语音记录通常包含来自多个说话者的语音信号。由于跟踪和识别单个说话人的复杂性，这种现象会降低语音技术的性能。在这项研究中，我们研究了使用卷积神经网络检测重叠语音段短至25毫秒。我们使用不同的频谱特征来评估检测性能，并表明压缩图特征优于其他常用的语音特征。在基于GRID数据集生成的混合语音数据集上，该系统能够以84%的准确率和88%的Fscore预测重叠语音。
2020-02-13 eess.AS eess.SP
TalkNet: Fully-Convolutional Non-Autoregressive Speech Synthesis Model
我们提出了TalkNet，一个用于语音合成的卷积非自回归神经模型。该模型由两个前馈卷积网络组成。第一个网络预测字素持续时间。通过根据预测的持续时间重复每个符号来扩展输入文本。第二个网络从扩展的文本中生成梅尔频谱图。为了训练字形持续时间预测器，我们使用预先训练的基于连接主义时间分类（CTC）的语音识别模型将字形持续时间添加到训练数据集。显式持续时间预测消除了单词跳过和重复。在LJSpeech数据集上的实验表明，语音质量几乎与自回归模型相匹配。该模型非常紧凑-它有10.8M个参数，几乎比目前最先进的文本到语音模型少3倍。非自回归架构允许快速训练和推理。
2020-05-12 eess.AS
Speech Paralinguistic Approach for Detecting Dementia Using Gated Convolutional Neural Network
Tokyo Institute of Technology（东京工业大学）；Keio University School of Medicine（庆应义塾大学医学部）
我们提出了一种非侵入性和成本效益的方法来自动检测痴呆症，仅利用语音音频数据。我们提取一个简短的语音片段的语言特征，并使用门控卷积神经网络（GCNN）将其分类为痴呆或健康。我们评估我们的方法上皮特语料库和我们自己的数据集，PROMPT数据库。我们的方法产生的准确性为73.1%的皮特语料库使用平均114秒的语音数据。在PROMPT数据库中，我们的方法使用4秒的语音数据产生74.7%的准确率，当我们使用所有患者的语音数据时，它提高到80.8%。此外，我们评估我们的方法上的三个类别的分类问题，其中我们包括轻度认知障碍（MCI）类，并实现了60.6%的准确率与40秒的语音数据。
2020-10-06 cs.LG cs.SD eess.AS
Convolutional-Recurrent Neural Networks for Speech Enhancement
Microsoft Research（微软研究院）
我们提出了一种基于卷积和循环神经网络的端到端语音增强模型。我们的模型纯粹是数据驱动的，不对噪声的类型或平稳性做任何假设。与使用多层感知器（MLP）的现有方法相比，我们采用卷积和递归神经网络架构。因此，我们的方法使我们能够利用频域和时间域中的局部结构。通过将语音信号的先验知识结合到模型结构的设计中，我们建立了一个模型，该模型具有更高的数据效率，并且对可见和不可见的噪声都具有更好的泛化能力。基于对合成数据的实验，我们证明了我们的模型优于现有的方法，在可见噪声和不可见噪声上分别将PESQ提高了0.6和0.64。
2018-05-02 cs.CL cs.LG cs.SD
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science（印度科学学院）；Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反，这些方法需要高质量的歌唱模板或音素同步，我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构，称为SymNet，它模拟输入语音与目标旋律的对齐，同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法，以促进模型训练。实验在NUS和NHSS数据集上进行，这些数据集由语音和歌声的并行数据组成。在这些实验中，我们表明，所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外，主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善（在基线系统上平均意见得分测量中绝对改善了0.37）。
2022-08-26 cs.LG cs.SD eess.AS
Analyzing Large Receptive Field Convolutional Networks for Distant Speech Recognition
尽管在过去几年中为构建用于不同声学设置的鲁棒的自动语音识别（ASR）系统做出了重大努力，但是当前最先进技术的性能在嘈杂的混响环境中显著降低。卷积神经网络（CNN）已经成功地用于在包括远程语音识别（DSR）在内的许多语音处理应用中实现实质性的改进。然而，标准的CNN架构在捕获长期语音动态方面效率不高，而这在鲁棒DSR系统的设计中是必不可少的。在本研究中，我们通过研究大感受野CNN（LRF-CNN）的变体来解决这个问题，这些变体包括深度递归网络、扩张卷积神经网络和堆叠沙漏网络。为了比较上述架构与华尔街日报（WSJ）语料库的标准CNN的功效，我们使用基于混合DNN-HMM的语音识别系统。我们扩展的研究，以评估系统的性能，远距离语音模拟使用现实的房间脉冲响应（RIR）。我们的实验表明，在所有架构中使用固定数量的参数，大型感受野网络在远距离语音方面表现出比标准CNN一致的改进。在探索的LRF-CNN中，堆叠沙漏网络显示出改进，与远距离模拟语音信号的标准CNN相比，字错误率（WER）相对降低8.9%，帧准确度相对提高10.7%。
2019-10-15 cs.LG cs.SD eess.AS
Inplace Gated Convolutional Recurrent Neural Network For Dual-channel Speech Enhancement
对于双通道语音增强，基于传统的阵列信号处理准则和多通道信号的流形空间，设计一种端到端模型是一种很有前途的思路。我们发现，上述想法可以有效地实现经典的卷积递归神经网络（CRN）架构。提出了一种用于端到端多通道语音增强的嵌入式门控卷积递归神经网络（inplace GCRN），该网络利用嵌入式卷积进行频率模式的提取和重构。就地特征有效地保留了每个频率点中的空间线索，用于跟踪空间源的通道式长短期记忆神经网络（LSTM）。此外，本文还提出了一种新的频谱恢复方法，通过预测幅度掩模、映射和相位来实现频谱恢复，有效地提高了语音质量。
2021-07-26 eess.AS
A Convolutional Neural Network model based on Neutrosophy for Noisy Speech Recognition
Iran University of Science and Technology（伊朗科技大学）；K.N.Toosi University of Technology（霍加·纳西尔丁·图西尼扎米大学）
卷积神经网络在测试阶段对未知的噪声条件敏感，因此对于包括噪声语音识别在内的噪声数据分类任务，其性能会下降。在这项研究中，一个新的卷积神经网络（CNN）模型与数据的不确定性处理，称为NCNN（中性卷积神经网络），提出了分类任务。这里，语音信号被用作输入数据，并且它们的噪声被建模为不确定性。在本课题中，利用语音频谱图，提出了一种基于语音域的不确定性定义。将语音谱图中的每个时频点看作一个像素来计算不确定度。因此，在NS域中创建与谱图大小相同的不确定度矩阵。在接下来的步骤中，提出了两条并行路径的CNN分类模型。第一路以语音谱图为输入，第二路以不确定性矩阵为输入，两路的输出合并计算分类器的最终输出。为了验证该方法的有效性，在Aurora2数据集的孤立词上与传统的CNN进行了比较。在有噪声的训练数据中，该方法的平均识别精度达到85.96。它对汽车、机场和地铁噪声的鲁棒性更强，在测试集A、B和C中的精度分别为90、88和81。实验结果表明，该方法在测试集A、B和C上分别比传统的CNN提高了6、5和2个百分点。这意味着所提出的方法对噪声数据具有更强的鲁棒性，并有效地处理这些数据。
2019-02-28 cs.LG cs.SD eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题，提出了一种基于时域扩张卷积生成对抗网络（TDCGAN）的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络，从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明，我们提出的方法优于最先进的端到端基于GAN的语音增强。此外，与以前的基于GAN的方法相比，所提出的TDCGAN可以大大减少参数的数量。正如预期的那样，工作还表明，信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Convolutional Neural Network-based Speech Enhancement for Cochlear Implant Recipients
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
为人工耳蜗（CI）用户开发具有改进的语音可懂度的语音增强算法的尝试已经取得了有限的成功。为了改善语音增强方法CI用户，我们建议进行语音增强耳蜗滤波器银行的特征空间，一个功能集专门为CI用户设计的基础上CI听觉刺激。我们利用卷积神经网络（CNN）来提取环境声学和语音的平稳和非平稳分量。我们提出了三种CNN架构：（1）直接生成增强信号的香草型CNN;（2）首先预测噪声，然后通过从噪声信号中减去噪声来生成增强信号的谱减法型CNN（SS-CNN）;（3）生成用于抑制噪声的最佳掩码的维纳型CNN（Wiener-CNN）。所提出的网络的一个重要问题是，它们引入了相当大的延迟，这限制了CI用户的实时应用。为了解决这个问题，本研究还考虑了这些网络的因果变化。我们的实验表明，所提出的网络（因果和非因果形式）实现了显着改善现有的基线系统。我们还发现，因果Wiener-CNN优于其他网络，并导致最佳的整体包络系数测量（ECM）。所提出的算法代表了一个可行的选择CCi-MOBILE的研究平台上实现的CI用户在自然环境中作为一个预处理器。
2019-07-03 cs.LG cs.SD eess.AS
Multichannel Speech Enhancement by Raw Waveform-mapping using Fully Convolutional Networks
National Taiwan University（台湾大学）；Academia Sinica（台湾中央研究院）；National Cheng-Kung University（台湾成功大学）
近年来，基于波形映射的语音增强（SE）方法引起了人们的广泛关注。这些方法通常使用深度学习模型来直接处理和重构语音波形。由于输入和输出都是波形形式的，基于波形映射的SE方法可以克服基于频谱映射的SE系统中可能遇到的不完美相位估计所引起的失真。到目前为止，大多数基于波形映射的SE方法都集中在单通道任务上。在本文中，我们提出了一种新的全卷积网络（FCN）与Sinc和膨胀的卷积层（称为SDFCN）的多通道SE，在时域中操作。我们还提出了一个扩展版本的SDFCN，称为残余SDFCN（称为rSDFCN）。所提出的方法进行评估，两个多通道SE任务，即双通道内耳麦克风SE任务和分布式麦克风SE任务。实验结果证实了所提出的SE系统在这两项任务上的出色去噪能力，以及使用残差架构对整体SE性能的好处。
2020-02-24 cs.LG cs.SD eess.AS
Gradient-Adjusted Neuron Activation Profiles for Comprehensive Introspection of Convolutional Speech Recognition Models
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
基于深度学习的自动语音识别（ASR）模型非常成功，但很难解释。为了更好地理解人工神经网络（ANN）如何完成它们的任务，已经提出了内省方法。将这样的技术从计算机视觉应用到语音识别并不简单，因为语音数据比图像数据更复杂且更难解释。在这项工作中，我们引入了顺应性调整的神经元激活轮廓（GradNAP）作为解释深度神经网络中的特征和表示的手段。GradNAP是ANN对特定输入组的特征响应，其中包含用于预测的神经元的相关性。我们展示了如何利用GradNAP来深入了解数据如何在ANN中处理。这包括不同的可视化功能和GradNAP聚类的方式，以比较给定网络的任何层中不同输入组的嵌入。我们使用全卷积ASR模型演示了我们提出的技术。
2020-02-19 cs.LG cs.SD eess.AS
Relating the fundamental frequency of speech with EEG using a dilated convolutional network
为了研究语音在大脑中是如何处理的，我们可以对自然语音信号的特征与相应的记录脑电图（EEG）之间的关系进行建模。通常，线性模型用于回归任务。要么预测EEG，要么重建语音，预测信号和实际信号之间的相关性被用来衡量大脑的解码能力。然而，由于大脑的非线性性质，线性模型的建模能力是有限的。最近的研究引入了非线性模型，将语音包络与EEG联系起来。我们开始包括未在信封中编码的其他语音特征，特别是语音的基频（f0）。F0是主要在脑干到中脑水平编码的高频特征。我们提出了一个扩张卷积模型，以提供f0神经跟踪的证据。我们表明，f0和语音包络的组合提高了一个国家的最先进的基于语音的模型的性能。这表明扩张卷积模型可以从f0和包络中提取非冗余信息。我们还展示了扩张卷积模型推广到训练过程中未包括的对象的能力。后一项发现将加速基于f0的听力诊断。
2022-07-05 eess.AS
BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions
University of Science and Technology of China（中国科学技术大学）；Sichuan University（四川大学）
本文提出时域脑辅助语音增强网络BASEN，结合听众脑电信号与全卷积时域音频分离网络，并引入卷积多层交叉注意力模块融合双分支特征，在多说话人条件下有效提取目标说话人且优于现有方法。
2023-05-17 cs.AI cs.SD eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Multi-Frame Cross-Entropy Training for Convolutional Neural Networks in Speech Recognition
IBM Research AI, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM研究人工智能部门）；IBM Watson（IBM沃森）
我们为卷积神经网络声学模型引入了多帧交叉熵训练（MFCE）。认识到与RNN类似，CNN本质上是采用可变长度输入的序列模型，我们建议将足够长的话语的一部分作为CNN的输入，以便同时预测多个标签，因此从多个相邻帧中获得交叉熵损失信号。这大大增加了标签信息的数量，而边际计算成本却很小。在2000小时的Switchboard基准上进行培训后，我们在hub5和rt02上显示出较大的WER改进。
2019-07-29 cs.CL cs.LG cs.SD
AMRConvNet: AMR-Coded Speech Enhancement Using Convolutional Neural Networks
Samsung R&D Institute Philippines（三星菲律宾研发研究所）；University of the Philippines（菲律宾大学）
使用语音编码将语音转换为数字信号以进行有效传输。然而，这通常会降低语音的质量和带宽。本文探讨了卷积神经网络在人工带宽扩展（ABE）和语音增强中的应用，特别是在2G蜂窝电话呼叫中使用的自适应多速率（AMR）。在本文中，我们介绍了AMRConvNet：一个卷积神经网络，对AMR编码的语音进行ABE和语音增强。该模型直接对输入和输出语音的时域进行操作，但使用组合的时域重建损失和频域感知损失进行优化。AMRConvNet导致AMR比特率为4.75k的平均意见分数-收听质量目标（MOS-LQO）平均提高了0.425分，AMR比特率为12.2k的MOS-LQO平均提高了0.073分。AMRConvNet在AMR比特率输入中也表现出了鲁棒性。最后，消融测试表明，我们的组合时域和频域损失导致比单独使用任一损失略高的MOS-LQO和更快的训练收敛。
2020-08-24 cs.SD eess.AS
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union（库珀联盟学院）
本文将描述一种新的方法，鸡尾酒会的问题，依赖于一个完全卷积神经网络（FCN）架构。FCN将噪声音频数据作为输入，并执行非线性滤波操作，以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型，然后能够从串音背景噪声中提取扬声器的声音。实验结果表明，该方法具有推广到新的说话人的能力，并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调，并部署到助听器上，以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Light Convolutional Neural Network with Feature Genuinization for Detection of Synthetic Speech Attacks
现代文语转换（TTS）和语音转换（VC）系统产生自然发声的语音，质疑自动说话人确认（ASV）的安全性。这使得这种合成语音的检测对于保护ASV系统免受未经授权的访问非常重要。大多数现有的欺骗对策执行良好的攻击的性质是已知的系统在训练期间。然而，它们的性能在面对不可见的攻击时会下降。与由各种TTS和VC方法创建的合成语音相比，真实语音具有更一致的分布。我们认为，合成语音和真实语音的分布之间的差异是这两类语音之间的一个重要区别特征。在这方面，我们提出了一种新的方法，称为特征分解，学习一个Transformer与卷积神经网络（CNN）使用的特点，只有真正的语音。然后，我们使用这个简化Transformer和一个light CNN分类器。ASVspoof 2019逻辑访问语料库用于评估所提出的方法。研究表明，所提出的基于特征分解的LCNN系统优于其他最先进的欺骗对策，描述了其检测合成语音攻击的有效性。
2020-09-21 eess.AS
MatchboxNet: 1D Time-Channel Separable Convolutional Neural Network Architecture for Speech Commands Recognition
我们提出了一个MatchboxNet -一个用于语音命令识别的端到端神经网络。MatchboxNet是一个深度残差网络，由1D时间通道可分离卷积、批量归一化、ReLU和dropout层组成。MatchboxNet在Google Speech Commands数据集上达到了最先进的准确性，同时参数比类似模型少得多。MatchboxNet的小尺寸使其成为计算资源有限的设备的有吸引力的候选者。该模型具有高度可扩展性，因此可以通过适度的额外内存和计算来提高模型精度。最后，我们展示了使用辅助噪声数据集的密集数据增强如何在存在背景噪声的情况下提高鲁棒性。
2020-04-21 eess.AS
MIMO Speech Compression and Enhancement Based on Convolutional Denoising Autoencoder
对于物联网环境中与语音相关的应用，确定有效的方法来处理干扰噪声和压缩传输中的数据量对于实现高质量的服务至关重要。在这项研究中，我们提出了一种新的多输入多输出语音压缩和增强（MIMO-SCE）系统的卷积去噪自动编码器（CDAE）模型的基础上，同时提高语音质量和减少传输数据的维数。与传统的单通道和多输入单输出系统相比，MIMO系统可以用于处理需要处理的多个声学信号的应用中。我们研究了两种CDAE模型，全卷积网络（FCN）和Sinc FCN，作为MIMO系统中的核心模型。实验结果证实，所提出的MIMO-SCE框架有效地提高了语音质量和可懂度，同时减少了7倍的记录数据量进行传输。
2021-06-07 eess.AS eess.SP
IR-UWB Radar-Based Contactless Silent Speech Recognition with Attention-Enhanced Temporal Convolutional Networks
提出一种融合自注意力与挤压-激励机制的时序卷积网络，直接从 IR-UWB 雷达信号端到端识别静默语音，在 50 词任务上准确率达 91.1%，显著优于手工特征方法。
2025-09-30 eess.AS
TFCN: Temporal-Frequential Convolutional Network for Single-Channel Speech Enhancement
基于深度学习的单通道语音增强尝试训练神经网络模型来预测干净的语音信号。目前流行的单通道语音增强网络结构有多种，如TCNN、UNet、WaveNet等，但这些结构通常包含数百万个参数，这对移动应用来说是一个障碍。在这项工作中，我们提出了一个轻量级的神经网络的语音增强命名为TFCN。它是一种由扩张卷积和深度可分离卷积构成的时频卷积网络。我们评估TFCN的性能在短期客观可懂度（STOI），语音质量的感知评价（PESQ）和一系列的复合指标命名为Csig，Cbak和Covl。实验结果表明，与TCN算法和其他几种最先进的算法相比，该结构仅需93，000个参数就能达到相当的性能。通过引入密集连接和深度可分离卷积，可以以更多的参数为代价来实现进一步的改进。实验还表明，该结构可以很好地工作在因果关系和非因果关系的情况下。
2022-01-03 eess.AS
Binaural Speech Enhancement Using Deep Complex Convolutional Transformer Networks
针对嘈杂环境下助听设备的双耳语音增强需求，提出融合编码器-解码器架构复值卷积网络与复值多头注意力Transformer的方法，采用兼顾空间信息保留等的新型损失函数训练，在多种噪声场景下相比基线算法更优。
2024-03-08 eess.AS
SwishNet: A Fast Convolutional Neural Network for Speech, Music and Noise Classification and Segmentation
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
语音、音乐和噪声分类/分割是音频处理/索引的重要预处理步骤。为此，我们提出了一种新的一维卷积神经网络（CNN）- SwishNet。它是一种基于MFCC功能的快速轻量级架构，适合添加到音频处理管道的前端。我们表明，通过从ImageNet上预训练的2D CNN中提取知识，可以提高网络的性能。我们研究了我们的网络在MUSAN语料库上的性能-MUSAN语料库是一个开放的噪声，音乐和语音样本的综合集合，适用于深度学习。所提出的网络在片段（长度为0.5-2s）分类（>97%准确率）和逐帧分割（>93%准确率）任务中实现了高的整体准确率，在语音/非语音区分任务中具有更高的准确率（>99%）。为了验证我们模型的鲁棒性，我们在MUSAN上进行了训练，并在不同的语料库GTZAN上进行了评估，发现精确度很高，微调很少。我们还证明了我们的模型在CPU和GPU上都是快速的，消耗少量的内存，适合在嵌入式系统中实现。
2018-12-01 cs.LG cs.SD eess.AS
WaveCRN: An Efficient Convolutional Recurrent Neural Network for End-to-end Speech Enhancement
由于端到端（E2E）神经网络模型具有简单的设计流程，因此用于语音增强（SE）的E2E神经网络模型引起了人们极大的兴趣。为了提高E2E模型的性能，在建模时应有效地考虑语音的局部性和时序性。然而，在大多数当前的E2E模型中，这些属性要么没有被充分考虑，要么太复杂而无法实现。在本文中，我们提出了一个有效的E2E SE模型，称为WaveCRN。在WaveCRN中，语音局部性特征由卷积神经网络（CNN）捕获，而局部性特征的时间序列属性由堆叠的简单递归单元（SRU）建模。与使用难以并行化的长短期记忆（LSTM）网络的传统时间序列模型不同，SRU可以在计算中高效并行化，模型参数甚至更少。此外，为了更有效地抑制噪声成分的输入嘈杂的语音，我们推导出一种新的限制性特征掩蔽（RFM）的方法，在隐藏层的特征图上进行增强，这是不同的方法，适用于估计的比率掩模的嘈杂的频谱特征，这是常用的语音分离方法。语音去噪和压缩语音恢复任务的实验结果证实，与SRU的轻量级架构和基于特征映射的RFM，WaveCRN执行与其他国家的最先进的方法，显着降低模型复杂度和推理时间的并行计算。
2020-11-26 cs.LG cs.SD eess.AS
Exploiting Fully Convolutional Network and Visualization Techniques on Spontaneous Speech for Dementia Detection
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
在本文中，我们利用全卷积网络（FCN）来分析自发言语的音频数据以进行痴呆症检测。一个完全卷积的网络可以容纳不同长度的语音样本，从而使我们能够分析语音样本，而无需手动分割。具体来说，我们首先获得梅尔频率倒谱系数（MFCC）特征图从每个参与者的音频数据和转换语音分类任务的音频数据的图像分类任务MFCC特征图。然后，为了解决数据不足的问题，我们通过采用来自MobileNet架构和ImageNet数据集的预训练骨干卷积神经网络（CNN）模型来应用迁移学习。我们进一步构建了一个卷积层，使用Otsu的可视化方法生成热图，使我们能够了解时间序列音频片段对分类结果的影响。我们证明了我们的分类模型在测试数据集上达到了66.7%，是ADReSS挑战中提供的基线模型的62.5%。通过可视化技术，我们可以评估音频片段的影响，例如参与者的填充停顿和研究者的重复问题，对分类结果的影响。
2020-08-17 cs.SD eess.AS
Self-Attention Generative Adversarial Network for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；HCMC University of Technology（胡志明市工业大学）；University of Oxford（牛津大学）；Singapore Institute of Technology（新加坡理工学院）
现有的用于语音增强的生成对抗网络（GANs）仅依赖于卷积运算，这可能会模糊序列输入的时间依赖性。为了解决这个问题，我们提出了一个自注意力层适应非本地注意力，再加上卷积和卷积层的语音增强GAN（SE GAN）使用原始信号输入。此外，我们经验性地研究了将自我注意力层放置在具有不同层索引的（去）卷积层以及在内存允许的情况下放置在所有卷积层的效果。我们的实验表明，引入自我注意SEGAN导致一致的改进，在增强性能的客观评价指标。此外，应用于不同的卷积（解）层不会显著改变性能，这表明它可以方便地应用于最高级别的卷积（解）层，具有最小的内存开销。
2021-02-06 cs.LG cs.SD eess.AS
A Speech Enhancement Method Using Fast Fourier Transform and Convolutional Autoencoder
Department of Artificial Intelligence, Tamkang University, New Taipei City 251301, Taiwan.（人工智能系，台湾桃园大学）；Department of Mathematical Sciences, National Chengchi University, Taipei 116, Taiwan.（数学科学系，台湾国立成功大学）
针对退化测量值的音频信号重建问题，提出结合离散傅里叶变换与卷积自动编码器的轻量级模型FFT-ConvAE，该模型获2024年赫尔辛基语音挑战赛第二名，验证了无神经网络方法在语音重建中的潜力。
2025-10-03 cs.SD eess.AS
A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning
MIT（麻省理工学院）；Le Mans University（勒芒大学）；University of Wrocław（弗罗茨瓦夫大学）；NVIDIA Corporation（英伟达公司）；University of Toulon（土伦大学）
概率潜变量模型（LVMs）为从语音中学习语言表示提供了一种自监督学习方法的替代方案。LVMs允许直观的概率解释，其中潜在结构塑造从信号中提取的信息。尽管由于引入了变分自编码器（VAE），LVMs最近重新引起了人们的兴趣，但它们在语音表示学习中的应用在很大程度上仍未得到探索。在这项工作中，我们提出了卷积深度马尔可夫模型（ConvDMM），这是一种由深度神经网络建模的具有非线性发射和转移函数的高斯状态空间模型。这个无监督模型使用黑盒变分推理进行训练。深度卷积神经网络被用作结构化变分逼近的推理网络。当在大规模语音数据集（LibriSpeech）上训练时，ConvDMM产生的特征在华尔街日报数据集上的线性电话分类和识别上显着优于多个自监督特征提取方法。此外，我们发现ConvDMM补充了Wav2Vec和PASE等自监督方法，改善了单独使用任何方法所获得的结果。最后，我们发现ConvDMM功能可以在资源极其匮乏且标记训练示例很少的情况下比任何其他功能更好地学习手机识别器。
2020-09-08 cs.CL cs.LG cs.SD
The PCG-AIID System for L3DAS22 Challenge: MIMO and MISO convolutional recurrent Network for Multi Channel Speech Enhancement and Speech Recognition
Tencent PCG（腾讯平台与内容事业群）
本文介绍了PCG-AIID系统在L3 DAS 22挑战任务1：办公室混响环境下的三维语音增强中的应用。我们提出了一个两阶段的框架来解决多通道语音去噪和去混响。在第一级中，多输入多输出（MIMO）网络被应用于去除背景噪声，同时保持多通道信号的空间特性。在第二阶段中，多输入和单输出（MISO）网络被应用于从期望的方向和后滤波来增强语音。因此，我们的系统在ICASSP 2022 L3 DAS 22挑战中排名第三，并显著优于基线系统，同时在盲测集上实现了3.2%的WER和0.972的STOI。
2022-02-21 cs.SD eess.AS
Deep Convolutional Neural Network-based Inverse Filtering Approach for Speech De-reverberation
McGill University（麦吉尔大学）
本文介绍了一种使用深度卷积神经网络（CNN）进行单通道语音混响消除的谱域逆滤波方法。主要目标是更好地处理现实混响条件下，房间脉冲响应（RIR）滤波器比短时傅立叶变换（STFT）分析窗口长。为此，我们考虑混响语音信号的卷积传递函数（CTF）模型。在所提出的框架中，CNN架构被训练为直接估计CTF模型的逆滤波器。在CNN结构的各种选择中，我们考虑了U-网，它由具有跳跃连接的全卷积自动编码器网络组成。实验结果表明，在各种混响条件下，该方法都能获得比现有基准算法更好的去混响效果。
2020-10-15 cs.SD eess.AS
Speech Dereverberation Using Fully Convolutional Networks
Bar-Ilan University（巴伊兰大学）
本文讨论了使用单个麦克风的语音derverberation。最近的成功的全卷积网络（FCN）在许多图像处理应用的动机，我们调查他们的适用性，以增强语音信号表示的短时傅里叶变换（STFT）的图像。我们提出两种变化：一个“U-Net”，它是一个具有跳跃连接的编码器-解码器网络，以及一个具有U-Net作为生成器的生成对抗网络（GAN），它产生了一个更直观的代价函数用于训练。为了评估我们的方法，我们使用了来自REVERB挑战的数据，并将我们的结果与相同条件下的其他方法进行了比较。我们已经发现，我们的方法优于竞争的方法在大多数情况下。
2019-04-03 cs.SD eess.AS
Direction of Arrival Estimation of Noisy Speech Using Convolutional Recurrent Neural Networks with Higher-Order Ambisonics Signals
在估计语音/声音信号的到达波达方向时，在一阶高保真度立体声响复制信号上训练卷积递归神经网络是众所周知的方法。在这项工作中，我们研究了将高保真度立体声复制的阶数增加到四阶是否会进一步提高卷积递归神经网络的估计性能。虽然我们对基于模拟空间房间脉冲响应的数据的结果表明，使用更高的高保真度立体声响复制阶数确实有可能提供更好的定位结果，但对基于从二阶开始的真实空间房间脉冲响应的数据没有进一步的改进。相反，从原始数据中提取有意义的特征似乎至关重要。从声强矢量得到的一阶特征在几乎所有情况下都优于纯高阶幅度和相位特征。
2021-05-06 eess.AS
Light-SERNet: A lightweight fully convolutional neural network for speech emotion recognition
直接从语音信号中检测情感在有效的人机交互中起着重要作用。现有的语音情感识别模型需要大量的计算和存储资源，这使得它们很难在嵌入式系统中与其他机器交互任务并发实现。在本文中，我们提出了一个高效，轻量级的全卷积神经网络语音情感识别系统的硬件资源有限。在所提出的FCNN模型中，通过具有不同滤波器大小的三个并行路径来提取各种特征图。这有助于深度卷积块提取高级特征，同时确保足够的可分性。提取的特征用于分类的输入语音段的情感。虽然我们的模型比最先进的模型更小，但它在IEMOCAP和EMO-DB数据集上实现了更高的性能。
2021-10-07 eess.AS eess.SP
GM-TCNet: Gated Multi-scale Temporal Convolutional Network using Emotion Causality for Speech Emotion Recognition
Xiamen University（厦门大学）；Fudan University（复旦大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Fujian University of Technology（福建理工大学）
在人机交互中，语音情感识别（SER）在理解用户意图和改善交互体验方面起着至关重要的作用。虽然相似的情感演讲具有不同的扬声器特征，但具有共同的前因和后果，SER的一个重要挑战是如何通过演讲情感之间的因果关系产生鲁棒的和有区别的表示。在本文中，我们提出了一个门控多尺度时间卷积网络（GM-TCNet）构建一个新的情感因果关系表示学习组件与多尺度感受野。GM-TCNet部署了一种新的情感因果关系表示学习组件来捕获跨时域的情感动态，该组件由扩张的因果卷积层和门控机制构建。此外，它利用跳跃连接融合来自不同门控卷积块的高级特征来捕获人类语音中丰富而微妙的情感变化。GM-TCNet首先使用单一类型的特征，即梅尔频率倒谱系数作为输入，然后将其通过门控时间卷积模块以生成高级特征。最后，特征被馈送到情感分类器以完成SER任务。实验结果表明，我们的模型在大多数情况下保持最高的性能相比，国家的最先进的技术。
2022-10-28 cs.AI cs.HC cs.SD
Automatic dysarthric speech detection exploiting pairwise distance-based convolutional neural networks
构音障碍语音自动检测技术为构音障碍的临床诊断和治疗提供了可靠、经济的计算机辅助工具。在本文中，我们提出了一种新的自动构音障碍语音检测方法的基础上分析的成对距离矩阵，使用卷积神经网络（CNN）。我们通过发音后验子来表示话语，并考虑成对的语音平衡表示，其中一个表示来自健康说话者（即，参考表示）和来自测试说话者的另一个表示（即，测试表示）。给定这样的参考和测试表示对，首先使用特征提取前端提取特征，计算帧级距离矩阵，并且通过基于CNN的二元分类器将所获得的距离矩阵视为图像。特征提取、距离矩阵计算和基于CNN的分类器在端到端框架中联合优化。在两个不同语言和病理的健康和构音障碍说话者数据库上的实验结果表明，所提出的方法具有较高的构音障碍语音检测性能，优于其他基于CNN的基线方法。
2021-05-28 eess.AS
Real-time Speaker counting in a cocktail party scenario using Attention-guided Convolutional Neural Network
University of Texas at Dallas（德克萨斯大学达拉斯分校）
大多数当前的语音技术系统被设计为即使在存在多个活动说话者的情况下也能良好地操作。然而，大多数解决方案假设并流扬声器的数量是已知的。不幸的是，这些信息在实际应用中可能并不总是可用的。在这项研究中，我们提出了一个实时的，单通道的注意力引导卷积神经网络（CNN），以估计重叠语音中的活跃发言者的数量。所提出的系统使用CNN模型从语音频谱内容中提取更高级别的信息。接下来，注意力机制将提取的信息总结为紧凑的特征向量，而不会丢失关键信息。最后，使用完全连接的网络对活跃的说话人进行分类。使用WSJ语料库的模拟重叠语音的实验表明，注意力解决方案被证明比传统的时间平均池提高了近3%的绝对性能。所提出的注意力引导的CNN在加权准确率和平均召回率方面都达到了76.15%，并且在短至20帧的语音段上达到了75.80%的准确率（即，200 ms）。对于离线场景中的注意力引导模型，所有分类度量都超过92%，其中输入信号超过100帧长（即，1s）。
2021-10-30 cs.LG cs.SD eess.AS
Voice Activity Detection for Ultrasound-based Silent Speech Interfaces using Convolutional Neural Networks
University of Szeged（塞格德大学）
当输入音频信号有噪声时，语音活动检测（VAD）不是一件容易的事情，当输入甚至不是音频记录时，它甚至更加复杂。这是无声语音接口（SSI）的情况下，我们记录的发音器官在讲话过程中的运动，我们的目标是从这个记录重建语音信号。我们的SSI系统从舌头运动的超声波视频合成语音，并且所得到的语音信号的质量通过诸如底层神经网络的均方误差损失函数和与原始相比重建语音的梅尔倒谱系数失真（MCD）的度量来评估。在这里，我们首先证明，在训练数据中的沉默量可以有MCD评估指标和神经网络模型的性能的影响。然后，我们训练一个卷积神经网络分类器来分离无声和含语音的超声舌图像，使用传统的VAD算法从相应的语音信号创建训练标签。在实验中，我们的基于超声的语音/沉默分离器实现了约85%的分类准确率和约86%的AUC得分。
2021-09-18 cs.SD eess.AS
GCI detection from raw speech using a fully-convolutional network
声门闭合瞬间（GCI）检测包括从语音信号中自动检测声道最显著激励的时间位置。它被用于许多语音分析和处理应用中，并且已经为此目的提出了各种算法。最近，出现了使用卷积神经网络的新方法，并取得了令人鼓舞的结果。遵循这一趋势，我们提出了一种简单的方法，执行从语音波形到目标信号的GCI是通过峰值拾取获得的映射。然而，用于训练和评估的地面真实GCI通常是从EGG信号中提取的，这些EGG信号并不完全可靠，并且通常不可用。为了克服这个问题，我们建议训练我们的网络高品质的合成语音与完美的地面真相。所提出的算法的性能进行了比较，与其他三个国家的最先进的方法，使用公开的数据集，并在训练阶段使用控制合成或真实的语音信号的影响进行了研究。实验结果表明，该方法获得类似或更好的结果比其他国家的最先进的算法，使用大量的合成数据集与许多发言人提供了更好的泛化能力比使用一个较小的数据库的真实语音和EGG信号。
2020-02-20 eess.AS
