Speech Dereverberation Using Fully Convolutional Networks
Bar-Ilan University（巴伊兰大学）
本文讨论了使用单个麦克风的语音derverberation。最近的成功的全卷积网络（FCN）在许多图像处理应用的动机，我们调查他们的适用性，以增强语音信号表示的短时傅里叶变换（STFT）的图像。我们提出两种变化：一个“U-Net”，它是一个具有跳跃连接的编码器-解码器网络，以及一个具有U-Net作为生成器的生成对抗网络（GAN），它产生了一个更直观的代价函数用于训练。为了评估我们的方法，我们使用了来自REVERB挑战的数据，并将我们的结果与相同条件下的其他方法进行了比较。我们已经发现，我们的方法优于竞争的方法在大多数情况下。
2019-04-03 cs.SD eess.AS
Complex Spectral Mapping With Attention Based Convolution Recurrent Neural Network for Speech Enhancement
CloudWalk Technology Co., Ltd.（云从科技有限公司）
语音增强受益于深度学习在可懂度和感知质量方面的成功。传统的时频域方法主要是通过朴素卷积神经网络或递归神经网络来预测时频模板或语音频谱，最近的一些研究是基于复谱映射卷积递归神经网络（CRN）的。这些模型直接从编码器层的输出和解码器层的输入中抽取，这可能是欠考虑的。提出了一种基于注意力机制的编码层和解码层之间的跳跃连接，即基于注意力的卷积递归神经网络（CARN），与CRN模型相比，CARN模型在PESQ、CBAK、COVL、CSIG等指标上相对提高了10%以上，并且在这些指标上，在DNS Challenge 2020的实时和非实时跟踪中均优于排名第一的模型。
2021-04-15 cs.SD eess.AS
Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks
College of Computer Science, Inner Mongolian University（内蒙古大学计算机学院）；Kingsoft AI Laboratory（金山人工智能实验室）
近几十年来，基于神经网络的语音增强方法显著提高了语音增强的性能。大多数方法都是直接或间接地估计出目标语音的时频（T-F）表示，然后利用估计出的T-F表示重新合成波形。在这项工作中，我们提出了时间卷积递归网络（TCRN），这是一种端到端模型，可以直接将噪声波形映射到干净波形。结合卷积和递归神经网络的TCRN能够有效地利用短期和长期信息。Futuremore，我们提出了在前向传播过程中重复下采样和上采样语音的架构。我们表明，与现有的卷积递归网络相比，我们的模型能够提高模型的性能。未来，我们提出了几个关键技术，以稳定的训练过程。实验结果表明，我们的模型始终优于现有的语音增强方法，在语音清晰度和质量。
2020-02-02 cs.LG cs.SD eess.AS
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已被提出用于语音去混响任务中的序列建模。在这项工作中，加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明，这种加权多膨胀时间卷积网络（WD-TCN）在各种模型配置中始终优于TCN，并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比，最佳性能改善为0.55 dB尺度不变信号失真比（SISDR），而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks
Clemson University（克莱姆森大学）；Nokia Bell Labs（诺基亚贝尔实验室）
多阶段学习是一种顺序调用多个深度学习模块的有效技术。本文通过使用多级结构将多级学习应用于语音增强，其中每一级包括自注意（SA）块，随后是具有加倍膨胀因子的时间卷积网络（TCN）块的堆叠。每个阶段生成一个预测，该预测在后续阶段中被细化。融合块被插入在后面的级的输入处以重新注入原始信息。将所得到的多阶段语音增强系统（简而言之，多阶段SA-TCN）与使用LibriSpeech和VCTK数据集的最先进的深度学习语音增强方法进行比较。对多级SA-TCN系统的超参数进行微调，确定SA块、融合块和级数的影响。使用多级SA-TCN系统作为前端的自动语音识别系统进行了研究。结果表明，多级SA-TCN系统表现良好，相对于其他国家的最先进的系统方面的语音增强和语音识别分数。
2021-02-24 cs.SD eess.AS
Joint Multi-Channel Dereverberation and Noise Reduction Using a Unified Convolutional Beamformer With Sparse Priors
University of Oldenburg（奥尔登堡大学）
近年来，卷积加权功率最小化无失真响应（WPD）波束形成器被提出，它将多通道加权预测误差去混响和最小功率无失真响应波束形成相结合。为了优化卷积滤波器，利用时变高斯模型对期望的语音分量进行建模，与有噪声的麦克风信号相比，该时变高斯模型促进了期望的语音分量在短时傅里叶变换域中的稀疏性。在本文中，我们推广的卷积WPD波束形成器，通过使用lp-范数代价函数，引入一个可调的形状参数，使控制所需的语音分量的稀疏性。基于REVERB挑战数据集的实验表明，该方法在客观语音质量指标方面优于传统的卷积WPD波束形成器。
2023-03-13 cs.SD eess.AS
DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement
Nanjing University（南京大学）；Horizon Robotics（地平线机器人）；Nanjing Institute of Advanced Artificial Intelligence（南京人工智能高等研究院）
为了更有效地在时域内对超长语音序列进行建模，提出了双路径RNN（DPRNN）。通过将长序列分割成较小的块，并应用块内和块间RNN，DPRNN在有限的模型大小下实现了有希望的语音分离性能。在本文中，我们结合DPRNN模块和卷积递归网络（CRN），并设计了一个称为双路径卷积递归网络（DPCRN）的语音增强模型的时间-频率域。我们将CRN中的RNN替换为DPRNN模块，其中块内RNN用于对单个帧中的频谱模式进行建模，而块间RNN用于对连续帧之间的依赖性进行建模。仅使用0.8M参数，提交的DPCRN模型在Interspeech 2021深度噪声抑制（DNS）挑战的宽带场景轨道中实现了3.57的总体平均意见得分（MOS）。对其他测试集的评价也表明了我们模型的有效性。
2021-07-12 cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.（罗技欧洲股份公司）
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的，它们可以从称为房间脉冲响应（RIR）的房间测量中得出。然而，测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明，人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展，并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明，卷积循环神经网络在这项任务中表现最好，并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
最近，渐进式学习已经显示出其在与基于深度神经网络（DNN）和长短期记忆（LSTM）的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力，特别是在低信噪比（SNR）条件下。然而，由于大量的参数和高计算复杂性，很难在当前资源有限的微控制器中实现，因此，对于实际应用而言，显著减少参数的数量和计算负荷是必要的。为此，我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN，它利用了卷积神经网络和递归神经网络，大大减少了参数的数量，同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性，并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法，并且在客观测量方面，它也得到了接近甚至优于CRNN的结果。与PL-DNN，PL-LSTM和CRNN相比，所提出的PL-CRNN算法可以分别减少高达93%，97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
DCCRGAN: Deep Complex Convolution Recurrent Generator Adversarial Network for Speech Enhancement
ZheJiang Dahua Technology CO.,LTD（浙江大华技术股份有限公司）
生成对抗网络（GAN）在处理语音增强（SE）任务时仍存在一些问题。一些基于GAN的系统直接从Pixel-to-Pixel采用相同的结构，而无需特殊优化。发电机网络的重要性尚未得到充分探讨。其他的相关研究都是改变发电机网络，但都是在时频域中进行，忽略了相位失配问题。为了解决这些问题，本文提出了一种深度复卷积递归GAN（DCCR GAN）结构。复数模块建立了波形的幅度和相位之间的相关性，并已被证明是有效的。拟议的结构是以端到端的方式进行培训的。在生成器网络中使用不同的LSTM层，以充分探索DCCRGAN的语音增强性能。实验结果证实，所提出的DCCRGAN优于最先进的基于GAN的SE系统。
2021-03-07 cs.SD eess.AS
DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
Sogou（搜狗）
语音增强受益于深度学习在可懂度和感知质量方面的成功。传统的时频（TF）域方法集中于经由朴素卷积神经网络（CNN）或递归神经网络（RNN）来预测TF掩模或语音频谱。最近的一些研究使用复值谱图作为训练目标，但是训练在实值网络中，分别预测幅度和相位分量或实部和虚部。特别是，卷积递归网络（CRN）集成了卷积编码器-解码器（CED）结构和长短期记忆（LSTM），这已被证明对复杂目标有帮助。为了更有效地训练复杂目标，本文设计了一种模拟复值运算的网络结构，称为深度复卷积递归网络（DCCRN），其中CNN和RNN结构都可以处理复值运算。建议DCCRN模型是非常有竞争力的其他以前的网络，无论是在客观或主观的度量。仅使用370万个参数，我们提交给Interspeech 2020深度噪声抑制（DNS）挑战赛的DCCRN模型在平均意见得分（MOS）方面排名实时跟踪第一，非实时跟踪第二。
2020-09-23 cs.SD eess.AS
Convolutional Recurrent Neural Network with Attention for 3D Speech Enhancement
Northwestern Polytechnical University（西北工业大学）
本文提出一种结合双路径循环神经网络块与注意力机制的U-Net架构用于3D语音增强，通过在时频域和时域联合优化网络，在ICASSP L3DAS23挑战赛数据集上超越了现有最先进系统。
2023-11-20 cs.SD eess.AS
SkipConvNet: Skip Convolutional Neural Network for Speech Dereverberation using Optimally Smoothed Spectral Mapping
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；JD AI Research, JD.com（京东集团京东人工智能研究院）
最近的研究在许多语音应用中已经成功地证明了使用全卷积网络（FCN）的可靠性。这些FCNs最流行的变体之一是“U-Net”，这是一种具有跳过连接的编码器-解码器网络。在这项研究中，我们提出了“SkipConvNet”，其中我们用多个卷积模块替换每个跳过连接，为解码器提供直观的特征图，而不是编码器的输出，以提高网络的学习能力。我们还建议使用功率谱密度（PSD）的最佳平滑作为预处理步骤，这有助于进一步提高网络的效率。为了评估我们提出的系统，我们使用REVERB挑战语料库，以评估在相同条件下的各种增强方法的性能。我们专注于监测语音质量的改善及其对提高后端语音系统效率的贡献，例如仅在干净语音上训练的语音识别和说话人验证。实验结果表明，该系统始终优于其他方法。
2020-07-17 cs.SD eess.AS eess.SP
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
Receptive Field Analysis of Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响通常是鲁棒语音处理任务中的重要要求。有监督的深度学习（DL）模型为单通道语音去混响提供了最先进的性能。时间卷积网络（TCN）通常用于语音增强任务中的序列建模。TCN的一个特征是它们具有依赖于特定模型配置的感受野（RF），该模型配置确定可以被观察以产生单个输出帧的输入帧的数量。它已被证明，TCN是能够执行去混响的模拟语音数据，然而，一个彻底的分析，特别是与RF的重点还缺乏在文献中。本文分析了TCN的模型尺寸和RF对混响抑制性能的影响。实验使用WHAMR语料库，扩展到包括房间脉冲响应（RIR）与较大的T60值表明，一个较大的RF可以有显着的改善性能时，训练较小的TCN模型。它还表明，TCN受益于更广泛的RF时，去混响RIR与较大的RT60值。
2022-07-01 cs.LG cs.SD eess.AS
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group（阿里巴巴集团）
针对单声道语音增强任务，提出轻量级复卷积块注意力模块（CCBAM）并结合联合时频损失函数，集成到深度复U-Net和CRN中形成新端到端框架，实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Towards Array-Invariant Speech Enhancement via Geometry-Aware Dynamic Convolution
Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；Shanghai Jiao Tong University（上海交通大学）；VUI Labs（VUI实验室）
研究多通道语音增强受固定阵列配置限制问题，提出几何感知动态卷积框架，利用麦克风坐标转换固定阵列SE模型为阵列不变系统，经实验验证该框架能提升模型在不同阵列拓扑下的性能。
2026-07-22 cs.SD eess.AS
Convolutional-Recurrent Neural Networks for Speech Enhancement
Microsoft Research（微软研究院）
我们提出了一种基于卷积和循环神经网络的端到端语音增强模型。我们的模型纯粹是数据驱动的，不对噪声的类型或平稳性做任何假设。与使用多层感知器（MLP）的现有方法相比，我们采用卷积和递归神经网络架构。因此，我们的方法使我们能够利用频域和时间域中的局部结构。通过将语音信号的先验知识结合到模型结构的设计中，我们建立了一个模型，该模型具有更高的数据效率，并且对可见和不可见的噪声都具有更好的泛化能力。基于对合成数据的实验，我们证明了我们的模型优于现有的方法，在可见噪声和不可见噪声上分别将PESQ提高了0.6和0.64。
2018-05-02 cs.CL cs.LG cs.SD
Real-time Streaming Wave-U-Net with Temporal Convolutions for Multichannel Speech Enhancement
Huawei Russia Research Institute（华为俄罗斯研究院）；Huawei Nanjing Research Institute（华为南京研究院）；HSE University（高等经济大学）
在本文中，我们描述了我们为参加ConferencingSpeech 2021挑战赛的Task 1所做的工作。本课题的目标是开发实时多通道语音增强的解决方案。我们提出了一种新的系统，用于流式语音增强。在编码器和解码器中，我们采用了具有时间卷积的Wave-U-Net架构。我们在解码器中加入了自注意力，以将从跳过连接中检索到的注意力掩码应用于来自下块的特征。我们探讨了历史缓存机制，工作像隐藏状态的递归网络，并实现了他们的建议解决方案。它可以帮助我们以相同的精度运行块长度为40 ms和实时因子为0.4的推理。
2021-04-05 cs.SD eess.AS eess.SP
What do neural networks listen to? Exploring the crucial bands in Speech Enhancement using Sinc-convolution
National Taiwan Normal University（国立台湾师范大学）；National Chi Nan University（国立暨南国际大学）
本文提出用于语音增强编码器的改进 Sincconv 框架，通过参数化 sinc 带通滤波器提升训练效率、滤波器多样性、可解释性及多种 SE 模型性能，并揭示关键频率成分。
2024-03-04 cs.SD eess.AS
Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；HBUCM（湖北中医药大学）
语音增强可以潜在地受益于来自目标说话者的视觉信息，诸如嘴唇运动和面部表情，因为语音的视觉方面基本上不受声学环境的影响。在本文中，我们解决的问题，增强损坏的语音信号从视频中使用视听（AV）神经处理。大多数最近的AV语音增强方法分别处理声学和视觉特征，并通过一个简单的级联操作融合它们。虽然这种策略方便且易于实施，但它有两个主要缺点：1）言语感知中的证据表明，在人类中，AV整合发生在非常早期的阶段，与先前的模型相反，先前的模型在早期阶段分别处理两种模态并且仅在后期阶段将它们组合，从而使得系统不太鲁棒，以及2）简单的连接不允许控制如何处理来自声学和视觉模态的信息。为了克服这些缺点，我们提出了一种多层特征融合卷积网络（MFFCN），它分别处理声学和视觉模态，以保留每种模态的特征，同时在编码阶段逐层融合两种模态的特征，以享受人类AV语音感知。此外，考虑到两种模式之间的平衡，我们设计了通道和频谱注意机制，以提供额外的灵活性，在处理不同类型的信息扩展卷积神经网络的代表性能力。实验结果表明，所提出的MFFCN网络的性能优于国家的最先进的模型。
2022-05-23 cs.SD eess.AS eess.IV
Multi-Loss Convolutional Network with Time-Frequency Attention for Speech Enhancement
Chongqing University of Posts and Telecommunications（重庆邮电大学）；vivo Mobile Commun co Ltd（维沃移动通信有限公司）
针对语音增强任务，该研究在DPCRN基础上引入轴向自注意力机制捕捉长时信息，结合多分辨率STFT与预训练WavLM损失进行联合训练，在仅0.23M参数的条件下实现了优于DPCRN的性能。
2023-06-15 cs.SD eess.AS stat.ML
Multi-channel Speech Enhancement with 2-D Convolutional Time-frequency Domain Features and a Pre-trained Acoustic Model
Xiaomi Corporation（小米公司）
本文提出了一种多通道语音增强方法，该方法采用了一种新的两阶段特征融合方法和一种多任务学习范式中的预训练声学模型。在第一融合阶段，分别提取时域和频域特征。在时域中，计算多通道卷积和（MCS）和通道间卷积差（ICD）特征，然后将其与第一2-D卷积层集成，而在频域中，将来自原始通道和超定向波束成形输出的对数功率谱（LPS）特征与第二2-D卷积层组合。为了充分整合多通道语音的丰富信息，即时频域特征和阵列几何形状，我们在第二融合阶段应用第三个2-D卷积层以获得最终的卷积特征。此外，我们建议使用一个固定的干净的声学模型训练的端到端的无格最大互信息标准，以强制增强输出具有相同的分布作为干净的波形，以减轻增强任务的过估计问题和约束失真。在ConferencingSpeech 2021挑战的Task 1开发数据集上，与官方基线和最近提出的多通道分离方法相比，PESQ分别提高了0.24和0.19。
2021-09-24 cs.SD eess.AS eess.SP
Convolutional Neural Network-based Speech Enhancement for Cochlear Implant Recipients
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
为人工耳蜗（CI）用户开发具有改进的语音可懂度的语音增强算法的尝试已经取得了有限的成功。为了改善语音增强方法CI用户，我们建议进行语音增强耳蜗滤波器银行的特征空间，一个功能集专门为CI用户设计的基础上CI听觉刺激。我们利用卷积神经网络（CNN）来提取环境声学和语音的平稳和非平稳分量。我们提出了三种CNN架构：（1）直接生成增强信号的香草型CNN;（2）首先预测噪声，然后通过从噪声信号中减去噪声来生成增强信号的谱减法型CNN（SS-CNN）;（3）生成用于抑制噪声的最佳掩码的维纳型CNN（Wiener-CNN）。所提出的网络的一个重要问题是，它们引入了相当大的延迟，这限制了CI用户的实时应用。为了解决这个问题，本研究还考虑了这些网络的因果变化。我们的实验表明，所提出的网络（因果和非因果形式）实现了显着改善现有的基线系统。我们还发现，因果Wiener-CNN优于其他网络，并导致最佳的整体包络系数测量（ECM）。所提出的算法代表了一个可行的选择CCi-MOBILE的研究平台上实现的CI用户在自然环境中作为一个预处理器。
2019-07-03 cs.LG cs.SD eess.AS
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学资讯工程学系）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
本研究提出一种全卷积网络（FCN）模型，用于基于原始波形的语音增强。所提出的系统在端到端（即，波形输入和波形输出）方式，这不同于处理幅度谱的大多数现有去噪方法（例如，对数功率谱（LPS））。由于深度神经网络（DNN）和卷积神经网络（CNN）中涉及的全连接层可能无法准确表征语音信号的局部信息，特别是高频分量，因此我们采用全卷积层来建模波形。更具体地说，FCN仅由卷积层组成，因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明，基于DNN和CNN的模型恢复波形高频分量的能力有限，从而导致增强语音的可懂度降低。相比之下，所提出的FCN模型不仅可以有效地恢复波形，而且在短时客观可懂度（STOI）和语音质量感知评估（PESQ）方面优于基于LPS的DNN基线。此外，与DNN和CNN相比，FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union（库珀联盟学院）
本文将描述一种新的方法，鸡尾酒会的问题，依赖于一个完全卷积神经网络（FCN）架构。FCN将噪声音频数据作为输入，并执行非线性滤波操作，以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型，然后能够从串音背景噪声中提取扬声器的声音。实验结果表明，该方法具有推广到新的说话人的能力，并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调，并部署到助听器上，以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Multichannel Speech Enhancement by Raw Waveform-mapping using Fully Convolutional Networks
National Taiwan University（台湾大学）；Academia Sinica（台湾中央研究院）；National Cheng-Kung University（台湾成功大学）
近年来，基于波形映射的语音增强（SE）方法引起了人们的广泛关注。这些方法通常使用深度学习模型来直接处理和重构语音波形。由于输入和输出都是波形形式的，基于波形映射的SE方法可以克服基于频谱映射的SE系统中可能遇到的不完美相位估计所引起的失真。到目前为止，大多数基于波形映射的SE方法都集中在单通道任务上。在本文中，我们提出了一种新的全卷积网络（FCN）与Sinc和膨胀的卷积层（称为SDFCN）的多通道SE，在时域中操作。我们还提出了一个扩展版本的SDFCN，称为残余SDFCN（称为rSDFCN）。所提出的方法进行评估，两个多通道SE任务，即双通道内耳麦克风SE任务和分布式麦克风SE任务。实验结果证实了所提出的SE系统在这两项任务上的出色去噪能力，以及使用残差架构对整体SE性能的好处。
2020-02-24 cs.LG cs.SD eess.AS
Self-Attention Generative Adversarial Network for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；HCMC University of Technology（胡志明市工业大学）；University of Oxford（牛津大学）；Singapore Institute of Technology（新加坡理工学院）
现有的用于语音增强的生成对抗网络（GANs）仅依赖于卷积运算，这可能会模糊序列输入的时间依赖性。为了解决这个问题，我们提出了一个自注意力层适应非本地注意力，再加上卷积和卷积层的语音增强GAN（SE GAN）使用原始信号输入。此外，我们经验性地研究了将自我注意力层放置在具有不同层索引的（去）卷积层以及在内存允许的情况下放置在所有卷积层的效果。我们的实验表明，引入自我注意SEGAN导致一致的改进，在增强性能的客观评价指标。此外，应用于不同的卷积（解）层不会显著改变性能，这表明它可以方便地应用于最高级别的卷积（解）层，具有最小的内存开销。
2021-02-06 cs.LG cs.SD eess.AS
WaveCRN: An Efficient Convolutional Recurrent Neural Network for End-to-end Speech Enhancement
由于端到端（E2E）神经网络模型具有简单的设计流程，因此用于语音增强（SE）的E2E神经网络模型引起了人们极大的兴趣。为了提高E2E模型的性能，在建模时应有效地考虑语音的局部性和时序性。然而，在大多数当前的E2E模型中，这些属性要么没有被充分考虑，要么太复杂而无法实现。在本文中，我们提出了一个有效的E2E SE模型，称为WaveCRN。在WaveCRN中，语音局部性特征由卷积神经网络（CNN）捕获，而局部性特征的时间序列属性由堆叠的简单递归单元（SRU）建模。与使用难以并行化的长短期记忆（LSTM）网络的传统时间序列模型不同，SRU可以在计算中高效并行化，模型参数甚至更少。此外，为了更有效地抑制噪声成分的输入嘈杂的语音，我们推导出一种新的限制性特征掩蔽（RFM）的方法，在隐藏层的特征图上进行增强，这是不同的方法，适用于估计的比率掩模的嘈杂的频谱特征，这是常用的语音分离方法。语音去噪和压缩语音恢复任务的实验结果证实，与SRU的轻量级架构和基于特征映射的RFM，WaveCRN执行与其他国家的最先进的方法，显着降低模型复杂度和推理时间的并行计算。
2020-11-26 cs.LG cs.SD eess.AS
Frequency Gating: Improved Convolutional Neural Networks for Speech Enhancement in the Time-Frequency Domain
University of Science and Technology of China（中国科学技术大学）
传统卷积神经网络（CNN）的优势之一是其固有的平移不变性。然而，对于在时间-频率域中的语音增强的任务，由于在频率方向上缺乏不变性，不能充分利用该属性。在本文中，我们提出通过引入一种方法来弥补这种低效率，我们称之为频率门控，以计算CNN的内核的乘法权重，以使它们依赖于频率。探讨了几种机制：时间选通，其中权重取决于先前时间帧;局部选通，其权重基于单个时间帧和与其相邻的时间帧生成;以及频率选通，其中每个内核被分配独立于输入数据的权重。与自动编码器的神经网络与跳跃连接的实验表明，本地和频率明智的门优于基线，因此是可行的方法来改善基于CNN的语音增强神经网络。此外，一个损失函数的基础上扩展的短时客观可懂度得分（ESTOI），我们表明优于标准均方误差（MSE）损失函数。
2020-11-08 cs.NE cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.（3M健康信息系统公司）
在许多语音处理应用中，语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的（SOTA）结果。一类被称为时间卷积网络（TCN）的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野（RF）。语音去混响的最新研究表明，TCN的最佳RF随语音信号的混响特性而变化。在这项工作中，提出了可变形卷积作为一种解决方案，允许TCN模型具有动态RF，可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比（SISDR）的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议，它提供了可比的分离性能更大，更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur（印度理工学院坎普尔分校）
本文综述基于卷积的语音信号处理模型（如CNNs、Conformers等）的统计背景与多场景应用，通过对比训练成本、模型大小等指标分析各模型优劣，为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
Exploiting Fully Convolutional Network and Visualization Techniques on Spontaneous Speech for Dementia Detection
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
在本文中，我们利用全卷积网络（FCN）来分析自发言语的音频数据以进行痴呆症检测。一个完全卷积的网络可以容纳不同长度的语音样本，从而使我们能够分析语音样本，而无需手动分割。具体来说，我们首先获得梅尔频率倒谱系数（MFCC）特征图从每个参与者的音频数据和转换语音分类任务的音频数据的图像分类任务MFCC特征图。然后，为了解决数据不足的问题，我们通过采用来自MobileNet架构和ImageNet数据集的预训练骨干卷积神经网络（CNN）模型来应用迁移学习。我们进一步构建了一个卷积层，使用Otsu的可视化方法生成热图，使我们能够了解时间序列音频片段对分类结果的影响。我们证明了我们的分类模型在测试数据集上达到了66.7%，是ADReSS挑战中提供的基线模型的62.5%。通过可视化技术，我们可以评估音频片段的影响，例如参与者的填充停顿和研究者的重复问题，对分类结果的影响。
2020-08-17 cs.SD eess.AS
Deep Convolutional Neural Network-based Inverse Filtering Approach for Speech De-reverberation
McGill University（麦吉尔大学）
本文介绍了一种使用深度卷积神经网络（CNN）进行单通道语音混响消除的谱域逆滤波方法。主要目标是更好地处理现实混响条件下，房间脉冲响应（RIR）滤波器比短时傅立叶变换（STFT）分析窗口长。为此，我们考虑混响语音信号的卷积传递函数（CTF）模型。在所提出的框架中，CNN架构被训练为直接估计CTF模型的逆滤波器。在CNN结构的各种选择中，我们考虑了U-网，它由具有跳跃连接的全卷积自动编码器网络组成。实验结果表明，在各种混响条件下，该方法都能获得比现有基准算法更好的去混响效果。
2020-10-15 cs.SD eess.AS
Quasi-Periodic Parallel WaveGAN Vocoder: A Non-autoregressive Pitch-dependent Dilated Convolution Model for Parametric Speech Generation
Nagoya University（名古屋大学）
在本文中，我们提出了一个并行的WaveGAN（PWG）类神经声码器与准周期（QP）架构，以提高PWG的音调可控性。PWG是一种紧凑的非自回归（non-AR）语音生成模型，其生成速度远远快于实时。在利用PWG作为声码器以基于诸如频谱和韵律特征的声学特征来生成语音的同时，PWG生成高保真语音。然而，当输入的声学特征包括看不见的音高时，PWG生成的语音的音高准确性降低，因为PWG的固定和通用网络没有语音周期性的先验知识。QPPWG采用了一个基音相关的扩张卷积网络（PDCNN）模块，通过动态改变网络结构将基音信息引入PWG，提高了vanilla PWG的基音可控性和语音建模能力。客观和主观评价结果表明，当QPPWG模型大小仅为vanilla PWG模型大小的70%时，QPPWG生成的语音具有更高的基音精度和相当的语音质量。
2020-08-07 cs.SD eess.AS
Voice Activity Detection for Ultrasound-based Silent Speech Interfaces using Convolutional Neural Networks
University of Szeged（塞格德大学）
当输入音频信号有噪声时，语音活动检测（VAD）不是一件容易的事情，当输入甚至不是音频记录时，它甚至更加复杂。这是无声语音接口（SSI）的情况下，我们记录的发音器官在讲话过程中的运动，我们的目标是从这个记录重建语音信号。我们的SSI系统从舌头运动的超声波视频合成语音，并且所得到的语音信号的质量通过诸如底层神经网络的均方误差损失函数和与原始相比重建语音的梅尔倒谱系数失真（MCD）的度量来评估。在这里，我们首先证明，在训练数据中的沉默量可以有MCD评估指标和神经网络模型的性能的影响。然后，我们训练一个卷积神经网络分类器来分离无声和含语音的超声舌图像，使用传统的VAD算法从相应的语音信号创建训练标签。在实验中，我们的基于超声的语音/沉默分离器实现了约85%的分类准确率和约86%的AUC得分。
2021-09-18 cs.SD eess.AS
Convolutional Neural Networks to Enhance Coded Speech
增强遭受远端声学背景噪声、量化噪声和潜在传输误差的编码语音是一项具有挑战性的任务。在这项工作中，我们提出了两种后处理方法，应用卷积神经网络（CNN）无论是在时域或倒谱域，以提高编码的语音没有任何修改的编解码器。时域方法遵循端到端的方式，而倒谱域方法使用具有倒谱域特征的分析-合成。在这两个域中的建议后处理器进行评估，各种窄带和宽带语音编解码器在广泛的条件。建议的后处理器提高语音质量（PESQ）高达0.25 MOS-LQO点G.711，0.30点G.726，0.82点G.722，和0.26点自适应多速率宽带编解码器（AMR-WB）。在一个主观的CCR听力测试中，G.711编码语音的后处理器超过了0.36 CMOS点的ITU-T标准化后滤波器的语音质量，并获得了1.77 CMOS点相比，传统的G.711，甚至比未编码的语音具有统计意义的明显偏好。源代码的倒谱域的方法来增强G.711编码的语音。
2019-01-24 cs.SD eess.AS
Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
PKSHA Technology, Inc.（PKSHA科技公司）
本文描述了一种基于深度卷积神经网络（CNN）的新型文本到语音（TTS）技术，而不使用任何递归单元。近年来，递归神经网络（RNN）已经成为对序列数据建模的标准技术，并且该技术已经被用于一些前沿的神经TTS技术中。然而，训练RNN组件通常需要非常强大的计算机，或者非常长的时间，通常需要几天或几周。另一方面，最近的其他研究表明，由于高度的并行性，基于CNN的序列合成可以比基于RNN的技术快得多。本文的目的是表明，一种替代的神经TTS仅基于CNN减轻这些经济成本的培训。在我们的实验中，使用配备两个GPU的普通游戏PC对所提出的深度卷积TTS进行了充分的过夜（15小时）训练，而合成语音的质量几乎可以接受。
2020-09-30 cs.AI cs.LG cs.SD
Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition
Samsung R&D Institute India – Bangalore（三星印度研发研究院（班加罗尔））；University of Southern California（南加州大学）
针对语音情感识别问题，本文提出基于语谱图、MFCCs等语音特征，结合焦点损失训练的残差卷积神经网络，通过聚焦难例优化训练，提升情感识别效果。
2019-06-11 cs.AI cs.LG cs.SD
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab（Brainekt AI实验室）；Khulna University of Engineering and Technology（库尔纳工程技术大学）
语音合成是通过深度学习自动化的具有挑战性的任务之一，也是一种低资源语言，很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本，非常短的句子等。这项工作试图通过将Byakta（有史以来第一个基于开源深度学习的双语（孟加拉语和英语）文本）引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集，用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
CGCNN: Complex Gabor Convolutional Neural Network on raw speech
University of Oxford（牛津大学）
卷积神经网络（CNN）已用于自动语音识别（ASR）中，以直接从原始信号而不是手工制作的声学特征学习表示，从而提供更丰富且无损的输入信号。最近的研究提出通过整合脉冲响应的形状来将先前的声学知识注入到第一卷积层，以便增加学习的声学模型的可解释性及其性能。我们建议将复Gabor滤波器与复值深度神经网络相结合，以取代通常的CNN权重核，以充分利用其最佳时频分辨率和复域。在TIMIT音素识别任务上进行的实验表明，该方法达到了顶级的性能，同时保持可解释性。
2020-02-11 cs.SD eess.AS
GM-TCNet: Gated Multi-scale Temporal Convolutional Network using Emotion Causality for Speech Emotion Recognition
Xiamen University（厦门大学）；Fudan University（复旦大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Fujian University of Technology（福建理工大学）
在人机交互中，语音情感识别（SER）在理解用户意图和改善交互体验方面起着至关重要的作用。虽然相似的情感演讲具有不同的扬声器特征，但具有共同的前因和后果，SER的一个重要挑战是如何通过演讲情感之间的因果关系产生鲁棒的和有区别的表示。在本文中，我们提出了一个门控多尺度时间卷积网络（GM-TCNet）构建一个新的情感因果关系表示学习组件与多尺度感受野。GM-TCNet部署了一种新的情感因果关系表示学习组件来捕获跨时域的情感动态，该组件由扩张的因果卷积层和门控机制构建。此外，它利用跳跃连接融合来自不同门控卷积块的高级特征来捕获人类语音中丰富而微妙的情感变化。GM-TCNet首先使用单一类型的特征，即梅尔频率倒谱系数作为输入，然后将其通过门控时间卷积模块以生成高级特征。最后，特征被馈送到情感分类器以完成SER任务。实验结果表明，我们的模型在大多数情况下保持最高的性能相比，国家的最先进的技术。
2022-10-28 cs.AI cs.HC cs.SD
Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
Baidu Research（百度研究院）；OpenAI（开放人工智能研究中心）；University of California, Berkeley（加州大学伯克利分校）
我们介绍了Deep Voice 3，一个完全卷积的基于注意力的神经文本到语音（TTS）系统。Deep Voice 3在自然度方面与最先进的神经语音合成系统相匹配，同时训练速度快十倍。我们将Deep Voice 3扩展到TTS前所未有的数据集大小，对来自2000多个扬声器的800多个小时的音频进行训练。此外，我们确定了常见的错误模式的注意力为基础的语音合成网络，演示了如何减轻他们，并比较几种不同的波形合成方法。我们还描述了如何在一台GPU服务器上将推理扩展到每天1000万次查询。
2018-02-22 cs.AI cs.CL cs.LG
Quasi-Periodic WaveNet Vocoder: A Pitch Dependent Dilated Convolution Model for Parametric Speech Generation
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Graduate School of Information Science, Nagoya University（名古屋大学信息科学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们提出了一个准周期神经网络（QPNet）声码器与一种新的网络结构命名为间距相关的扩张卷积（PDCNN），以提高音调的可控性的WaveNet（WN）声码器。WN声码器从给定的声学特征产生高保真语音样本的有效性最近已被证明。然而，由于固定的扩张卷积和通用的网络架构，WN声码器几乎不产生具有给定的F0值的语音，这些F0值在训练数据中观察到的范围之外。因此，WN声码器缺乏音调可控性，这是传统声码器的基本能力之一。为了解决这一限制，我们提出了PDCNN组件，它具有与给定的F0值相关的时变自适应膨胀大小和QPNet声码器的级联网络结构，以生成语音等准周期信号。进行了客观和主观测试，实验结果表明，更好的音高可控性的QPNet声码器相比，相同和两倍大小的WN声码器，同时达到可比的语音质量。索引术语：WaveNet，声码器，准周期信号，音高相关扩张卷积，音高可控性
2020-03-22 cs.SD eess.AS
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation（NAVER 公司）
在这项工作中，我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统，执行二进制分类是否包含重叠的语音帧，所提出的方法分为三类：非语音，单扬声器语音，和重叠的语音。通过使用更详细的标签定义训练网络，模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能，精确度为0.6648，召回率为0.3222，显示召回率增加了20%，精确度也更高。此外，我们还介绍了一个简单的方法，利用建议的重叠语音检测模型的说话人日记，排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Image to Image Translation based on Convolutional Neural Network Approach for Speech Declipping
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Tehran（德黑兰大学）；Buein Zahra Technical University（布因扎赫拉科技大学）
限幅作为一种常见的非线性失真，由于录音机动态范围的限制而经常发生。它降低了语音质量和可懂度，并对语音和说话人识别的性能产生不利影响。在本文中，我们专注于通过使用全卷积神经网络作为U-Net来增强削波语音。受图像到图像平移思想的启发，本文提出了一种去削方法，即U-Net去削器，将削波信号的幅度谱图像平移到干净信号的相应图像上。实验结果表明，该方法优于其他去唇方法的质量和可懂度的措施，特别是在严重的削波情况下。此外，在加性高斯噪声条件下，U-Net的declipper的性能优于著名的declipping方法进行了验证。
2019-10-26 cs.SD eess.AS
Multi-Time-Scale Convolution for Emotion Recognition from Speech Audio Signals
City, University of London（伦敦城市大学）
对时间变化的鲁棒性对于从语音音频中识别情感是重要的，因为情感是通过复杂的频谱模式来表达的，该频谱模式可以根据说话者和上下文在时间轴上表现出显著的局部膨胀和压缩。为了解决这个问题和潜在的其他任务，我们引入了多时间尺度（MTS）的方法，以创建灵活性对时间变化时，分析音频数据的时间-频率表示。MTS使用卷积核扩展卷积神经网络，这些卷积核沿时间轴缩放和重新采样，以增加时间灵活性，而不增加与标准卷积层相比的可训练参数的数量。我们使用4个不同大小的数据集，在不同的架构中评估MTS和标准卷积层，以从语音音频中进行情感识别。结果表明，与标准卷积相比，MTS层的使用始终提高了不同容量和深度的网络的泛化能力，特别是在较小的数据集上
2020-03-06 cs.LG cs.SD eess.AS
Detection of Glottal Closure Instants from Raw Speech using Convolutional Neural Networks
Indian Institute of Technology, Delhi（德里印度理工学院）
声门闭合瞬间（GCI）对应于有声语音产生过程中出现的声道显著兴奋的时间位置。从语音信号中检测GCI在语音处理中的重要性是一个被广泛研究的问题。大多数现有的GCI检测方法采用两阶段方法（i）将语音信号变换为GCI更好地定位的代表信号，（ii）使用在第一阶段中获得的代表信号提取GCI。前一阶段是使用基于语音产生原理的信号处理技术完成的，后一阶段是使用动态编程和峰值拾取等复杂算法完成的。因此，这些方法是特定于任务的，并且依赖于用于代表性信号提取的方法。然而，在本文中，我们制定的GCI检测问题，从表示学习的角度来看，适当的表示隐式地从原始语音数据样本学习。具体地，GCI检测被转换为使用深度卷积神经网络联合优化分类和回归成本来解决的监督多任务学习问题。在标准数据集上的几个实验证明了学习能力。结果比较以及与国家的最先进的算法，而在现实世界的非平稳噪声的存在下，表现更好。
2019-07-09 cs.SD eess.AS
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
3D Convolutional Neural Networks for Ultrasound-Based Silent Speech Interfaces
University of Szeged（塞格德大学）
无声语音接口（SSI）旨在从发音运动的记录（诸如舌头的超声视频）重建语音信号。目前，深度神经网络是完成这一任务最成功的技术。有效的解决方案需要不简单地处理单个图像的方法，而是能够从视频帧序列中提取舌头运动信息。为此，一种选择是应用递归神经结构，例如长短期记忆网络（LSTM）与2D卷积神经网络（CNN）的组合。在这里，我们实验了另一种方法，该方法扩展了CNN以执行3D卷积，其中额外的维度对应于时间。特别是，我们应用的空间和时间卷积的分解形式，这证明了非常成功的最近在视频动作识别。我们通过实验发现，我们的3D网络优于CNN+LSTM模型，这表明3D CNN可能是SSI系统中CNN+LSTM网络的可行替代方案。
2021-04-23 cs.CL cs.SD eess.AS
Affective Burst Detection from Speech using Kernel-fusion Dilated Convolutional Neural Networks
KUIS-AI Laboratory（KUIS人工智能实验室）
随着语音接口的日益丰富和普及，语音情感识别的应用前景越来越广阔。在连续情感识别（CER）问题中，跟踪情感状态的变化是一个重要的和期望的能力。尽管CER研究在评估中广泛使用相关性度量，但这些度量并不总是捕获情感领域中的所有高强度变化。在本文中，我们定义了一个新的情感突发检测问题，以准确地捕捉高强度的变化的情感属性。对于这个问题，我们制定了两个类的分类方法，隔离情感状态轮廓的情感爆发区域。该分类器是一个核融合扩张卷积神经网络（KFDCNN）架构驱动的语音频谱特征分割成空闲和突发部分的情感属性轮廓。在RECOLA和CreativeIT数据集上进行实验评估。在两个数据集上，观察到建议的KFDCNN优于基线前馈神经网络。
2021-10-08 cs.HC cs.SD eess.AS
