The PCG-AIID System for L3DAS22 Challenge: MIMO and MISO convolutional recurrent Network for Multi Channel Speech Enhancement and Speech Recognition
Tencent PCG（腾讯平台与内容事业群）
本文介绍了PCG-AIID系统在L3 DAS 22挑战任务1：办公室混响环境下的三维语音增强中的应用。我们提出了一个两阶段的框架来解决多通道语音去噪和去混响。在第一级中，多输入多输出（MIMO）网络被应用于去除背景噪声，同时保持多通道信号的空间特性。在第二阶段中，多输入和单输出（MISO）网络被应用于从期望的方向和后滤波来增强语音。因此，我们的系统在ICASSP 2022 L3 DAS 22挑战中排名第三，并显著优于基线系统，同时在盲测集上实现了3.2%的WER和0.972的STOI。
2022-02-21 cs.SD eess.AS
Speech Dereverberation Using Fully Convolutional Networks
Bar-Ilan University（巴伊兰大学）
本文讨论了使用单个麦克风的语音derverberation。最近的成功的全卷积网络（FCN）在许多图像处理应用的动机，我们调查他们的适用性，以增强语音信号表示的短时傅里叶变换（STFT）的图像。我们提出两种变化：一个“U-Net”，它是一个具有跳跃连接的编码器-解码器网络，以及一个具有U-Net作为生成器的生成对抗网络（GAN），它产生了一个更直观的代价函数用于训练。为了评估我们的方法，我们使用了来自REVERB挑战的数据，并将我们的结果与相同条件下的其他方法进行了比较。我们已经发现，我们的方法优于竞争的方法在大多数情况下。
2019-04-03 cs.SD eess.AS
Joint Multi-Channel Dereverberation and Noise Reduction Using a Unified Convolutional Beamformer With Sparse Priors
University of Oldenburg（奥尔登堡大学）
近年来，卷积加权功率最小化无失真响应（WPD）波束形成器被提出，它将多通道加权预测误差去混响和最小功率无失真响应波束形成相结合。为了优化卷积滤波器，利用时变高斯模型对期望的语音分量进行建模，与有噪声的麦克风信号相比，该时变高斯模型促进了期望的语音分量在短时傅里叶变换域中的稀疏性。在本文中，我们推广的卷积WPD波束形成器，通过使用lp-范数代价函数，引入一个可调的形状参数，使控制所需的语音分量的稀疏性。基于REVERB挑战数据集的实验表明，该方法在客观语音质量指标方面优于传统的卷积WPD波束形成器。
2023-03-13 cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks
College of Computer Science, Inner Mongolian University（内蒙古大学计算机学院）；Kingsoft AI Laboratory（金山人工智能实验室）
近几十年来，基于神经网络的语音增强方法显著提高了语音增强的性能。大多数方法都是直接或间接地估计出目标语音的时频（T-F）表示，然后利用估计出的T-F表示重新合成波形。在这项工作中，我们提出了时间卷积递归网络（TCRN），这是一种端到端模型，可以直接将噪声波形映射到干净波形。结合卷积和递归神经网络的TCRN能够有效地利用短期和长期信息。Futuremore，我们提出了在前向传播过程中重复下采样和上采样语音的架构。我们表明，与现有的卷积递归网络相比，我们的模型能够提高模型的性能。未来，我们提出了几个关键技术，以稳定的训练过程。实验结果表明，我们的模型始终优于现有的语音增强方法，在语音清晰度和质量。
2020-02-02 cs.LG cs.SD eess.AS
Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks
Clemson University（克莱姆森大学）；Nokia Bell Labs（诺基亚贝尔实验室）
多阶段学习是一种顺序调用多个深度学习模块的有效技术。本文通过使用多级结构将多级学习应用于语音增强，其中每一级包括自注意（SA）块，随后是具有加倍膨胀因子的时间卷积网络（TCN）块的堆叠。每个阶段生成一个预测，该预测在后续阶段中被细化。融合块被插入在后面的级的输入处以重新注入原始信息。将所得到的多阶段语音增强系统（简而言之，多阶段SA-TCN）与使用LibriSpeech和VCTK数据集的最先进的深度学习语音增强方法进行比较。对多级SA-TCN系统的超参数进行微调，确定SA块、融合块和级数的影响。使用多级SA-TCN系统作为前端的自动语音识别系统进行了研究。结果表明，多级SA-TCN系统表现良好，相对于其他国家的最先进的系统方面的语音增强和语音识别分数。
2021-02-24 cs.SD eess.AS
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
最近，渐进式学习已经显示出其在与基于深度神经网络（DNN）和长短期记忆（LSTM）的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力，特别是在低信噪比（SNR）条件下。然而，由于大量的参数和高计算复杂性，很难在当前资源有限的微控制器中实现，因此，对于实际应用而言，显著减少参数的数量和计算负荷是必要的。为此，我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN，它利用了卷积神经网络和递归神经网络，大大减少了参数的数量，同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性，并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法，并且在客观测量方面，它也得到了接近甚至优于CRNN的结果。与PL-DNN，PL-LSTM和CRNN相比，所提出的PL-CRNN算法可以分别减少高达93%，97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已被提出用于语音去混响任务中的序列建模。在这项工作中，加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明，这种加权多膨胀时间卷积网络（WD-TCN）在各种模型配置中始终优于TCN，并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比，最佳性能改善为0.55 dB尺度不变信号失真比（SISDR），而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.（罗技欧洲股份公司）
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的，它们可以从称为房间脉冲响应（RIR）的房间测量中得出。然而，测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明，人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展，并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明，卷积循环神经网络在这项任务中表现最好，并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Convolutional Recurrent Neural Network with Attention for 3D Speech Enhancement
Northwestern Polytechnical University（西北工业大学）
本文提出一种结合双路径循环神经网络块与注意力机制的U-Net架构用于3D语音增强，通过在时频域和时域联合优化网络，在ICASSP L3DAS23挑战赛数据集上超越了现有最先进系统。
2023-11-20 cs.SD eess.AS
SkipConvNet: Skip Convolutional Neural Network for Speech Dereverberation using Optimally Smoothed Spectral Mapping
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；JD AI Research, JD.com（京东集团京东人工智能研究院）
最近的研究在许多语音应用中已经成功地证明了使用全卷积网络（FCN）的可靠性。这些FCNs最流行的变体之一是“U-Net”，这是一种具有跳过连接的编码器-解码器网络。在这项研究中，我们提出了“SkipConvNet”，其中我们用多个卷积模块替换每个跳过连接，为解码器提供直观的特征图，而不是编码器的输出，以提高网络的学习能力。我们还建议使用功率谱密度（PSD）的最佳平滑作为预处理步骤，这有助于进一步提高网络的效率。为了评估我们提出的系统，我们使用REVERB挑战语料库，以评估在相同条件下的各种增强方法的性能。我们专注于监测语音质量的改善及其对提高后端语音系统效率的贡献，例如仅在干净语音上训练的语音识别和说话人验证。实验结果表明，该系统始终优于其他方法。
2020-07-17 cs.SD eess.AS eess.SP
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group（阿里巴巴集团）
针对单声道语音增强任务，提出轻量级复卷积块注意力模块（CCBAM）并结合联合时频损失函数，集成到深度复U-Net和CRN中形成新端到端框架，实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Receptive Field Analysis of Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响通常是鲁棒语音处理任务中的重要要求。有监督的深度学习（DL）模型为单通道语音去混响提供了最先进的性能。时间卷积网络（TCN）通常用于语音增强任务中的序列建模。TCN的一个特征是它们具有依赖于特定模型配置的感受野（RF），该模型配置确定可以被观察以产生单个输出帧的输入帧的数量。它已被证明，TCN是能够执行去混响的模拟语音数据，然而，一个彻底的分析，特别是与RF的重点还缺乏在文献中。本文分析了TCN的模型尺寸和RF对混响抑制性能的影响。实验使用WHAMR语料库，扩展到包括房间脉冲响应（RIR）与较大的T60值表明，一个较大的RF可以有显着的改善性能时，训练较小的TCN模型。它还表明，TCN受益于更广泛的RF时，去混响RIR与较大的RT60值。
2022-07-01 cs.LG cs.SD eess.AS
Convolutional-Recurrent Neural Networks for Speech Enhancement
Microsoft Research（微软研究院）
我们提出了一种基于卷积和循环神经网络的端到端语音增强模型。我们的模型纯粹是数据驱动的，不对噪声的类型或平稳性做任何假设。与使用多层感知器（MLP）的现有方法相比，我们采用卷积和递归神经网络架构。因此，我们的方法使我们能够利用频域和时间域中的局部结构。通过将语音信号的先验知识结合到模型结构的设计中，我们建立了一个模型，该模型具有更高的数据效率，并且对可见和不可见的噪声都具有更好的泛化能力。基于对合成数据的实验，我们证明了我们的模型优于现有的方法，在可见噪声和不可见噪声上分别将PESQ提高了0.6和0.64。
2018-05-02 cs.CL cs.LG cs.SD
Convolutional Neural Network-based Speech Enhancement for Cochlear Implant Recipients
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
为人工耳蜗（CI）用户开发具有改进的语音可懂度的语音增强算法的尝试已经取得了有限的成功。为了改善语音增强方法CI用户，我们建议进行语音增强耳蜗滤波器银行的特征空间，一个功能集专门为CI用户设计的基础上CI听觉刺激。我们利用卷积神经网络（CNN）来提取环境声学和语音的平稳和非平稳分量。我们提出了三种CNN架构：（1）直接生成增强信号的香草型CNN;（2）首先预测噪声，然后通过从噪声信号中减去噪声来生成增强信号的谱减法型CNN（SS-CNN）;（3）生成用于抑制噪声的最佳掩码的维纳型CNN（Wiener-CNN）。所提出的网络的一个重要问题是，它们引入了相当大的延迟，这限制了CI用户的实时应用。为了解决这个问题，本研究还考虑了这些网络的因果变化。我们的实验表明，所提出的网络（因果和非因果形式）实现了显着改善现有的基线系统。我们还发现，因果Wiener-CNN优于其他网络，并导致最佳的整体包络系数测量（ECM）。所提出的算法代表了一个可行的选择CCi-MOBILE的研究平台上实现的CI用户在自然环境中作为一个预处理器。
2019-07-03 cs.LG cs.SD eess.AS
Multichannel Speech Enhancement by Raw Waveform-mapping using Fully Convolutional Networks
National Taiwan University（台湾大学）；Academia Sinica（台湾中央研究院）；National Cheng-Kung University（台湾成功大学）
近年来，基于波形映射的语音增强（SE）方法引起了人们的广泛关注。这些方法通常使用深度学习模型来直接处理和重构语音波形。由于输入和输出都是波形形式的，基于波形映射的SE方法可以克服基于频谱映射的SE系统中可能遇到的不完美相位估计所引起的失真。到目前为止，大多数基于波形映射的SE方法都集中在单通道任务上。在本文中，我们提出了一种新的全卷积网络（FCN）与Sinc和膨胀的卷积层（称为SDFCN）的多通道SE，在时域中操作。我们还提出了一个扩展版本的SDFCN，称为残余SDFCN（称为rSDFCN）。所提出的方法进行评估，两个多通道SE任务，即双通道内耳麦克风SE任务和分布式麦克风SE任务。实验结果证实了所提出的SE系统在这两项任务上的出色去噪能力，以及使用残差架构对整体SE性能的好处。
2020-02-24 cs.LG cs.SD eess.AS
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union（库珀联盟学院）
本文将描述一种新的方法，鸡尾酒会的问题，依赖于一个完全卷积神经网络（FCN）架构。FCN将噪声音频数据作为输入，并执行非线性滤波操作，以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型，然后能够从串音背景噪声中提取扬声器的声音。实验结果表明，该方法具有推广到新的说话人的能力，并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调，并部署到助听器上，以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Multi-channel Speech Enhancement with 2-D Convolutional Time-frequency Domain Features and a Pre-trained Acoustic Model
Xiaomi Corporation（小米公司）
本文提出了一种多通道语音增强方法，该方法采用了一种新的两阶段特征融合方法和一种多任务学习范式中的预训练声学模型。在第一融合阶段，分别提取时域和频域特征。在时域中，计算多通道卷积和（MCS）和通道间卷积差（ICD）特征，然后将其与第一2-D卷积层集成，而在频域中，将来自原始通道和超定向波束成形输出的对数功率谱（LPS）特征与第二2-D卷积层组合。为了充分整合多通道语音的丰富信息，即时频域特征和阵列几何形状，我们在第二融合阶段应用第三个2-D卷积层以获得最终的卷积特征。此外，我们建议使用一个固定的干净的声学模型训练的端到端的无格最大互信息标准，以强制增强输出具有相同的分布作为干净的波形，以减轻增强任务的过估计问题和约束失真。在ConferencingSpeech 2021挑战的Task 1开发数据集上，与官方基线和最近提出的多通道分离方法相比，PESQ分别提高了0.24和0.19。
2021-09-24 cs.SD eess.AS eess.SP
BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions
University of Science and Technology of China（中国科学技术大学）；Sichuan University（四川大学）
本文提出时域脑辅助语音增强网络BASEN，结合听众脑电信号与全卷积时域音频分离网络，并引入卷积多层交叉注意力模块融合双分支特征，在多说话人条件下有效提取目标说话人且优于现有方法。
2023-05-17 cs.AI cs.SD eess.AS
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学资讯工程学系）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
本研究提出一种全卷积网络（FCN）模型，用于基于原始波形的语音增强。所提出的系统在端到端（即，波形输入和波形输出）方式，这不同于处理幅度谱的大多数现有去噪方法（例如，对数功率谱（LPS））。由于深度神经网络（DNN）和卷积神经网络（CNN）中涉及的全连接层可能无法准确表征语音信号的局部信息，特别是高频分量，因此我们采用全卷积层来建模波形。更具体地说，FCN仅由卷积层组成，因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明，基于DNN和CNN的模型恢复波形高频分量的能力有限，从而导致增强语音的可懂度降低。相比之下，所提出的FCN模型不仅可以有效地恢复波形，而且在短时客观可懂度（STOI）和语音质量感知评估（PESQ）方面优于基于LPS的DNN基线。此外，与DNN和CNN相比，FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
WaveCRN: An Efficient Convolutional Recurrent Neural Network for End-to-end Speech Enhancement
由于端到端（E2E）神经网络模型具有简单的设计流程，因此用于语音增强（SE）的E2E神经网络模型引起了人们极大的兴趣。为了提高E2E模型的性能，在建模时应有效地考虑语音的局部性和时序性。然而，在大多数当前的E2E模型中，这些属性要么没有被充分考虑，要么太复杂而无法实现。在本文中，我们提出了一个有效的E2E SE模型，称为WaveCRN。在WaveCRN中，语音局部性特征由卷积神经网络（CNN）捕获，而局部性特征的时间序列属性由堆叠的简单递归单元（SRU）建模。与使用难以并行化的长短期记忆（LSTM）网络的传统时间序列模型不同，SRU可以在计算中高效并行化，模型参数甚至更少。此外，为了更有效地抑制噪声成分的输入嘈杂的语音，我们推导出一种新的限制性特征掩蔽（RFM）的方法，在隐藏层的特征图上进行增强，这是不同的方法，适用于估计的比率掩模的嘈杂的频谱特征，这是常用的语音分离方法。语音去噪和压缩语音恢复任务的实验结果证实，与SRU的轻量级架构和基于特征映射的RFM，WaveCRN执行与其他国家的最先进的方法，显着降低模型复杂度和推理时间的并行计算。
2020-11-26 cs.LG cs.SD eess.AS
Multi-Loss Convolutional Network with Time-Frequency Attention for Speech Enhancement
Chongqing University of Posts and Telecommunications（重庆邮电大学）；vivo Mobile Commun co Ltd（维沃移动通信有限公司）
针对语音增强任务，该研究在DPCRN基础上引入轴向自注意力机制捕捉长时信息，结合多分辨率STFT与预训练WavLM损失进行联合训练，在仅0.23M参数的条件下实现了优于DPCRN的性能。
2023-06-15 cs.SD eess.AS stat.ML
HGCN: Harmonic gated compensation network for speech enhancement
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；China Mobile Research Institute（中国移动研究院）
基于神经网络的时频域掩蔽处理已成为单通道语音增强的主流之一。然而，这是很难为大多数模型来处理的情况下，谐波被部分掩盖的噪声。为了应对这一挑战，我们提出了谐波门控补偿网络（HGCN）。为了提高谐波位置预测的准确性，我们设计了一种高分辨率的谐波积分谱。然后，我们加入语音活动检测（VAD）和浊音区域检测（VRD）的卷积递归网络（CRN）过滤谐波位置。最后，谐波门控机制用于指导补偿模型调整CRN的粗略结果，以获得精细增强的结果。我们的实验表明，HGCN在社区中的一些先进的方法实现了实质性的收益。
2022-03-16 cs.SD eess.AS
PrimeK-Net: Multi-scale Spectral Learning via Group Prime-Kernel Convolutional Neural Networks for Single Channel Speech Enhancement
School of Electronic Information, Sichuan University（四川大学电子信息学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Medicine, Tohoku University（东北大学医学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学及翻译学系）
针对单通道语音增强中计算效率与频谱多尺度分布问题，提出PrimeK-Net，结合DSDDB和GPFCA模块，在VoiceBank+Demand数据集上以1.41M参数实现PESQ 3.61的SOTA性能。
2025-02-27 cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
Self-Attention Generative Adversarial Network for Speech Enhancement
Queen Mary University of London（伦敦玛丽女王大学）；HCMC University of Technology（胡志明市工业大学）；University of Oxford（牛津大学）；Singapore Institute of Technology（新加坡理工学院）
现有的用于语音增强的生成对抗网络（GANs）仅依赖于卷积运算，这可能会模糊序列输入的时间依赖性。为了解决这个问题，我们提出了一个自注意力层适应非本地注意力，再加上卷积和卷积层的语音增强GAN（SE GAN）使用原始信号输入。此外，我们经验性地研究了将自我注意力层放置在具有不同层索引的（去）卷积层以及在内存允许的情况下放置在所有卷积层的效果。我们的实验表明，引入自我注意SEGAN导致一致的改进，在增强性能的客观评价指标。此外，应用于不同的卷积（解）层不会显著改变性能，这表明它可以方便地应用于最高级别的卷积（解）层，具有最小的内存开销。
2021-02-06 cs.LG cs.SD eess.AS
Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）；University of Oldenburg（奥尔登堡大学）
在多说话人环境下，语音增强算法的性能取决于正确识别要增强的目标说话人。听觉注意解码（AAD）方法允许从单次试验EEG记录中识别听者正在注意的目标说话者。针对增强目标说话人和抑制干扰说话人、混响和环境噪声的问题，本文提出了一种认知驱动的多麦克风语音增强系统，该系统结合了基于神经网络的掩蔽估计器、加权最小功率无失真响应卷积波束形成器和AAD。为了控制干扰扬声器的抑制，我们还提出了一个扩展，将干扰抑制约束。实验结果表明，该系统优于国家的最先进的认知驱动的语音增强系统在具有挑战性的混响和噪声条件。
2020-05-10 cs.SD eess.AS eess.SP
Domain-Adaptive Dual-Gating Mixture of Experts for Generalizable Speech Deepfake Detection
The Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）
提出域自适应双门控专家混合框架，利用Sinc层和域原型指导路由，在跨数据集基准上实现高达40.8%的EER降低，提升语音深度伪造检测的泛化能力。
2026-09-29 cs.SD eess.AS
Using recurrences in time and frequency within U-net architecture for speech enhancement
StethoMe（StethoMe公司）；Poznan University of Technology（波兹南理工大学）
当设计全卷积神经网络时，在网络的较深层中的感受野大小、参数数量和特征的空间分辨率之间存在折衷。在这项工作中，我们提出了一种新的网络设计，基于许多卷积层和递归层的组合，解决了这些难题。我们比较我们的解决方案与U-网为基础的模型，从文献和其他基线模型的语音增强任务。我们测试我们的解决方案TIMIT语音话语结合噪声段从NOISEX-92数据库中提取的SDR（信号失真比），SIR（信号干扰比）和STOI（光谱时间客观可懂度）指标相比，目前最先进的提出的解决方案具有明显的优势。
2018-11-16 cs.LG cs.SD eess.AS
Multilingual Speech Emotion Recognition With Multi-Gating Mechanism and Neural Architecture Search
Columbia University（哥伦比亚大学）；JP Morgan AI Research（摩根大通人工智能研究院）
语音情感识别（SER）将音频分为情感类别，如快乐，愤怒，恐惧，厌恶和中性。虽然语音情感识别（SER）是流行语言的常见应用，但它仍然是低资源语言的问题，即，没有预先训练的语音到文本识别模型的语言。本文首先提出了一种从多个预先训练好的语音模型中提取情感信息的特定语言模型，然后设计了一种多领域模型，可以同时对多种语言进行SER。我们的多域模型采用多门机制，以产生独特的加权特征组合，为每种语言，也搜索特定的神经网络结构，为每种语言通过神经架构搜索模块。此外，我们引入了一个对比辅助损失，以建立更可分离的音频数据表示。我们的实验表明，我们的模型提高了3%的最先进的准确性为德国和法国的14.3%。
2022-11-16 cs.CL cs.SD eess.AS
Formant Tracking Using Dilated Convolutional Networks Through Dense Connection with Gating Mechanism
Beijing Language and Culture University（北京语言大学）；TU Dresden（德累斯顿工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent Science and Technology Ltd.（腾讯科技有限公司）
语音跟踪是语音处理中最基本的问题之一。传统上，使用信号处理方法来估计共振峰。最近的研究表明，通用卷积架构在语音合成和机器翻译等时间任务上的表现优于递归网络。在本文中，我们探讨了使用时间卷积网络（TCN）的共振峰跟踪。除了传统的实现，我们从三个方面修改的架构。首先，我们关闭了扩张卷积的“因果”模式，使扩张卷积看到未来的语音帧。第二，每个隐藏层通过密集连接重用所有前一层的输出信息。第三，我们还采用了一种门控机制，通过选择性地遗忘不重要的信息来缓解梯度消失的问题。该模型在开放存取共振峰数据库VTR上进行了验证。实验表明，我们提出的模型很容易收敛，在语音标记帧上实现了8.2%的总体平均绝对误差百分比（MAPE），而三个竞争基线分别为9.4%（LSTM），9.1%（Bi-LSTM）和8.9%（TCN）。
2020-08-08 cs.SD eess.AS
Multi-level SSL Feature Gating for Audio Deepfake Detection
Univ Rennes, IRISA, CNRS（里昂大学、IRISA、CNRS）；Univ Bretagne Sud, IRISA, CNRS（布列塔尼南大学、IRISA、CNRS）
针对音频深度伪造检测泛化性不足的问题，提出结合XLS-R特征门控、多核门控卷积与CKA多样性约束的方法，实现域内最优及多语言域外稳健泛化。
2025-09-03 cs.AI cs.MM cs.SD
Outlier Reduction with Gated Attention for Improved Post-training Quantization in Large Sequence-to-sequence Speech Foundation Models
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
针对 Whisper 语音模型蒸馏后 PTQ 受权重与激活异常值影响的问题，本文在学生模型注意力块中引入门控机制以减少异常值，实现有效 8 比特量化并降低词错误率。
2024-06-16 cs.SD eess.AS
Differential Evolution Algorithm based Hyper-Parameters Selection of Convolutional Neural Network for Speech Command Recognition
National Institute of Technology, Durgapur（杜尔加布尔国家技术学院）；Indian Institute of Engineering Science and Technology, Shibpur（希布尔印度工程科学技术学院）；University of Waterloo（滑铁卢大学）
本文提出基于差分进化算法的卷积神经网络超参数选择方法，用于提升语音命令识别性能，在GSC数据集上的实验及对比分析证明了其有效性与效率。
2023-10-13 cs.NE cs.SD eess.AS
Exploiting Fully Convolutional Network and Visualization Techniques on Spontaneous Speech for Dementia Detection
University of Massachusetts Boston（马萨诸塞大学波士顿分校）
在本文中，我们利用全卷积网络（FCN）来分析自发言语的音频数据以进行痴呆症检测。一个完全卷积的网络可以容纳不同长度的语音样本，从而使我们能够分析语音样本，而无需手动分割。具体来说，我们首先获得梅尔频率倒谱系数（MFCC）特征图从每个参与者的音频数据和转换语音分类任务的音频数据的图像分类任务MFCC特征图。然后，为了解决数据不足的问题，我们通过采用来自MobileNet架构和ImageNet数据集的预训练骨干卷积神经网络（CNN）模型来应用迁移学习。我们进一步构建了一个卷积层，使用Otsu的可视化方法生成热图，使我们能够了解时间序列音频片段对分类结果的影响。我们证明了我们的分类模型在测试数据集上达到了66.7%，是ADReSS挑战中提供的基线模型的62.5%。通过可视化技术，我们可以评估音频片段的影响，例如参与者的填充停顿和研究者的重复问题，对分类结果的影响。
2020-08-17 cs.SD eess.AS
Deep Convolutional Neural Network-based Inverse Filtering Approach for Speech De-reverberation
McGill University（麦吉尔大学）
本文介绍了一种使用深度卷积神经网络（CNN）进行单通道语音混响消除的谱域逆滤波方法。主要目标是更好地处理现实混响条件下，房间脉冲响应（RIR）滤波器比短时傅立叶变换（STFT）分析窗口长。为此，我们考虑混响语音信号的卷积传递函数（CTF）模型。在所提出的框架中，CNN架构被训练为直接估计CTF模型的逆滤波器。在CNN结构的各种选择中，我们考虑了U-网，它由具有跳跃连接的全卷积自动编码器网络组成。实验结果表明，在各种混响条件下，该方法都能获得比现有基准算法更好的去混响效果。
2020-10-15 cs.SD eess.AS
Voice Activity Detection for Ultrasound-based Silent Speech Interfaces using Convolutional Neural Networks
University of Szeged（塞格德大学）
当输入音频信号有噪声时，语音活动检测（VAD）不是一件容易的事情，当输入甚至不是音频记录时，它甚至更加复杂。这是无声语音接口（SSI）的情况下，我们记录的发音器官在讲话过程中的运动，我们的目标是从这个记录重建语音信号。我们的SSI系统从舌头运动的超声波视频合成语音，并且所得到的语音信号的质量通过诸如底层神经网络的均方误差损失函数和与原始相比重建语音的梅尔倒谱系数失真（MCD）的度量来评估。在这里，我们首先证明，在训练数据中的沉默量可以有MCD评估指标和神经网络模型的性能的影响。然后，我们训练一个卷积神经网络分类器来分离无声和含语音的超声舌图像，使用传统的VAD算法从相应的语音信号创建训练标签。在实验中，我们的基于超声的语音/沉默分离器实现了约85%的分类准确率和约86%的AUC得分。
2021-09-18 cs.SD eess.AS
CGCNN: Complex Gabor Convolutional Neural Network on raw speech
University of Oxford（牛津大学）
卷积神经网络（CNN）已用于自动语音识别（ASR）中，以直接从原始信号而不是手工制作的声学特征学习表示，从而提供更丰富且无损的输入信号。最近的研究提出通过整合脉冲响应的形状来将先前的声学知识注入到第一卷积层，以便增加学习的声学模型的可解释性及其性能。我们建议将复Gabor滤波器与复值深度神经网络相结合，以取代通常的CNN权重核，以充分利用其最佳时频分辨率和复域。在TIMIT音素识别任务上进行的实验表明，该方法达到了顶级的性能，同时保持可解释性。
2020-02-11 cs.SD eess.AS
Convolutional Neural Networks to Enhance Coded Speech
增强遭受远端声学背景噪声、量化噪声和潜在传输误差的编码语音是一项具有挑战性的任务。在这项工作中，我们提出了两种后处理方法，应用卷积神经网络（CNN）无论是在时域或倒谱域，以提高编码的语音没有任何修改的编解码器。时域方法遵循端到端的方式，而倒谱域方法使用具有倒谱域特征的分析-合成。在这两个域中的建议后处理器进行评估，各种窄带和宽带语音编解码器在广泛的条件。建议的后处理器提高语音质量（PESQ）高达0.25 MOS-LQO点G.711，0.30点G.726，0.82点G.722，和0.26点自适应多速率宽带编解码器（AMR-WB）。在一个主观的CCR听力测试中，G.711编码语音的后处理器超过了0.36 CMOS点的ITU-T标准化后滤波器的语音质量，并获得了1.77 CMOS点相比，传统的G.711，甚至比未编码的语音具有统计意义的明显偏好。源代码的倒谱域的方法来增强G.711编码的语音。
2019-01-24 cs.SD eess.AS
Learning to Attend to Depression-Related Patterns: An Adaptive Cross-Modal Gating Network for Depression Detection
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Biomedical Imaging Science and System, Chinese Academy of Sciences（中国科学院生物医学成像科学与系统重点实验室）
本文提出自适应跨模态门控网络，通过动态分配帧权重来关注抑郁症相关段落，提升语音信号中抑郁症检测的准确性。
2026-04-11 cs.SD
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab（Brainekt AI实验室）；Khulna University of Engineering and Technology（库尔纳工程技术大学）
语音合成是通过深度学习自动化的具有挑战性的任务之一，也是一种低资源语言，很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本，非常短的句子等。这项工作试图通过将Byakta（有史以来第一个基于开源深度学习的双语（孟加拉语和英语）文本）引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集，用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Image to Image Translation based on Convolutional Neural Network Approach for Speech Declipping
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Tehran（德黑兰大学）；Buein Zahra Technical University（布因扎赫拉科技大学）
限幅作为一种常见的非线性失真，由于录音机动态范围的限制而经常发生。它降低了语音质量和可懂度，并对语音和说话人识别的性能产生不利影响。在本文中，我们专注于通过使用全卷积神经网络作为U-Net来增强削波语音。受图像到图像平移思想的启发，本文提出了一种去削方法，即U-Net去削器，将削波信号的幅度谱图像平移到干净信号的相应图像上。实验结果表明，该方法优于其他去唇方法的质量和可懂度的措施，特别是在严重的削波情况下。此外，在加性高斯噪声条件下，U-Net的declipper的性能优于著名的declipping方法进行了验证。
2019-10-26 cs.SD eess.AS
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation（NAVER 公司）
在这项工作中，我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统，执行二进制分类是否包含重叠的语音帧，所提出的方法分为三类：非语音，单扬声器语音，和重叠的语音。通过使用更详细的标签定义训练网络，模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能，精确度为0.6648，召回率为0.3222，显示召回率增加了20%，精确度也更高。此外，我们还介绍了一个简单的方法，利用建议的重叠语音检测模型的说话人日记，排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.（3M健康信息系统公司）
在许多语音处理应用中，语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的（SOTA）结果。一类被称为时间卷积网络（TCN）的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野（RF）。语音去混响的最新研究表明，TCN的最佳RF随语音信号的混响特性而变化。在这项工作中，提出了可变形卷积作为一种解决方案，允许TCN模型具有动态RF，可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比（SISDR）的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议，它提供了可比的分离性能更大，更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Detection of Glottal Closure Instants from Raw Speech using Convolutional Neural Networks
Indian Institute of Technology, Delhi（德里印度理工学院）
声门闭合瞬间（GCI）对应于有声语音产生过程中出现的声道显著兴奋的时间位置。从语音信号中检测GCI在语音处理中的重要性是一个被广泛研究的问题。大多数现有的GCI检测方法采用两阶段方法（i）将语音信号变换为GCI更好地定位的代表信号，（ii）使用在第一阶段中获得的代表信号提取GCI。前一阶段是使用基于语音产生原理的信号处理技术完成的，后一阶段是使用动态编程和峰值拾取等复杂算法完成的。因此，这些方法是特定于任务的，并且依赖于用于代表性信号提取的方法。然而，在本文中，我们制定的GCI检测问题，从表示学习的角度来看，适当的表示隐式地从原始语音数据样本学习。具体地，GCI检测被转换为使用深度卷积神经网络联合优化分类和回归成本来解决的监督多任务学习问题。在标准数据集上的几个实验证明了学习能力。结果比较以及与国家的最先进的算法，而在现实世界的非平稳噪声的存在下，表现更好。
2019-07-09 cs.SD eess.AS
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University（普渡大学）
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行，合成语音在今天是常见的。合成语音也可以用于邪恶的目的，包括创建一个声称的语音信号，并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中，我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer（CCT）的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络，从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练，我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
FurcaNet: An end-to-end deep gated convolutional, long short-term memory, deep neural networks for single channel speech separation
Fujitsu Research and Development Center（富士通研究开发中心）；Fujitsu Laboratories Ltd.（富士通实验室有限公司）；Harbin Institute of Technology（哈尔滨工业大学）
深度选通卷积网络已被证明在单通道语音分离中非常有效。然而，当前最先进的框架通常考虑在时频（TF）域中训练门控卷积网络。这种方法将导致感知得分有限，例如分离话语的信号失真比（SDR）上限，并且也无法利用端到端框架。在本文中，我们提出了一个集成的简单而有效的端到端的单声道语音分离的方法，它包括深门控卷积神经网络（GCNN），采取两个扬声器的混合话语，并将其映射到两个单独的话语，其中每个话语只包含一个扬声器的声音。此外，长短期记忆（LSTM）被用于长期时间建模。为此，我们提出了训练网络直接优化话语级SDR的排列不变训练（PIT）的风格。在公开的WSJ 0 - 2 mix数据语料库上的实验表明，该方法能够产生更有区分度的说话人分离结果，提高了说话人分离的性能。
2019-03-18 cs.SD eess.AS
Embedding Recurrent Layers with Dual-Path Strategy in a Variant of Convolutional Network for Speaker-Independent Speech Separation
Beijing University of Technology（北京工业大学）
近年来，随着深度神经网络（DNN）的发展，非特定人语音分离取得了显着的性能。从传统的卷积神经网络（CNN）和递归神经网络（RNN）到先进的Transformer，各种网络结构都被设计用于提高分离性能。然而，现有的模型在计算方面存在着模型规模大、内存消耗大、计算复杂等缺陷。为了找到性能和计算效率之间的平衡，并进一步探索传统网络结构的建模能力，我们将RNN和新提出的卷积网络变体结合起来，以解决语音分离问题。通过双路径策略将两个RNN嵌入到该变体的基本块中，该网络可以有效地学习局部信息和全局依赖性。此外，四阶段结构使得分离过程能够随着特征尺寸的增加而逐渐在越来越精细的尺度上进行。在不同数据集上的实验结果证明了该方法的有效性，并表明该方法在分离性能和计算效率之间取得了很好的平衡。
2022-06-16 cs.SD eess.AS
Affective Burst Detection from Speech using Kernel-fusion Dilated Convolutional Neural Networks
KUIS-AI Laboratory（KUIS人工智能实验室）
随着语音接口的日益丰富和普及，语音情感识别的应用前景越来越广阔。在连续情感识别（CER）问题中，跟踪情感状态的变化是一个重要的和期望的能力。尽管CER研究在评估中广泛使用相关性度量，但这些度量并不总是捕获情感领域中的所有高强度变化。在本文中，我们定义了一个新的情感突发检测问题，以准确地捕捉高强度的变化的情感属性。对于这个问题，我们制定了两个类的分类方法，隔离情感状态轮廓的情感爆发区域。该分类器是一个核融合扩张卷积神经网络（KFDCNN）架构驱动的语音频谱特征分割成空闲和突发部分的情感属性轮廓。在RECOLA和CreativeIT数据集上进行实验评估。在两个数据集上，观察到建议的KFDCNN优于基线前馈神经网络。
2021-10-08 cs.HC cs.SD eess.AS
Speech Paralinguistic Approach for Detecting Dementia Using Gated Convolutional Neural Network
Tokyo Institute of Technology（东京工业大学）；Keio University School of Medicine（庆应义塾大学医学部）
我们提出了一种非侵入性和成本效益的方法来自动检测痴呆症，仅利用语音音频数据。我们提取一个简短的语音片段的语言特征，并使用门控卷积神经网络（GCNN）将其分类为痴呆或健康。我们评估我们的方法上皮特语料库和我们自己的数据集，PROMPT数据库。我们的方法产生的准确性为73.1%的皮特语料库使用平均114秒的语音数据。在PROMPT数据库中，我们的方法使用4秒的语音数据产生74.7%的准确率，当我们使用所有患者的语音数据时，它提高到80.8%。此外，我们评估我们的方法上的三个类别的分类问题，其中我们包括轻度认知障碍（MCI）类，并实现了60.6%的准确率与40秒的语音数据。
2020-10-06 cs.LG cs.SD eess.AS
Speech Separation Using an Asynchronous Fully Recurrent Convolutional Neural Network
Tsinghua University（清华大学）；Columbia University（哥伦比亚大学）；University of Hamburg（汉堡大学）
神经网络结构设计的最新进展，特别是那些专门用于建模序列的结构，已经提供了语音分离性能的显著改进。在这项工作中，我们建议使用一种生物启发的架构，称为全递归卷积神经网络（FRCNN）来解决分离任务。该模型包含自下而上、自上而下和横向连接，以融合在\textit{stages}表示的各种时间尺度上处理的信息。与传统的并行更新阶段的方法不同，我们提出先自下而上逐个更新阶段，然后同时融合相邻阶段的信息，最后将所有阶段的信息融合到底层阶段。实验结果表明，这种异步更新方案取得了显着更好的效果，与传统的同步更新方案的参数少得多。此外，该模型在三个基准数据集上与其他最先进的模型相比，在语音分离精度和计算效率之间取得了良好的平衡。
2021-12-04 cs.SD eess.AS
