Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation（NAVER 公司）
在这项工作中，我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统，执行二进制分类是否包含重叠的语音帧，所提出的方法分为三类：非语音，单扬声器语音，和重叠的语音。通过使用更详细的标签定义训练网络，模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能，精确度为0.6648，召回率为0.3222，显示召回率增加了20%，精确度也更高。此外，我们还介绍了一个简单的方法，利用建议的重叠语音检测模型的说话人日记，排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
FurcaNeXt: End-to-end monaural speech separation with dynamic gated dilated temporal convolutional networks
Harbin Institute of Technology（哈尔滨工业大学）；Fujitsu R & D Center（富士通研发中心）；Shuangfeng First（双峰首（北京））
本文提出多种改进的时序卷积网络（FurcaNeXt等）用于端到端单耳语音分离，通过置换不变训练直接优化语句级SDR，在WSJ0-2mix上实现18.4dB提升。
2023-06-26 cs.SD eess.AS
ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network
Higher School of Economics（高等经济大学）
我们提出了一个神经网络的zero-shot语音转换（VC）没有任何并行或转录数据。我们的方法使用预先训练的模型，从说话人验证任务中获得的自动语音识别（ASR）和说话人嵌入。我们的模型是完全卷积和非自回归的，除了一个小的预先训练的递归神经网络用于扬声器编码。ConVoice可以转换任何长度的语音，而不会因其卷积架构而影响质量。我们的模型具有类似的国家的最先进的模型，同时非常快的质量。
2020-05-15 cs.SD eess.AS
An Efficient Speech Separation Network Based on Recurrent Fusion Dilated Convolution and Channel Attention
Sichuan University（四川大学）
针对卷积网络感受野有限、Transformer网络计算成本高的问题，提出结合空洞卷积、多尺度融合与通道注意力的ARFDCN语音分离网络，实现了性能与计算效率的良好平衡，可作为主流模型的实用替代方案。
2023-06-09 cs.CL cs.SD eess.AS
DualSep: A Light-weight dual-encoder convolutional recurrent network for real-time in-car speech separation
Northwestern Polytechnical University（西北工业大学）；Huawei Cloud（华为云）
针对车内多通道语音分离面临的计算资源有限、低延迟需求等挑战，提出级联DSP与NN的轻量型DualSep框架，采用双编码器实现空间-频谱融合，兼具流式与非流式能力，以极低参数量和RTF实现高效语音分离。
2024-09-13 cs.SD eess.AS
EmoDiarize: Speaker Diarization and Emotion Identification from Speech Signals using Convolutional Neural Networks
School of Digital Sciences（数字科学学院）；Applied NLP Research Lab（应用自然语言处理研究实验室）
本研究提出EmoDiarize框架，结合现有说话人日志分离流程与CNN情感识别模型，利用MFCC等特征和数据增强技术，在五个语音情感数据集上实现了63%的无加权准确率，有效解决了语音信号中的情感识别挑战。
2023-10-19 cs.CL cs.SD eess.AS
TF-MossFormer: Integrating Convolution Gated Local-Global Attentions for Enhanced Time-Frequency Domain Monaural Speech Separation
Alibaba Group（阿里巴巴集团）
研究旨在改进单声道语音分离，提出TF-MossFormer，结合局部与全局注意力，利用内容感知滑动窗口注意力机制及卷积门控，在WSJ0-2Mix数据集上，凭借不同参数设置取得优异的SI-SDRi，性能超越先前方法。
2026-07-24 cs.SD
MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-Head Transformer with Convolution-Augmented Joint Self-Attentions
Alibaba Group（阿里巴巴集团）
基于Transformer的模型在单声道语音分离中提供了显著的性能改进。然而，与最近提出的上限相比，仍然存在性能差距。目前双通道Transformer模型的主要局限性是对长距离元素相互作用和局部特征模式的建模效率低下。在这项工作中，我们实现了上限，提出了一个门控单头Transformer架构与卷积增强联合自关注，命名为\textit{MossFormer}（\textit{Mo}自然\textit{s}语音\textit{s}分离\textit{Former}）。为了有效地解决双路径架构中跨块的间接元素交互，MossFormer采用了一种联合的局部和全局自注意架构，该架构同时对局部块执行全计算自注意和对全序列执行线性化低成本自注意。联合注意力使MossFormer能够直接模拟全序列元素相互作用。此外，我们采用了一个强大的注意门控机制与简化的单头自我关注。除了精心的长期建模，我们还增加了MossFormer与卷积的位置明智的局部模式建模。因此，MossFormer显著优于以前的模型，并在WSJ 0 -2/3 mix和WHAM上实现了最先进的结果！/哇！基准。我们的模型在WSJ 0 - 3 mix上实现了21.2 dB的SI-SDRi上限，在WSJ 0 - 2 mix上仅低于23.1 dB的上限0.3 dB。
2023-02-23 cs.LG cs.SD eess.AS
AMRConvNet: AMR-Coded Speech Enhancement Using Convolutional Neural Networks
Samsung R&D Institute Philippines（三星菲律宾研发研究所）；University of the Philippines（菲律宾大学）
使用语音编码将语音转换为数字信号以进行有效传输。然而，这通常会降低语音的质量和带宽。本文探讨了卷积神经网络在人工带宽扩展（ABE）和语音增强中的应用，特别是在2G蜂窝电话呼叫中使用的自适应多速率（AMR）。在本文中，我们介绍了AMRConvNet：一个卷积神经网络，对AMR编码的语音进行ABE和语音增强。该模型直接对输入和输出语音的时域进行操作，但使用组合的时域重建损失和频域感知损失进行优化。AMRConvNet导致AMR比特率为4.75k的平均意见分数-收听质量目标（MOS-LQO）平均提高了0.425分，AMR比特率为12.2k的MOS-LQO平均提高了0.073分。AMRConvNet在AMR比特率输入中也表现出了鲁棒性。最后，消融测试表明，我们的组合时域和频域损失导致比单独使用任一损失略高的MOS-LQO和更快的训练收敛。
2020-08-24 cs.SD eess.AS
SICRN: Advancing Speech Enhancement through State Space Model and Inplace Convolution Techniques
College of Computer Science, Inner Mongolia University（内蒙古大学计算机科学学院）
本文提出SICRN，用状态空间模型与原地卷积替代CRN中的传统卷积，以同时建模全局频率依赖、长期时间依赖和局部结构，在DNS挑战数据集上以更少参数、计算量和延迟取得接近最优的语音增强性能。
2024-02-22 cs.SD eess.AS
The PCG-AIID System for L3DAS22 Challenge: MIMO and MISO convolutional recurrent Network for Multi Channel Speech Enhancement and Speech Recognition
Tencent PCG（腾讯平台与内容事业群）
本文介绍了PCG-AIID系统在L3 DAS 22挑战任务1：办公室混响环境下的三维语音增强中的应用。我们提出了一个两阶段的框架来解决多通道语音去噪和去混响。在第一级中，多输入多输出（MIMO）网络被应用于去除背景噪声，同时保持多通道信号的空间特性。在第二阶段中，多输入和单输出（MISO）网络被应用于从期望的方向和后滤波来增强语音。因此，我们的系统在ICASSP 2022 L3 DAS 22挑战中排名第三，并显著优于基线系统，同时在盲测集上实现了3.2%的WER和0.972的STOI。
2022-02-21 cs.SD eess.AS
A Speech Enhancement Method Using Fast Fourier Transform and Convolutional Autoencoder
Department of Artificial Intelligence, Tamkang University, New Taipei City 251301, Taiwan.（人工智能系，台湾桃园大学）；Department of Mathematical Sciences, National Chengchi University, Taipei 116, Taiwan.（数学科学系，台湾国立成功大学）
针对退化测量值的音频信号重建问题，提出结合离散傅里叶变换与卷积自动编码器的轻量级模型FFT-ConvAE，该模型获2024年赫尔辛基语音挑战赛第二名，验证了无神经网络方法在语音重建中的潜力。
2025-10-03 cs.SD eess.AS
Adaptive Convolution for CNN-based Speech Enhancement Models
Key Laboratory of Modern Acoustics, Institute of Acoustics, Nanjing University（现代声学关键实验室，声学研究所，南京大学）；NJU-Horizon Intelligent Audio Lab, Horizon Robotics（南京大学-Horizon智能音频实验室，Horizon机器人）
本文提出自适应卷积模块，通过逐帧动态组合候选核和轻量注意力机制提升CNN语音增强模型性能，并构建超轻量级AdaptCRN模型，在几乎不增加计算复杂度的情况下取得优于同类模型的增强效果。
2025-11-10 cs.SD eess.AS
Quasi-Periodic Parallel WaveGAN Vocoder: A Non-autoregressive Pitch-dependent Dilated Convolution Model for Parametric Speech Generation
Nagoya University（名古屋大学）
在本文中，我们提出了一个并行的WaveGAN（PWG）类神经声码器与准周期（QP）架构，以提高PWG的音调可控性。PWG是一种紧凑的非自回归（non-AR）语音生成模型，其生成速度远远快于实时。在利用PWG作为声码器以基于诸如频谱和韵律特征的声学特征来生成语音的同时，PWG生成高保真语音。然而，当输入的声学特征包括看不见的音高时，PWG生成的语音的音高准确性降低，因为PWG的固定和通用网络没有语音周期性的先验知识。QPPWG采用了一个基音相关的扩张卷积网络（PDCNN）模块，通过动态改变网络结构将基音信息引入PWG，提高了vanilla PWG的基音可控性和语音建模能力。客观和主观评价结果表明，当QPPWG模型大小仅为vanilla PWG模型大小的70%时，QPPWG生成的语音具有更高的基音精度和相当的语音质量。
2020-08-07 cs.SD eess.AS
Complex Spectral Mapping With Attention Based Convolution Recurrent Neural Network for Speech Enhancement
CloudWalk Technology Co., Ltd.（云从科技有限公司）
语音增强受益于深度学习在可懂度和感知质量方面的成功。传统的时频域方法主要是通过朴素卷积神经网络或递归神经网络来预测时频模板或语音频谱，最近的一些研究是基于复谱映射卷积递归神经网络（CRN）的。这些模型直接从编码器层的输出和解码器层的输入中抽取，这可能是欠考虑的。提出了一种基于注意力机制的编码层和解码层之间的跳跃连接，即基于注意力的卷积递归神经网络（CARN），与CRN模型相比，CARN模型在PESQ、CBAK、COVL、CSIG等指标上相对提高了10%以上，并且在这些指标上，在DNS Challenge 2020的实时和非实时跟踪中均优于排名第一的模型。
2021-04-15 cs.SD eess.AS
Convolutional Neural Networks to Enhance Coded Speech
增强遭受远端声学背景噪声、量化噪声和潜在传输误差的编码语音是一项具有挑战性的任务。在这项工作中，我们提出了两种后处理方法，应用卷积神经网络（CNN）无论是在时域或倒谱域，以提高编码的语音没有任何修改的编解码器。时域方法遵循端到端的方式，而倒谱域方法使用具有倒谱域特征的分析-合成。在这两个域中的建议后处理器进行评估，各种窄带和宽带语音编解码器在广泛的条件。建议的后处理器提高语音质量（PESQ）高达0.25 MOS-LQO点G.711，0.30点G.726，0.82点G.722，和0.26点自适应多速率宽带编解码器（AMR-WB）。在一个主观的CCR听力测试中，G.711编码语音的后处理器超过了0.36 CMOS点的ITU-T标准化后滤波器的语音质量，并获得了1.77 CMOS点相比，传统的G.711，甚至比未编码的语音具有统计意义的明显偏好。源代码的倒谱域的方法来增强G.711编码的语音。
2019-01-24 cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Quasi-Periodic WaveNet Vocoder: A Pitch Dependent Dilated Convolution Model for Parametric Speech Generation
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Graduate School of Information Science, Nagoya University（名古屋大学信息科学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们提出了一个准周期神经网络（QPNet）声码器与一种新的网络结构命名为间距相关的扩张卷积（PDCNN），以提高音调的可控性的WaveNet（WN）声码器。WN声码器从给定的声学特征产生高保真语音样本的有效性最近已被证明。然而，由于固定的扩张卷积和通用的网络架构，WN声码器几乎不产生具有给定的F0值的语音，这些F0值在训练数据中观察到的范围之外。因此，WN声码器缺乏音调可控性，这是传统声码器的基本能力之一。为了解决这一限制，我们提出了PDCNN组件，它具有与给定的F0值相关的时变自适应膨胀大小和QPNet声码器的级联网络结构，以生成语音等准周期信号。进行了客观和主观测试，实验结果表明，更好的音高可控性的QPNet声码器相比，相同和两倍大小的WN声码器，同时达到可比的语音质量。索引术语：WaveNet，声码器，准周期信号，音高相关扩张卷积，音高可控性
2020-03-22 cs.SD eess.AS
Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks
Clemson University（克莱姆森大学）；Nokia Bell Labs（诺基亚贝尔实验室）
多阶段学习是一种顺序调用多个深度学习模块的有效技术。本文通过使用多级结构将多级学习应用于语音增强，其中每一级包括自注意（SA）块，随后是具有加倍膨胀因子的时间卷积网络（TCN）块的堆叠。每个阶段生成一个预测，该预测在后续阶段中被细化。融合块被插入在后面的级的输入处以重新注入原始信息。将所得到的多阶段语音增强系统（简而言之，多阶段SA-TCN）与使用LibriSpeech和VCTK数据集的最先进的深度学习语音增强方法进行比较。对多级SA-TCN系统的超参数进行微调，确定SA块、融合块和级数的影响。使用多级SA-TCN系统作为前端的自动语音识别系统进行了研究。结果表明，多级SA-TCN系统表现良好，相对于其他国家的最先进的系统方面的语音增强和语音识别分数。
2021-02-24 cs.SD eess.AS
DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement
Nanjing University（南京大学）；Horizon Robotics（地平线机器人）；Nanjing Institute of Advanced Artificial Intelligence（南京人工智能高等研究院）
为了更有效地在时域内对超长语音序列进行建模，提出了双路径RNN（DPRNN）。通过将长序列分割成较小的块，并应用块内和块间RNN，DPRNN在有限的模型大小下实现了有希望的语音分离性能。在本文中，我们结合DPRNN模块和卷积递归网络（CRN），并设计了一个称为双路径卷积递归网络（DPCRN）的语音增强模型的时间-频率域。我们将CRN中的RNN替换为DPRNN模块，其中块内RNN用于对单个帧中的频谱模式进行建模，而块间RNN用于对连续帧之间的依赖性进行建模。仅使用0.8M参数，提交的DPCRN模型在Interspeech 2021深度噪声抑制（DNS）挑战的宽带场景轨道中实现了3.57的总体平均意见得分（MOS）。对其他测试集的评价也表明了我们模型的有效性。
2021-07-12 cs.SD eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
最近，渐进式学习已经显示出其在与基于深度神经网络（DNN）和长短期记忆（LSTM）的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力，特别是在低信噪比（SNR）条件下。然而，由于大量的参数和高计算复杂性，很难在当前资源有限的微控制器中实现，因此，对于实际应用而言，显著减少参数的数量和计算负荷是必要的。为此，我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN，它利用了卷积神经网络和递归神经网络，大大减少了参数的数量，同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性，并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法，并且在客观测量方面，它也得到了接近甚至优于CRNN的结果。与PL-DNN，PL-LSTM和CRNN相比，所提出的PL-CRNN算法可以分别减少高达93%，97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
DCCRGAN: Deep Complex Convolution Recurrent Generator Adversarial Network for Speech Enhancement
ZheJiang Dahua Technology CO.,LTD（浙江大华技术股份有限公司）
生成对抗网络（GAN）在处理语音增强（SE）任务时仍存在一些问题。一些基于GAN的系统直接从Pixel-to-Pixel采用相同的结构，而无需特殊优化。发电机网络的重要性尚未得到充分探讨。其他的相关研究都是改变发电机网络，但都是在时频域中进行，忽略了相位失配问题。为了解决这些问题，本文提出了一种深度复卷积递归GAN（DCCR GAN）结构。复数模块建立了波形的幅度和相位之间的相关性，并已被证明是有效的。拟议的结构是以端到端的方式进行培训的。在生成器网络中使用不同的LSTM层，以充分探索DCCRGAN的语音增强性能。实验结果证实，所提出的DCCRGAN优于最先进的基于GAN的SE系统。
2021-03-07 cs.SD eess.AS
DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
Sogou（搜狗）
语音增强受益于深度学习在可懂度和感知质量方面的成功。传统的时频（TF）域方法集中于经由朴素卷积神经网络（CNN）或递归神经网络（RNN）来预测TF掩模或语音频谱。最近的一些研究使用复值谱图作为训练目标，但是训练在实值网络中，分别预测幅度和相位分量或实部和虚部。特别是，卷积递归网络（CRN）集成了卷积编码器-解码器（CED）结构和长短期记忆（LSTM），这已被证明对复杂目标有帮助。为了更有效地训练复杂目标，本文设计了一种模拟复值运算的网络结构，称为深度复卷积递归网络（DCCRN），其中CNN和RNN结构都可以处理复值运算。建议DCCRN模型是非常有竞争力的其他以前的网络，无论是在客观或主观的度量。仅使用370万个参数，我们提交给Interspeech 2020深度噪声抑制（DNS）挑战赛的DCCRN模型在平均意见得分（MOS）方面排名实时跟踪第一，非实时跟踪第二。
2020-09-23 cs.SD eess.AS
Convolutional Recurrent Neural Network with Attention for 3D Speech Enhancement
Northwestern Polytechnical University（西北工业大学）
本文提出一种结合双路径循环神经网络块与注意力机制的U-Net架构用于3D语音增强，通过在时频域和时域联合优化网络，在ICASSP L3DAS23挑战赛数据集上超越了现有最先进系统。
2023-11-20 cs.SD eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks
College of Computer Science, Inner Mongolian University（内蒙古大学计算机学院）；Kingsoft AI Laboratory（金山人工智能实验室）
近几十年来，基于神经网络的语音增强方法显著提高了语音增强的性能。大多数方法都是直接或间接地估计出目标语音的时频（T-F）表示，然后利用估计出的T-F表示重新合成波形。在这项工作中，我们提出了时间卷积递归网络（TCRN），这是一种端到端模型，可以直接将噪声波形映射到干净波形。结合卷积和递归神经网络的TCRN能够有效地利用短期和长期信息。Futuremore，我们提出了在前向传播过程中重复下采样和上采样语音的架构。我们表明，与现有的卷积递归网络相比，我们的模型能够提高模型的性能。未来，我们提出了几个关键技术，以稳定的训练过程。实验结果表明，我们的模型始终优于现有的语音增强方法，在语音清晰度和质量。
2020-02-02 cs.LG cs.SD eess.AS
Towards Array-Invariant Speech Enhancement via Geometry-Aware Dynamic Convolution
Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；Shanghai Jiao Tong University（上海交通大学）；VUI Labs（VUI实验室）
研究多通道语音增强受固定阵列配置限制问题，提出几何感知动态卷积框架，利用麦克风坐标转换固定阵列SE模型为阵列不变系统，经实验验证该框架能提升模型在不同阵列拓扑下的性能。
2026-07-22 cs.SD eess.AS
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已被提出用于语音去混响任务中的序列建模。在这项工作中，加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明，这种加权多膨胀时间卷积网络（WD-TCN）在各种模型配置中始终优于TCN，并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比，最佳性能改善为0.55 dB尺度不变信号失真比（SISDR），而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
FFC-SE: Fast Fourier Convolution for Speech Enhancement
Samsung AI Center（三星人工智能中心）；Higher School of Economics（高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
快速傅立叶卷积（FFC）是近年来提出的一种新的神经网络算子，在计算机视觉领域有着广阔的应用前景。FFC算子允许在神经网络的早期层内采用大的感受野操作。它被证明是特别有助于修复的周期性结构，这是常见的音频处理。在这项工作中，我们设计的神经网络架构，适应FFC语音增强。我们假设一个大的感受野允许这些网络产生比普通卷积模型更多的相干相位，并通过实验验证了这一假设。我们发现，基于快速傅立叶卷积的神经网络优于类似的卷积模型，并显示出更好或与其他语音增强基线相当的结果。
2022-04-06 cs.AI cs.SD eess.AS
HiFi-SR: A Unified Generative Transformer-Convolutional Adversarial Network for High-Fidelity Speech Super-Resolution
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
针对现有语音超分辨率方法表示不一致、域外质量差的问题，提出统一的HiFi-SR网络，结合Transformer-卷积生成器与多尺度判别结构，可将4-32kHz语音上采样至48kHz，在多场景下性能优于现有方法。
2025-01-17 cs.SD eess.AS
What do neural networks listen to? Exploring the crucial bands in Speech Enhancement using Sinc-convolution
National Taiwan Normal University（国立台湾师范大学）；National Chi Nan University（国立暨南国际大学）
本文提出用于语音增强编码器的改进 Sincconv 框架，通过参数化 sinc 带通滤波器提升训练效率、滤波器多样性、可解释性及多种 SE 模型性能，并揭示关键频率成分。
2024-03-04 cs.SD eess.AS
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur（印度理工学院坎普尔分校）
本文综述基于卷积的语音信号处理模型（如CNNs、Conformers等）的统计背景与多场景应用，通过对比训练成本、模型大小等指标分析各模型优劣，为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
Performance Evaluation of Deep Convolutional Maxout Neural Network in Speech Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在本文中，深度人工神经网络（DNN）的各种结构和方法将被评估和比较，用于连续波斯语语音识别。在语音识别应用中使用的神经网络的第一个模型之一是全连接神经网络（FCNN），并且因此是深度神经网络（DNN）。虽然这些模型有更好的性能相比，GMM / HMM模型，他们没有适当的结构来模拟本地语音信息。卷积神经网络（CNN）是一个很好的选择，用于建模的生物信号，包括语音信号的局部结构。深度人工神经网络面临的另一个问题是网络在训练数据上的收敛。收敛的主要抑制因素是在训练过程中存在局部极小值。深度神经网络预训练方法，尽管计算量很大，但它是克服局部最小值的强大工具。但在网络结构中使用适当的神经元模型似乎是解决这个问题的更好方法。校正线性单元神经元模型和Maxout模型是迄今为止提出的最合适的神经元模型。进行了几个实验，以评估所提到的方法和结构的性能。在验证了这些方法的正确功能后，在FARSDAT语音数据库上实现了所有模型的组合，用于连续语音识别。实验结果表明，与预先训练的全连接神经网络相比，组合模型（CMDNN）将人工神经网络在语音识别中的性能提高了约3%。
2021-05-04 cs.SD eess.AS
RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
端到端同步语音翻译（SST），直接将一种语言的语音实时翻译成另一种语言的文本，在许多情况下都很有用，但尚未得到充分的研究。在这项工作中，我们提出了RealTransS，SST的端到端模型。为了弥合语音和文本之间的模态差距，RealTransS使用交错卷积和单向Transformer层逐渐对输入语音进行下采样，以进行声学建模，然后使用加权收缩操作和语义编码器将语音特征映射到文本空间。此外，为了提高模型在同时场景中的性能，我们提出了一个空白惩罚，以提高收缩质量和等待K步N策略，允许在解码过程中的局部重新排序。在公共数据集和广泛使用的数据集上的实验表明，具有Wait-K-Stride-N策略的RealTransS在不同延迟设置下的性能优于先前的端到端模型以及级联模型。
2021-06-09 cs.CL cs.SD eess.AS
Precise Detection of Speech Endpoints Dynamically: A Wavelet Convolution based approach
语音端点的精确检测是影响诸如自动语音识别（ASR）系统等需要从语音信号中提取语音话语的系统的性能的重要因素。现有的端点检测（EPD）方法主要使用基于短时能量（STE）、过零率（ZCR）的方法及其变体。但是基于STE和ZCR的EPD算法在存在说话人产生的非语音声音伪影（NSA）的情况下经常失败。基于模式识别和分类技术的算法也被提出，但需要标记的数据进行训练。提出了一种基于小波卷积的语音端点检测算法（WCSEPD）。WCSEPD使用小波卷积将语音信号分解为高频和低频分量，并计算两个频率分量的基于熵的阈值。低频阈值用于提取浊音语音段，而高频阈值用于通过过滤掉NSA来提取清音语音段。WCSEPD不需要任何标记数据进行训练，可以自动提取语音片段。实验结果表明，该算法在存在NSA的情况下能够准确地提取语音端点。
2018-04-17 eess.AS
Formant Tracking Using Dilated Convolutional Networks Through Dense Connection with Gating Mechanism
Beijing Language and Culture University（北京语言大学）；TU Dresden（德累斯顿工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent Science and Technology Ltd.（腾讯科技有限公司）
语音跟踪是语音处理中最基本的问题之一。传统上，使用信号处理方法来估计共振峰。最近的研究表明，通用卷积架构在语音合成和机器翻译等时间任务上的表现优于递归网络。在本文中，我们探讨了使用时间卷积网络（TCN）的共振峰跟踪。除了传统的实现，我们从三个方面修改的架构。首先，我们关闭了扩张卷积的“因果”模式，使扩张卷积看到未来的语音帧。第二，每个隐藏层通过密集连接重用所有前一层的输出信息。第三，我们还采用了一种门控机制，通过选择性地遗忘不重要的信息来缓解梯度消失的问题。该模型在开放存取共振峰数据库VTR上进行了验证。实验表明，我们提出的模型很容易收敛，在语音标记帧上实现了8.2%的总体平均绝对误差百分比（MAPE），而三个竞争基线分别为9.4%（LSTM），9.1%（Bi-LSTM）和8.9%（TCN）。
2020-08-08 cs.SD eess.AS
Inplace Gated Convolutional Recurrent Neural Network For Dual-channel Speech Enhancement
对于双通道语音增强，基于传统的阵列信号处理准则和多通道信号的流形空间，设计一种端到端模型是一种很有前途的思路。我们发现，上述想法可以有效地实现经典的卷积递归神经网络（CRN）架构。提出了一种用于端到端多通道语音增强的嵌入式门控卷积递归神经网络（inplace GCRN），该网络利用嵌入式卷积进行频率模式的提取和重构。就地特征有效地保留了每个频率点中的空间线索，用于跟踪空间源的通道式长短期记忆神经网络（LSTM）。此外，本文还提出了一种新的频谱恢复方法，通过预测幅度掩模、映射和相位来实现频谱恢复，有效地提高了语音质量。
2021-07-26 eess.AS
TFCN: Temporal-Frequential Convolutional Network for Single-Channel Speech Enhancement
基于深度学习的单通道语音增强尝试训练神经网络模型来预测干净的语音信号。目前流行的单通道语音增强网络结构有多种，如TCNN、UNet、WaveNet等，但这些结构通常包含数百万个参数，这对移动应用来说是一个障碍。在这项工作中，我们提出了一个轻量级的神经网络的语音增强命名为TFCN。它是一种由扩张卷积和深度可分离卷积构成的时频卷积网络。我们评估TFCN的性能在短期客观可懂度（STOI），语音质量的感知评价（PESQ）和一系列的复合指标命名为Csig，Cbak和Covl。实验结果表明，与TCN算法和其他几种最先进的算法相比，该结构仅需93，000个参数就能达到相当的性能。通过引入密集连接和深度可分离卷积，可以以更多的参数为代价来实现进一步的改进。实验还表明，该结构可以很好地工作在因果关系和非因果关系的情况下。
2022-01-03 eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题，提出了一种基于时域扩张卷积生成对抗网络（TDCGAN）的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络，从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明，我们提出的方法优于最先进的端到端基于GAN的语音增强。此外，与以前的基于GAN的方法相比，所提出的TDCGAN可以大大减少参数的数量。正如预期的那样，工作还表明，信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group（阿里巴巴集团）
针对单声道语音增强任务，提出轻量级复卷积块注意力模块（CCBAM）并结合联合时频损失函数，集成到深度复U-Net和CRN中形成新端到端框架，实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Conformer: Convolution-augmented Transformer for Speech Recognition
Google Inc.（谷歌公司）
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将卷积神经网络和Transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而实现两全其美。为此，我们提出了卷积增强的Transformer用于语音识别，命名为Conformer。Conformer的性能显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。在广泛使用的LibriSpeech基准测试中，我们的模型在不使用语言模型的情况下实现了2.1%/4.3%的WER，在使用外部语言模型的情况下实现了1.9%/3.9%的WER。我们还观察到2.7%/6.3%的竞争性能，只有10 M参数的小模型。
2020-05-16 cs.LG cs.SD eess.AS
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University（普渡大学）
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行，合成语音在今天是常见的。合成语音也可以用于邪恶的目的，包括创建一个声称的语音信号，并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中，我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer（CCT）的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络，从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练，我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
Multi-QuartzNet: Multi-Resolution Convolution for Speech Recognition with Multi-Layer Feature Fusion
在本文中，我们提出了一个端到端的语音识别网络的基础上，英伟达以前的QuartzNet模型。我们尝试提升模型的性能，设计了三个组件：（1）多分辨率卷积模块，用多流卷积代替原来的一维时间通道可分离卷积。每个流在卷积操作上都有一个唯一的扩张步幅。(2)智能注意力模块，通过空间通道池化计算每个卷积流的注意力权重。(3)多层特征融合模块，通过全局多层特征映射对每个卷积块重新加权。我们的实验表明，Multi-QuartzNet模型在AISHELL-1数据集上的CER达到6.77%，优于原始QuartzNet，接近最先进的结果。
2020-11-26 eess.AS
Real-time Streaming Wave-U-Net with Temporal Convolutions for Multichannel Speech Enhancement
Huawei Russia Research Institute（华为俄罗斯研究院）；Huawei Nanjing Research Institute（华为南京研究院）；HSE University（高等经济大学）
在本文中，我们描述了我们为参加ConferencingSpeech 2021挑战赛的Task 1所做的工作。本课题的目标是开发实时多通道语音增强的解决方案。我们提出了一种新的系统，用于流式语音增强。在编码器和解码器中，我们采用了具有时间卷积的Wave-U-Net架构。我们在解码器中加入了自注意力，以将从跳过连接中检索到的注意力掩码应用于来自下块的特征。我们探讨了历史缓存机制，工作像隐藏状态的递归网络，并实现了他们的建议解决方案。它可以帮助我们以相同的精度运行块长度为40 ms和实时因子为0.4的推理。
2021-04-05 cs.SD eess.AS eess.SP
Lightweight End-to-End Speech Recognition from Raw Audio Data Using Sinc-Convolutions
许多端到端的自动语音识别（ASR）系统仍然依赖于手工制作的预处理频域特征来模仿人类听觉。我们的工作是出于最近的进展，综合学习特征提取。为此，我们提出了轻量级Sinc-Convolutions（LSC），它将Sinc-Convolutions与dependencies卷积集成为端到端ASR系统的低参数机器可学习特征提取。我们将LSC集成到混合CTC/注意力架构中进行评估。由此产生的端到端模型显示出平滑的收敛行为，通过在时域中应用SpecAugment进一步改善了收敛行为。我们还讨论了过滤器级的改进，例如使用对数压缩作为激活函数。我们的模型在TEDMENS v2测试数据集上实现了10.7%的单词错误率，绝对超过了具有对数梅尔滤波器组特征的相应架构的1.9%，但只有其模型大小的21%。
2020-10-16 cs.SD eess.AS eess.SP
Multi-Time-Scale Convolution for Emotion Recognition from Speech Audio Signals
City, University of London（伦敦城市大学）
对时间变化的鲁棒性对于从语音音频中识别情感是重要的，因为情感是通过复杂的频谱模式来表达的，该频谱模式可以根据说话者和上下文在时间轴上表现出显著的局部膨胀和压缩。为了解决这个问题和潜在的其他任务，我们引入了多时间尺度（MTS）的方法，以创建灵活性对时间变化时，分析音频数据的时间-频率表示。MTS使用卷积核扩展卷积神经网络，这些卷积核沿时间轴缩放和重新采样，以增加时间灵活性，而不增加与标准卷积层相比的可训练参数的数量。我们使用4个不同大小的数据集，在不同的架构中评估MTS和标准卷积层，以从语音音频中进行情感识别。结果表明，与标准卷积相比，MTS层的使用始终提高了不同容量和深度的网络的泛化能力，特别是在较小的数据集上
2020-03-06 cs.LG cs.SD eess.AS
CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation（博士公司）；Indiana University（印第安纳大学）
语音质量评估已经成为许多语音通信相关应用（如电话和在线会议）的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面，非侵入式主观测量是评估语音质量的“金标准”，因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中，我们提出了一种新的端到端的模型结构，称为卷积上下文感知Transformer（CCAT）网络来预测人类评分员的平均意见得分（MOS）。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型，并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明，CCAT提供了有前途的MOS预测相比，目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数（PCC）从0.530增加到0.697和平均RMSE从0.768下降到0.570相比，挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
LORT: Locally Refined Convolution and Taylor Transformer for Monaural Speech Enhancement
Tianjin Key Laboratory of Cognitive Computing and Application（天津认知计算与应用重点实验室）；College of Intelligence and Computing（智能计算学院）；Tianjin University（天津大学）；School of Electronic Information（电子信息学院）；Sichuan University（四川大学）；Huiyan Technology (Tianjin) Co., Ltd（慧颜科技（天津）有限公司）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Chinese Academy of Sciences（中国科学院）
针对低资源单通道语音增强，本文提出 LORT，结合 SCEA 增强的 T-MSA、LRC 模块与多分辨率 U-Net，仅用 0.96M 参数即在 VCTK+DEMAND 和 DNS Challenge 上达到竞争或优于 SOTA 的性能。
2025-09-28 cs.SD eess.AS
MatchboxNet: 1D Time-Channel Separable Convolutional Neural Network Architecture for Speech Commands Recognition
我们提出了一个MatchboxNet -一个用于语音命令识别的端到端神经网络。MatchboxNet是一个深度残差网络，由1D时间通道可分离卷积、批量归一化、ReLU和dropout层组成。MatchboxNet在Google Speech Commands数据集上达到了最先进的准确性，同时参数比类似模型少得多。MatchboxNet的小尺寸使其成为计算资源有限的设备的有吸引力的候选者。该模型具有高度可扩展性，因此可以通过适度的额外内存和计算来提高模型精度。最后，我们展示了使用辅助噪声数据集的密集数据增强如何在存在背景噪声的情况下提高鲁棒性。
2020-04-21 eess.AS
FRCRN: Boosting Feature Representation using Frequency Recurrence for Monaural Speech Enhancement
Alibaba Group（阿里巴巴集团）；Nanyang Technological University (NTU)（南洋理工大学）
针对CRN因CED卷积感受野有限导致频率上下文特征表示受限的问题，提出FRCRN框架，通过在CRED结构中应用基于FSMN的频率递归并插入堆叠FSMN层，在复数值域优化后取得宽带数据集SOTA性能及ICASSP 2022 DNS挑战实时全带赛道第二名。
2024-11-28 cs.SD eess.AS
PrimeK-Net: Multi-scale Spectral Learning via Group Prime-Kernel Convolutional Neural Networks for Single Channel Speech Enhancement
School of Electronic Information, Sichuan University（四川大学电子信息学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Medicine, Tohoku University（东北大学医学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学及翻译学系）
针对单通道语音增强中计算效率与频谱多尺度分布问题，提出PrimeK-Net，结合DSDDB和GPFCA模块，在VoiceBank+Demand数据集上以1.41M参数实现PESQ 3.61的SOTA性能。
2025-02-27 cs.SD eess.AS
Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；HBUCM（湖北中医药大学）
语音增强可以潜在地受益于来自目标说话者的视觉信息，诸如嘴唇运动和面部表情，因为语音的视觉方面基本上不受声学环境的影响。在本文中，我们解决的问题，增强损坏的语音信号从视频中使用视听（AV）神经处理。大多数最近的AV语音增强方法分别处理声学和视觉特征，并通过一个简单的级联操作融合它们。虽然这种策略方便且易于实施，但它有两个主要缺点：1）言语感知中的证据表明，在人类中，AV整合发生在非常早期的阶段，与先前的模型相反，先前的模型在早期阶段分别处理两种模态并且仅在后期阶段将它们组合，从而使得系统不太鲁棒，以及2）简单的连接不允许控制如何处理来自声学和视觉模态的信息。为了克服这些缺点，我们提出了一种多层特征融合卷积网络（MFFCN），它分别处理声学和视觉模态，以保留每种模态的特征，同时在编码阶段逐层融合两种模态的特征，以享受人类AV语音感知。此外，考虑到两种模式之间的平衡，我们设计了通道和频谱注意机制，以提供额外的灵活性，在处理不同类型的信息扩展卷积神经网络的代表性能力。实验结果表明，所提出的MFFCN网络的性能优于国家的最先进的模型。
2022-05-23 cs.SD eess.AS eess.IV
IR-UWB Radar-Based Contactless Silent Speech Recognition with Attention-Enhanced Temporal Convolutional Networks
提出一种融合自注意力与挤压-激励机制的时序卷积网络，直接从 IR-UWB 雷达信号端到端识别静默语音，在 50 词任务上准确率达 91.1%，显著优于手工特征方法。
2025-09-30 eess.AS
