Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law（中国政法大学）；Institute of High Performance Computing（高性能计算研究所）
深度学习方法已广泛应用于序列建模问题。在自动语音识别（ASR）方面，通过增加大规模语音语料库和更深层次的神经网络，其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题，本文提出了一种新的深度递归卷积网络用于声学建模，并将深度残差学习应用于其中，实验结果表明，与传统的深度递归卷积网络相比，它不仅具有更快的收敛速度，而且具有更高的识别精度。在实验中，我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度，我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明，应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后，我们用我们提出的双向统计n-gram语言模型通过音素出错率（PER）来评估我们所有的实验网络。我们的评估结果表明，我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER，并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明，它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
递归神经网络已经成为许多语音和语言处理任务的主要模型。然而，我们对递归网络的行为和递归网络所能实现的函数类知之甚少。此外，在培训期间使用的化学方法使分析复杂化。在本文中，我们研究了递归网络在语音识别中学习长期依赖性的能力。我们考虑两种解码方法，在线和批量解码，并显示类的功能，解码方法对应。然后，我们将批量解码与一种流行的递归网络训练方法（通过时间截断的反向传播）联系起来。改变解码方法限制了递归网络可以用于预测的过去历史的数量，使我们能够分析它们的记忆能力。从经验上讲，我们利用长期依赖的亚语音状态，音素和单词，并显示如何设计决策，如解码方法，前瞻，上下文框架和连续预测，表征行为的经常性网络。最后，我们在马尔可夫过程和消失梯度之间建立了联系。这些结果对研究语音数据的长期依赖性以及循环网络如何学习这些特性具有重要意义。
2018-10-31 cs.CL cs.LG cs.SD
Learning linearly separable features for speech recognition using convolutional neural networks
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
自动语音识别系统通常依赖于基于频谱的特征，例如PLP的MFCC。这些特征基于诸如语音感知或/和语音产生的先验知识来提取。最近，卷积神经网络已经被证明能够以完全数据驱动的方式来估计音素条件概率，即，直接使用时间原始语音信号作为输入。该系统在音素识别任务和大规模连续语音识别任务中，使用较少的参数，产生与基于HMM/ANN的系统相似或更好的性能。受这些研究的启发，我们研究了在基于CNN的框架中使用简单的线性分类器。因此，网络从原始语音中学习线性可分离的特征。我们表明，这样的系统产生类似或更好的性能比基于MLP的系统使用基于倒谱的功能作为输入。
2015-04-16 cs.CL cs.LG cs.NE
Convolutional Recurrent Neural Networks for Small-Footprint Keyword Spotting
Baidu Silicon Valley Artificial Intelligence Lab（百度硅谷人工智能实验室）
关键词识别（KWS）是人机界面的一个重要组成部分。KWS的目标是在低误报率（FA）下最大限度地提高检测精度，同时最大限度地减少占用空间、延迟和复杂性。为了实现这些目标，我们研究了卷积循环神经网络（CRNN）。受大规模最先进的语音识别系统的启发，我们结合了卷积层和递归层的优势，以利用本地结构和远程上下文。我们分析了结构参数的影响，并提出了训练策略，以提高性能。只有~ 230 k的参数，我们的CRNN模型产生可接受的低延迟，并达到97.71%的准确率在0.5 FA/小时为5 dB的信噪比。
2017-07-04 cs.AI cs.CL cs.LG
Speech Recognition with Deep Recurrent Neural Networks
University of Toronto（多伦多大学）
循环神经网络（RNN）是一种强大的序列数据模型。端到端的训练方法，如连接时间分类，使得训练RNN用于序列标记问题成为可能，其中输入输出对齐是未知的。这些方法与长短期记忆RNN架构的结合已经证明是特别富有成效的，在草书手写识别中提供了最先进的结果。然而，到目前为止，RNN在语音识别中的性能令人失望，深度前馈网络返回的结果更好。本文研究了\emph{deep recurrent neural networks}，它结合了在深度网络中已被证明非常有效的多层表示与灵活使用远程上下文来增强RNN。当使用适当的正则化进行端到端训练时，我们发现深度长短期记忆RNN在TIMIT音素识别基准测试中的测试集错误率为17.7%，据我们所知，这是最好的记录分数。
2013-03-22 cs.CL cs.NE
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University（北京大学）
长短期记忆（LSTM）循环神经网络（RNN）已被证明在许多语音识别任务上具有最先进的性能，因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面，卷积神经网络（CNN）为深度前馈神经网络（FFNN）带来了显著的改进，因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络（CRNN）的网络结构。在提出的CRNN中，没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块，然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN，LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明，LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition
University of Southern California（南加州大学）
由于深度卷积神经网络能够减少变化因素，因此在包括语音识别、音频事件检测和计算语言学在内的广泛的语音和音频处理应用中正在积极研究深度卷积神经网络，以从语音中学习。然而，研究已经建议在构建用于语音应用的深度卷积神经网络时偏向于某种类型的卷积运算，尽管使用不同类型的卷积运算已经有了有希望的结果。在这项工作中，我们研究了四种类型的卷积运算在不同的输入功能语音情感识别在嘈杂和干净的条件下，以获得全面的理解。由于情感行为信息已被证明反映了精神状态的时间变化，并且卷积运算在时间上被局部应用，因此所有深度神经网络共享深度递归子网络架构以用于进一步的时间建模。我们提出了详细的定量模块性能分析，以深入了解所提出的架构内的信息流。特别是，我们展示了情感信息和其他无关信息的相互作用，从一个模块到另一个的进展。最后，我们证明了我们所有的深度神经网络在eNTERFACE'05语料库上提供了最先进的性能。
2018-01-13 cs.CL cs.LG cs.MM
Temporal Dynamic Convolutional Neural Network for Text-Independent Speaker Verification and Phonemetic Analysis
在文本无关的说话人识别领域，已经提出了沿时间轴自适应的动态模型来考虑语音的音素变化特性。然而，动态模型如何根据音素工作的详细分析是不够的。在本文中，我们提出了时间动态CNN（TDY-CNN），认为音素的时间变化，通过应用内核最佳适应每个时间仓。这些核通过应用训练的基核的加权和来适应时间仓。然后，分析了自适应核如何在各个层中对不同的音素进行工作。与基线模型ResNet-38（x0.5）相比，使用六个基核的TDY-ResNet-38（x0.5）将等错误率（EER），即说话人验证性能提高了17.3%。此外，我们表明，自适应内核依赖于音素组，并在早期层更音素特定。时间动态模型适应音素没有明确给定的音素信息在训练过程中，结果表明，有必要考虑音素变化的话语更准确和强大的文本无关的说话人验证。
2022-02-08 eess.AS
MEBM-Phoneme: Multi-scale Enhanced BrainMagic for End-to-End MEG Phoneme Classification
Speech and Hearing Research Center, School of Intelligence Science and Technology（语音与听力研究中心，智能科学与技术学院）；Center for BioMed-X Research, Academy for Advanced Interdisciplinary Studies（BioMed-X研究中心，先进跨学科研究学院）
MEBM-Phoneme通过多尺度增强和时间依赖性建模，提升MEG信号中音素分类的准确性和鲁棒性。
2026-02-27 cs.AI cs.SD eess.AS
Real-Time MRI Video synthesis from time aligned phonemes with sequence-to-sequence networks
Indian Institute of Science (IISc)（印度科学学院）
口腔正中矢状面的实时磁共振成像（rtMRI）对于语音产生研究具有重要意义。在这项工作中，我们专注于估计话语级rtMRI视频从口语音素序列。我们从强制对齐中获得时间对齐的音素，以获得与rtMRI帧对齐的帧级音素序列。我们提出了一个序列到序列的学习模型与Transformer音素编码器和卷积帧解码器。然后，我们通过使用从预训练的音素条件变分自编码器（CVAE）采样获得的中间特征来修改学习。我们以特定科目的方式对8个科目进行训练，并通过主观测试展示性能。我们还使用了一个辅助任务的空气组织边界（ATB）分割，以获得所提出的模型的客观分数。我们表明，所提出的方法是能够生成逼真的rtMRI视频看不见的话语，并添加CVAE是有益的学习序列到序列映射的映射是很难学习的科目。
2022-10-30 cs.SD eess.AS
Inplace Gated Convolutional Recurrent Neural Network For Dual-channel Speech Enhancement
对于双通道语音增强，基于传统的阵列信号处理准则和多通道信号的流形空间，设计一种端到端模型是一种很有前途的思路。我们发现，上述想法可以有效地实现经典的卷积递归神经网络（CRN）架构。提出了一种用于端到端多通道语音增强的嵌入式门控卷积递归神经网络（inplace GCRN），该网络利用嵌入式卷积进行频率模式的提取和重构。就地特征有效地保留了每个频率点中的空间线索，用于跟踪空间源的通道式长短期记忆神经网络（LSTM）。此外，本文还提出了一种新的频谱恢复方法，通过预测幅度掩模、映射和相位来实现频谱恢复，有效地提高了语音质量。
2021-07-26 eess.AS
Convolutional-Recurrent Neural Networks for Speech Enhancement
Microsoft Research（微软研究院）
我们提出了一种基于卷积和循环神经网络的端到端语音增强模型。我们的模型纯粹是数据驱动的，不对噪声的类型或平稳性做任何假设。与使用多层感知器（MLP）的现有方法相比，我们采用卷积和递归神经网络架构。因此，我们的方法使我们能够利用频域和时间域中的局部结构。通过将语音信号的先验知识结合到模型结构的设计中，我们建立了一个模型，该模型具有更高的数据效率，并且对可见和不可见的噪声都具有更好的泛化能力。基于对合成数据的实验，我们证明了我们的模型优于现有的方法，在可见噪声和不可见噪声上分别将PESQ提高了0.6和0.64。
2018-05-02 cs.CL cs.LG cs.SD
Direction of Arrival Estimation of Noisy Speech Using Convolutional Recurrent Neural Networks with Higher-Order Ambisonics Signals
在估计语音/声音信号的到达波达方向时，在一阶高保真度立体声响复制信号上训练卷积递归神经网络是众所周知的方法。在这项工作中，我们研究了将高保真度立体声复制的阶数增加到四阶是否会进一步提高卷积递归神经网络的估计性能。虽然我们对基于模拟空间房间脉冲响应的数据的结果表明，使用更高的高保真度立体声响复制阶数确实有可能提供更好的定位结果，但对基于从二阶开始的真实空间房间脉冲响应的数据没有进一步的改进。相反，从原始数据中提取有意义的特征似乎至关重要。从声强矢量得到的一阶特征在几乎所有情况下都优于纯高阶幅度和相位特征。
2021-05-06 eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
The Recognition Of Persian Phonemes Using PPNet
Vali-e-Asr University of Rafsanjan（拉夫桑贾尼瓦利-阿斯拉大学）；University of Tabriz（大不里士大学）
本文提出了一种新的方法来识别波斯语辅音元音组合（PCVC）语音数据集的波斯语音素。如今，深度神经网络在分类任务中发挥着至关重要的作用。然而，语音识别的最佳结果还没有人类识别率那么完美。深度学习技术在许多其他分类任务（例如图像分类、文档分类等）中表现出出色的性能。此外，性能有时甚至比人类更好。自动语音识别（ASR）系统不如人类语音识别系统合格的原因主要取决于馈送到深度神经网络的数据的特征。方法：首先对语音样本进行切割，在50 ms的样本中准确提取音素语音;然后，音素被分成30组，包括23个辅音，6个元音，和一个沉默的音素。结果如下：对它们进行短时傅里叶变换（STFT），并将结果提供给PPNet（一种新的深度卷积神经网络架构）分类器，总平均准确率达到75.87%，这是与分离波斯语音素的其他算法（如PCVC语音数据集）相比的最佳结果。结论：这种方法不仅可以用于识别单音素，而且可以作为语音转录中选择最佳单词的输入。
2020-03-22 cs.LG cs.SD eess.AS
PHO-LID: A Unified Model Incorporating Acoustic-Phonetic and Phonotactic Information for Language Identification
我们提出了一种新的模型，分层将音素和音位信息的语言识别（LID），而不需要音素注释的培训。在这个模型中，命名为PHO-LID，一个自我监督的音素分割任务和LID任务共享一个卷积神经网络（CNN）模块，该模块对输入语音中的语言身份和顺序音素信息进行编码，以生成一个中间序列的音位嵌入。这些嵌入然后被馈送到用于话语级LID的Transformer编码器层。我们将这种架构称为CNN-Trans。我们在AP 17-OLR数据和NIST LRE 2017的MLS 14集上对其进行了评估，并显示具有多任务优化的PHO-LID模型在所有模型中表现出最高的LID性能，与仅针对LID优化的CNN-Trans模型相比，在AP 17-OLR数据的平均成本方面实现了超过40%的相对改善。可视化的混淆矩阵意味着我们提出的方法在NIST LRE 2017数据中对同一集群的语言实现了比CNN-Trans模型更高的性能。预测的音素边界和对应的音频频谱图之间的比较示出了用于LID的音素信息的利用。
2022-03-31 eess.AS
Sound event detection via dilated convolutional recurrent neural networks
卷积递归神经网络（CRNN）在声音事件检测（SED）方面取得了最先进的性能。在本文中，我们建议使用一个扩张的CRNN，即一个CRNN与扩张的卷积核，作为分类器的任务SED。我们研究了扩张操作的有效性，这些操作为CRNN提供了扩展的感受野，以在不增加CRNN参数数量的情况下捕获长时间上下文。与基线CRNN的分类器相比，扩张CRNN的分类器在TUT-SED Synthetic 2016的公开可用的音频语料库上，在F1得分上获得了1.9%，6.3%和2.5%的最大增加，在错误率（ER）上获得了1.7%，4.1%和3.9%的最大降低，TUT声音事件2016和TUT声音事件2017。
2020-07-20 eess.AS
Fast frequency discrimination and phoneme recognition using a biomimetic membrane coupled to a neural network
Chungnam National University（忠南大学）；Institute for Basic Science（基础科学研究所）；University of Chicago（芝加哥大学）
在人耳中，基底膜在声音识别中起着核心作用。当被声音激发时，该膜以频率依赖的位移模式做出响应，该模式由听觉毛细胞与人类神经系统相结合来检测和识别。受这种结构的启发，我们设计并制造了一种人造膜，它可以响应可听信号产生空间位移模式，我们用它来训练卷积神经网络（CNN）。当用单频音调训练时，该系统可以明确区分频率上间隔很近的音调。当被训练成识别口语元音时，该系统优于现有的音素识别方法，包括离散傅里叶变换（DFT）、缩放FFT和线性调频z变换，特别是在短时间窗口中测试时。因此，与现有方法相比，这种声音识别方案在快速和准确的声音识别方面具有显着的优势。
2020-04-09 cs.LG cs.SD eess.AS
Segmental Contrastive Predictive Coding for Unsupervised Word Segmentation
Johns Hopkins University（约翰霍普金斯大学）
音素或类词单元的自动检测是零资源语音处理的核心目标之一。最近的尝试采用自监督训练方法，例如对比预测编码（CPC），其中下一帧在给定过去上下文的情况下预测。然而，CPC仅查看音频信号的帧级结构。我们克服了这一限制与分段对比预测编码（SCPC）的框架，可以在更高的水平，例如在音素水平的信号结构建模。在这个框架中，卷积神经网络通过噪声对比估计（NCE）从原始波形中学习帧级表示。可微分边界检测器找到可变长度的段，然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。通常，音素和词分割被视为单独的任务。我们统一它们，并通过实验表明，我们的单一模型优于现有的音素和词分割方法TIMIT和七叶树数据集。我们分析了边界阈值的影响，以及何时是正确的时间，包括在学习过程中的分段损失。
2021-06-03 cs.CL cs.LG cs.SD
Small Footprint Convolutional Recurrent Networks for Streaming Wakeword Detection
在这项工作中，我们提出了应用于唤醒词检测问题的小足迹卷积递归神经网络模型，并通过缩放点积注意力来增强它们。我们发现，通过使用CRNN，与250 k参数预算中的卷积神经网络模型相比，错误接受可以减少25%，参数大小减少10%，并且与字级密集神经网络模型相比，我们可以在50 k参数预算中获得高达32%的改进，参数大小减少75%。我们讨论了使用CRNN对流式音频执行推理的挑战性问题的解决方案，以及与CNN，DNN和DNN-HMM模型相比，开始-结束索引错误和延迟的差异。
2020-11-25 eess.AS
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford（牛津大学）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）
我们提出了一个基于卷积递归神经网络的多标签多任务框架，以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征，更高的递归层在这些特征上执行顺序建模。此外，输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步，输出三元组专用于每个感兴趣的事件类别，以联合建模事件发生和时间边界。也就是说，网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后，我们介绍了网络训练的三个连续损失：多标签分类损失，距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力：ITC-Irst用于孤立音频事件检测，TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks
College of Computer Science, Inner Mongolian University（内蒙古大学计算机学院）；Kingsoft AI Laboratory（金山人工智能实验室）
近几十年来，基于神经网络的语音增强方法显著提高了语音增强的性能。大多数方法都是直接或间接地估计出目标语音的时频（T-F）表示，然后利用估计出的T-F表示重新合成波形。在这项工作中，我们提出了时间卷积递归网络（TCRN），这是一种端到端模型，可以直接将噪声波形映射到干净波形。结合卷积和递归神经网络的TCRN能够有效地利用短期和长期信息。Futuremore，我们提出了在前向传播过程中重复下采样和上采样语音的架构。我们表明，与现有的卷积递归网络相比，我们的模型能够提高模型的性能。未来，我们提出了几个关键技术，以稳定的训练过程。实验结果表明，我们的模型始终优于现有的语音增强方法，在语音清晰度和质量。
2020-02-02 cs.LG cs.SD eess.AS
EffCRN: An Efficient Convolutional Recurrent Network for High-Performance Speech Enhancement
本文通过多项拓扑改进提出 FCRN15 及 EffCRN23 系列高效语音增强网络，在 PESQ 等指标上超越 CRUSE，并大幅降低参数与计算量。
2023-06-05 eess.AS
Temporal Feedback Convolutional Recurrent Neural Networks for Speech Command Recognition
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
使用原始波形作为输入的端到端学习模型在许多音频识别任务中表现出优异的性能。然而，大多数模型架构都是基于卷积神经网络（CNN），主要是为视觉识别任务而开发的。在本文中，我们提出了一个扩展的挤压和激励网络（SENets），增加了时间反馈控制从顶层功能通道的功能激活在较低层使用一个经常性的模块。这类似于人类听觉系统中的外毛细胞的自适应增益控制机制。我们将所提出的模型应用于语音命令识别，并表明它的性能略优于SENets和其他基于CNN的模型。我们还调查了性能改善的细节进行故障分析和可视化的通道的功能缩放引起的时间反馈。
2022-09-18 cs.CL cs.LG cs.SD
Quaternion Convolutional Neural Networks for End-to-End Automatic Speech Recognition
Université d'Avignon（阿维尼翁大学）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Orkis（奥基斯公司）；Element AI（Element AI公司）
最近，与递归（RNN）或卷积神经网络（CNN）耦合的连接主义时间分类（CTC）模型使得以端到端的方式训练语音识别系统变得更容易。然而，在实值模型中，时间帧分量，如梅尔滤波器组能量和从它们获得的倒谱系数，以及它们的一阶和二阶导数，被处理为单独的元素，而一个自然的替代方案是处理这些组成实体的组件。我们建议将这些元素以四元数的形式分组，并使用已建立的四元数代数来处理这些四元数。四元数和四元数神经网络已经证明了它们在处理作为实体的多维输入、编码内部依赖性以及用比实值模型更少的学习参数解决许多任务方面的效率。本文提出在四元数卷积神经网络（QCNN）中集成多个特征视图，用于CTC模型的序列到序列映射。使用简单的QCNN在TIMIT语料库的音素识别实验中报告了有希望的结果。更确切地说，QCNN比基于实值CNN的竞争模型用更少的学习参数获得更低的音素出错率（PER）。
2018-06-20 cs.LG cs.SD eess.AS
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University（坦佩雷大学）
本文研究了联合定位，检测和跟踪的声音事件使用卷积循环神经网络（CRNN）。我们使用CRNN先前提出的固定源的定位和检测，并表明，经常性的层，使运动源的空间跟踪时，训练与动态场景。CRNN的跟踪性能进行了比较，一个独立的跟踪方法，结合了多源（DOA）估计和粒子滤波。他们各自的性能进行评估，在各种声学条件下，如消声和混响的情况下，固定和移动源在几个角速度，并与不同数量的重叠源。结果表明，CRNN设法跟踪多个源更一致的声学场景比参数的方法，但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection
Amazon Alexa（亚马逊Alexa）
提出了一种基于区域的卷积循环神经网络（R-CRNN）用于音频事件检测（AED）。所提出的网络受到Faster-RCNN的启发，Faster-RCNN是一种用于视觉目标检测的基于区域的卷积网络框架。与原始Faster-RCNN不同，在卷积网络的顶部添加了一个递归层，以从提取的高级特征中捕获长期时间上下文。虽然大多数关于AED的先前工作首先在帧级生成预测，然后使用后处理来从概率序列预测事件的开始/偏移时间戳;所提出的方法直接在事件级生成预测，并且可以在多任务丢失的情况下进行端到端训练，这同时优化了音频事件的分类和定位。该方法在DCASE 2017 Challenge数据集上进行了测试。据我们所知，R-CRNN是所有方法中性能最好的单模型方法，无需在开发集和评估集上使用集成。与其他基于区域的AED网络（R-FCN）相比，基于事件的出错率（ER）为0.18，我们的方法将ER减少到一半。
2018-08-20 cs.SD eess.AS
A Novel Temporal Attentive-Pooling based Convolutional Recurrent Architecture for Acoustic Signal Enhancement
在声学信号处理中，目标信号通常携带语义信息，这些语义信息被编码在短期和长期上下文的层次结构中。然而，背景噪声以不均匀的方式扭曲这些结构。现有的深部声信号增强（ASE）结构忽略了这种局部和全局效应。为了解决这个问题，我们建议将一种新的时间注意力池（TAP）机制集成到传统的卷积递归神经网络中，称为TAP-CRNN。该方法考虑了ASE任务的全局和局部注意。具体来说，我们首先利用卷积层来提取声学信号的局部信息，然后使用递归神经网络（RNN）架构来表征时间上下文信息。其次，我们利用一个novelattention机制上下文处理显着地区的噪声信号。建议ASE系统使用基准婴儿哭数据集进行评估，并与几个众所周知的方法进行比较。结果表明，TAPCRNN可以更有效地减少婴儿哭声信号中的噪声成分在看不见的背景噪声在具有挑战性的信号噪声水平。
2022-01-24 cs.SD eess.AS
Direction of arrival estimation for multiple sound sources using convolutional recurrent neural network
Tampere University of Technology（坦佩雷理工大学）；Aalto University（阿尔托大学）
提出了一种用于多声源波达方向估计的深度神经网络。所提出的堆叠卷积和循环神经网络（DOAnet）生成空间伪谱（SPS）以及方位角和仰角的DOA估计。我们避免任何显式的特征提取步骤，通过使用所有通道的频谱图的幅度和相位作为网络的输入。建议的波达方向网进行评估，通过估计多个同时存在的源在消声，匹配和不匹配的混响条件下的波达方向。实验结果表明，该算法能够较好地估计出信源个数和波达方向，并产生较高信噪比的SPS。
2018-08-05 cs.LG cs.SD eess.AS
Murmur Detection Using Parallel Recurrent & Convolutional Neural Networks
TCS Research（塔塔咨询服务研究院）
在这篇文章中，我们提出了一种新的技术，在心音杂音的分类。我们引入了一种新的深度神经网络架构，使用基于双向长短期记忆（BiLSTM）和卷积神经网络（CNN）的递归神经网络（RNN）的并行组合来学习PCG波形中的Murmur的视觉和时间相关特性。一组声学特征被呈现给我们提出的深度神经网络，以区分Normal和Murmur类。使用5倍交叉验证在大数据集上对所提出的方法进行了评估，灵敏度和特异性分别为96 +-0.6%，100 +-0%，F1评分为98 +-0.3%。
2018-08-13 cs.LG cs.SD eess.AS
Forward-Backward Convolutional Recurrent Neural Networks and Tag-Conditioned Convolutional Neural Networks for Weakly Labeled Semi-supervised Sound Event Detection
Paderborn University（帕德博恩大学）
在本文中，我们提出了我们的系统检测和分类的声学场景和事件（DCASE）2020年挑战任务4：声音事件检测和分离在国内环境。我们推出两种新模式：前向-后向卷积递归神经网络（FBCRNN）和标签条件卷积神经网络（CNN）。FBCRNN采用两个共享相同CNN的递归神经网络（RNN）分类器进行预处理。一个RNN在前向方向上处理记录，另一个在后向方向上处理记录，这两个网络被训练来联合预测音频标签，即，弱标签，在记录内的每个时间步，因为在每个时间步它们已经联合处理了整个记录。所提出的训练鼓励分类器尽快标记事件。因此，在训练之后，网络可以应用于较短的音频段，例如，200 ms，允许声音事件检测（SED）。此外，我们提出了一个标签条件CNN，以补充SED。它被训练为在使用（预测的）标签的同时预测强标签，即，弱标签，作为额外的输入。对于训练，使用来自FBCRNN系综的伪强标签。该系统在系统和团队排名中分别获得第四名和第三名。随后的改进使我们的系统甚至超过挑战基线和赢家系统的平均，分别为18.0%和2.2%的基于事件的F1分数的验证集。源代码可在https://github.com/fgnt/pb_sed上公开获取。
2021-03-11 cs.SD eess.AS
Binaural Speech Enhancement Using Complex Convolutional Recurrent Networks
提出一种基于编码器-解码器与复数 LSTM 的端到端复数卷积循环网络，通过兼顾空间信息保留的损失函数估计左右耳复数比率掩膜，在单说话人各向同性噪声场景中提升可懂度、降噪并保留空间信息。
2025-07-26 eess.AS eess.SP
Convolutional Recurrent Neural Network with Attention for 3D Speech Enhancement
Northwestern Polytechnical University（西北工业大学）
本文提出一种结合双路径循环神经网络块与注意力机制的U-Net架构用于3D语音增强，通过在时频域和时域联合优化网络，在ICASSP L3DAS23挑战赛数据集上超越了现有最先进系统。
2023-11-20 cs.SD eess.AS
Attention based Convolutional Recurrent Neural Network for Environmental Sound Classification
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
由于声音的复杂性，环境声音分类是一个具有挑战性的问题。ESC性能在很大程度上取决于从环境声音中提取的代表性特征的有效性。然而，ESC经常遭受语义无关帧和沉默帧。为了解决这个问题，我们采用了一个框架级的注意力模型，专注于语义相关的框架和显着的框架。具体来说，我们首先提出了一个卷积循环神经网络来学习频谱-时间特征和时间相关性。然后，我们用帧级注意力机制扩展了我们的卷积RNN模型，以学习ESC的判别特征表示。实验在ESC-50和ESC-10数据集上进行。实验结果证明了该方法的有效性，并取得了国家的最先进的性能方面的分类精度。
2019-07-04 cs.LG cs.SD eess.AS
Classification of Audio Segments in Call Center Recordings using Convolutional Recurrent Neural Networks
从客户关系管理的角度来看，对呼叫中心记录进行详细的统计分析至关重要。随着人工智能的最新进展，现在可以自动执行许多与呼叫统计计算有关的任务。这项工作提出了一个神经网络框架，其目的是正确识别音频片段，并将其分类为客户或代理部分。准确识别这些部分为评估代理人的表现提供了一个公平的指标。我们继承了卷积递归神经网络（CRNN）架构，通常用于音乐流派分类等问题。我们还测试了相同架构的性能，其中以前的类信息和说话者的性别信息也被添加到训练数据标签中。我们看到CRNN可以概括训练数据，并且在有性别信息和没有性别信息的情况下对验证数据表现良好。此外，即使是训练也是使用土耳其语语音样本进行的;经过训练的网络被证明可以在德语和英语等其他语言的呼叫中心录音中实现高准确性。
2021-06-04 cs.SD eess.AS
CGCNN: Complex Gabor Convolutional Neural Network on raw speech
University of Oxford（牛津大学）
卷积神经网络（CNN）已用于自动语音识别（ASR）中，以直接从原始信号而不是手工制作的声学特征学习表示，从而提供更丰富且无损的输入信号。最近的研究提出通过整合脉冲响应的形状来将先前的声学知识注入到第一卷积层，以便增加学习的声学模型的可解释性及其性能。我们建议将复Gabor滤波器与复值深度神经网络相结合，以取代通常的CNN权重核，以充分利用其最佳时频分辨率和复域。在TIMIT音素识别任务上进行的实验表明，该方法达到了顶级的性能，同时保持可解释性。
2020-02-11 cs.SD eess.AS
Predictive Directional Selective Fixed-Filter Active Noise Control for Moving Sources via a Convolutional Recurrent Neural Network
Nanyang Technological University（南洋理工大学）；Northwestern Polytechnical University（西北工业大学）
本文提出PD-SFANC方法，利用CRNN捕捉移动噪声的隐含时间动态并预测控制滤波器，提升对移动源噪声的跟踪和抑制性能。
2026-04-25 eess.AS eess.SP
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.（罗技欧洲股份公司）
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的，它们可以从称为房间脉冲响应（RIR）的房间测量中得出。然而，测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明，人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展，并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明，卷积循环神经网络在这项任务中表现最好，并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation（NAVER 公司）
在这项工作中，我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统，执行二进制分类是否包含重叠的语音帧，所提出的方法分为三类：非语音，单扬声器语音，和重叠的语音。通过使用更详细的标签定义训练网络，模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能，精确度为0.6648，召回率为0.3222，显示召回率增加了20%，精确度也更高。此外，我们还介绍了一个简单的方法，利用建议的重叠语音检测模型的说话人日记，排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Music Genre Classification with Paralleling Recurrent Convolutional Neural Network
深度学习在音乐流派分类中的有效性和效率已经得到证明。然而，现有的成果仍然存在一些缺点，影响了这一分类任务的性能。在本文中，我们提出了一种混合结构，它由并行的CNN和Bi-RNN块。它们分别侧重于空间特征和时间帧顺序的提取。然后将两个输出融合成一个强大的音乐信号表示，并送入softmax函数进行分类。并行网络保证了提取的特征足够鲁棒以表示音乐。此外，实验证明，我们提出的架构提高了音乐流派分类的性能和额外的Bi-RNN块是CNN的补充。
2017-12-22 cs.IR cs.SD eess.AS
Assessment of convolutional recurrent autoencoder network for learning wave propagation
University of Glasgow（格拉斯哥大学）；The University of British Columbia（不列颠哥伦比亚大学）
由于自然界中波浪传播的物理性质复杂，环境参数和动力学尺度变化大，因此建立广义的物理模型具有挑战性。在这篇文章中，我们提出了卷积自编码器递归网络（CRAN）作为学习波传播现象的数据驱动模型。CRAN由一个用于学习低维系统表示的卷积自编码器和一个用于低维系统进化的长短期记忆递归神经网络组成。我们表明，卷积自动编码器通过基于投影的方法显着优于复杂波传播现象的降维，因为它可以直接学习类似波特征的子空间。另一方面，基于投影的模式被限制到傅立叶子空间。卷积自动编码器的几何先验能够选择性地对复杂的波动动力学进行尺度分离，进一步增强了其降维能力。我们还证明了卷积自动编码器的平移等方差和平移不变性等几何先验知识可以实现低维映射的广义学习。因此，将卷积自编码器与专门为自回归建模设计的长短期记忆网络连接的复合CRAN模型可以在期望的时间范围内执行广义波传播预测。数值实验显示，90%的平均结构相似性指数测量CRAN预测相比，真正的解决方案的训练情况下，和小于10%的逐点$L_1$错误的大多数情况下，验证了这样的泛化索赔。最后，CRAN的预测提供了类似的波特征模式的目标解决方案，不仅表明他们的泛化，但他们的运动学的一致性。
2022-10-11 cs.LG cs.SD eess.AS
Sub-Spectrogram Segmentation for Environmental Sound Classification via Convolutional Recurrent Neural Network and Score Level Fusion
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
环境声分类是一个重要而又具有挑战性的问题，而特征表示是环境声分类中的一个关键甚至是决定性的因素。特征表示能力直接影响声音分类的准确性。因此，ESC性能在很大程度上取决于从环境声音中提取的代表性特征的有效性。在本文中，我们提出了一个基于子谱图分割的ESC分类框架。此外，我们采用了建议的卷积循环神经网络（CRNN）和分数级融合，以共同提高分类精度。广泛的截断方案进行评估，以找到最佳的数量和相应的频带范围的子频谱。基于数值实验，所提出的框架可以达到81.9%的ESC分类准确率在公共数据集ESC-50，这提供了9.1%的精度提高比传统的基线计划。
2019-08-16 cs.LG cs.SD eess.AS
Deep Convolutional and Recurrent Networks for Polyphonic Instrument Classification from Monophonic Raw Audio Waveforms
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
声音事件检测和音频分类任务传统上通过音频信号的时间-频率表示（诸如频谱图）来解决。然而，深度神经网络作为高效特征提取器的出现使得能够直接使用音频信号用于分类目的。在本文中，我们尝试通过仅将原始波形馈送到深度学习模型中来识别复调音频中的乐器。各种经常性和卷积架构，包括残留的连接进行检查和参数化，以建立端到端的分类器，计算成本低，只有最小的预处理。我们通过IRMAS测试集获得了竞争性分类分数和有用的仪器洞察力，利用具有多个残差连接的并行CNN-BiGRU模型，同时保持可训练参数的数量显着减少。
2021-02-13 cs.LG cs.SD eess.AS
Regression and Classification for Direction-of-Arrival Estimation with Convolutional Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一种新的基于学习的方法来估计到达方向（DOA）的声源使用卷积递归神经网络（CRNN）训练通过回归合成数据和笛卡尔标签。我们还描述了一种改进的方法来生成合成数据，以训练的神经网络使用国家的最先进的声音传播算法，模型镜面以及漫反射的声音。我们将我们的模型与使用同一问题的不同公式训练的其他三个CRNN进行比较：分类标签上的分类和球坐标标签上的回归。在实践中，我们的模型实现了高达43%的角度误差比以前的方法减少。与基于图像源方法的先前方法相比，使用漫反射导致LOCATA和SOFA数据集的角度预测误差分别减少34%和41%。我们的方法比使用基于分类的网络的先前方案额外减少了3%的错误，并且我们使用的网络参数减少了36%。
2019-07-10 cs.LG cs.SD eess.AS
Music Artist Classification with Convolutional Recurrent Neural Networks
University of Toronto（多伦多大学）
音乐艺术家分类的先前尝试使用在短时间间隔内概括频率内容的帧级音频特征。相比之下，最近的音乐信息检索任务使用深度卷积和递归模型来利用音频频谱图中的时间结构。本文重新审视艺术家分类与这个新的框架和实证研究的影响，将时间结构的特征表示。为此，一个既定的分类架构，卷积递归神经网络（CRNN），适用于艺术家20音乐艺术家识别数据集下的一组全面的条件。其中包括音频剪辑长度，这是这项工作中的一个新贡献，以及先前确定的考虑因素，如数据集分割和特征级别。我们的研究结果改进了基线工作，验证了生产者效应对分类性能的影响，并展示了音频长度和训练集大小之间的权衡。在三项独立试验中，表现最好的模型的平均F1评分为0.937，这是在类似条件下相对于相应基线的实质性改善。此外，为了展示CRNN的特征提取能力的有效性，我们在模型的瓶颈层可视化音频样本，证明学习的表示分割成属于各自艺术家的集群。
2019-03-14 cs.LG cs.MM cs.SD
Polyphonic pitch detection with convolutional recurrent neural networks
DoReMIR Music Research AB（DoReMIR音乐研究公司）
自动语音识别（ASR）研究的最新方向表明，在计算机视觉中应用来自图像识别挑战的深度学习模型是有益的。由于自动音乐转录（AMT）在表面上类似于ASR，因为方法通常依赖于将频谱图转换为事件的符号序列（例如单词或音符），因此深度学习也应该使AMT受益。在这项工作中，我们概述了一个在线的和弦音高检测系统，流音频到convlstms。我们的系统在2007年MIREX多F0开发集上取得了最先进的结果，在巴松管，单簧管，长笛，圆号和双簧管合奏录音上的F测量值为83%，而不需要任何音乐语言建模或乐器音色的假设。
2022-02-04 cs.LG cs.MM cs.SD
