Fast acoustic scattering using convolutional neural networks
Microsoft Research（微软研究院）
在交互式可听化和噪声控制应用中，衍射散射和遮挡是重要的声学效应，通常需要昂贵的数值模拟。我们建议训练卷积神经网络，以从凸散射体的横截面映射到所得空间响度分布的2D切片。我们表明，采用全分辨率残差网络来解决由此产生的图像到图像回归问题，可以产生空间详细的响度场，根均方误差小于1 dB，与全波模拟相比，加速比超过100倍。
2020-02-15 cs.LG cs.SD eess.AS
Marine Mammal Species Classification using Convolutional Neural Networks and a Novel Acoustic Representation
Dalhousie University（达尔豪斯大学）；JASCO Applied Sciences（JASCO应用科学公司）；Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
由于有必要为保护目的分析大量数据，因此在国际上正在扩大对声学记录中海洋哺乳动物的自动检测和分类系统的研究。在这项工作中，我们提出了一个卷积神经网络，是能够分类的三种鲸鱼，非生物噪声源的发声，和第五类有关的环境噪声。通过这种方式，分类器能够检测声学记录中鲸鱼发声的存在和不存在。通过迁移学习，我们证明了分类器能够学习高级表示，并可以推广到其他物种。我们还提出了一种新的表示声信号，建立在常用的频谱图表示的插值和堆叠使用不同的短时傅里叶变换（STFT）参数产生的多个频谱图的方式。所提出的表示是特别有效的海洋哺乳动物物种分类的声学事件，我们试图分类的STFT的参数是敏感的任务。
2019-07-30 cs.LG cs.SD eess.AS
A Novel Temporal Attentive-Pooling based Convolutional Recurrent Architecture for Acoustic Signal Enhancement
在声学信号处理中，目标信号通常携带语义信息，这些语义信息被编码在短期和长期上下文的层次结构中。然而，背景噪声以不均匀的方式扭曲这些结构。现有的深部声信号增强（ASE）结构忽略了这种局部和全局效应。为了解决这个问题，我们建议将一种新的时间注意力池（TAP）机制集成到传统的卷积递归神经网络中，称为TAP-CRNN。该方法考虑了ASE任务的全局和局部注意。具体来说，我们首先利用卷积层来提取声学信号的局部信息，然后使用递归神经网络（RNN）架构来表征时间上下文信息。其次，我们利用一个novelattention机制上下文处理显着地区的噪声信号。建议ASE系统使用基准婴儿哭数据集进行评估，并与几个众所周知的方法进行比较。结果表明，TAPCRNN可以更有效地减少婴儿哭声信号中的噪声成分在看不见的背景噪声在具有挑战性的信号噪声水平。
2022-01-24 cs.SD eess.AS
Multi-Temporal Resolution Convolutional Neural Networks for Acoustic Scene Classification
Austrian Institute of Technology（奥地利技术研究所）；Vienna University of Technology（维也纳工业大学）
在本文中，我们提出了一种用于声学场景分类任务的深度神经网络架构，该架构利用来自Mel频谱图片段的时间分辨率增加的信息。该架构由独立的并行卷积神经网络组成，该网络学习每个输入分辨率的频谱和时间表示。选择分辨率以覆盖场景的频谱纹理的细粒度特征以及其声学事件的分布。该模型比性能最好的单分辨率模型有3.56%的绝对改进，比DCASE 2017声学场景分类任务基线有12.49%的绝对改进。
2018-11-11 cs.MM cs.SD eess.AS
Acoustic Pornography Recognition Using Convolutional Neural Networks and Bag of Refinements
Netease YiDun AI Lab（网易易盾人工智能实验室）；Netease CommsEase AudioLab（网易云信音频实验室）
互联网上大量公开的色情音频严重威胁着儿童的身心健康，但这些音频很少被发现和过滤。在本文中，我们首先提出了一个基于卷积神经网络（CNN）的模型，用于声学色情识别。然后，我们研究了一系列的改进，并通过消融研究验证其有效性。最后，我们将所有改进叠加在一起，以验证它们是否可以进一步提高模型的准确性。在我们新收集的224127个色情音频和274206个正常样本的大数据集上的实验结果证明了我们提出的模型和这些改进的有效性。具体而言，所提出的模型实现了92.46%的准确性，当所有改进组合时，准确性进一步提高到97.19%。
2022-11-11 cs.SD eess.AS
Jasper: An End-to-End Convolutional Neural Acoustic Model
在本文中，我们报告了在没有任何外部训练数据的情况下，端到端语音识别模型中LibriSpeech的最新结果。我们的模型Jasper只使用1D卷积、批量归一化、ReLU、dropout和残差连接。为了改进训练，我们进一步引入了一个新的逐层优化器，称为NovoGrad。通过实验，我们证明了所提出的深度架构的性能以及或优于更复杂的选择。我们最深的Jasper变体使用54个卷积层。有了这种架构，我们实现了2.95%的WER使用波束搜索解码器与外部神经语言模型和3.86%的WER与贪婪解码器上LibriSpeech测试干净。我们还在《华尔街日报》和Hub5'00会话评估数据集上报告了竞争结果。
2019-08-27 cs.CL cs.LG cs.SD
Residual acoustic echo suppression based on efficient multi-task convolutional neural network
Bytedance Inc（字节跳动公司）
声学回声降低了语音通信系统中的用户体验，因此需要完全抑制。提出了一种基于高效卷积神经网络的实时残余声回波抑制方法。双端通话检测器被用作辅助任务，以提高RAES在多任务学习的背景下的性能。训练准则是基于一种新的损失函数，我们称之为抑制损失，以平衡残余回波的抑制和近端信号的失真。实验结果表明，该方法在不同情况下都能有效地抑制残余回波。
2020-11-06 cs.AI cs.MM cs.SD
Multi-Speaker DOA Estimation Using Deep Convolutional Networks Trained with Noise Signals
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
用于源定位的基于监督学习的方法是数据驱动的，可以通过训练来适应不同的声学条件，并且已经被证明对不利的声学环境是鲁棒的。提出了一种基于卷积神经网络（CNN）的监督学习方法，用于多个说话人的波达方向（DOA）估计。将多说话人DOA估计问题转化为多类多标签分类问题，将每个DOA标签对输入特征的分配问题转化为一个单独的二进制分类问题。接收到的麦克风信号的短时傅里叶变换（STFT）系数的相位分量直接被馈送到CNN中，并且在训练期间学习用于DOA估计的特征。利用短时傅里叶变换域中说话人活动不相交的假设，提出了一种用合成噪声信号训练CNN的新方法。通过仿真和实测声脉冲响应的实验评估，证明了所提出的DOA估计方法适应未知声学条件的能力和对未知噪声类型的鲁棒性。通过额外的实证研究，它也表明，与M麦克风阵列，我们提出的框架产生最好的定位性能与M-1卷积层。所提出的方法，以准确地定位扬声器在一个动态的声学场景与不同数量的源的能力也示出。
2018-07-31 cs.LG cs.SD eess.AS
Acoustic Scene Classification Using Fusion of Attentive Convolutional Neural Networks for DCASE2019 Challenge
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本报告中，布尔诺理工大学（BUT）团队提交了DCASE-2019挑战的任务1（声学场景分类，ASC）。并对不同方法进行了分析。该方法融合了三种不同的卷积神经网络（CNN）拓扑结构。第一种是类似于VGG的二维CNN。第二个是二维CNN网络，它使用最大特征图激活，称为Light-CNN（LCNN）。第三种网络是一维CNN，主要用于说话人确认，称为x-向量拓扑。所有提出的网络使用自注意机制的统计池。作为一个功能，我们使用256维对数梅尔频谱图。我们的提交是使用不同融合策略在4倍生成的评估设置上训练的几个网络的融合。
2019-07-13 cs.SD eess.AS
Singer Identification Using Convolutional Acoustic Motif Embeddings
Technical University of Madrid（马德里理工大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
弗拉门戈歌唱的特点是音高不稳定，微音调的变化，大的颤音范围，以及高度的旋律变化。这些音乐特征使得弗拉门戈歌手的自动识别成为一项困难的计算任务。在这篇文章中，我们提出了一个端到端的管道弗拉门戈歌手识别的基础上声学主题嵌入。在所采取的方法中，直接从原始音频信号获得的基频被近似。这种近似降低了音频信号的高度可变性，并允许使用顺序模式挖掘技术发现小的旋律模式，从而创建主题字典。几个声学特征，然后使用卷积架构来提取固定长度嵌入的可变长度图案。我们在弗拉门戈歌手识别任务中测试了嵌入的质量，将我们的方法与以前的深度学习架构进行了比较，并研究了识别任务中动机模式和声学特征的影响。结果表明，动机模式识别弗拉门戈歌手发挥了至关重要的作用，通过最大限度地减少要学习的信号的大小，丢弃在识别任务中不相关的信息。提出的深度学习架构优于大规模音频分类问题中使用的密集模型。
2020-08-01 cs.SD eess.AS
Classification of Vocal Bursts for ACII 2022 A-VB-Type Competition using Convolutional Neural Networks and Deep Acoustic Embeddings
Mehran University of Engineering and Technology（梅赫兰工程技术大学）
本报告简要描述了我们为ACII 2022情感爆发（A-VB）比赛的爆发音类型分类任务提出的解决方案。我们试验了两种方法，作为手头任务解决方案的一部分。第一种是基于在Mel Spectrograms上训练的卷积神经网络，第二种是基于来自预训练的wav 2 vec 2模型的深度声学嵌入的平均池化。我们表现最好的模型实现了测试分区的未加权平均召回率（UAR）为0.5190，而机会水平UAR为0.1250，基线为0.4172。因此，与挑战基线相比改善了约20%。本文中报告的结果证明了我们提出的方法解决AV-B类型分类任务的有效性。
2022-10-13 cs.SD eess.AS
Estimation of 2D Velocity Model using Acoustic Signals and Convolutional Neural Networks
National Institute of Research and Training in Telecommunications (INICTEL-UNI)（国家电信研究与培训研究所（INICTEL-UNI））；National University of Engineering（国立工程大学）
利用间接测量数据对系统参数进行估计是工程中经常遇到的问题，称为反问题。这也发生在水下声学领域，特别是在不够透明的介质中。在这些情况下，仅使用声学信号的对象的形状识别是一个挑战，因为它是利用由具有与介质不同的密度的对象产生的回波的信息来执行的。一般来说，这些回波很难理解，因为它们的信息通常是嘈杂和冗余的。在本文中，我们提出了一个卷积神经网络模型与编码器-解码器的配置，以估计本地化和形状的对象，产生反射信号。该模型允许我们获得2D速度模型。用有限差分法生成的数据对模型进行训练，其交集率达到98.58%，精度达到75.88%，灵敏度达到64.69%。
2019-06-10 cs.LG cs.SD eess.AS
Convolutional Neural Networks and x-vector Embedding for DCASE2018 Acoustic Scene Classification Challenge
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
本文介绍了布尔诺理工大学（BUT）团队提交的DCASE-2018挑战赛任务1（声学场景分类，ASC）。此外，对不同的方法在排行榜上的设置提供了分析。该方法融合了两种不同的卷积神经网络（CNN）拓扑结构。第一种是常见的二维CNN，主要用于图像分类。第二种是一维CNN，用于提取固定长度的音频段嵌入，即所谓的x向量，其也已用于语音处理，特别是用于说话人识别。除了不同的拓扑结构，两种类型的功能进行了测试：日志梅尔频谱图和CQT功能。最后，不同系统的输出融合使用一个简单的输出平均在性能最好的系统。在ASC子任务A（task 1a）的24个团队中，我们的提交排名第三。
2018-10-01 cs.SD eess.AS
SubSpectralNet - Using Sub-Spectrogram based Convolutional Neural Networks for Acoustic Scene Classification
National University of Singapore（新加坡国立大学）；Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
声场景分类是计算声景物分析领域的核心研究问题之一。在这项工作中，我们提出了SubSpectralNet，一种新的模型，它通过将频带电平差异模型音景捕捉歧视性的功能。使用梅尔频谱图，我们提出了使用输入时频表示的逐带作物的想法，并在同一时间上训练卷积神经网络（CNN）。我们还提出了一种改进的训练方法，以更有效地学习CNN模型。我们首先给出了一个动机，使用子频谱图通过直观和统计分析，最后我们开发了一个子频谱图为基础的CNN架构ASC。该系统在为“声学场景和事件的检测和分类”（DCASE）2018挑战赛提供的公共ASC开发数据集上进行评估。我们的最佳模型在分类准确性方面比DCASE 2018基线系统提高了+14%。代码和数字可在https://github.com/ssrp/SubSpectralNet上获得
2019-02-25 cs.SD eess.AS
Interpreting intermediate convolutional layers in unsupervised acoustic word classification
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
了解卷积神经网络如何对数据进行深度分类一直受到广泛的研究。本文提出了一种可视化和解释无监督深度卷积网络中间层的技术，方法是对每个卷积层中的各个特征图进行平均，并使用非线性回归技术推断单词的潜在分布。一个基于GAN的架构（ciwGAN arXiv：2006.02951），包括一个生成器，一个鉴别器，和一个分类器是在来自TIMIT的未标记的切片词汇项上训练的。训练过程产生了一个深度卷积网络，它只根据生成器输出信息数据的要求学习将单词分类为离散类。这个分类器网络不能访问训练数据--只能访问生成的数据。我们提出了一种在分类器中可视化各个卷积层的技术，该技术为每个卷积层产生高度信息化的时间序列数据，并将其应用于未观察到的测试数据。使用非线性回归，我们推断每个单词的潜在分布，这使我们能够分析不同卷积层中单个单词的绝对值和形状，并对其声学特性进行假设测试。该技术还允许我们测试单个电话的对比度以及它们在每一层的表现方式。
2022-02-03 cs.CL cs.SD eess.AS
Integrating the Data Augmentation Scheme with Various Classifiers for Acoustic Scene Modeling
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, CAS（中国科学院新疆理化技术研究所）
本技术报告描述了IOA团队提交的DCASE 2019挑战的TASK 1A。我们的声学场景分类（ASC）系统采用了数据增强方案，采用生成对手网络。在该方案中部署了两个主要的分类器，即集成了尺度图特征的1D深度卷积神经网络和集成了Mel滤波器组特征的2D全卷积神经网络。其他方法，如对手城市适应，基于离散余弦变换的时间模块和混合架构，已被开发用于进一步的融合。我们的实验结果表明，最终的融合系统A-D可以在官方提供的折叠1评估数据集上实现高于85%的准确度。
2019-07-15 cs.LG cs.SD eess.AS
CGCNN: Complex Gabor Convolutional Neural Network on raw speech
University of Oxford（牛津大学）
卷积神经网络（CNN）已用于自动语音识别（ASR）中，以直接从原始信号而不是手工制作的声学特征学习表示，从而提供更丰富且无损的输入信号。最近的研究提出通过整合脉冲响应的形状来将先前的声学知识注入到第一卷积层，以便增加学习的声学模型的可解释性及其性能。我们建议将复Gabor滤波器与复值深度神经网络相结合，以取代通常的CNN权重核，以充分利用其最佳时频分辨率和复域。在TIMIT音素识别任务上进行的实验表明，该方法达到了顶级的性能，同时保持可解释性。
2020-02-11 cs.SD eess.AS
Singing voice synthesis based on convolutional neural networks
Techno-Speech, Inc.（Techno-Speech公司）；Nagoya Institute of Technology（名古屋工业大学）
本文描述了一种基于卷积神经网络（CNN）的歌唱声合成方法。目前正在提出基于深度神经网络（DNN）的歌唱声音合成系统，并且正在提高合成歌唱声音的自然度。在这些系统中，乐谱特征序列和从歌唱声音中提取的声学特征序列之间的关系由DNN建模。然后，通过训练的DNN以帧为单位输出任意乐谱的声学特征序列，并且通过使用参数生成算法来获得歌唱声音的自然轨迹。由于歌唱声音包含丰富的表达，需要一种强大的技术来准确地建模它们。在所提出的技术中，歌唱声音的长期依赖性由CNN建模。以由长期帧组成的段为单位生成声学特征序列，并且在没有参数生成算法的情况下获得自然轨迹。主观听觉测试的实验结果表明，所提出的架构可以合成自然发声的歌声。
2019-06-25 cs.LG cs.SD eess.AS
Acoustic scene classification using multi-layer temporal pooling based on convolutional neural network
声学场景分类系统的性能高度依赖于音频信号的潜在时间动态特性。本文提出了一种以CNN特征序列为输入的多层时域池方法，通过建立序列与其时间索引之间的直接联系，可以有效地捕获任意时长的整个音频信号的时域动态特性。我们将我们的新框架应用于DCASE 2018任务1，ASC。为了评估，我们训练了一个支持向量机（SVM）与建议多层时间池（MLTP）学习功能。在开发数据集上的实验结果表明，MLTP功能的使用显著提高了ASC的性能。通过使用我们实验中发现的最佳设置，实现了75.28%的准确率的最佳性能。
2019-04-03 cs.SD eess.AS
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University（坦佩雷大学）
本文研究了联合定位，检测和跟踪的声音事件使用卷积循环神经网络（CRNN）。我们使用CRNN先前提出的固定源的定位和检测，并表明，经常性的层，使运动源的空间跟踪时，训练与动态场景。CRNN的跟踪性能进行了比较，一个独立的跟踪方法，结合了多源（DOA）估计和粒子滤波。他们各自的性能进行评估，在各种声学条件下，如消声和混响的情况下，固定和移动源在几个角速度，并与不同数量的重叠源。结果表明，CRNN设法跟踪多个源更一致的声学场景比参数的方法，但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
Multi-channel Speech Enhancement with 2-D Convolutional Time-frequency Domain Features and a Pre-trained Acoustic Model
Xiaomi Corporation（小米公司）
本文提出了一种多通道语音增强方法，该方法采用了一种新的两阶段特征融合方法和一种多任务学习范式中的预训练声学模型。在第一融合阶段，分别提取时域和频域特征。在时域中，计算多通道卷积和（MCS）和通道间卷积差（ICD）特征，然后将其与第一2-D卷积层集成，而在频域中，将来自原始通道和超定向波束成形输出的对数功率谱（LPS）特征与第二2-D卷积层组合。为了充分整合多通道语音的丰富信息，即时频域特征和阵列几何形状，我们在第二融合阶段应用第三个2-D卷积层以获得最终的卷积特征。此外，我们建议使用一个固定的干净的声学模型训练的端到端的无格最大互信息标准，以强制增强输出具有相同的分布作为干净的波形，以减轻增强任务的过估计问题和约束失真。在ConferencingSpeech 2021挑战的Task 1开发数据集上，与官方基线和最近提出的多通道分离方法相比，PESQ分别提高了0.24和0.19。
2021-09-24 cs.SD eess.AS eess.SP
Sub-band Convolutional Neural Networks for Small-footprint Spoken Term Classification
Alexa Speech, Amazon（亚马逊Alexa语音部门）
本文提出了一种子带卷积神经网络用于口语词分类。卷积神经网络（CNN）已被证明在声学应用中非常有效，如口语术语分类，关键字定位，说话人识别，声学事件检测等。与计算机视觉中的应用不同，2D卷积核的空间不变性不适合声学应用，因为特定2D核的含义沿着输入特征图中的特征轴变化很大。我们提出了一种子带CNN架构，在每个特征子带上应用不同的卷积核，这使得整体计算更有效。实验结果表明，子带CNN带来的计算效率更有利于小足迹模型。与用于公开可用的语音命令数据集上的口语术语分类的基线全带CNN相比，所提出的子带CNN架构在命令分类上减少了39.7%的计算，在数字分类上减少了49.3%，并且保持了准确性。
2019-07-02 cs.SD eess.AS
Compensating class imbalance for acoustic chimpanzee detection with convolutional recurrent neural networks
Leipzig University of Applied Sciences（莱比锡应用科学大学）；University of Victoria（维多利亚大学）；Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；German Centre for Integrative Biodiversity Research (iDiv) Halle-Jena-Leipzig（德国综合生物多样性研究中心（iDiv）哈雷-耶拿-莱比锡）
自动检测系统在被动声学监测（PAM）系统中是重要的，因为这些系统记录大量的音频数据，这些音频数据对于人类手动评估是不可行的。在本文中，我们评估了基于深度学习的黑猩猩叫声自动检测的类不平衡补偿方法。黑猩猩在自然栖息地中的叫声非常罕见，即数据库的特征是背景和目标叫声之间的严重不平衡。这种不平衡可能对分类器性能产生负面影响。我们采用了基于卷积循环神经网络（CRNN）的最先进的检测方法。我们通过各个阶段扩展检测管道，以补偿类不平衡。这些包括（1）频谱图去噪，（2）替代损失函数，和（3）恢复。我们的主要发现是：（1）频谱图去噪操作显著提高了两个目标类别的性能，（2）标准二进制交叉熵达到最高性能，以及（3）通过重新排序来操纵相对类别不平衡，根据目标类别来降低或维持性能。最后，我们达到了33%的击鼓和5%的发声检测性能，这是一个超过7倍的增长相比，以前发表的结果。我们的结论是，支持网络从前景类中学习解耦噪声条件对于提高性能至关重要。
2021-05-26 cs.SD eess.AS
Acoustic Identification of Ae. aegypti Mosquitoes using Smartphone Apps and Residual Convolutional Neural Networks
Universidade Federal do Pampa（联邦潘帕大学）；Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）；Hospital de Clínicas de Porto Alegre（阿雷格里港临床医院）
本文提出用智能手机应用结合残差卷积神经网络，通过翅膀声识别埃及伊蚊，并给出需求、降噪方法和数据集，实验证明其潜力。
2023-06-16 cs.AI cs.LG cs.SD
The Receptive Field as a Regularizer in Deep Convolutional Neural Networks for Acoustic Scene Classification
LIT Artificial Intelligence Lab, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学LIT人工智能实验室）
卷积神经网络（CNN）在许多机器视觉和机器听觉任务中取得了巨大的成功。因此，许多图像识别网络架构已被适配用于音频处理任务。然而，尽管取得了一些成功，其中许多的性能并没有从图像转换到音频域。例如，ResNet和DenseNet等深度架构在图像识别方面的表现明显优于VGG，但在声学场景分类（ASC）等音频处理任务中的表现并不好。在本文中，我们研究了为什么这种强大的架构在ASC中的表现不如简单的模型（例如，VGG）。为此，我们分析了这些CNN的感受野（RF），并证明了RF对模型泛化能力的重要性。使用我们的感受野分析，我们调整了ResNet和DenseNet，实现了最先进的性能，并最终超越了基于VGG的模型。我们介绍了在CNN中调整RF的系统方法，并给出了三个数据集的结果，这些数据集显示了RF随时间和频率维度的变化如何影响模型的性能。我们的实验结果表明，非常小或非常大的RF会导致性能下降，但通过在一定范围内仔细选择适当的RF大小，可以使深度模型很好地泛化。
2019-07-03 cs.LG cs.SD eess.AS
A Hybrid Approach with Multi-channel I-Vectors and Convolutional Neural Networks for Acoustic Scene Classification
Johannes Kepler University of Linz（林茨约翰内斯·开普勒大学）
在声学场景分类（ASC）中，遵循两种主要方法。虽然一个利用工程特征，如梅尔频率倒谱系数（MFCC），另一个使用学习的功能，是优化算法的结果。I向量是通常将工程特征作为输入的建模技术的结果。已经表明，从单声道音频信号提取的标准MFCC导致表现出较差性能的i向量，特别是在室内声学场景中。同时，卷积神经网络（CNN）以其通过优化滤波器来学习特征的能力而闻名。它们已被应用于ASC，并显示出可喜的结果。在本文中，我们首先提出了一种新的多通道i矢量提取和评分计划ASC，提高其性能的室内和室外场景。其次，我们提出了一个CNN架构，实现了有前途的ASC结果。此外，我们还证明了i向量和CNN从声学场景中捕获互补信息。最后，我们提出了一个混合系统ASC使用多通道i向量和CNN通过利用分数融合技术。使用我们的方法，我们参加了DCASE-2016挑战赛的ASC任务。我们的混合方法在49份提交的材料中获得了第一名，大大提高了以前的技术水平。
2017-06-20 cs.AI cs.LG cs.SD
Blind Estimation of Sub-band Acoustic Parameters from Ambisonics Recordings using Spectro-Spatial Covariance Features
University of New South Wales（新南威尔士大学）；Dolby Laboratories（杜比实验室）
本研究提出含SSCV新特征与FOA-Conv3D后端的统一框架，基于一阶Ambisonics录音盲估计10频带的T60、DRR、C50，性能显著优于现有单通道方法及CNN、CRNN后端。
2025-01-13 cs.LG cs.SD eess.AS
Planing It by Ear: Convolutional Neural Networks for Acoustic Anomaly Detection in Industrial Wood Planers
Université Laval（拉瓦尔大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；FPInnovations；Concordia University（康考迪亚大学）
本文面向工业木工压刨提出 Skip-CAE 与 Skip-CAE transformer 声学异常检测方法，在真实工厂声音数据集上 AUC 达 0.846 和 0.875，优于多种基线。
2025-01-08 cs.AI cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
A Multi-task Learning Balanced Attention Convolutional Neural Network Model for Few-shot Underwater Acoustic Target Recognition
Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学部）
本文提出MT-BCA-CNN模型，通过结合通道注意力机制和多任务学习策略，提升水下声学目标识别的准确率与F1分数，优于传统方法。
2025-04-17 cs.AI cs.SD eess.AS
Deep Convolutional Neural Networks and Data Augmentation for Acoustic Event Detection
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
提出了一种新的声事件检测方法。与语音相反，来自声学事件的声音可以由各种各样的源产生。此外，由于缺乏明确的子词单位，区分它们通常需要分析延长的时间段。为了将AED的长时间频率结构，我们引入了一个卷积神经网络（CNN）与一个大的输入字段。与以前的工作相比，这使得能够训练音频事件检测端到端。我们的架构受到VGGNet成功的启发，并使用小的3x3卷积，但比AED中以前的方法更深入。为了防止过度拟合，并充分利用我们的网络的建模能力，我们进一步提出了一种新的数据增强方法来引入数据变化。实验结果表明，我们的CNN显着优于最先进的方法，包括音频词袋（BoAW）和经典的CNN，实现了16%的绝对改善。
2016-12-08 cs.MM cs.SD
Real time fault detection in 3D printers using Convolutional Neural Networks and acoustic signals
Florida A&M University（佛罗里达农工大学）
本文提出利用卷积神经网络和声学信号实现3D打印机实时故障检测，通过音频分析提高检测效率和可靠性。
2026-08-13 cs.SD eess.AS eess.SP
End-to-End Complex-Valued Multidilated Convolutional Neural Network for Joint Acoustic Echo Cancellation and Noise Suppression
Alibaba Group（阿里巴巴集团）
回波和噪声抑制是全双工通信系统的组成部分。许多最近的声学回声消除（AEC）系统依赖于用于线性回声抑制的单独的自适应滤波模块和用于残余回声抑制的神经模块。然而，不仅自适应滤波模块需要收敛并保持对声学环境中的变化敏感，而且当神经模块已经能够进行线性和非线性回声抑制时，这种两阶段框架还经常向AEC系统引入不必要的延迟。在本文中，我们利用偏移补偿能力的复杂的时间-频率掩模，并提出了一个端到端的复值神经网络架构。所提出的模型的构建块是基于密集连接的多扩张DenseNet（D3 Net）构建块的伪复杂扩展，导致只有354 K参数的非常小的网络。该架构利用了D3 Net构建块的多分辨率特性，消除了对池化的需求，允许网络使用大的感受野提取特征，而不会损失任何输出分辨率。我们还提出了一种双掩模技术的联合回声和噪声抑制与同时语音增强。对合成和真实测试集的评估表明，在多个基于能量的指标和感知代理上都有很好的结果。
2022-01-22 cs.AI cs.LG cs.SD
Joint Analysis of Sound Events and Acoustic Scenes Using Multitask Learning
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）
声音事件检测和声场景分类是环境声音分析中的重要研究课题。许多研究小组已经使用基于神经网络的方法来解决SED和ASC，例如卷积神经网络（CNN）、递归神经网络（RNN）和卷积递归神经网络（CRNN）。传统的方法分别解决SED和ASC，即使声音事件和声学场景彼此密切相关。例如，在声学场景“办公室”中，可能发生声音事件“鼠标点击”和“键盘键入”。因此，预计有关声音事件和声学场景的信息将对SED和ASC相互帮助。在本文中，我们提出了多任务学习的声音事件和声学场景的联合分析，其中的部分网络持有的信息，声音事件和声学场景中的共同共享。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明，与传统的方法相比，所提出的方法在F-score方面分别将SED和ASC的性能提高了1.31和1.80个百分点。基于CRNN的方法。
2020-10-16 cs.SD eess.AS
Neural Architecture Search on Acoustic Scene Classification
Xiaomi AI Lab（小米人工智能实验室）
卷积神经网络被广泛应用于声场景分类（ASC）任务中，但它们通常具有沉重的计算负担。在这项工作中，我们提出了一个受MobileNetV 2启发的轻量级但高性能的基线网络，它用单向卷积核取代了方形卷积核，以在时间和频率维度上交替提取特征。此外，我们探索了一个动态的架构空间的基础上提出的基线与最近的神经架构搜索（NAS）范式，首先训练一个超网，包括所有候选网络，然后应用一个著名的进化算法NSGA-II发现更高效的网络，具有更高的精度和更低的计算成本。实验结果表明，我们搜索的网络能够胜任ASC任务，在DCASE 2018任务5评估集上达到90.3%的F1分数，标志着新的最先进的性能，同时与我们的基线网络相比节省了25%的FLOP。
2020-08-05 cs.LG cs.SD eess.AS
Cross-scale Attention Model for Acoustic Event Classification
National Institute of Information and Communications Technology（国立信息与通信技术研究所）；Research Center for Information Technology Innovation, Academic Sinica（中央研究院资讯科技创新研究中心）
深度卷积神经网络（CNN）的一个主要优点是通过堆叠多个卷积层来增加聚焦的感受野大小。因此，该模型可以从顶层探索特征的长期依赖性。然而，该网络的一个潜在限制是，来自底层的区别性特征（可以对短程依赖性进行建模）在最终表示中被平滑掉了。这种限制在声学事件分类（AEC）任务中尤其明显，其中短持续时间和长持续时间事件都涉及音频片段并且需要被分类。在本文中，我们提出了一个跨尺度的注意力（CSA）模型，它明确地整合了来自不同尺度的功能，以形成最终的表示。此外，我们提出了采用注意力机制来指定的局部和全局特征的空间和时间特性的基础上的声学事件的权重。使用数学公式，我们进一步揭示了所提出的CSA模型可以被视为加权残差CNN（ResCNN）模型时，ResCNN作为骨干模型。我们在两个AEC数据集上测试了该模型：一个是城市AEC任务，另一个是智能汽车环境中的AEC任务。实验结果表明，所提出的CSA模型能够有效地提高现有深度学习算法的性能.
2020-06-15 cs.LG cs.SD eess.AS
Acoustic scene classification using convolutional neural network and multiple-width frequency-delta data augmentation
Seoul National University（首尔大学）；Advanced Institutes of Convergence Technology（先进融合技术研究院）
近年来，神经网络方法已经在许多应用领域显示出优于传统手工特征的性能。特别地，卷积神经网络（ConvNets）利用跨输入数据的空间局部相关性来改善音频处理任务的性能，诸如语音识别、和弦识别和起始点检测。在这里，我们将ConvNet应用于声学场景分类，并表明通过在频域中使用delta特征可以进一步降低出错率。我们提出了一种多宽度频率增量（MWFD）数据增强方法，使用静态梅尔频谱图和频率增量功能作为单独的输入示例。此外，我们描述了一种为MWFD增强设计的ConvNet输出聚合方法，折叠平均聚合，它首先使用乘法将来自同一分析窗口的静态和MWFD特征的输出概率结合起来，而不是取所有输出概率的平均值。我们使用DCASE 2016挑战数据集描述了计算结果，该数据集显示ConvNet的性能优于具有手工制作功能和深度神经网络方法的基线系统约7%。使用MWFD增强和折叠平均聚集进一步提高了性能（5.7%）。该系统表现出的分类准确率为0.831时，分类15声场景。
2016-07-08 cs.SD
Towards small and accurate convolutional neural networks for acoustic biodiversity monitoring
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Instituto de Desenvolvimento Sustentável Mamirauá（马米拉瓦可持续发展研究所）
针对声学生物多样性监测，本文提出带频率展开层的小型 SIMP-FU CNN，利用时间索引标签和1.5秒感受野，在中等规模雨林鸟类数据上实现高精度并可低成本实时部署。
2023-12-06 cs.LG cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University（西弗吉尼亚大学）
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下，我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外，虽然频谱-时间特征已被证明是非常可靠的说话人确认模型，他们只代表说话人的声音的短期声学水平特性的一些方面。然而，人类的声音包括几个语言层次，如声学，词汇，韵律和语音，可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点，我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构，以结合韵律，抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比，该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Interpreting intermediate convolutional layers of generative CNNs trained on waveforms
University of California, Berkeley（加州大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种以无监督方式在原始语音数据上训练的生成CNN中解释和可视化中间层的技术。我们认为，在每个转置卷积层中的ReLU激活后，对特征图进行平均会产生可解释的时间序列数据。这种技术允许对中间层进行声学分析，这与人类语音数据的声学分析相似：我们可以从中间层提取F0，强度，持续时间，共振峰和其他声学属性，以测试CNN在哪里以及如何编码各种类型的信息。我们进一步将这种技术与模型潜在空间的线性插值相结合，以显示潜在空间中的个体变量与模型中间卷积层中的激活之间的因果关系。特别是，观察线性插值和中间层中所产生的变化之间的因果关系，可以揭示个体潜变量如何转化为中间层中激活的峰值。我们训练和探测两个模型的内部表示-一个裸WaveGAN架构和一个ciwGAN扩展，它迫使生成器输出信息丰富的数据，并导致出现语言上有意义的表示。解释和可视化的语音的三个基本的声学特性：周期性振动（对应于元音），非周期性噪声振动（对应于摩擦音），和沉默（对应于停止）。该提案还允许测试更高层次的形态音位变化，如重叠（复制）。简而言之，使用所提出的技术，我们可以分析语音中有语言意义的单元如何在生成神经网络的每个卷积层中编码。
2022-09-09 cs.AI cs.CL cs.SD
Robust Sound Source Tracking Using SRP-PHAT and 3D Convolutional Neural Networks
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一个新的单声源DOA估计和跟踪系统的基础上著名的SRP-PHAT算法和三维卷积神经网络。它使用SRP-PHAT功率图作为全卷积因果架构的输入特征，该架构使用3D卷积层来准确地执行声源跟踪，即使在大多数最先进技术都失败的高度混响场景中也是如此。与以前的方法不同，由于我们不使用双向递归层，并且我们所有的卷积层在时间维度上都是因果关系，因此我们的系统对于实时应用是可行的，并且它为每个新的SRP-PHAT映射提供了新的DOA估计。为了训练模型，我们引入了一个新的过程来模拟随机轨迹，因为它们在训练过程中需要，相当于一个无限大小的数据集具有高度的灵活性，以修改其声学条件，如混响时间。我们使用声学模拟在大范围的混响时间和LOCATA数据集的实际记录，以证明我们的系统的鲁棒性和良好的性能，即使使用低分辨率SRP-PHAT地图。
2020-12-16 cs.LG cs.SD eess.AS
Learning velocity model for complex media with deep convolutional neural networks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；HSE University（高等经济大学）
针对复杂介质速度模型获取问题，采用网格特征法正演、改进UNet的深度卷积神经网络求解反问题，经开源数据集验证，提升了速度剖面与真值的结构相似性定量匹配度且结果具统计显著性。
2021-10-16 cs.LG cs.SD eess.AS
Joint Analysis of Acoustic Events and Scenes Based on Multitask Learning
Ritsumeikan University（立命馆大学）
声事件检测和场景分类是环境声分析中的主要研究内容，基于神经网络的方法已经被提出。传统的方法已经分别解决了这些任务，然而，声学事件和场景是密切相关的。例如，在声学场景“办公室”中，可能发生声学事件“鼠标点击”和“键盘键入”。在本文中，我们提出了多任务学习的声学事件和场景的联合分析，它共享的部分网络持有的声学事件和场景的共同信息。通过整合这两个网络，我们期望声学场景的信息将提高声学事件检测的性能。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明，与基于卷积递归神经网络的传统方法相比，所提出的方法将声学事件检测的性能提高了10.66个百分点。
2019-07-19 cs.SD eess.AS
3-D Feature and Acoustic Modeling for Far-Field Speech Recognition
Samsung Research India（三星印度研究院）
多通道混响条件下的自动语音识别是一项具有挑战性的任务。抑制混响伪影的常规方式涉及多声道语音信号的基于波束成形的增强，其用于提取用于神经网络声学模型的基于频谱图的特征。在本文中，我们提出了直接从多通道语音信号中提取特征，使用多变量自回归（MAR）建模方法，其中所有三个维度的时间，频率和通道之间的相关性被利用。MAR特征被馈送到卷积神经网络（CNN）架构，该架构对三个维度执行联合声学建模。3-D CNN架构允许多通道特征的组合，与专注于增强任务的传统波束形成模型相比，这些特征优化了语音识别成本。在CHiME-3和REVERB Challenge数据集上使用多通道混响语音进行实验。在这些实验中，所提出的3-D特征和声学建模方法提供了比用波束成形音频训练的ASR系统显著的改进（CHiME-3和REVERB挑战数据集的单词错误率分别平均相对改进10%和9%。
2020-01-27 cs.LG cs.SD eess.AS
Spatio-Temporal Attention Pooling for Audio Scene Classification
University of Kent（肯特大学）；University of Oxford（牛津大学）
声学场景在其内容上是丰富和冗余的。在这项工作中，我们提出了一个时空注意力池层与卷积递归神经网络相结合，以从有区别的模式中学习，同时抑制那些与声学场景分类无关的模式。该网络中的卷积层从时频输入中学习不变特征。然后，双向递归层能够对所得卷积特征的时间动态进行编码。然后，通过从两个指定的注意力层学习的空间和时间注意力向量的外积形成二维注意力掩码，以加权并将递归输出汇集到最终的特征向量中用于分类。该网络的训练与类间数据增强产生的类间的例子。实验表明，该方法不仅优于一个强大的卷积神经网络基线，但也设置了新的国家的最先进的性能LITIS鲁昂数据集。
2019-06-28 cs.LG cs.SD eess.AS
Multi-Frame Cross-Entropy Training for Convolutional Neural Networks in Speech Recognition
IBM Research AI, IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心IBM研究人工智能部门）；IBM Watson（IBM沃森）
我们为卷积神经网络声学模型引入了多帧交叉熵训练（MFCE）。认识到与RNN类似，CNN本质上是采用可变长度输入的序列模型，我们建议将足够长的话语的一部分作为CNN的输入，以便同时预测多个标签，因此从多个相邻帧中获得交叉熵损失信号。这大大增加了标签信息的数量，而边际计算成本却很小。在2000小时的Switchboard基准上进行培训后，我们在hub5和rt02上显示出较大的WER改进。
2019-07-29 cs.CL cs.LG cs.SD
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University（斯坦福大学）
我们听到的每一个声音都是连续卷积运算的结果（例如室内声学、麦克风特性、乐器本身的共振特性，更不用说声音再现系统的特性和限制）。在这项工作中，我们试图确定使用AI执行特定作品的最佳房间。此外，我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看，房间（特别是教堂和音乐厅）被设计为举办和服务于特定的音乐功能。在某些情况下，建筑声学质量提高了那里的音乐表演。作为第一步，我们试图模仿这一点，通过指定房间脉冲响应，这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级，对于各种乐器系列和笔记的感知质量，准确率约为78%。这给了我们一个评分功能，任何音频样本，可以评级的感知愉悦的音符自动。现在，通过模拟各种房间，材料等的大约60，000个合成脉冲响应的库，我们使用一个简单的卷积运算来转换声音，就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名，并产生播放声音的“最佳房间或音乐厅”。作为一个副产品，它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
Very Deep Convolutional Neural Networks for Raw Waveforms
Bosch（博世）
以最少的处理直接从原始波形数据学习声学模型是具有挑战性的。当前基于波形的模型通常使用非常少（~2）的卷积层，这可能不足以构建高级判别特征。在这项工作中，我们提出了非常深的卷积神经网络（CNN），直接使用时域波形作为输入。我们的CNN具有多达34个权重层，可以有效地优化非常长的序列（例如，大小为32000的向量），这是处理声波波形所必需的。这是通过批量归一化、残差学习和在初始层中仔细设计下采样来实现的。我们的网络是完全卷积的，没有使用完全连接的层和dropout，以最大限度地提高表示学习。我们在第一个卷积层中使用一个大的感受野来模拟带通滤波器，但随后使用非常小的感受野来控制模型容量。我们展示了更深层次的模型的性能增益。我们的评估表明，具有18个权重层的CNN在环境声音识别任务的绝对准确性方面优于具有3个权重层的CNN超过15%，并且与使用对数梅尔特征的模型的性能相匹配。
2016-10-01 cs.LG cs.NE cs.SD
A Universal Deep Room Acoustics Estimator
Logitech（罗技）
语音音频质量易受声学环境和各向同性环境噪声和点噪声引起的劣化的影响。这种环境会导致语音清晰度下降，并使听者失去注意力。很好地表征环境的基本声学参数是（i）信噪比（SNR）、（ii）语音传输指数、（iii）混响时间、（iv）清晰度和（v）直达混响比。除了SNR之外，这些参数通常来自房间脉冲响应（RIR）测量;然而，这些测量通常不可用。本文提出了一种基于卷积递归神经网络的通用房间声学估计器设计，该设计可以盲估计和联合估计声学环境测量。我们的研究结果表明，该系统是鲁棒的非平稳信号的变化，并优于目前最先进的方法。
2021-09-29 cs.SD eess.AS
Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling
Institute for Signal Processing, University of Luebeck（吕贝克大学信号处理研究所）；Graduate School for Computing in Medicine and Life Sciences, University of Luebeck（吕贝克大学医学与生命科学计算研究生院）
在DCASE-2016竞赛中，我们训练了一个具有掩码全局池的深度全卷积神经网络，用于声学场景分类的单标签分类和国内音频标记的多标签分类。我们的网络在声学场景识别的四重交叉验证上实现了84.5%的平均准确率，而提供的基线为72.5%，国内音频标记的平均相等出错率为0.17，而基线为0.21。因此，该网络将基线分别提高了17%和19%。该网络仅由卷积层和一个全局池化层组成，卷积层用于从短时傅立叶变换中提取特征，全局池化层用于组合这些特征。特别地，除了全连接输出层之外，它既不具有全连接层，也不具有丢弃层。
2016-07-11 cs.LG cs.MM cs.NE
Acoustic Anomaly Detection for Machine Sounds based on Image Transfer Learning
LMU Munich（慕尼黑大学）
在工业应用中，早期检测故障工厂机械至关重要。在本文中，我们考虑通过迁移学习的声学故障检测。与目前大多数基于深度自动编码器的方法相反，我们建议使用在图像分类任务上进行预训练的神经网络来提取特征。然后，我们使用这些功能来训练各种异常检测模型，并表明，与噪声环境中四种不同工厂机器的记录中的卷积自动编码器相比，这改善了结果。此外，我们发现从基于ResNet的网络中提取的特征比从AlexNet和Squeezenet中提取的特征产生更好的结果。在我们的设置中，高斯混合模型和单类支持向量机实现了最佳的异常检测性能。
2020-12-11 cs.CV cs.LG cs.SD
Murmur Detection Using Parallel Recurrent & Convolutional Neural Networks
TCS Research（塔塔咨询服务研究院）
在这篇文章中，我们提出了一种新的技术，在心音杂音的分类。我们引入了一种新的深度神经网络架构，使用基于双向长短期记忆（BiLSTM）和卷积神经网络（CNN）的递归神经网络（RNN）的并行组合来学习PCG波形中的Murmur的视觉和时间相关特性。一组声学特征被呈现给我们提出的深度神经网络，以区分Normal和Murmur类。使用5倍交叉验证在大数据集上对所提出的方法进行了评估，灵敏度和特异性分别为96 +-0.6%，100 +-0%，F1评分为98 +-0.3%。
2018-08-13 cs.LG cs.SD eess.AS
Stacked Convolutional and Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology（坦佩雷理工大学）
本文研究了使用层叠卷积和循环神经网络检测音频片段中的鸟叫声。提出了通过块混合和领域自适应的数据增强，并评估了该方法对未知数据的鲁棒性。研究了两种声学特征（主频和对数梅尔带能量）及其组合在鸟类音频检测中的贡献。我们在开发数据的五次交叉验证中实现的最佳AUC测量值为95.5%，在看不见的评估数据中为88.1%。
2017-06-07 cs.LG cs.SD
Cross-modal Spectrum Transformation Network For Acoustic Scene classification
Microsoft（微软公司）
具有对数梅尔谱特征的卷积神经网络（CNN）在声学场景分类任务中表现出了良好的效果。然而，这些基于CNN的分类器的性能仍然缺乏，因为它们不能很好地概括未知的环境。为了解决这个问题，我们引入了一个声学频谱转换网络，传统的对数梅尔频谱转换成想象的视觉特征（IVF）。通过利用视频记录中存在的音频和视觉特征之间的关系来学习想象的视觉特征。自动编码器用于将图像编码为视觉特征，转换网络学习如何从log-mel生成想象的视觉特征。我们的模型是在一个大型的Youtube视频数据集上训练的。我们在DCASE和ESC-50的场景分类任务上测试了我们提出的方法，我们的方法优于其他光谱特征，特别是对于看不见的环境。
2021-08-13 cs.SD eess.AS
