Early Detection of Furniture-Infesting Wood-Boring Beetles Using CNN-LSTM Networks and MFCC-Based Acoustic Features
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院)
本文提出一种基于CNN-LSTM混合架构与MFCC声学特征的非侵入式白蚁早期检测方法,实验准确率达94.5%,优于单独CNN和LSTM模型,为结构性害虫监测提供了自动化解决方案。
2025-07-17 cs.HC cs.SD eess.AS
1D CNN Architectures for Music Genre Classification
École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院)
本文提出了一种用于音乐流派分类的一维残差卷积神经网络(CNN)架构,并将其与其他最近的一维CNN架构进行了比较。1D CNN直接从原始音频信号中学习表示和判别式。几个卷积层捕获音频信号的时频特性,并学习与音乐流派识别任务相关的各种滤波器。所提出的方法使用滑动窗口将音频信号分割成重叠的片段,以符合1D CNN的固定长度输入约束。结果,可以对单个音频段或对若干音频段上的预测的聚合执行音乐流派分类,这提高了最终准确度。所提出的1D残差CNN的性能在1,000个音频片段的公共数据集上进行评估。实验结果表明,它在分类音乐类型时达到了80.93%的平均准确率,优于其他1D CNN架构。
2021-05-15 cs.SD eess.AS
Dynamic Convolutional Neural Networks as Efficient Pre-trained Audio Models
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰开普勒林茨大学)
本文通过引入由动态非线性、动态卷积和注意力机制构建的动态CNN块提升高效CNNs容量,在大规模AudioSet及下游任务上实现优于传统高效CNNs的性能-复杂度权衡,并达到甚至超越Transformers的表现。
2023-10-24 cs.LG cs.SD eess.AS
Compressing audio CNNs with graph centrality based filter pruning
University of Surrey(萨里大学)
针对音频CNN存在冗余滤波器导致计算与内存开销高的问题,提出基于图中心性衡量滤波器共性并剪枝高共性滤波器的框架,在两类音频任务上实现效率提升且性能损失极小甚至略有提升。
2023-05-05 cs.AI cs.SD eess.AS
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI(LIMSI实验室);CNRS(法国国家科学研究中心);Paris-Sud University(巴黎南大学);Paris-Saclay University(巴黎萨克雷大学);DreamQuark(DreamQuark公司)
在这项工作中,我们设计了一个神经网络识别语音中的情绪,使用IEMOCAP数据集。根据音频分析的最新进展,我们使用了一种涉及两个卷积层的架构,用于从原始频谱图中提取高级特征,以及用于聚合长期依赖关系的递归特征。我们研究的技术,数据增强与声乐音轨长度扰动,逐层优化调整,批量归一化的递归层,并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Randomly weighted CNNs for (music) audio classification
计算机视觉文献表明,随机加权的神经网络作为特征提取器表现合理。遵循这个想法,我们研究了未经训练的(随机加权的)卷积神经网络如何作为(音乐)音频分类任务的特征提取器。我们使用从深度架构的嵌入中提取的特征作为分类器的输入-目标是在使用不同的随机加权架构时比较分类精度。通过遵循这种方法,我们对当前用于音频分类的深度架构进行了全面评估,并提供了证据,证明这些架构本身是使用深度神经网络解决(音乐)音频问题的重要组成部分。
2019-02-14 cs.SD eess.AS
Efficient Large-scale Audio Tagging via Transformer-to-CNN Knowledge Distillation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出利用离线知识蒸馏从Transformer训练高效CNN(基于MobileNetV3),在AudioSet上实现0.483 mAP的新最先进性能,兼顾参数、计算效率与预测性能。
2023-06-23 cs.LG cs.SD eess.AS
A Novel Speech-Driven Lip-Sync Model with CNN and LSTM
China Unicom(中国联通)
生成与语音同步、自然的唇动是虚拟人物真实感生成的重要任务之一。在本文中,我们提出了一种一维卷积和LSTM的组合深度神经网络,用于从可变长度的语音输入生成3D模板人脸模型的顶点位移。面部下半部分的运动由3D唇形的顶点运动表示,与输入语音一致。为了提高网络对不同声音信号的鲁棒性,我们采用训练好的语音识别模型提取语音特征,并采用速度损失项来减少生成的人脸动画的抖动。我们录制了一系列中国成年人说普通话的视频,并创建了一个新的语音动画数据集,以弥补此类公共数据的缺乏。定性和定量的评价表明,我们的模型是能够产生平滑和自然的嘴唇运动与语音同步。
2022-05-02 cs.AI cs.CV cs.GR
Speech Emotion Recognition with Dual-Sequence LSTM Architecture
Duke University(杜克大学);University of Minnesota Twin Cities(明尼苏达大学双城分校)
语音情感识别(SER)已经成为下一代人机接口技术的关键组成部分。在这项工作中,我们提出了一个新的双层模型,预测情感的基础上MFCC功能和梅尔从原始音频信号产生的频谱图。每个语音被预处理成MFCC特征和两个不同时频分辨率的梅尔谱图。标准的LSTM处理MFCC特征,而一种新型的LSTM架构,称为双序列LSTM(DS-LSTM),同时处理两个mel谱图。输出随后被平均以产生话语的最终分类。我们提出的模型平均达到了72.7%的加权准确度和73.3%的未加权准确度-比当前最先进的单峰模型提高了6%-并且与利用文本信息以及音频信号的多模态模型相当。
2020-02-13 cs.LG cs.SD eess.AS
AST: Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在过去的十年中,卷积神经网络(CNN)已被广泛采用作为端到端音频分类模型的主要构建块,其目的是学习从音频频谱图到相应标签的直接映射。为了更好地捕捉长期全球背景,最近的趋势是在CNN之上添加自注意力机制,形成CNN-注意力混合模型。然而,目前还不清楚依赖CNN是否是必要的,以及纯粹基于注意力的神经网络是否足以在音频分类中获得良好的性能。在本文中,我们回答了这个问题,通过介绍音频频谱图Transformer(AST),第一个卷积自由,纯粹基于注意力的音频分类模型。我们在各种音频分类基准上评估了AST,其中它在AudioSet上实现了0.485 mAP的最新结果,在ESC-50上实现了95.6%的准确率,在Speech Commands V2上实现了98.1%的准确率。
2021-07-08 cs.AI cs.SD
Speaker Diarization with LSTM
Google Inc.(谷歌公司);Carnegie Mellon University(卡内基梅隆大学)
多年来,基于i向量的音频嵌入技术是说话人确认和说话人日志化应用的主要方法。然而,反映了深度学习在各个领域的兴起,基于神经网络的音频嵌入(也称为d向量)一直表现出卓越的说话人验证性能。在本文中,我们建立在基于d-向量的说话人确认系统的成功,开发一种新的基于d-向量的说话人日记化方法。具体来说,我们结合LSTM为基础的d-向量音频嵌入与最近的工作,在非参数聚类,以获得一个国家的最先进的扬声器diarization系统。我们的系统在三个标准的公共数据集上进行了评估,这表明基于d-向量的日记化系统比传统的基于i-向量的系统具有显着的优势。我们在NIST SRE 2000 CALLHOME上实现了12.0%的日志化错误率,而我们的模型是用来自语音搜索日志的域外数据训练的。
2022-01-23 cs.LG cs.SD eess.AS
Automatic speech recognition for the Nepali language using CNN, bidirectional LSTM and ResNet
Tribhuvan University(特里布万大学)
本文提出一种结合双向 LSTM、ResNet 和一维 CNN 的端到端深度学习模型,用于尼泊尔语自动语音识别,在 OpenSLR 数据集上实现了 17.06% 的字符错误率。
2024-06-25 cs.CL cs.SD eess.AS
emoDARTS: Joint Optimisation of CNN & Sequential Neural Network Architectures for Superior Speech Emotion Recognition
University of Southern Queensland(南昆士兰大学);Queensland University of Technology(昆士兰科技大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心);Imperial College London(帝国理工学院)
本文提出emoDARTS,利用DARTS联合优化CNN与LSTM/RNN架构,不限制CNN层顺序,在三个语音情感数据集上超越现有CNN-LSTM模型和DARTS最佳结果。
2024-03-21 cs.LG cs.SD eess.AS
Enhancing Unsupervised Audio Representation Learning via Adversarial Sample Generation
Alibaba Group(阿里巴巴集团);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
现有的音频分析方法通常首先将音频流转换为频谱图,然后将其馈送到CNN中进行进一步分析。标准的CNN识别特征图上的特定视觉模式,然后汇集高级表示,这忽略了识别模式的位置信息。然而,与自然图像不同,音频频谱图的语义对位置变化敏感,因为其垂直和水平轴指示音频的频率和时间信息,而不是朴素的直角坐标。因此,CNN对位置变化的不敏感性对音频频谱图编码起负面作用。为了解决这个问题,本文提出了一种新的自监督学习机制,该机制通过首先生成对抗样本(\textit{i.e.},负样本),然后驱动CNN来区分潜在空间中负对的嵌入来增强音频表示。大量实验表明,该方法在9个下游数据集上取得了较好的效果,验证了其在音频表示学习中的有效性。
2023-03-15 cs.SD eess.AS
MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation
Sony Corporation(索尼公司);Sony India Software Centre(索尼印度软件中心)
深度神经网络已成为音频声源分离(ASS)不可或缺的技术。最近有报道称,一种称为MMDenseNet的CNN架构的变体被成功地用于解决估计源幅度的ASS问题,并且针对DSD 100数据集获得了最先进的结果。为了进一步增强MMDenseNet,我们提出了一种新的架构,该架构将多尺度的长短期记忆(LSTM)与跳过连接集成在一起,以有效地对音频上下文中的长期结构进行建模。实验结果表明,该方法优于MMDenseNet,LSTM和两种网络的混合。所提出的模型的参数和处理时间的数量显着少于那些简单的混合。此外,所提出的方法产生更好的结果比那些使用理想的二进制面具的歌声分离任务。
2018-05-29 cs.SD eess.AS
Enhancing Speech Emotion Recognition Through Differentiable Architecture Search
University of Southern Queensland(南昆士兰大学);Queensland University of Technology(昆士兰科技大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Imperial College London(伦敦帝国理工学院)
本文提出DARTS优化的CNN-LSTM架构,并允许其自主决定CNN层顺序,从而在IEMOCAP和MSP-IMPROV上提升语音情感识别准确率。
2024-01-19 cs.LG cs.SD eess.AS
Evaluating CNN with Stacked Feature Representations and Audio Spectrogram Transformer Models for Sound Classification
SYSTEC-ARISE, Faculty of Engineering University of Porto, Portugal(SYSTEC-ARISE,工程学院,波尔图大学,葡萄牙)
本文提出基于堆叠特征表示的CNN模型,用于环境声音分类,通过对比不同特征组合和预训练方法,验证其在资源受限场景下的有效性。
2026-02-23 cs.SD eess.AS
Receptive Field Regularization Techniques for Audio Classification and Tagging with Deep Convolutional Neural Networks
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
在本文中,我们研究了著名的卷积神经网络(CNN)架构的变体在不同音频任务上的性能。我们表明,调整CNN的接收场(RF)对其推广至关重要。RF不足限制了CNN拟合训练数据的能力。相比之下,具有过度RF的CNN往往过拟合训练数据,并且无法推广到看不见的测试数据。随着计算机视觉和其他领域中最先进的CNN架构在层数方面趋于深入,其RF大小增加,因此在若干音频分类和标记任务中性能下降。我们研究了著名的CNN架构以及它们的构建块如何影响它们的感受野。我们提出了几种系统的方法来控制CNN的RF,并在不同的音频分类和标记任务和数据集上系统地测试所产生的架构。实验表明,使用我们提出的方法正则化CNN的RF可以大大提高模型的泛化能力,在更大的数据集上表现出复杂的架构和预训练的模型。提出的CNN在多个任务中实现了最先进的结果,从声学场景分类到音乐中的情感和主题检测,再到乐器识别,正如几个相关挑战(DCASE,MediaEval)中的顶级排名所证明的那样。
2021-05-26 cs.LG cs.NE cs.SD
Recursive Joint Attention for Audio-Visual Fusion in Regression based Emotion Recognition
École de technologie supérieure(高等技术学院)
本文提出递归联合注意力与LSTM相结合的音视频融合模型,用于回归式情绪识别,在Affwild2和Fatigue数据集上显著优于现有方法。
2023-04-17 cs.CV cs.SD eess.AS
Pretrained audio neural networks for Speech emotion recognition in Portuguese
Universidade de São Paulo(圣保罗大学)
语音情感识别(SER)的目标是识别语音的情感方面。巴西葡萄牙语的SER挑战是用葡萄牙语的短片段提出的,根据非语言元素(笑,哭等)将其分为中性,非中性女性和非中性男性。此数据集包含约$50$分钟的巴西葡萄牙语语音。由于数据集偏小,我们研究了迁移学习和数据增强技术的组合是否可以产生积极的结果。因此,通过将称为SpecAugment的数据增强技术与用于迁移学习的预训练音频神经网络(PANN)相结合,我们能够获得有趣的结果。PANN(CNN 6、CNN 10和CNN 14)在一个名为AudioSet的大型数据集上进行预训练,该数据集包含超过$5000$小时的音频。在SER数据集上对它们进行微调,并将验证集上表现最好的模型(CNN10)提交给挑战,从挑战提供的基线的$0.54$获得$0.73$的$F1$评分。此外,我们还测试了Transformer神经架构的使用,该架构在大约$600$小时的巴西葡萄牙语音频数据上进行了预训练。Transformers以及更复杂的PANN模型(CNN14)无法推广到SER数据集中的测试集,并且没有超过基线。考虑到数据集大小的限制,目前SER的最佳方法是使用PANN(特别是CNN 6和CNN 10)。
2022-10-26 cs.LG cs.SD eess.AS
Rethinking CNN Models for Audio Classification
National Institute of Technology, Tiruchirappalli(蒂鲁吉拉伯利国家理工学院);National University of Singapore(新加坡国立大学)
在本文中,我们证明了ImageNet预训练的标准深度CNN模型可以用作音频分类的强基线网络。尽管音频Spectrogram和标准ImageNet图像样本之间存在显著差异,但迁移学习的假设仍然成立。为了理解是什么使ImageNet预训练模型能够学习有用的音频表示,我们系统地研究了多少预训练权重对学习频谱图有用。我们证明了(1)对于给定的标准模型,使用预先训练的权重比使用随机初始化的权重更好(2)CNN通过可视化梯度从频谱图中学习的定性结果。此外,我们表明,即使我们使用预训练的模型权重进行初始化,同一模型的各种输出运行中的性能也存在差异。这种性能差异是由于线性分类层的随机初始化和多次运行中的随机小批量排序。这带来了显著的多样性,以构建更强大的集成模型,并在准确性方面得到全面提高。ImageNet预训练的DenseNet集合在ESC-50数据集上实现了92.89%的验证准确率,在UrbanSound 8 K数据集上实现了87.42%的验证准确率,这是这两个数据集的当前最先进水平。
2020-11-13 cs.CV cs.SD eess.AS
3D Convolutional Neural Networks for Ultrasound-Based Silent Speech Interfaces
University of Szeged(塞格德大学)
无声语音接口(SSI)旨在从发音运动的记录(诸如舌头的超声视频)重建语音信号。目前,深度神经网络是完成这一任务最成功的技术。有效的解决方案需要不简单地处理单个图像的方法,而是能够从视频帧序列中提取舌头运动信息。为此,一种选择是应用递归神经结构,例如长短期记忆网络(LSTM)与2D卷积神经网络(CNN)的组合。在这里,我们实验了另一种方法,该方法扩展了CNN以执行3D卷积,其中额外的维度对应于时间。特别是,我们应用的空间和时间卷积的分解形式,这证明了非常成功的最近在视频动作识别。我们通过实验发现,我们的3D网络优于CNN+LSTM模型,这表明3D CNN可能是SSI系统中CNN+LSTM网络的可行替代方案。
2021-04-23 cs.CL cs.SD eess.AS
CNN Architectures for Large-Scale Audio Classification
Google, Inc.(谷歌公司)
卷积神经网络(CNN)已被证明在图像分类中非常有效,并显示出对音频的承诺。我们使用各种CNN架构对70M训练视频(524万小时)的数据集的音轨进行分类,其中包含30,871个视频级别标签。我们研究了完全连接的深度神经网络(DNN),AlexNet [1],VGG [2],Inception [3]和ResNet [4]。我们研究了训练集和标签词汇的大小,发现图像分类中使用的CNN的类似物在我们的音频分类任务中表现良好,并且较大的训练集和标签集在一定程度上有所帮助。使用来自这些分类器的嵌入的模型在音频集[5]声学事件检测(AED)分类任务上比原始特征要好得多。
2017-01-10 cs.LG cs.SD stat.ML
Understanding Audio Pattern Using Convolutional Neural Network From Raw Waveforms
音频信号处理中的一个关键步骤是将原始信号转换为有效编码原始信息的表示。传统上,人们将音频转换为频谱表示,作为频率,幅度和相位变换的函数。在这项工作中,我们采取纯粹的数据驱动的方法来理解原始信号水平上音频的时间动态。我们通过深度卷积神经网络(CNN)模型最大化从原始信号中提取的信息。我们的CNN模型是在urbansound8k数据集上训练的。我们发现,嵌入在原始波形中的显着音频模式可以通过由CNN模型学习的非线性滤波器的组合来有效地提取。
2016-11-29 cs.SD
Cross-Representation Transferability of Adversarial Attacks: From Spectrograms to Audio Waveforms
McGill University(麦吉尔大学);École de Technologie Superiéure, Université du Québec(魁北克大学高等技术学院);Pontifical Catholic University of Paraná(巴拉那天主教大学)
本文展示了基于频谱图的音频分类器对对抗攻击的敏感性以及这种攻击对音频波形的可转移性。一些常用的对图像的对抗攻击已经应用于Mel频率和短时傅立叶变换频谱图,并且这种扰动频谱图能够欺骗2D卷积神经网络(CNN)。这样的攻击会产生人类视觉上无法察觉的干扰频谱图。此外,从扰动的频谱图重建的音频波形也能够欺骗在原始音频上训练的1D CNN。在西方音乐数据集上的实验结果表明,2D CNN在合法样本上的平均准确率高达81.87%,而在对抗样本上的平均准确率下降到12.09%。同样,1D CNN在原始音频样本上实现了高达78.29%的平均准确度,并且在从扰动的频谱图重建的对抗音频波形上,这种性能下降到27.91%。
2020-07-29 cs.LG cs.MM cs.SD
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling(斯特林大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);University of Sheffield(谢菲尔德大学)
人类的听觉皮层擅长选择性地抑制背景噪音,以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者,同时过滤掉其他噪音。在这项研究中,我们提出了一种新的基于深度神经网络(DNN)的视听(AV)掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态,以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码(IBM)估计,利用混合DNN架构来利用堆叠的长短期记忆(LSTM)和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明,我们提出的AV掩模估计模型相比,音频和视觉掩模估计方法的扬声器相关和独立的情况下,显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
Raw Waveform-based Audio Classification Using Sample-level CNN Architectures
KAIST(韩国科学技术院);University of Seoul(首尔大学)
由于音乐、语音和声学场景声音的不同信号特性,它们通常在音频域中被单独处理。然而,随着图像领域的快速增长,通用的图像分类模型,这是必要的,研究可扩展的分类模型在音频领域以及。在本研究中,我们使用两种类型的样本级深度卷积神经网络来解决这个问题,这些网络以原始波形为输入,并使用小粒度的滤波器。一个是由卷积层和池化层组成的基本模型。另一种是改进的模型,增加了剩余连接,挤压和激励模块和多级级联。我们表明,样本级模型达到国家的最先进的性能水平的三个不同类别的声音。此外,我们还将过滤器沿层可视化,并比较学习的过滤器的特性。
2017-12-04 cs.LG cs.MM cs.SD
Enhancing Sound Texture in CNN-Based Acoustic Scene Classification
The Chinese University of Hong Kong(香港中文大学)
声学场景分类是识别从其记录音频信号的场景的任务。卷积神经网络(CNN)模型在声学场景分类中被广泛采用并取得了成功。然而,在CNN中如何感知音频场景的见解很少,正如在图像识别研究中所证明的那样。在本研究中,类激活映射(CAM)被用来分析如何对数幅度梅尔规模滤波器组(log-Mel)功能的不同声学场景中学习的CNN分类器。注意,音频信号的不同的高能量时频分量通常不对应于CAM上的强激活,而背景声音纹理在CNN中被很好地学习。为了使声音纹理更加突出,我们提出了应用高斯差分(DoG)和Sobel算子处理的log-Mel特征和增强边缘信息的时频图像。DCASE 2017 ASC挑战赛的实验结果表明,使用边缘增强的log-Mel图像作为CNN的输入特征显著提高了音频场景分类的性能。
2019-01-06 cs.LG cs.SD eess.AS
Deep CNN Framework for Audio Event Recognition using Weakly Labeled Web Data
音频事件识别系统的开发需要标记的训练数据,这通常是很难获得的。音频事件的记录的一个有前途的来源是网络上的大量多媒体数据。特别地,如果音频内容分析本身必须对web音频执行,则根据这样的数据训练识别器本身是重要的。然而,从这些网络数据中进行训练带来了几个挑战,最重要的是标签的可用性:可以为数据获得的标签(如果有的话)通常很弱,并且不是训练检测器或分类器所需的那种。我们提出,学习算法,可以利用弱标签提供了一种有效的方法来学习Web数据。然后,我们提出了一个强大而有效的基于深度卷积神经网络(CNN)的框架,以从弱标记数据中学习音频事件识别器。所提出的方法可以训练和分析记录的可变长度,以有效的方式,并优于一个网络训练的强标记的网络数据的相当大的利润。此外,即使我们从弱标记数据中学习,其中记录中的事件时间戳在训练期间不可用,我们提出的框架也能够在推理阶段定位事件。
2022-10-02 cs.LG cs.MM cs.SD
AclNet: efficient end-to-end audio classification CNN
Intel Corporation(英特尔公司)
我们提出了一个有效的端到端的卷积神经网络架构,AclNet,音频分类。当使用我们的数据增强和正则化进行训练时,我们在ESC-50语料库上实现了最先进的性能,准确率为85:65%。我们的网络允许这样的配置,内存和计算需求大大降低,并提出了准确性和复杂性的权衡分析。分析表明,高精度显着降低计算复杂性相比,现有的解决方案。例如,只有155 k个参数和每秒4930万次乘加的配置是81:75%,超过了人类81:3%的准确率。这种提高的效率可以在节能平台中实现始终在线的推理。
2018-11-16 cs.LG cs.SD stat.ML
DNN and CNN with Weighted and Multi-task Loss Functions for Audio Event Detection
University of Hamburg(汉堡大学)
本报告介绍了我们为DCASE 2017挑战赛任务2“罕见声音事件检测”提交的音频事件检测系统。所提出的系统基于卷积神经网络(CNN)和深度神经网络(DNN),并结合新的加权和多任务损失函数以及最先进的相位感知信号增强。损失函数是为音频流中的音频事件检测而定制的。加权损失旨在解决背景/前景分类中数据不平衡的常见问题,而多任务损失使网络能够同时对目标事件的类分布和时间结构进行建模以进行识别。我们提出的系统显著优于挑战基线,将F分数从72.7%提高到90.0%,并将开发数据的平均检测出错率从0.53降低到0.18。在评估数据方面,我们提交的文件获得的平均F1分数为88.3%,出错率为0.22,明显优于DCASE基线(即F1分数为64.1%,出错率为0.64)。
2017-10-18 cs.LG cs.SD
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先,给定场景的标签集,自动构造标签树。然后,在特征提取步骤中使用该类别分类法,在该步骤中,音频场景实例由标签树嵌入图像表示。不同的卷积神经网络,这些网络是为手头的任务量身定制的,最终在图像特征的基础上学习,用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率,并优于DCASE 2016基线,开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM