HyDiscGAN: A Hybrid Distributed cGAN for Audio-Visual Privacy Preservation in Multimodal Sentiment Analysis
Tongji University(同济大学);DeepBlue Academy of Sciences(深蓝科学院);Beijing Institute of Technology(北京理工大学);University of Oxford(牛津大学)
针对多模态情感分析中音频和视觉模态的隐私泄露风险,提出混合分布式条件生成对抗网络HyDiscGAN,利用去标识化文本生成虚假音视频特征,在保护隐私的同时保持或提升性能。
2024-04-18 cs.DC cs.MM cs.SD
Exploring and Applying Audio-Based Sentiment Analysis in Music
Fox Chapel Area High School(福克斯教堂地区高中)
本文探索音乐情感分析,解决随时间预测音乐片段情感及确定下一情感值以实现无缝过渡两项任务,利用Emotions in Music Database训练模型,结果表明模型能有效准确执行任务。
2024-02-22 cs.AI cs.LG cs.SD
Video-based Cross-modal Auxiliary Network for Multimodal Sentiment Analysis
Shanghai University(上海大学);University of Leicester(莱斯特大学)
多模态情感分析由于其在多模态交互中的信息互补性而具有广泛的应用。以往的研究多集中在研究有效的联合表示,但很少考虑到多模态融合的单峰特征提取不足和数据冗余。本文提出了一种基于视频的跨模态辅助网络(VCAN),它由音频特征映射模块和跨模态选择模块组成。第一模块被设计为显著增加音频特征提取中的特征多样性,旨在通过提供更全面的声学表示来提高分类精度。为了使模型能够处理冗余的视觉特征,第二个模块是针对有效地过滤冗余的视觉帧在整合视听数据。此外,一个分类器组由多个图像分类网络被引入到预测情感极性和情感类别。在RAVDESS、CMU-MOSI和CMU-MOSEI基准测试上的大量实验结果表明,VCAN在提高多模态情感分析的分类精度方面明显优于现有的方法。
2022-08-30 cs.CV cs.SD eess.AS
Investigating Label Noise Sensitivity of Convolutional Neural Networks for Fine Grained Audio Signal Labelling
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
我们测量了在细粒度音频信号标记任务中由轻微未对齐的地面真实标签引起的少量系统和随机标签噪声的影响。我们选择演示这些效果的任务也称为逐帧复调转录或音符量化多f0估计,并将单声道音频信号转换为音符指示符标签序列。它将表明,即使是轻微的错位有明显的影响,证明了卷积神经网络的标签噪声的高度敏感性。其含义是明确的:当将卷积神经网络用于细粒度音频信号标记任务时,必须非常小心地确保注释具有精确的定时,并且尽可能地不受系统或随机误差的影响,即使是小的未对准也会产生明显的影响。
2018-05-28 cs.LG cs.SD eess.AS
Audio Classification of Low Feature Spectrograms Utilizing Convolutional Neural Networks
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有音频分类技术难以处理低特征声谱图信号、依赖不符合真实分布的全量数据集的问题,本文提出多种首创的定制化卷积架构与分类方法,在不同数据分布下实现了最优分类准确率与更高效率。
2024-10-28 cs.LG cs.SD eess.AS
WEnets: A Convolutional Framework for Evaluating Audio Waveforms
Institute for Telecommunication Sciences(电信科学研究所)
我们描述了一个新的波形评估卷积框架WEnets,并使用该框架构建了一个窄带音频波形评估网络NAWEnet。NAWEnet是单端(或无参考)的,并且经过三次单独的训练,以便在仅对50%的可用数据进行训练并对40%的可用数据进行测试时,分别以0.95,0.92和0.95的测试相关性来模拟PESQ,POLQA或STOI。1-D卷积层堆栈和非线性下采样可以了解哪些特征对质量或可懂度估计很重要。这种简单的架构简化了对其内部工作原理的解释,并为未来研究更高的采样率和准确的无参考主观语音质量预测铺平了道路。
2019-09-19 cs.LG cs.SD eess.AS
Multimodal Sentiment Analysis based on Video and Audio Inputs
IE University(IE大学);School of science and technology(科学技术学院)
针对多模态情感分析最优模型难寻的问题,本文采用微调的音频、视频预训练模型,结合多种决策融合方法验证双输入情感识别模型的可用性,取得了鼓舞性结果。
2024-12-12 cs.AI cs.CV cs.MM
An Ensemble of Convolutional Neural Networks for Audio Classification
University of Padua(帕多瓦大学);Missouri State University(密苏里州立大学);Tampere University(坦佩雷大学)
在本文中,分类器的集合,利用几种数据增强技术和四种信号表示来训练卷积神经网络(CNN)进行音频分类,并在三个免费提供的音频分类数据集上进行测试:i)鸟鸣,ii)猫的声音,iii)环境声音分类数据集。性能最好的合奏相结合的数据增强技术与不同的信号表示进行了比较,并表现出优于这些数据集的文献中报道的最佳方法。本文提出的方法在广泛使用的ESC-50数据集中获得了最先进的结果。据我们所知,这是调查用于音频分类的CNN集成的最广泛的研究。结果表明,CNN不仅可以被训练用于音频分类,而且它们使用不同技术的融合比独立的分类器效果更好。
2021-04-27 cs.LG cs.SD eess.AS
Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks
Queen Mary University of London(伦敦玛丽女王大学);Institute for Research and Coordination in Acoustics/Music(声学/音乐研究与协调研究所)
音乐演奏和乐谱之间的结构差异的识别是音频-乐谱对齐的一个具有挑战性但不可或缺的步骤,音频-乐谱对齐是音乐信息检索的一个重要子任务。我们提出了一种新颖的方法,使用逐渐扩大的卷积神经网络来检测给定音乐作品的乐谱和演奏之间的差异。我们的方法在不同层采用不同的膨胀率来捕获短期和长期的上下文,并且可以在有限的注释数据的情况下成功地使用。我们进行实验的真实表演,从结构上不同的分数的音频记录,我们的结果表明,我们的模型优于标准方法的结构感知音频到分数对齐。
2021-02-14 cs.LG cs.SD eess.AS
Deep Convolutional and Recurrent Networks for Polyphonic Instrument Classification from Monophonic Raw Audio Waveforms
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心)
声音事件检测和音频分类任务传统上通过音频信号的时间-频率表示(诸如频谱图)来解决。然而,深度神经网络作为高效特征提取器的出现使得能够直接使用音频信号用于分类目的。在本文中,我们尝试通过仅将原始波形馈送到深度学习模型中来识别复调音频中的乐器。各种经常性和卷积架构,包括残留的连接进行检查和参数化,以建立端到端的分类器,计算成本低,只有最小的预处理。我们通过IRMAS测试集获得了竞争性分类分数和有用的仪器洞察力,利用具有多个残差连接的并行CNN-BiGRU模型,同时保持可训练参数的数量显着减少。
2021-02-13 cs.LG cs.SD eess.AS
Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation
University of Surrey(萨里大学)
在具有卷积层的深度神经网络中,每一层通常具有固定大小/单一分辨率的感受野(RF)。具有大RF的卷积层从输入特征捕获全局信息,而具有小RF大小的层从输入特征捕获具有高分辨率的局部细节。在这项工作中,我们引入了新的深度多分辨率全卷积神经网络(MR-FCNN),其中每一层都有不同的RF大小来提取多分辨率特征,这些特征从其输入特征中捕获全局和局部细节信息。所提出的MR-FCNN被应用于从许多音频源的混合中分离目标音频源。实验结果表明,与前馈深度神经网络(DNN)和单分辨率深度全卷积神经网络(FCNN)相比,使用MR-FCNN在音频声源分离问题上提高了性能。
2017-10-28 cs.CV cs.LG cs.SD
MP3net: coherent, minute-long music generation from raw audio with a simple convolutional GAN
我们提出了一种深度卷积GAN,它利用MP3/Vorbis音频压缩的技术来产生具有长距离相干性的长时间高质量音频样本。该模型使用改进的离散余弦变换(MDCT)数据表示,其中包括所有相位信息。因此,相位生成是模型的组成部分。我们利用人耳的听觉掩蔽和心理声学感知极限来扩大真实分布并稳定训练过程。模型架构是一个深度2D卷积网络,其中每个后续的生成器模型块沿着时间轴增加分辨率,并沿着频率轴增加更高的倍频程。较深层与输出的所有部分相连,并具有完整轨道的上下文。这使得能够生成表现出长程相干性的样本。我们使用MP3 net在单个Cloud TPUv 2上训练250小时后,以22 kHz的采样率创建95秒的立体声音轨。基于CNN的模型架构的另一个好处是,新歌的生成几乎是即时的。
2021-01-12 cs.LG cs.SD eess.AS
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而,在音频任务中,由于音频波形的序列长度非常大,所以它们不能进行训练,或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中,我们引入了一种架构Audiomer,在该架构中,我们将1D残差网络与表演者注意力相结合,以实现原始音频波形关键字定位的最佳性能,优于所有以前的方法,同时计算成本更低,参数效率更高。此外,我们的模型具有语音处理的实际优势,如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification
Visualfy;Universitat de València(瓦伦西亚大学)
残差学习是最近提出的一种学习框架,用于促进非常深的神经网络的训练。剩余块或单元由一组堆叠的层组成,其中输入被添加回其输出,目的是创建身份映射。在实践中,这种身份映射是通过所谓的跳过或剩余连接来完成的。然而,关于在构成残余块的堆叠层的集合内应用此类跳过连接的位置出现多个实现替代。虽然使用卷积神经网络(CNN)进行图像分类的ResNet架构在文献中已被广泛讨论,但到目前为止,很少有作品将ResNet架构用于1D音频分类任务。因此,用于原始音频分类的不同残差块设计的适用性是部分未知的。本文的目的是分析和讨论几个残留块实现的性能在一个国家的最先进的CNN为基础的架构端到端的音频分类使用原始音频波形。为了比较的目的,我们分析,以及在一个类似的2D架构下,使用传统的时间-频率音频表示作为输入的残留块的性能。结果表明,实现的精度是相当依赖的,不仅对特定的残留块的实现,而且对选定的输入归一化。
2019-09-26 cs.LG cs.SD eess.AS
Stacked Convolutional and Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology(坦佩雷理工大学)
本文研究了使用层叠卷积和循环神经网络检测音频片段中的鸟叫声。提出了通过块混合和领域自适应的数据增强,并评估了该方法对未知数据的鲁棒性。研究了两种声学特征(主频和对数梅尔带能量)及其组合在鸟类音频检测中的贡献。我们在开发数据的五次交叉验证中实现的最佳AUC测量值为95.5%,在看不见的评估数据中为88.1%。
2017-06-07 cs.LG cs.SD
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven(鲁汶大学)
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常,他们在平均教师设置中接受训练,以处理可用数据的异构注释。在这项工作中,我们对改变这些卷积递归神经网络的时间分辨率(可以通过简单地调整其池化操作来完成)如何影响其性能进行了全面的分析。通过使用各种评估指标,我们调查的影响,适应这个设计参数下的几个声音识别的情况下,涉及不同的需求,在时间定位。
2022-09-27 cs.SD eess.AS
On the Design of Deep Priors for Unsupervised Audio Restoration
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
用于解决音频恢复问题的无监督深度学习方法广泛依赖于精心定制的神经架构,这些神经架构携带用于在时域或谱域中定义先验的强归纳偏差。在这种情况下,最近已经通过复杂的卷积网络结构在频谱域中恢复音频信号取得了很多成功。然而,在实践中,音频先验需要对卷积核进行仔细的工程设计,以有效地解决不适定的恢复任务,同时还易于训练。为此,在本文中,我们提出了一种新的基于U-Net的先验,它不会影响现有卷积架构的网络复杂性或收敛行为,但会显著改善恢复。特别是,我们提倡使用精心设计的膨胀时间表和密集连接的U-Net架构,以获得强大的音频先验。使用标准基准和各种不适定的恢复任务,如音频去噪,在绘画和声源分离的实证研究,我们证明,我们提出的方法始终优于广泛采用的音频先验架构。
2021-04-14 cs.LG cs.SD eess.AS
Dynamic Convolutional Neural Networks as Efficient Pre-trained Audio Models
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰开普勒林茨大学)
本文通过引入由动态非线性、动态卷积和注意力机制构建的动态CNN块提升高效CNNs容量,在大规模AudioSet及下游任务上实现优于传统高效CNNs的性能-复杂度权衡,并达到甚至超越Transformers的表现。
2023-10-24 cs.LG cs.SD eess.AS
Demonstration of PerformanceNet: A Convolutional Neural Network Model for Score-to-Audio Music Generation
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
我们在本文中提出的PerformacnceNet,我们最近提出的神经网络模型,以实现分数到音频的音乐生成。该模型学习将音乐作品从符号域转换到音频域,自动为音乐分配性能级别的属性,例如速度的变化,然后合成音频。因此,该模型不仅仅是一个神经音频合成器,而是一个学习以自己的方式解释乐谱的人工智能表演者。该模型的代码和示例输出可以在https://github.com/bwang514/PerformanceNet上找到。
2019-05-28 cs.SD eess.AS
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford(牛津大学);NIHR Oxford Biomedical Research Centre(英国国家健康研究所牛津生物医学研究中心)
我们提出了一个基于卷积递归神经网络的多标签多任务框架,以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征,更高的递归层在这些特征上执行顺序建模。此外,输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步,输出三元组专用于每个感兴趣的事件类别,以联合建模事件发生和时间边界。也就是说,网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后,我们介绍了网络训练的三个连续损失:多标签分类损失,距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力:ITC-Irst用于孤立音频事件检测,TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey(萨里大学)
在本文中,我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法,该方法在声学场景和事件的检测和分类(DCASE)2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的,手动标记有一个或几个音频标签,但没有音频事件的时间戳,这被称为弱标记数据。在该挑战中定义了两个子任务,包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元(GLU)非线性的卷积递归神经网络(CRNN),用于对数梅尔谱图。此外,提出了一种时间注意力方法沿帧预测的位置,每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Detecting Alzheimer's Disease Using Gated Convolutional Neural Network from Audio Data
Tokyo Institute of Technology(东京工业大学)
我们提出了一种自动检测方法阿尔茨海默氏症使用门控卷积神经网络(GCNN)从语音数据。该GCNN可以用相对少量的数据进行训练,并且可以捕获音频语言特征中的时间信息。由于它不使用任何语言特征,因此可以很容易地应用于任何语言。我们使用Pitt Corpus评估了我们的方法。所提出的方法实现了73.6%的准确性,这是优于传统的顺序最小优化(SMO)的7.6点。
2018-03-30 cs.SD eess.AS
Robust Audio Event Recognition with 1-Max Pooling Convolutional Neural Networks
本文提出了一种简单而有效的卷积神经网络(CNN)架构,用于鲁棒的音频事件识别。与具有多个卷积和池化层以及多个完全连接层的深度CNN架构相反,所提出的网络仅由三层组成:卷积层、池化层和softmax层。另外两个特征将其与针对该任务提出的深度架构区分开来:卷积层的可变大小卷积滤波器和池化层的1-max池化方案。直觉上,网络倾向于从整个音频信号中选择最具区分力的特征进行识别。我们提出的CNN不仅在鲁棒音频事件识别的标准任务上表现出最先进的性能,而且在识别准确率方面优于其他深度架构高达4.5%,相当于76.3%的相对错误减少。
2016-06-22 cs.LG cs.NE cs.SD
Multichannel Sound Event Detection Using 3D Convolutional Neural Networks for Learning Inter-channel Features
Tampere University of Technology(坦佩雷理工大学);Aalto University(阿尔托大学)
在本文中,我们提出了一个堆叠的卷积和递归神经网络(CRNN)与三维卷积神经网络(CNN)在第一层的多通道声音事件检测(SED)任务。3D CNN使网络能够从输入的多声道音频中同时学习声道间和声道内特征。为了评估所提出的方法,多声道音频数据集与不同数量的重叠声源合成。每个数据集都有一个四声道一阶Ambisonic,双耳和单声道版本,使用所提出的方法比较SED的性能,以研究使用多声道音频的SED的潜力。还对真实录音TUT-SED 2017开发数据集的双耳和单通道版本进行了类似的研究。所提出的方法可以更快地从多通道特征中识别重叠的声音事件,并且使用更少的训练时期来执行更好的SED。结果表明,在使用多声道高保真音频代替单声道音频时,我们将总体F分数提高了7.5%,总体出错率提高了10%,并且在具有四个重叠声源的时间帧中识别出15.6%以上的声音事件。
2018-01-29 cs.LG cs.SD eess.AS
Sound Event Detection in Multichannel Audio using Convolutional Time-Frequency-Channel Squeeze and Excitation
Microsoft Research(微软研究院)
在这项研究中,我们引入了一个卷积时频信道“挤压和激励”(tfc-SE)模块,以显式地对时频域和多个信道之间的相互依赖性进行建模。tfc-SE模块由两部分组成:tf-SE块和c-SE块,分别用于提供时频域和信道域的关注,用于自适应地重新校准输入特征图。所提出的tfc-SE模块以及流行的卷积递归神经网络(CRNN)模型在具有重叠音频源的多通道声音事件检测任务中进行了评估:训练和测试数据是用麦克风阵列记录的合成TUT Sound Events 2018数据集。我们表明,TFC-SE模块可以被纳入CRNN模型在一个小的额外的计算成本,并带来显着的改善声音事件检测精度。我们还通过分析可能影响SE块性能的各种因素进行详细的消融研究。结果表明,使用最佳tfc-SE块,错误率(ER)从0.2538降低到0.2026,ER相对降低20.17%,F1得分提高5.72%。结果表明,学习的声学嵌入与tfc-SE模块有效地加强时频和通道的特征表示,以提高区分性能。
2019-08-04 cs.LG cs.SD eess.AS
Improving Audio Anomalies Recognition Using Temporal Convolutional Attention Network
University of Sheffield(谢菲尔德大学)
语音记录中的异常音频通常是由说话者语音失真、外部噪声甚至电干扰引起的。这些障碍在某些领域已经成为一个严重的问题,例如高质量的音乐混合和语音处理。在本文中,一种新的方法,使用时间卷积注意力网络(TCAN),提出了解决这个问题。时间常规网络(TCN)的使用可以使用时间卷积滤波器的层次结构来捕获长范围模式。为了增强在不同声学条件下处理音频异常的能力,TCN中使用了注意机制,其中在每个时间卷积层之后添加了自注意块。该方法的目的是突出目标的相关特征,减少无关信息的干扰。为了评估所提出的模型的性能,从TIMIT数据集收集音频记录,然后通过添加五种不同类型的音频失真来改变:高斯噪声,幅度漂移,随机丢失,时间分辨率降低和时间扭曲。失真在不同信噪比(SNR)(5dB、10dB、15dB、20dB、25dB、30dB)下混合。实验结果表明,使用所提出的模型可以产生更好的分类性能比一些强基线方法,如LSTM和TCN的模型,约3 $\sim$ 10\%的相对改善。
2021-02-09 cs.SD eess.AS
Convolutional Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology(坦佩雷理工大学)
鸟类的声音具有独特的频谱结构,根据鸟类的种类和环境条件,可能会出现微小的频谱变化。在本文中,我们建议使用卷积循环神经网络在现实环境中进行自动鸟类音频检测。在所提出的方法中,卷积层提取高维的局部频移不变特征,而递归层捕获从短时间帧提取的特征之间的长期依赖关系。该方法在看不见的评估数据上获得了88.5%的ROC曲线下面积(AUC)得分,并在鸟类音频检测挑战赛中获得第二名。
2017-03-07 cs.LG cs.SD stat.ML
Spectral and Rhythm Features for Audio Classification with Deep Convolutional Neural Networks
Target Innovation AI
研究使用深度卷积神经网络评估多种频谱与节奏特征在音频分类中的表现,发现mel尺度频谱图和MFCCs效果显著最优。
2024-10-18 cs.AI cs.CV cs.LG
Neural Audio Codec with Adjustable Token Temporal Resolution Using Sampling-Frequency-Independent Convolutional Layers
提出一种机制,通过采样频率无关卷积层使单个神经音频编解码器支持多种令牌时间分辨率,在环境声音重建中优于切换专用层的基线模型。
2026-07-03 cs.SD eess.AS
A Methodology for Exploring Deep Convolutional Features in Relation to Hand-Crafted Features with an Application to Music Audio Modeling
Duke University(杜克大学)
从模型信任的角度来看,理解深度模型所学习到的特性非常重要,特别是当深度系统部署在现实世界中时。用于深度特征理解或模型解释的最新方法集中于突出与分类决策相关的输入数据特征。在这项工作中,我们反而采取了将深度特征与对感兴趣的应用有意义的精心研究的手工制作的特征相关联的观点。我们提出了一种方法和一套系统的实验,探索在这种情况下,深度特征理解的输入特征重要性方法不适用的深层功能。我们的实验专注于理解哪些手工制作的和深层的特征对感兴趣的分类任务有用,这些特征对相关任务的鲁棒性如何,以及深层特征与有意义的手工制作的特征有多相似。我们提出的方法是一般的许多应用领域,我们证明了其实用程序的管弦乐音频数据。
2021-10-09 cs.LG cs.SD eess.AS
Domestic Activity Clustering from Audio via Depthwise Separable Convolutional Autoencoder Network
Tampere University(坦佩雷大学)
根据音频自动估计家庭活动可以用于解决许多问题,例如减少护理老年人的劳动力成本。本研究的重点是解决国内活动的音频聚类的问题。家庭活动聚类的目标是以无监督的方式将属于同一家庭活动类别的音频片段聚类到一个聚类中。在本文中,我们提出了一种使用深度可分离卷积自动编码器网络的国内活动聚类方法。在该方法中,初始嵌入学习的深度可分离的卷积自编码器,和一个面向聚类的损失设计,以联合优化嵌入细化和集群分配。不同的方法在2018年声学场景和事件的检测和分类(DCASE)挑战中使用的公共数据集(DCASE数据集的衍生物)上进行了评估。我们的方法得到的归一化互信息(NMI)得分为54.46%,聚类准确度(CA)得分为63.64%,并优于国家的最先进的方法方面的NMI和CA。此外,我们的方法的计算复杂度和内存需求都低于以前的基于深度模型的方法。代码:https://github.com/vinceasvp/domestic-activity-clustering-from-audio
2022-08-04 cs.SD eess.AS
InterGridNet: An Electric Network Frequency Approach for Audio Source Location Classification Using Convolutional Neural Networks
Aristotle University of Thessaloniki(亚里士多德塞萨洛尼基大学)
提出 InterGridNet 框架,结合浅层 RawNet、残差块与神经架构搜索,对 ENF 音频信号进行地理位置分类,在 SP Cup 2016 数据集上达到 92% 的准确率。
2025-02-14 cs.LG cs.SD eess.AS
musicnn: Pre-trained convolutional neural networks for music audio tagging
Universitat Pompeu Fabra(庞培法布拉大学);Music Technology Group(音乐技术集团)
发音为“musicnn”,musicnn库包含一组用于音乐音频标记的预先训练的音乐动机卷积神经网络:https://github.com/jordipons/musicnn。这个存储库还包括一些预训练的类似vgg的基线。这些模型可以用作开箱即用的音乐音频标记器、音乐特征提取器或用于迁移学习的预训练模型。我们还提供代码来训练上述模型:https://github.com/jordipons/musicnn-training。该框架还允许实现新的模型。例如,具有基于注意力的输出层(而不是时间池化层)的音乐动机卷积神经网络可以实现音乐音频标记的最先进结果:MagnaTagATune数据集上的90.77 ROC-AUC / 38.61 PR-AUC和百万歌曲数据集上的88.81 ROC-AUC / 31.51 PR-AUC。
2019-09-14 cs.CL cs.SD eess.AS
R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection
Amazon Alexa(亚马逊Alexa)
提出了一种基于区域的卷积循环神经网络(R-CRNN)用于音频事件检测(AED)。所提出的网络受到Faster-RCNN的启发,Faster-RCNN是一种用于视觉目标检测的基于区域的卷积网络框架。与原始Faster-RCNN不同,在卷积网络的顶部添加了一个递归层,以从提取的高级特征中捕获长期时间上下文。虽然大多数关于AED的先前工作首先在帧级生成预测,然后使用后处理来从概率序列预测事件的开始/偏移时间戳;所提出的方法直接在事件级生成预测,并且可以在多任务丢失的情况下进行端到端训练,这同时优化了音频事件的分类和定位。该方法在DCASE 2017 Challenge数据集上进行了测试。据我们所知,R-CRNN是所有方法中性能最好的单模型方法,无需在开发集和评估集上使用集成。与其他基于区域的AED网络(R-FCN)相比,基于事件的出错率(ER)为0.18,我们的方法将ER减少到一半。
2018-08-20 cs.SD eess.AS
Exploiting Fully Convolutional Network and Visualization Techniques on Spontaneous Speech for Dementia Detection
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
在本文中,我们利用全卷积网络(FCN)来分析自发言语的音频数据以进行痴呆症检测。一个完全卷积的网络可以容纳不同长度的语音样本,从而使我们能够分析语音样本,而无需手动分割。具体来说,我们首先获得梅尔频率倒谱系数(MFCC)特征图从每个参与者的音频数据和转换语音分类任务的音频数据的图像分类任务MFCC特征图。然后,为了解决数据不足的问题,我们通过采用来自MobileNet架构和ImageNet数据集的预训练骨干卷积神经网络(CNN)模型来应用迁移学习。我们进一步构建了一个卷积层,使用Otsu的可视化方法生成热图,使我们能够了解时间序列音频片段对分类结果的影响。我们证明了我们的分类模型在测试数据集上达到了66.7%,是ADReSS挑战中提供的基线模型的62.5%。通过可视化技术,我们可以评估音频片段的影响,例如参与者的填充停顿和研究者的重复问题,对分类结果的影响。
2020-08-17 cs.SD eess.AS
Understanding Audio Pattern Using Convolutional Neural Network From Raw Waveforms
音频信号处理中的一个关键步骤是将原始信号转换为有效编码原始信息的表示。传统上,人们将音频转换为频谱表示,作为频率,幅度和相位变换的函数。在这项工作中,我们采取纯粹的数据驱动的方法来理解原始信号水平上音频的时间动态。我们通过深度卷积神经网络(CNN)模型最大化从原始信号中提取的信息。我们的CNN模型是在urbansound8k数据集上训练的。我们发现,嵌入在原始波形中的显着音频模式可以通过由CNN模型学习的非线性滤波器的组合来有效地提取。
2016-11-29 cs.SD
MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation
Sony Corporation(索尼公司);Sony India Software Centre(索尼印度软件中心)
深度神经网络已成为音频声源分离(ASS)不可或缺的技术。最近有报道称,一种称为MMDenseNet的CNN架构的变体被成功地用于解决估计源幅度的ASS问题,并且针对DSD 100数据集获得了最先进的结果。为了进一步增强MMDenseNet,我们提出了一种新的架构,该架构将多尺度的长短期记忆(LSTM)与跳过连接集成在一起,以有效地对音频上下文中的长期结构进行建模。实验结果表明,该方法优于MMDenseNet,LSTM和两种网络的混合。所提出的模型的参数和处理时间的数量显着少于那些简单的混合。此外,所提出的方法产生更好的结果比那些使用理想的二进制面具的歌声分离任务。
2018-05-29 cs.SD eess.AS
Representation-Regularized Convolutional Audio Transformer for Audio Understanding
Auditory Cognition and Computational Acoustics Lab, Shanghai Jiao Tong University(上海交通大学听力认知与计算声学实验室)
本文提出卷积音频变换器(CAT),通过多分辨率块和表示正则化目标,提升音频理解任务的性能与训练效率。
2026-01-29 cs.AI cs.SD eess.AS
Raw Multi-Channel Audio Source Separation using Multi-Resolution Convolutional Auto-Encoders
University of Surrey(萨里大学)
有监督的多通道音频声源分离需要从混合信号中提取有用的频谱、时间和空间特征。因此,许多现有系统的成功在很大程度上取决于用于训练的特征的选择。在这项工作中,我们介绍了一种新的多通道,多分辨率卷积自动编码器神经网络,工作在原始的时域信号,以确定适当的多分辨率功能分离的歌声从立体声音乐。实验结果表明,该方法可以实现多声道音频声源分离,而不需要手工特征或任何预处理或后处理。
2018-03-02 cs.CV cs.LG cs.MM
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound(流行病声音公司)
我们已经建立了一个音乐相似性搜索引擎,让视频制作人搜索的音乐摘录,作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络,在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明,我们可以成功地打动专业视频制作人的搜索体验的质量,并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验,更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Spectral and Rhythm Feature Performance Evaluation for Category and Class Level Audio Classification with Deep Convolutional Neural Networks
Friedrich Wolf-Monheim(独立研究者)
本文使用深度CNN和ESC-50数据集评估了多种频谱与节奏特征在音频分类中的性能,发现梅尔标度频谱图和MFCC特征表现显著优于其他特征。
2025-09-12 cs.AI cs.CV cs.LG
Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
South China University of Technology(华南理工大学)
最近在国内活动分类方面做出了努力,特别是自2018年以来提交DCASE(声学场景和事件的检测和分类)挑战的作品。而国内活动集群这一新出现的问题却鲜有研究。从音频记录的家庭活动聚类旨在将属于同一类家庭活动的音频片段合并到单个聚类中。家庭活动聚类是一种有效的方法,在家庭环境中进行日常活动的无监督估计。在这项研究中,我们提出了一种使用卷积胶囊自动编码器网络(CCAN)进行国内活动聚类的方法。该方法通过CCAN中的自动编码器学习深度嵌入,通过CCAN中的聚类层将属于同一类的深度嵌入合并为一个簇。在DCASE-2018任务5中采用的公共数据集上进行评估,结果表明,所提出的方法在聚类准确性和归一化互信息的度量方面优于最先进的方法。
2021-05-08 cs.SD eess.AS
Multi-Time-Scale Convolution for Emotion Recognition from Speech Audio Signals
City, University of London(伦敦城市大学)
对时间变化的鲁棒性对于从语音音频中识别情感是重要的,因为情感是通过复杂的频谱模式来表达的,该频谱模式可以根据说话者和上下文在时间轴上表现出显著的局部膨胀和压缩。为了解决这个问题和潜在的其他任务,我们引入了多时间尺度(MTS)的方法,以创建灵活性对时间变化时,分析音频数据的时间-频率表示。MTS使用卷积核扩展卷积神经网络,这些卷积核沿时间轴缩放和重新采样,以增加时间灵活性,而不增加与标准卷积层相比的可训练参数的数量。我们使用4个不同大小的数据集,在不同的架构中评估MTS和标准卷积层,以从语音音频中进行情感识别。结果表明,与标准卷积相比,MTS层的使用始终提高了不同容量和深度的网络的泛化能力,特别是在较小的数据集上
2020-03-06 cs.LG cs.SD eess.AS
Classification of Audio Segments in Call Center Recordings using Convolutional Recurrent Neural Networks
从客户关系管理的角度来看,对呼叫中心记录进行详细的统计分析至关重要。随着人工智能的最新进展,现在可以自动执行许多与呼叫统计计算有关的任务。这项工作提出了一个神经网络框架,其目的是正确识别音频片段,并将其分类为客户或代理部分。准确识别这些部分为评估代理人的表现提供了一个公平的指标。我们继承了卷积递归神经网络(CRNN)架构,通常用于音乐流派分类等问题。我们还测试了相同架构的性能,其中以前的类信息和说话者的性别信息也被添加到训练数据标签中。我们看到CRNN可以概括训练数据,并且在有性别信息和没有性别信息的情况下对验证数据表现良好。此外,即使是训练也是使用土耳其语语音样本进行的;经过训练的网络被证明可以在德语和英语等其他语言的呼叫中心录音中实现高准确性。
2021-06-04 cs.SD eess.AS
Raw Audio Classification with Cosine Convolutional Neural Network (CosCovNN)
University of Southern Queensland(南昆士兰大学);University of Jahangirnagar University(贾汉吉尔纳加尔大学);Imperial College London(伦敦帝国学院);University of Augsburg(奥格斯堡大学)
提出CosCovNN及增强模型VQCCM,用余弦滤波器、记忆与向量量化提升原始波形音频分类,以更少参数在五个数据集上达到SOTA。
2024-11-30 cs.AI cs.SD eess.AS
Receptive Field Regularization Techniques for Audio Classification and Tagging with Deep Convolutional Neural Networks
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
在本文中,我们研究了著名的卷积神经网络(CNN)架构的变体在不同音频任务上的性能。我们表明,调整CNN的接收场(RF)对其推广至关重要。RF不足限制了CNN拟合训练数据的能力。相比之下,具有过度RF的CNN往往过拟合训练数据,并且无法推广到看不见的测试数据。随着计算机视觉和其他领域中最先进的CNN架构在层数方面趋于深入,其RF大小增加,因此在若干音频分类和标记任务中性能下降。我们研究了著名的CNN架构以及它们的构建块如何影响它们的感受野。我们提出了几种系统的方法来控制CNN的RF,并在不同的音频分类和标记任务和数据集上系统地测试所产生的架构。实验表明,使用我们提出的方法正则化CNN的RF可以大大提高模型的泛化能力,在更大的数据集上表现出复杂的架构和预训练的模型。提出的CNN在多个任务中实现了最先进的结果,从声学场景分类到音乐中的情感和主题检测,再到乐器识别,正如几个相关挑战(DCASE,MediaEval)中的顶级排名所证明的那样。
2021-05-26 cs.LG cs.NE cs.SD
Convolutional Gated Recurrent Neural Network Incorporating Spatial Features for Audio Tagging
University of Surrey(萨里大学)
环境音频标记是一个新提出的任务,以预测特定的音频事件在一个块的存在或不存在。基于深度神经网络(DNN)的方法已被成功地用于预测家庭音频场景中的音频标签。在本文中,我们提出使用卷积神经网络(CNN)从梅尔滤波器组(MFB),频谱图甚至原始波形中提取鲁棒的特征用于音频标记。然后级联基于门控递归单元(GRU)的递归神经网络(RNN)以对音频信号的长期时间结构进行建模。为了补充输入信息,辅助CNN被设计为学习立体声录音的空间特征。我们在2016年声学场景和事件的检测和分类(DCASE 2016)挑战的任务4(音频标记)上评估了我们提出的方法。与我们最近的基于DNN的方法相比,所提出的结构可以将开发集上的相等出错率(EER)从0.13降低到0.11。空间特征可以进一步将EER降低到0.10。原始波形的端到端学习性能也相当。最后,在评估集上,我们得到了最先进的性能与0.12 EER,而现有的最好的系统的性能是0.15 EER。
2017-02-24 cs.LG cs.NE cs.SD
Audio-to-Image Encoding for Improved Voice Characteristic Detection Using Deep Convolutional Neural Networks
本文提出一种音频到图像编码框架,将原始音频、统计描述符和空间化特征分别编码到RGB三通道,并利用深度卷积神经网络实现98%的说话人分类准确率。
2025-03-07 cs.AI cs.SD eess.AS
Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
Carnegie Mellon University(卡内基梅隆大学);Facebook Inc.(脸书公司)
在这项工作中,我们提出了有效地转移弱标记的网络音频数据的知识的方法。我们首先描述了一个基于卷积神经网络(CNN)的框架,用于使用弱标记的音频数据进行声音事件检测和分类。我们的模型从可变长度的音频中有效地训练;因此,它非常适合迁移学习。然后,我们提出了使用该模型学习表示的方法,该模型可以有效地用于解决目标任务。我们研究了转导和归纳迁移学习任务,显示了我们的方法对领域和任务适应的有效性。我们表明,使用所提出的CNN模型的学习表示可以很好地推广到ESC-50声音事件数据集上达到人类水平的准确性,并在该数据集上设置最先进的结果。我们进一步将它们用于声学场景分类任务,并再次表明我们提出的方法也适合这项任务。我们还表明,我们的方法是有助于捕捉语义意义和关系。此外,在这个过程中,我们还在Audioset数据集上设置了最先进的结果,依赖于平衡的训练集。
2018-09-07 cs.MM cs.SD eess.AS
Deep Convolutional Neural Network for Roadway Incident Surveillance Using Audio Data
University of Central Florida(中佛罗里达大学)
碰撞事件识别和预测在理解交通系统的安全状况方面起着至关重要的作用。虽然现有的系统使用交通参数与碰撞数据进行分类和训练这些模型,我们提出了一种新的传感器单元,也可以准确地识别碰撞事件:麦克风的使用。音频事件可以被收集和分析,以分类事件,如崩溃。在本文中,我们演示了使用深度卷积神经网络(CNN)进行道路事件分类。该方法以Mel倒谱系数(MFCC)、对数Mel滤波器组能量谱和傅立叶谱等重要音频参数作为特征集。此外,通过使用音频增强技术(如时间和音高移位),数据集增加了更多的样本数据。与特征提取一起,该数据增强可以实现合理的精度。四个事件,如碰撞,轮胎打滑,喇叭和警笛声可以准确地识别,给出道路危险的指示,这对交通操作员或护理人员是有用的。所提出的方法可以达到高达94%的准确度。这样的音频系统可以作为物联网(IoT)平台的一部分实现,可以在没有完全覆盖的情况下补充基于视频的传感器。
2022-03-09 cs.AI cs.SD eess.AS
Rage Music Classification and Analysis using K-Nearest Neighbour, Random Forest, Support Vector Machine, Convolutional Neural Networks, and Gradient Boosting
本研究使用多种机器学习算法对Rage音乐进行分类,比较不同方法并识别最优模型,同时分析关键音频特征及区分性声音趋势。
2024-08-20 cs.SD eess.AS
Single Channel Audio Source Separation using Convolutional Denoising Autoencoders
University of Surrey(萨里大学)
深度学习技术最近已被用于解决音频声源分离问题。在这项工作中,我们建议使用深度全卷积去噪自动编码器(CDAE)进行单声道音频声源分离。我们使用与要从混合信号中分离的源的数量一样多的CDAE。每个CDAE都被训练来分离一个源,并将其他源视为背景噪声。其主要思想是允许每个CDAE学习合适的频谱-时间滤波器和特征到其对应的源。我们的实验结果表明,CDAE执行声源分离略优于深度前馈神经网络(FNN),即使参数比FNN少。
2017-10-13 cs.SD
Investigating End-to-End ASR Architectures for Long Form Audio Transcription
NVIDIA(英伟达)
本文评估了三类端到端ASR架构在长格式音频上的表现,发现带局部注意力和全局token的自注意力模型准确率最高,且CTC解码器比RNNT更鲁棒高效。
2023-09-20 cs.SD eess.AS
Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling
Institute for Signal Processing, University of Luebeck(吕贝克大学信号处理研究所);Graduate School for Computing in Medicine and Life Sciences, University of Luebeck(吕贝克大学医学与生命科学计算研究生院)
在DCASE-2016竞赛中,我们训练了一个具有掩码全局池的深度全卷积神经网络,用于声学场景分类的单标签分类和国内音频标记的多标签分类。我们的网络在声学场景识别的四重交叉验证上实现了84.5%的平均准确率,而提供的基线为72.5%,国内音频标记的平均相等出错率为0.17,而基线为0.21。因此,该网络将基线分别提高了17%和19%。该网络仅由卷积层和一个全局池化层组成,卷积层用于从短时傅立叶变换中提取特征,全局池化层用于组合这些特征。特别地,除了全连接输出层之外,它既不具有全连接层,也不具有丢弃层。
2016-07-11 cs.LG cs.MM cs.NE