The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design(新加坡科技设计大学)
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换(CQT)的影响。我们的研究结果表明,在不改变神经网络设计(单层全连接)的情况下,通过选择适当的输入表示(具有STFT窗口长度为4,096和2,048频率箱的对数频谱图),可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明,梅尔声谱图是一个紧凑的表示,我们可以减少频率箱的数量只有512,同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
The Effect of Spectrogram Reconstruction on Automatic Music Transcription: An Alternative Approach to Improve Transcription Accuracy
Singapore University of Technology and Design(新加坡科技设计大学);Agency for Science, Technology and Research(科学技术研究局);Queen Mary University of London(伦敦玛丽女王大学)
大多数最先进的自动音乐转录(AMT)模型将主转录任务分解为诸如起始点预测和偏移预测的子任务,并使用起始点和偏移标记对它们进行训练。然后,这些预测被连接在一起,并用作训练另一个具有音高标签的模型的输入,以获得最终的转录。我们尝试只使用音高标签(连同声谱图重建损失),并探索在不引入监督子任务的情况下,该模型可以走多远。在本文中,我们的目标不是实现最先进的转录精度,而是探索声谱图重建对AMT模型的影响。我们提出的模型由两个U-网组成:第一个U-网将谱图转录成后验图,第二个U-网将后验图转换回谱图。在原始频谱图和重构频谱图之间应用重构损失,以约束第二U网仅关注重构。我们在三个不同的数据集上训练我们的模型:MAPS,MAESTRO和MusicNet。我们的实验表明,添加重建损失通常可以提高音符级转录准确率相比,没有重建部分的相同模型。此外,它还可以将帧级精度提高到高于最先进的模型。我们的U-net学习到的特征图包含网格状结构(在基线模型中不存在),这意味着在存在重建损失的情况下,模型可能试图沿着时间和频率轴进行计数,从而获得更高的音符级转录准确度。
2020-10-20 cs.LG cs.SD eess.AS
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná(巴拉那联邦理工大学);University of Campinas(坎皮纳斯大学)
在这项工作中,我们分析的随机投影梅尔声谱图作为低级别的功能,音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明,随机投影导致的结果与学习的特征相当,并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识,同时,与其他基于投影的低级特征相比,需要更少的计算能力进行训练。因此,他们可以是一个可行的选择,用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms
University of Toronto(多伦多大学)
在机器学习领域分析音乐是一个非常困难的问题,需要考虑许多限制。音频数据的性质,其非常高的维度和广泛变化的结构尺度,是它如此难以建模的主要原因之一。机器学习在音乐中有许多应用,例如对一段音乐的情绪进行分类,有条件的音乐生成或流行预测。该项目的目标是开发一个基于Mel声谱图的音乐体裁条件生成模型,并通过将其与使用基于音符表示的现有生成音乐模型进行比较来评估其性能。我们最初实现了一个自回归的、基于RNN的生成模型,称为MelNet。然而,由于其速度慢且输出保真度低,我们决定创建一种新的全卷积架构,该架构基于Mel GAN [4]和条件GAN架构,称为cMel GAN。
2022-05-15 cs.AI cs.LG cs.SD
End-to-end music source separation: is it possible in the waveform domain?
Universitat Pompeu Fabra(庞培法布拉大学)
目前大多数成功的声源分离技术使用幅度谱图作为输入,因此默认省略了信号的一部分:相位。为了避免遗漏潜在的有用信息,我们研究了使用端到端模型进行音乐声源分离的可行性--它考虑了原始音频信号中的所有可用信息,包括相位。虽然在过去的几十年里,端到端音乐声源分离被认为几乎是不可实现的,但我们的研究结果证实,基于波形的模型可以比基于频谱的深度学习模型表现得相似(如果不是更好的话)。也就是说:我们提出的基于Wavenet的模型和Wave-U-Net可以优于DeepConvSep,DeepConvSep是最近基于频谱的深度学习模型。
2019-06-28 cs.LG cs.SD eess.AS
Deep Learning Based EDM Subgenre Classification using Mel-Spectrogram and Tempogram Features
Academia Sinica(中央研究院)
随着音乐技术的发展,近年来出现了大量的电子舞曲风格或“子流派”。虽然区分EDM和非EDM的分类任务经常在音乐流派分类的背景下进行研究,但在更具挑战性的EDM子流派分类上几乎没有做过工作。最先进的模型基于极度随机化的树,可以通过深度学习方法进行改进。在本文中,我们将最先进的音乐自动标记模型“short-chunkCNN+Resnet”扩展到EDM子流派分类,并添加了两个中级节奏相关特征表示,称为傅立叶节奏图和自相关节奏图。并且,我们探索了两种融合策略,早期融合和晚期融合,以聚合两种类型的温度图。我们使用包含30个不同EDM子流派的75,000首歌曲的大型数据集来评估所提出的模型,并表明采用深度学习模型和节奏特征确实会导致更高的分类精度。
2021-10-17 cs.LG cs.SD eess.AS
A Novel Audio Representation for Music Genre Identification in MIR
BITS Pilani WILP(印度博拉理工学院皮拉尼分校工作整合学习项目);Eudoxia Research Centre(尤多西亚研究中心);City of Dallas(达拉斯市政府);CBRE Inc(世邦魏理仕公司)
本文针对MIR音乐流派识别任务,提出基于Jukebox深度向量量化的新型音频表示,并在2万曲目数据集上与梅尔频谱图对比,发现其效果并不优于梅尔频谱图。
2024-04-01 cs.IR cs.LG cs.SD
CatNet: music source separation system with mix-audio augmentation
ByteDance(字节跳动)
音乐声源分离(MSS)是将音乐片段分离成单个源(例如人声和伴奏)的任务。最近,基于神经网络的方法已经被应用于解决MSS问题,并且可以被分类为基于频谱图和基于时域的方法。然而,利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中,我们提出了一个CatNet框架,该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统,将频谱图计算纳入CatNet。此外,我们提出了一种新的混合音频数据增强方法,随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比(SDR),优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究比较了CNN、VGG16和XGBoost在30秒Mel频谱图与3秒MFCCs特征下的音乐流派分类性能,发现MFCC XGBoost模型表现最佳,且数据分割能显著提升CNN性能。
2024-01-09 cs.AI cs.SD eess.AS
Music Separation Enhancement with Generative Modeling
Northwestern University(西北大学);Descript, Inc.(Descript公司)
尽管近年来取得了惊人的进步,但最先进的音乐分离系统产生的源估计具有显著的感知缺陷,例如添加无关噪声或去除谐波。我们提出了一个后处理模型(MSG后处理器),以提高音乐声源分离系统的输出。我们将我们的后处理模型应用于最先进的基于波形和基于频谱的音乐源分离器,包括MSG在训练期间看不到的分离器。我们对源分离器产生的误差的分析表明,波形模型往往会引入更多的高频噪声,而频谱图模型往往会丢失瞬态和高频内容。我们引入客观的措施来量化这两种错误,并显示MSG提高了这两种错误的源重建。众包的主观评价表明,人类听众更喜欢低音和鼓的源估计已被味精后处理。
2022-08-26 cs.LG cs.SD eess.AS
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya(佩拉德尼亚大学)
这篇研究论文提出了一种新的基于深度学习的神经网络架构,名为Y-Net,用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离,从频谱图和波形域提取功能。受U-Net架构的启发,Y-Net预测了一个声谱图掩码,以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性,并且参数较少。总体而言,我们的工作提出了一个有前途的方法,提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Spectrogram-Based Detection of Auto-Tuned Vocals in Music Recordings
University of Brescia(布雷西亚大学);Polytechnic University of Milan(米兰理工大学)
针对音乐录音中自动修音人声检测的空白,本研究构建含原始与修音片段的数据集,提出基于三元组网络的数据驱动检测方法,其准确率和鲁棒性均优于音频取证常用的Rawnet2模型。
2024-03-08 cs.CV cs.SD eess.AS
Tracing Back Music Emotion Predictions to Sound Sources and Intuitive Perceptual Qualities
Johannes Kepler University(约翰·开普勒大学);Linz Institute of Technology(林茨理工学院)
音乐情感识别是音乐信息检索研究的重要内容。由于任务的主观性质和音乐类型之间的情感线索的变化等因素,在开发可靠和可推广的模型方面仍然存在重大挑战。迈向更好模型的一个重要步骤是了解模型实际上从数据中学习了什么,以及如何对特定输入进行预测。在以前的工作中,我们已经展示了如何根据频谱图图像片段来解释模型预测,这些频谱图图像片段通过一层易于解释的感知特征与高级情感预测相连接。然而,该方案在声谱图水平上缺乏直观的音乐可理解性。在目前的工作中,我们通过合并audioLIME(一种基于源分离的解释器)与中级感知特征来弥合这一差距,从而在输入音频和输出情感预测之间形成直观的连接链。我们证明了这种方法的实用性,通过应用它来调试有偏见的情绪预测模型。
2021-06-16 cs.LG cs.SD eess.AS
MS-SincResNet: Joint learning of 1D and 2D kernels using multi-scale SincNet and ResNet for music genre classification
National Yang Ming Chiao Tung University(国立阳明交通大学);Chung Hua University(中华大学)
在这项研究中,我们提出了一种新的端到端卷积神经网络,称为MS-SincResNet,用于音乐流派分类。MS-SincResNet将1D多尺度SincNet(MS-SincNet)作为第一个卷积层添加到2D ResNet,试图在训练阶段联合学习1D内核和2D内核。首先,将输入音乐信号划分为多个固定持续时间(本研究中为3秒)的音乐片段,并将每个音乐片段的原始波形馈送到1D MS-SincNet滤波器学习模块中以获得三通道2D表示。与声谱图、和声声谱图、泛音声谱图和梅尔声谱图相比,习得的表征具有丰富的音色、和声和泛音特征。然后使用ResNet从这些2D表示中提取判别嵌入。空间金字塔池化(SPP)模块进一步用于在时间和频率方面增强特征区分度,以获得每个音乐片段的分类标签。最后,投票策略被应用于总结来自所有3秒音乐片段的分类结果。在我们的实验结果中,我们证明了所提出的MS-SincResNet优于基线SincNet和许多众所周知的手工制作的功能。考虑到单独的2D表示,MS-SincResNet还在GTZAN数据集和ISMIR 2004数据集上产生了与最先进方法竞争的结果。代码可在https://github.com/PeiChunChang/MS-SincResNet上获得
2021-09-18 cs.AI cs.SD eess.AS
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation
Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学);Tiangong University(天津工业大学);Tencent Inc.(腾讯公司)
卷积神经网络(CNN)或具有频谱图或波形输入的基于长短期记忆(LSTM)的模型通常用于基于深度学习的音频源分离。在本文中,我们提出了一个分层注意的神经网络(Sams-Net)在频谱域的音乐源分离任务。与LSTM和CNN相比,它使光谱特征与多头注意机制相互作用,实现更容易的并行计算,并具有更大的感受野。在MUSDB 18数据集上的实验结果表明,该方法具有更少的参数,优于大多数最先进的基于DNN的方法。
2020-05-19 cs.IR cs.LG cs.SD
Graph Representation learning for Audio & Music genre Classification
Mercedes-Benz R&D India(梅赛德斯-奔驰印度研发中心)
音乐类型可以说是音乐和音频内容的最重要和最有区别性的信息之一。基于视觉表示的方法已经在用于音乐流派分类的谱图上进行了探索。然而,缺乏高质量的数据和增强技术使得很难成功地使用深度学习技术。我们讨论了图神经网络在此类任务中的应用,因为它们具有很强的归纳偏差,并表明CNN和GNN的组合能够在GTZAN和AudioSet(不平衡音乐)数据集上实现最先进的结果。我们还讨论了Siamese神经网络作为学习边缘相似性权重的GNN的类似物的作用。此外,我们还进行视觉分析,以了解我们的模型的视野到基于体裁标签的频谱图。
2019-10-23 cs.LG cs.SD stat.ML
Source Separation and Depthwise Separable Convolutions for Computer Audition
University of Minnesota(明尼苏达大学)
鉴于深度音乐声源分离的最新进展,我们提出了一种特征表示方法,该方法将声源分离与最先进的表示学习技术相结合,该技术适用于计算机试听(即机器收听)。我们训练一个具有挑战性的电子舞曲(EDM)数据集上的深度可分离的卷积神经网络,并比较其性能的卷积神经网络上的源分离和标准的频谱图。结果表明,声源分离提高了分类性能,在有限的数据设置相比,标准的单谱图的方法。
2020-12-06 cs.LG cs.SD eess.AS
Frequency-Aware Self-Supervised Music Representation Learning
Spellbrush;Acoustic Lab, Department of Information and Communications Engineering (DICE), Aalto University(阿尔托大学信息与通信工程系声学实验室);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
提出PupuJEPA,一种直接在2D频谱图上训练的视觉联合嵌入预测架构,通过预测掩码补丁的潜在嵌入学习鲁棒表示,在MARBLE基准上线性探测优于1D序列SSL模型。
2026-09-10 cs.SD
A Hands-on Comparison of DNNs for Dialog Separation Using Transfer Learning from Music Source Separation
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文描述了在用于将广播音频中的语音内容与非语音内容分离的任务特定微调之前和之后使用最先进的音乐源分离深度神经网络(DNN)的实际比较(即,对话分隔)。选择音乐分离模型,因为它们与所考虑的广播内容共享通道的数量(2)和采样率(44.1kHz或更高),并且音乐中的人声分离被认为是目标应用领域中的对话分离的并行。这些相似性被认为是为了实现任务之间的迁移学习。在实验中考虑了三个在音乐上预先训练的模型(Open-Unmix,Spleeter和Conv-TasNet),并使用真实的广播数据进行了微调。在使用计算评估度量(SI-SIRi、SI-SDRi、2f-模型)进行微调之前和之后,以及使用模拟非语音信号被部分衰减的应用的收听测试来评估模型的性能,以获得更好的语音清晰度。评估包括两个专门为对话分离开发的参考系统。结果表明,预先训练的音乐源分离模型可以在一定程度上用于对话分离,并且它们受益于微调,达到接近特定任务解决方案的性能。
2021-06-22 cs.SD eess.AS
Visualizing and Understanding Self-attention based Music Tagging
Universitat Pompeu Fabra(庞培法布拉大学);Naver Corp.(Naver公司)
最近,我们提出了一个基于自我注意力的音乐标注模型。与音乐信息检索中的大多数传统深度架构不同,传统深度架构通过将音乐频谱图视为图像来使用堆叠的3x3滤波器,所提出的基于自我注意力的模型试图将音乐视为个体音频事件的时间序列。不仅性能,而且还可以促进更好的可解释性。在本文中,我们主要集中在可视化和理解所提出的基于自我注意力的音乐标注模型。
2019-11-11 cs.SD eess.AS
Spectrogram-channels u-net: a source separation model viewing each channel as the spectrogram of each source
KAIST(韩国科学技术院)
由于声音声源分离涉及到歌词自动转录、歌手识别、语音转换等多项音乐信息检索任务,因此受到了音乐信息检索研究者的广泛关注。在本文中,我们提出了一个直观的频谱为基础的声源分离模型,通过调整U-网。我们称之为谱图通道U网,这意味着输出的每个通道对应于分离源本身的谱图。该模型不仅可用于歌唱声分离,而且可用于多乐器分离,只需改变输出通道的数量。此外,我们提出了一个损失函数,平衡不同来源之间的体积。最后,我们产生的性能是国家的最先进的分离任务。
2018-10-30 cs.LG cs.SD eess.AS
DiffRoll: Diffusion-based Generative Music Transcription with Unsupervised Pretraining Capability
Sony(索尼公司)
本文提出基于扩散的生成式方法DiffRoll解决自动音乐转录,将AMT视为条件生成任务,支持转录、生成和修复音乐,并能在未配对数据上训练,性能优于判别式方法。
2022-10-20 cs.AI cs.LG cs.SD
How Low Can You Go? Reducing Frequency and Time Resolution in Current CNN Architectures for Music Auto-tagging
Universitat Pompeu Fabra(庞培法布拉大学);Kakao Corp.(Kakao公司)
音乐的自动标注是音乐信息检索中的一个重要研究课题,针对该任务提出的音频分析算法随着深度学习的进步而取得了改进。特别地,许多现有技术的系统使用卷积神经网络并对音频的梅尔频谱图表示进行操作。在本文中,我们比较常用的梅尔频谱图表示和评估模型的性能,可以通过减少输入大小方面的频带和较大的帧速率。我们使用MagnaTagaTune数据集进行全面的性能比较,然后在更大的Million Song数据集上比较选定的配置。这项研究的结果可以为研究人员和从业者在模型的准确性,数据存储大小和训练和推理时间之间的权衡决策提供服务。
2020-06-28 cs.IR cs.SD eess.AS
The Whole Is Greater than the Sum of Its Parts: Improving Music Source Separation by Bridging Network
Sony AI(索尼AI);Sony Europe B.V.(索尼欧洲公司);Sony Group Corporation(索尼集团公司)
提出由多域损失、桥接操作和组合损失构成的X-scheme,在几乎不增加推理成本和参数的前提下提升多种DNN音乐源分离模型性能,并验证其跨模型与大规模数据泛化能力。
2024-08-06 cs.SD eess.AS
CWS-PResUNet: Music Source Separation with Channel-wise Subband Phase-aware ResUNet
Sound, Audio, and Music Intelligence (SAMI) Group, ByteDance(字节跳动声音、音频与音乐智能(SAMI)团队);The Ohio State University(俄亥俄州立大学)
音乐声源分离(MSS)近年来在深度学习模型方面取得了积极进展。许多MSS模型通过估计有界比率掩模和重用混合物的相位来对谱图进行分离。当使用卷积神经网络(CNN)时,权重通常在卷积期间在频谱图内共享,而不管频带之间的不同模式。在这项研究中,我们提出了一个新的MSS模型,通道的子带相位感知ResUNet(CWS-PResUNet),信号分解成子带,并估计一个未绑定的复杂的理想比率掩模(crescent)为每个源。CWS-PRESUNet利用信道子带(CWS)特征来限制频谱图上不必要的全局权重共享并减少计算资源消耗。节省的计算成本和存储器可以反过来允许更大的架构。在MUSDB 18 HQ测试集上,我们提出了一个276层的CWS-PRESNet,并以8.92的信号失真比(SDR)得分在人声上实现了最先进的(SoTA)性能。通过结合CWS-PRESUNet和Demucs,我们的ByteMSS系统在2021年ISMIR音乐分层(MDX)挑战赛有限训练数据赛道(排行榜A)中获得人声评分第2名和平均评分第5名。我们的代码和预训练模型可在以下网址公开获取:https://github.com/haoheliu/2021-ISMIR-MSS-Challenge-CWS-PResUNet
2021-12-09 cs.AI cs.SD eess.AS
Explaining Deep Convolutional Neural Networks on Music Classification
Queen Mary University of London(伦敦玛丽女王大学)
深度卷积神经网络(CNN)已经被积极地应用于音乐信息检索领域,例如流派分类、情绪检测和和弦识别。然而,学习和预测的过程很少被理解,特别是当它被应用于频谱图时。我们引入CNN的可听化以理解其潜在机制,其基于[2]中引入的去卷积过程。CNN的可听化是将从去卷积获得的学习卷积特征转换为音频信号。在实验和讨论中,我们解释了基于去卷积频谱图和可听化信号的5层CNN的训练特征。还研究了具有不同音乐属性的每层的成对相关性,以了解学习特征的演变。结果表明,在深层,功能是学习捕捉纹理,连续分布的模式,而不是线条的形状。
2016-07-08 cs.AI cs.LG cs.MM
Score-informed Music Source Separation: Improving Synthetic-to-real Generalization in Classical Music
Tampere University(塔尔皮奥大学)
本文针对古典音乐源分离任务,提出两种利用乐谱信息的方法:乐谱与幅度谱图拼接输入和仅用乐谱计算分离掩码,在合成数据上训练并在真实录音数据集上验证,发现仅用乐谱的模型显著提升了合成到真实的泛化能力。
2025-06-03 cs.LG cs.SD eess.AS
Decoupling Magnitude and Phase Estimation with Deep ResUNet for Music Source Separation
ByteDance(字节跳动);University of Surrey(萨里大学)
基于深度神经网络的方法已成功应用于音乐声源分离。它们通常学习从混合光谱图到一组源光谱图的映射,所有这些都只有幅度。这种方法有几个局限性:1)其不正确的相位重建降低了性能,2)它将掩码的幅度限制在0和1之间,而我们观察到在流行的数据集MUSDB 18中,22%的时间频率箱具有超过~1的理想比率掩码值,3)它在非常深的架构上的潜力尚未得到充分开发。我们提出的系统旨在克服这些问题。首先,我们建议通过估计复理想比掩模(cIRMs)来估计相位,其中我们将cIRMs的估计解耦为幅度和相位估计。其次,我们扩展了分离方法,以有效地允许掩模的幅度大于1。最后,我们提出了一个剩余的UNet架构,多达143层。我们提出的系统在MUSDB 18数据集上实现了最先进的MSS结果,特别是在人声上的SDR为8.98 dB,优于之前的最佳性能7.24 dB。源代码可在https://github.com/bytedance/music_source_separation上获得
2021-09-12 cs.SD eess.AS
Musika! Fast Infinite Waveform Music Generation
Institute of Computational Perception, Johannes Kepler University Linz(林茨约翰内斯·开普勒大学计算感知研究所)
快速和用户可控的音乐生成可以使作曲或表演音乐的新方法成为可能。然而,现有技术的音乐生成系统需要大量的数据和计算资源用于训练,并且推理缓慢。这使得它们对于实时交互式使用是不切实际的。在这项工作中,我们介绍了Musika,一个音乐生成系统,可以使用单个消费GPU对数百小时的音乐进行训练,并且可以比在消费CPU上实时生成任意长度的音乐快得多。我们首先使用对抗性自动编码器学习频谱图幅度和相位的紧凑可逆表示,然后在此表示上训练生成对抗网络(GAN)以用于特定的音乐域。一个潜在的坐标系统可以并行生成任意长的摘录序列,而一个全局上下文向量可以让音乐在时间上保持风格上的连贯性。我们进行定量评估,以评估生成的样本的质量,并展示钢琴和电子音乐生成的用户控制选项。我们在github.com/marcoppasini/musika上发布了源代码和预训练的自动编码器权重,这样GAN就可以在几个小时内用一个GPU在一个新的音乐域上训练。
2022-08-18 cs.LG cs.SD eess.AS
Progressive Rock Music Classification
University of Florida(佛罗里达大学)
本研究针对渐进摇滚音乐分类这一MIR任务,提取多类音频特征,对比集成方法、定制1D CNN架构及微调AST模型,用赢者通吃投票策略聚合预测,极端随机树等集成方法测试准确率达76.38%,为相关机器学习应用提供见解。
2025-04-15 cs.AI cs.LG cs.SD
Music Source Separation Using Stacked Hourglass Networks
Graduate School of Convergence Science and Technology, Seoul National University(首尔国立大学融合科学技术研究生院)
在本文中,我们提出了一个简单而有效的方法,多个音乐声源分离使用卷积神经网络。堆叠沙漏网络,这是最初设计用于人体姿态估计在自然图像中,应用于音乐声源分离任务。该网络从多个尺度的声谱图图像中学习特征,并为每个音乐源生成掩码。估计的掩模在经过堆叠的沙漏模块时被细化。所提出的框架能够使用单个网络分离多个音乐源。在MIR-1 K和DSD 100数据集上的实验结果验证了该方法在多音乐声源分离和歌唱声分离任务中取得了与现有方法相当的结果。
2018-06-22 cs.SD eess.AS
KaraSinger: Score-Free Singing Voice Synthesis with VQ-VAE using Mel-spectrograms
Earth Species Project(地球物种项目)
在本文中,我们提出了一种新的神经网络模型称为KaraSinger为一个较少研究的歌唱声音合成(SVS)任务命名为无分数SVS,其中的韵律和旋律是由机器自发决定。KaraSinger包括一个矢量量化变分自动编码器(VQ-VAE),它将歌唱音频的Mel频谱图压缩为离散代码序列,以及一个语言模型(LM),它学习预测相应歌词的离散代码。对于VQ-VAE部分,我们采用了连接主义时间分类(CTC)损失,以鼓励离散代码携带音素相关的信息。对于LM部分,我们使用位置敏感的注意力来学习输入音素序列和输出离散代码之间的鲁棒对齐。我们保持了VQ-VAE和LM的轻量级架构,以实现快速训练和推理速度。我们验证了建议的设计选择的有效性,使用多个业余歌手演唱的550首英文流行歌曲的专有集合。听力测试结果表明,卡拉歌手在可懂度、音乐性和整体质量方面都取得了很高的成绩。
2021-10-08 cs.LG cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
音乐创作通常由两个部分组成:创作乐谱,然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展,但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果,因为乐谱不包含性能级别的信息,例如定时和动态的细微变化。此外,虽然该任务可能听起来像文本到语音合成问题,但由于音乐音频具有丰富的复调声音,因此存在根本差异。为了构建这样的AI表演者,我们在本文中提出了一个深度卷积模型,该模型以端到端的方式学习音乐的符号表示(称为钢琴卷)和音乐的音频表示(称为频谱图)之间的分数到音频映射。该模型由两个子模型组成:ContourNet,它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系,并给出初始结果;以及TextureNet,它进一步使用多波段残差网络,通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型,以生成小提琴、大提琴和长笛的音乐片段,数据集大小适中。我们还提出了一个用户研究的结果,表明我们的模型实现了更高的平均意见得分(MOS)的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism
Zhejiang University(浙江大学)
歌唱声音合成(SVS)系统被构建为合成高质量和富有表现力的歌唱声音,其中声学模型生成声学特征(例如,Mel-spectrogram)。先前的歌唱声学模型采用简单的损失(例如,L1和L2)或生成对抗网络(GAN)来重建声学特征,但它们分别存在过平滑和训练不稳定的问题,影响了合成歌唱的自然度。在这项工作中,我们提出了DiffSinger,一个基于扩散概率模型的SVS声学模型。DiffSinger是一个参数化的马尔可夫链,它迭代地将噪声转换为以乐谱为条件的梅尔频谱图。通过隐式优化变分边界,DiffSinger可以稳定地训练并生成真实的输出。为了进一步提高语音质量和加快推理速度,我们引入了一种浅层扩散机制,以更好地利用简单损失学习到的先验知识。具体地,DiffSinger根据地面实况梅尔频谱图的扩散轨迹和由简单梅尔频谱图解码器预测的扩散轨迹的交点,在小于扩散步骤总数的浅步骤处开始生成。此外,我们提出了边界预测方法来定位相交和自适应地确定浅步长。在中国歌唱数据集上进行的评估表明,DiffSinger优于最先进的SVS工作。扩展实验也证明了我们的方法在文本到语音的任务(DiffSpeech)的推广。音频示例:www.example.com。代码:www.example.com。这部作品的旧标题是:“Diffsinger:Diffusion acoustic model for singing …
2022-03-22 cs.LG cs.SD eess.AS
A Novel Multimodal Music Genre Classifier using Hierarchical Attention and Convolutional Neural Network
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
音乐体裁分类是当前音乐信息检索研究的热点之一。由于流派的依赖性不仅限于音频简档,我们还使用作为相应歌曲的歌词提供的文本内容。我们实现了一个基于CNN的特征提取器的声谱图,以纳入声学特征和层次注意力网络的特征提取器的歌词。然后,我们继续分类的音乐曲目的基础上产生的融合特征向量。
2020-11-24 cs.IR cs.MM cs.SD
A comprehensive study of speech separation: spectrogram vs waveform separation
Tencent(腾讯)
在过去的几年里,语音分离已经被广泛研究用于单通道近距离麦克风录音;开发的解决方案大多是在频域中。最近,针对单通道数据引入了原始音频波形分离网络(TasNet),与频域中的最新解决方案相比,该网络实现了高的Si-SNR(尺度不变源噪声比)和SDR(源失真比)。在这项研究中,我们将有效成分的TasNet到频域分离方法。我们比较两者的替代方案。我们介绍了一种解决方案,直接优化频域网络中的分离准则。除了语音分离的客观和主观的测量,我们评估分离性能的语音识别任务以及。我们研究了远场数据(更类似于自然的音频流)的语音分离问题,并利用频谱,空间和扬声器位置信息开发了频域和时域分离器的多通道解决方案。对于我们的实验,我们模拟了多通道空间混响WSJ 0 - 2 mix数据集。我们的实验结果表明,频谱图分离可以实现更好的网络设计的竞争力的性能。多通道框架也被证明可以相对提高单通道性能,WER和SDR分别达到+35.5%和+46%。
2019-07-23 cs.LG cs.SD eess.AS
BNMusic: Blending Environmental Noises into Personalized Music
Wuhan University(武汉大学);Bang & Olufsen A/S(Bang & Olufsen公司);Princeton University(普林斯顿大学);LIX, École Polytechnique(巴黎政治学院LIX研究所)
BNMusic通过将环境噪音融入个性化音乐生成,减少噪音的明显性,提升听觉体验。
2026-01-30 cs.AI cs.SD eess.AS
Music Genre Classification using Machine Learning Techniques
University of Waterloo(滑铁卢大学)
在音乐信息检索(MIR)领域,根据音乐文件的类型对其进行分类是一项具有挑战性的任务。在这项研究中,我们比较了两类模型的性能。第一种是深度学习方法,其中端到端地训练CNN模型,以仅使用其频谱图来预测音频信号的流派标签。第二种方法利用来自时域和频域的手工制作的特征。我们用这些特征训练了四种传统的机器学习分类器,并比较了它们的性能。确定了对这种多类分类任务贡献最大的功能。音频集数据集上进行的实验,我们报告的AUC值为0.894的集成分类器,它结合了这两种方法。
2018-04-03 cs.SD eess.AS
Investigating U-Nets with various Intermediate Blocks for Spectrogram-based Singing Voice Separation
Korea University(高丽大学);Korea National Open University(韩国国立开放大学);Seokyeong University(西京大学)
歌声分离(SVS)试图从给定的混合音乐信号中分离出歌声。最近,已经提出了许多基于U-Net的模型用于SVS任务,但是没有现有的作品来评估和比较可以在U-Net架构中使用的各种类型的中间块。在本文中,我们介绍了各种中间谱图变换块。我们实现U-网络的基础上,这些块和训练他们对复值频谱图,同时考虑幅度和相位。然后,这些网络在SDR度量上进行比较。当使用由卷积层和全连接层组成的特定块时,它在MUSDB歌唱声音分离任务上实现了最先进的SDR,幅度高达0.9 dB。我们的代码和模型可在线获取。
2020-10-08 cs.LG cs.MM cs.SD
MusicHiFi: Fast High-Fidelity Stereo Vocoding
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
针对现有声码器分辨率低、仅支持单声道的局限,提出三级GAN级联的高保真立体声声码器MusicHiFi,在音频质量、空间控制和推理速度上均优于已有方法。
2024-10-05 cs.SD eess.AS eess.SP
Progressive distillation diffusion for raw music generation
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
针对波形域音乐生成扩散模型研究较少的问题,本文实现了带1D U-Net的渐进蒸馏扩散无条件音乐生成模型,验证了其渐进式音频处理生成的优势,并在自收集数据集上完成参数对比实验。
2023-07-20 cs.LG cs.SD eess.AS
Noise2Music: Text-conditioned Music Generation with Diffusion Models
Google Research(谷歌研究院)
我们引入了Noise 2 Music,其中训练了一系列扩散模型,以从文本提示生成高质量的30秒音乐片段。连续训练并利用两种类型的扩散模型,生成器模型和扩散器模型,生成器模型生成以文本为条件的中间表示,扩散器模型生成以中间表示和可能的文本为条件的高保真音频,以生成高保真音乐。我们探索两种选择的中间表示,一个使用频谱图和其他使用音频较低的保真度。我们发现,生成的音频不仅能够忠实地反映文本提示的关键元素,如体裁,节奏,乐器,情绪和时代,但超越了地面细粒度的提示语义。预训练的大语言模型在这个故事中起着关键作用-它们用于为训练集的音频生成配对文本,并提取扩散模型摄取的文本提示的嵌入。生成的示例:https://google-research.github.io/noise2music
2023-03-06 cs.LG cs.SD eess.AS
Particle Filtering for PLCA model with Application to Music Transcription
Sorbonne Universités(索邦大学);UPMC University Paris 06(巴黎第六大学);CNRS(法国国家科学研究中心)
自动音乐转录(AMT)包括通过三个属性自动估计音频记录中的音符:开始时间,持续时间和音高。概率潜在成分分析(PLCA)已成为这项任务非常流行。PLCA是一种谱图分解方法,能够将幅度谱图建模为来自字典的谱向量的线性组合。这种方法使用期望最大化(EM)算法来估计声学模型的参数。该算法提出了众所周知的固有缺陷(局部收敛,初始化依赖性),使EM为基础的系统限制在其应用AMT,特别是在数学形式和先验的数量。为了克服这些限制,我们建议在本文中采用不同的估计框架的基础上粒子滤波(PF),其中包括采样的后验分布在更大的参数范围。该框架在参数估计方面具有较强的鲁棒性,在系统先验知识的整合方面具有较强的灵活性和统一性。在两种不同乐器曲目的评估声音数据集上实现了61.8 $\%$和59.5 $\%$的音符级转录准确度,包括古典钢琴(来自MAPS数据集)和marovany齐特琴,并提供了与以前基于PLCA的方法的直接比较。还概述了进一步发展的步骤。
2017-03-28 cs.LG cs.SD stat.ML
Learning Unsupervised Hierarchies of Audio Concepts
Deezer Research(Deezer研究院);Sorbonne Université(索邦大学)
音乐信号很难从它们的低级特征中解释出来,甚至可能比图像更难:例如,突出显示频谱图或图像的一部分通常不足以传达真正与人类相关的高级想法。在计算机视觉中,其中提出了概念学习以将解释调整到正确的抽象级别(例如,从射线照片中检测临床概念)。这些方法尚未用于MIR。在本文中,我们适应概念学习的音乐领域,其特殊性。例如,音乐概念通常是非独立的和混合的性质(如流派,乐器,情绪),不像以前的工作,假设分离的概念。我们提出了一种方法,从音频中学习大量的音乐概念,然后自动将它们分层,以揭示它们之间的相互关系。我们从音乐流媒体服务的播放列表的数据集进行实验,作为几个注释的例子,不同的概念。评估表明,挖掘的层次结构与概念的地面实况层次结构(如果可用)以及一般情况下的概念相似性代理源保持一致。
2022-07-21 cs.LG cs.SD eess.AS
Music Source Separation with Band-split RNN
近年来,由于新型神经网络架构和训练管道的发展,音乐源分离(MSS)模型的性能得到了很大的提高。然而,最近的MSS模型设计主要是由其他音频处理任务或其他研究领域的动机,而音乐信号的内在特征和模式没有被完全发现。在本文中,我们提出了带分裂RNN(BSRNN),这是一种频域模型,它将混合物的频谱图显式地拆分为子带,并执行交织的带级和序列级建模。子带的带宽的选择可以通过关于目标源的特性的先验知识或专家知识来确定,以便优化特定类型的目标乐器上的性能。为了更好地利用未标记数据,我们还描述了一个半监督模型微调管道,可以进一步提高模型的性能。实验结果表明,仅在MUSDB 18-HQ数据集上训练的BSRNN在2021年音乐分层(MDX)挑战赛中的表现明显优于几个排名靠前的模型,并且半监督微调阶段进一步提高了所有四种乐器曲目的性能。
2022-09-30 cs.LG cs.SD eess.AS
GAFX: A General Audio Feature eXtractor
Center for Safe AGI(安全通用人工智能中心);Ohla AI Group(Ohla人工智能集团)
大多数用于音频任务的机器学习模型都在处理手工制作的功能,即声谱图。然而,目前还不清楚频谱图是否可以被基于深度学习的特征所取代。在本文中,我们通过比较不同的可学习神经网络提取特征与成功的频谱图模型来回答这个问题,并提出了一种基于双U-Net(GAFX-U),ResNet(GAFX-R)和Attention(GAFX-A)模块的通用音频特征提取器(GAFX)。我们设计了实验来评估这个模型在GTZAN数据集上的音乐流派分类任务,并对我们的框架和我们的模型GAFX-U的不同配置进行了详细的消融研究,在音频频谱图Transformer(AST)分类器取得了有竞争力的性能之后。
2022-07-19 cs.AI cs.SD eess.AS
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而,这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题,这有几个缺点,包括信号的相位和幅度的解耦,用于语音分离的时频表示的次优性,以及计算频谱图的长延迟。为了解决这些缺点,我们提出了一个全卷积时域音频分离网络(Conv-TasNet),这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示,该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数(掩码)来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络(TCN)来找到掩码,这允许网络对语音信号的长期依赖性进行建模,同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外,Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模,这是通过客观失真测量和人类听众的主观质量评估来评估的。最后,Conv-TasNet具有更小的模型大小和更短的最小延迟,使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
Multi-input Architecture and Disentangled Representation Learning for Multi-dimensional Modeling of Music Similarity
Fraunhofer IDMT(弗劳恩霍夫数字媒体技术研究所)
在音乐信息检索的背景下,基于相似性的方法是有用的各种任务,受益于一个查询的例子的情况。然而,音乐自然地分解成一组语义上有意义的变化因素。当前的表征学习策略追求从深层表征中解开这些因素,从而产生高度可解释的模型。这允许对音乐相似性感知进行建模,这是高度主观和多维的。虽然以前的工作的重点是元数据驱动的相似性的概念,我们建议直接模拟人类的多维音乐相似性的概念。为了实现这一目标,我们提出了一种多输入深度神经网络架构,它同时处理mel声谱图,CENS色度图和tempogram,以便为不同的分离音乐维度提取信息特征:流派,情绪,乐器,时代,节奏和键。我们使用三重预测任务评估了所提出的音乐相似性方法,发现所提出的多输入架构优于最先进的方法。此外,我们提出了一种新的多维分析,以评估每个解纠缠的维度对音乐相似性感知的影响。
2021-11-02 cs.SD eess.AS
Spectral Mapping of Singing Voices: U-Net-Assisted Vocal Segmentation
Toronto Metropolitan University(多伦多都会大学)
本研究提出一种基于U-Net的歌声分割方法,通过STFT将音乐转为频谱图并利用UNet进行图像分割。实验表明,结合频率轴归一化与MAE损失函数,在MUSDB18数据集上取得7.1 dB的最高SDR,显著优于其他配置,有效实现了人声的高质量分离。
2024-05-30 cs.AI cs.SD eess.AS
Music Consistency Models
Kunlun Inc.(昆仑公司)
本文提出 Music Consistency Models,结合一致性蒸馏与对抗判别器训练,在文本到音乐扩散模型基础上高效合成音乐片段的梅尔频谱,仅需四步采样即可实现高质量、无缝且实时的音乐生成。
2024-04-20 cs.AI cs.SD eess.AS
Real-Time Music Source Separation on a Low-Power Audio DSP
Analog Devices, Inc.(亚德诺半导体公司)
本文针对低功耗音频DSP,验证现有实时音乐源分离系统均不适用,提出在连续卷积上下文训练并加入门控复数FIR深度滤波器的新系统,在MUSDB18-HQ上达到4.70 dB cSDR,运行时间仅10.43 ms。
2026-09-14 cs.SD
Iranian Modal Music (Dastgah) detection using deep neural networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
音乐分类和音乐类型检测是音乐信息检索中的一个重要研究课题。然而,这种贡献在非西方音乐中是不够的,如伊朗的调式音乐。在这项工作中,我们已经实现了几个深度神经网络,以识别七个高度相关的类别中的伊朗调式音乐。最好的模型BiLGNet达到了92%的整体准确率,它使用了受自动编码器启发的架构,包括双向LSTM和GRU层。我们使用Nava数据集训练模型,其中包括1786张唱片和长达55小时的Kamanche,Tar,Setar,Reed和Santoor(Dulcimer)独奏音乐。我们考虑了MFCC、色度CENS和Mel频谱图等多个特征作为输入。结果表明,MFCC进行检测伊朗模态音乐(Dastgah)比其他声音表示更有价值的信息。此外,受自动编码器启发的架构在区分像Dastgahs这样高度相关的数据方面是鲁棒的。它还表明,由于伊朗Dastgah音乐的精确顺序,双向递归网络比本研究中实现的任何其他网络都更有效。
2022-10-19 cs.IR cs.SD eess.AS
Masked Contrastive Pre-Training Improves Music Audio Key Detection
Department of Computer Science;Engineering, Texas A\&M University
本文通过掩码对比预训练提升音乐音频键检测性能,发现其能有效增强音高敏感性,并在监督学习中实现SOTA表现。
2026-04-11 cs.LG cs.SD
Towards Musically Meaningful Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室);Northwestern University(西北大学)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务。这些模型通常被认为是“黑箱”,这意味着它们的预测是不可解释的。MIR中可解释模型的先前工作通常使用图像处理工具来产生DNN预测的解释,但这些解释不一定具有音乐意义,也不一定可以收听(可以说,这在音乐中很重要)。我们提出了audioLIME,一种基于本地可解释模型不可知解释(LIME)的方法,扩展了音乐定义的地方。LIME学习我们想要解释的例子的扰动的局部线性模型。我们建议使用声源分离,而不是使用图像分割作为LIME流水线的一部分来提取谱图的分量。扰动是通过开关源产生的,这使得我们的解释是合理的。我们首先在一个分类器上验证audioLIME,该分类器经过故意训练,将真实目标与虚假信号混淆,并表明使用我们的方法可以很容易地检测到。然后,我们表明,它通过了一个健全的检查,许多可用的解释方法失败。最后,我们证明了我们的(模型不可知)方法对第三方音乐标签的一般适用性。
2020-09-04 cs.IR cs.LG cs.SD