Open Set Recognition For Music Genre Classification
本研究针对音乐流派分类中的未知类别识别问题,提出基于OSR的分类算法,在GTZAN和FMA数据集上开展四组实验,通过网格搜索优化OpenMax与softmax的分类准确率,建立新型流派检测基线并分析标注与开集识别性能的关联。
2024-05-14 eess.AS math.OC
Dynamic Range Compression and Its Effect on Music Genre Classification
本文研究动态范围压缩对音乐流派分类的影响,通过在200首歌曲测试集上应用不同压缩设置,发现压缩可使SVM分类准确率平均提升3.1%,证明其可作为有效的预处理技术。
2024-10-17 cs.SD eess.AS
Exploring Music Genre Classification: Algorithm Analysis and Deployment Architecture
Netaji Subhash Engineering College(内塔吉·苏巴斯工程学院);Jadavpur University(贾达普大学)
本文提出一种结合数字信号处理和深度学习技术的新型音乐流派分类算法,在GTZAN数据集上取得高准确率,并设计了端到端部署架构以集成至音乐应用。
2023-09-14 cs.IR cs.SD eess.AS
Attention-guided Spectrogram Sequence Modeling with CNNs for Music Genre Classification
IIT Hyderabad(印度理工学院海得拉巴分校)
本文提出利用CNN与多头注意力对频谱图序列建模,捕捉音乐中时序关键片段形成流派签名,以提升音乐流派分类准确率并支撑个性化推荐。
2024-11-18 cs.CV cs.LG cs.SD
Machine learning and chord based feature engineering for genre prediction in popular Brazilian music
Maynooth University(梅努斯大学);Paraná Federal University(巴拉那联邦大学)
音乐类型很难描述:涉及许多因素,如风格,音乐技巧和历史背景。有些类型甚至有重叠的特征。为了更好地了解音乐类型与音乐和声结构的关系,我们收集了数千首巴西流行歌曲的音乐和弦数据。在这里,“流行”不仅指MPB(巴西流行音乐),而且指九种不同的音乐类型,这些音乐类型被认为是巴西特有的。本工作的主要目标是提取和工程师和谐相关的和弦数据的功能,并使用它来分类流行的巴西音乐流派建立和谐的关系和巴西流派之间的连接。我们还强调了获得数据的方法的一般化,允许复制和直接扩展这项工作。我们的最终模型是多个分类树的组合,也称为随机森林模型。我们发现,从谐波元素中提取的特征可以令人满意地预测巴西的音乐类型,以及从Spotify API中获得的特征。在这项工作中考虑的变量也给出了一个关于它们如何与体裁相关的直觉。
2019-02-08 cs.IR cs.LG cs.SD
Music Genre Classification with Paralleling Recurrent Convolutional Neural Network
深度学习在音乐流派分类中的有效性和效率已经得到证明。然而,现有的成果仍然存在一些缺点,影响了这一分类任务的性能。在本文中,我们提出了一种混合结构,它由并行的CNN和Bi-RNN块。它们分别侧重于空间特征和时间帧顺序的提取。然后将两个输出融合成一个强大的音乐信号表示,并送入softmax函数进行分类。并行网络保证了提取的特征足够鲁棒以表示音乐。此外,实验证明,我们提出的架构提高了音乐流派分类的性能和额外的Bi-RNN块是CNN的补充。
2017-12-22 cs.IR cs.SD eess.AS
Music Genre Classification using Machine Learning Techniques
University of Waterloo(滑铁卢大学)
在音乐信息检索(MIR)领域,根据音乐文件的类型对其进行分类是一项具有挑战性的任务。在这项研究中,我们比较了两类模型的性能。第一种是深度学习方法,其中端到端地训练CNN模型,以仅使用其频谱图来预测音频信号的流派标签。第二种方法利用来自时域和频域的手工制作的特征。我们用这些特征训练了四种传统的机器学习分类器,并比较了它们的性能。确定了对这种多类分类任务贡献最大的功能。音频集数据集上进行的实验,我们报告的AUC值为0.894的集成分类器,它结合了这两种方法。
2018-04-03 cs.SD eess.AS
HouseX: A Fine-grained House Music Dataset and its Potential in the Music Industry
New York University Shanghai(上海纽约大学)
机器声音分类一直是音乐技术的基本任务之一。声音分类的一个主要分支是音乐类型的分类。然而,尽管覆盖了大多数音乐流派,现有的音乐流派数据集通常不包含指示音乐的详细子流派的细粒度标签。考虑到混音带或DJ(现场)集合中歌曲流派的一致性,我们收集并注释了一个house音乐数据集,该数据集提供4个子流派标签,即未来house,bass house,progressive house和melodic house。实验表明,我们的标注很好地体现了不同类别的特点。此外,我们已经建立了基线模型,根据一个轨道的梅尔频谱图分类的子流派,取得了很强的竞争力的结果。此外,我们还提出了我们的数据集和基线模型的几个应用场景,模拟科幻隧道作为一个简短的演示,在3D建模软件中构建和渲染,灯光的颜色由我们的模型输出自动化。
2022-10-12 cs.LG cs.SD eess.AS
Music Genre Classification with ResNet and Bi-GRU Using Visual Spectrograms
The University of Melbourne(墨尔本大学)
针对音乐流派分类中传统方法依赖人工特征、CNN难捕捉时间动态的问题,提出以视觉频谱图为输入、融合ResNet与GRU的混合模型,可更全面分析音乐数据,助力提升音乐推荐系统性能。
2023-07-20 cs.LG cs.SD eess.AS
Learning to Recognize Musical Genre from Audio
EPFL(洛桑联邦理工学院)
在这里,我们总结了我们的经验运行的挑战与开放数据的音乐流派识别。这些笔记激发了任务和挑战设计,显示了一些关于提交的统计数据,并展示了结果。
2018-03-13 cs.IR cs.LG cs.SD
On the Complex Network Structure of Musical Pieces: Analysis of Some Use Cases from Different Music Genres
University of Bologna(博洛尼亚大学)
本文主要研究音乐旋律的网络建模。旋律的音符可以被视为网络的节点。每当音符按顺序演奏时,就会产生连接。我们分析了来自不同音乐流派的一些主要曲目,使用不同的乐器演奏的旋律。我们发现,所考虑的网络是,在一般情况下,无标度网络,并表现出小世界性质。我们测量的主要指标,并评估这些网络是否可以被认为是由子社区形成的。结果证实,可以从这种分析方法中提取的轨道的特有功能。这种方法可以在几个多媒体应用,如音乐教学,多媒体娱乐和数字音乐生成的影响。
2017-09-13 cs.MM cs.SD eess.AS
Convolutional Neural Network Achieves Human-level Accuracy in Music Genre Classification
Rutgers University(罗格斯大学)
本文提出一种结合人类感知与听觉神经生理学的方法,通过训练简单CNN对音乐短片段分类并综合预测,使音乐流派分类达到人类水平的70%准确率。
2018-02-27 cs.LG cs.SD eess.AS
MATT: A Multiple-instance Attention Mechanism for Long-tail Music Genre Classification
Huazhong University of Science and Technology(华中科技大学)
不平衡音乐类型分类是音乐信息检索(MIR)领域的一项重要任务,它基于相关的音乐音频片段来识别长尾、数据贫乏的音乐类型,这在现实世界中非常普遍。现有的大多数模型都是针对类别平衡的音乐数据集设计的,导致在识别分布尾部的音乐流派时,准确性和泛化性能较差。受在各种分类任务中成功引入多实例学习(MIL)的启发,我们提出了一种名为多实例注意力(MATT)的新机制,以提高识别尾类的性能。具体来说,我们首先通过生成专辑艺术家配对包来构建包级数据集。其次,我们利用神经网络来编码音乐音频片段。最后,在多实例注意力机制的指导下,基于神经网络的模型可以选择信息量最大的流派来匹配给定的音乐片段。在具有长尾分布的大规模音乐流派基准数据集上的综合实验结果表明,MATT显著优于其他最先进的基线。
2022-09-09 cs.AI cs.LG cs.MM
A Novel Multimodal Music Genre Classifier using Hierarchical Attention and Convolutional Neural Network
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
音乐体裁分类是当前音乐信息检索研究的热点之一。由于流派的依赖性不仅限于音频简档,我们还使用作为相应歌曲的歌词提供的文本内容。我们实现了一个基于CNN的特征提取器的声谱图,以纳入声学特征和层次注意力网络的特征提取器的歌词。然后,我们继续分类的音乐曲目的基础上产生的融合特征向量。
2020-11-24 cs.IR cs.MM cs.SD
Beyond Genre: Diagnosing Bias in Music Embeddings Using Concept Activation Vectors
本文利用概念激活向量检测四种音乐表征模型中性别、语言等歌手属性对流派嵌入的非预期影响,并提出基于概念向量操纵的事后去偏方法。
2025-09-29 cs.SD eess.AS
Music Genre Classification: Ensemble Learning with Subcomponents-level Attention
Georgetown University(乔治城大学)
本文提出结合集成学习与子组件注意力机制的音乐流派分类新方法,通过分别分类乐曲子组件并集成决策,在GTZAN数据集上准确率优于现有先进技术。
2024-12-20 cs.IR cs.LG cs.MM
The Wiki Music dataset: A tool for computational analysis of popular music
Profilio Company s.r.l.
有没有可能使用算法来发现流行音乐历史上的趋势?是否有可能预测未来音乐流派的特征?为了回答这些问题,我们制作了一个手工制作的数据集,旨在将风格,心理学,社会学和类型学的特征放在一起,按音乐类型注释,并按时间和年代索引。我们从维基百科上收集了十年来流行的音乐类型列表,并根据维基百科的描述对音乐类型进行了评分。使用统计和机器学习技术,我们发现音乐偏好的趋势,并使用时间序列预测来评估对未来音乐流派的预测。
2019-08-27 cs.CL cs.CY cs.SD
Exploring the Emotional Landscape of Music: An Analysis of Valence Trends and Genre Variations in Spotify Music Data
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
本文基于Spotify音频特征与效价分数,结合多种回归模型、时间分析、情绪转换和流派调查,揭示音乐情感模式及其随时间的演变规律。
2023-10-29 cs.AI cs.SD eess.AS
Machine learning for music genre: multifaceted review and experimentation with audioset
UCLM(卡斯蒂利亚-拉曼恰大学)
音乐类型分类是音乐信息检索的一个分支,由于其存在的问题,越来越受到研究者的关注。虽然研究已经在出版的作品数量方面多产,但该主题仍然存在一个基础问题:没有明确和正式的定义是什么类型。音乐分类模糊不清,受人的主观性和缺乏一致性的影响。在第一部分,本文提供了一个调查,试图涵盖这个问题的许多不同方面。它的主要目标是让读者概述历史和当前的最新技术水平,探索迄今为止使用的技术和数据集,以及确定当前的挑战,例如体裁定义的模糊性或以人为本的方法的引入。本文特别关注机器学习应用于音乐标注问题的新趋势。最后,我们还包括一个音乐流派分类实验,使用Audioset比较不同的机器学习模型。
2019-11-28 cs.IR cs.LG cs.SD
Off the Beaten Track: Using Deep Learning to Interpolate Between Music Genres
Eindhoven University of Technology(埃因霍温理工大学);University of Florence(佛罗伦萨大学);University of Basel(巴塞尔大学);Conservatorio G.F. Ghedini di Cuneo(库尼奥G.F.盖迪尼音乐学院);Musica Combinatoria(组合音乐机构)
我们描述了一个基于深度学习的系统,该系统在电子舞曲领域生成鼓模式。实验结果表明,生成的模式可以用来产生不同类型之间的音乐声音和创造性的过渡,并在该领域的从业者感兴趣的生成过程。
2018-05-02 cs.LG cs.MM cs.SD
Symbolic Music Genre Transfer with CycleGAN
ETH Zürich(苏黎世联邦理工学院)
深度生成模型,如变分自编码器(VAE)和生成对抗网络(GANs),最近已被应用于图像的风格和域转移,在VAE的情况下,音乐。基于GAN的模型采用多个生成器和某种形式的周期一致性损失,是图像域传输中最成功的模型之一。在本文中,我们应用这样一个模型,象征性的音乐,并显示我们的方法的可行性,音乐体裁转移。使用单独的体裁分类器的评估表明,风格转移效果良好。为了提高转换后的音乐的保真度,我们添加了额外的鉴别器,使生成器保持原始音乐的结构基本不变,同时仍然实现了强大的流派转移。视觉和听觉结果进一步显示了我们方法的潜力。据我们所知,本文代表了GANs在符号音乐域转移中的首次应用。
2018-09-20 cs.LG cs.SD eess.AS
Genre Controlled Music Generation via Activation Steering
Indian Institute of Technology Madras(印度理工学院马德拉斯学院)
提出一种在推理时对自回归生成模型MusicGen进行干预的方法,利用线性探针权重引导残差流,实现细粒度的体裁控制。
2026-05-26 cs.AI cs.SD eess.AS
Comparison of spectrogram scaling in multi-label Music Genre Recognition
Poznań University of Economics and Business(波兹南经济大学)
本文针对多标签音乐流派识别中流派组合复杂的问题,比较多种频谱图缩放预处理与模型训练方法,并在超过18000条人工标注数据集上验证。
2025-06-02 cs.LG cs.SD eess.AS
Music Genre Classification: Training an AI model
Academy of computer science University of Johannesburg Auckland Park JHB 2092, South Africa
本研究探索多种机器学习算法(多层感知器、k近邻、卷积神经网络、随机森林)进行音乐流派分类,使用STFT和MFCC特征提取,评估模型稳健性并比较结果。
2024-05-23 cs.LG cs.SD eess.AS
The Scattering Transform Network with Generalized Morse Wavelets and Its Application to Music Genre Classification
University of California, Davis(加州大学戴维斯分校)
我们建议使用广义Morse小波(GMWs),而不是常用的Morlet(或Gabor)小波的散射变换网络(GMW-SVM),我们称之为信号分类问题。GMW形成一个参数化的家庭真正的解析小波,而Morlet小波只是近似解析。底层小波滤波器的解析性在非平稳振荡信号,如音乐信号,是特别重要的,因为它提高了可解释性的非平稳表示提供多尺度振幅和相位(因此频率)的输入信号的信息。我们证明了GMW-GTZAN的优越性,在传统的GTZAN在音乐流派分类使用所谓的GTZAN数据库。此外,我们通过将其层数增加到三层而不是典型的两层结构来展示GMW-STAFF的性能改进。
2022-06-16 cs.LG eess.AS
Audio Processing using Pattern Recognition for Music Genre Classification
Department of Information Technology(信息技术系);St. Thomas’ College of Engineering & Technology, MAKAUT(圣托马斯工程技术学院,马卡乌特大学)
本研究利用GTZAN数据集和多种机器学习算法对五种音乐流派进行分类,其中Keras实现的人工神经网络达到92.44%的验证准确率,并计划未来扩展至全部十种流派及实时应用。
2024-10-19 cs.LG cs.SD eess.AS
Multi-label Cross-lingual automatic music genre classification from lyrics with Sentence BERT
INSPER Institute of Teaching and Research(INSPER教学与研究学院)
提出基于 sBERT 多语言句子嵌入的多标签跨语言歌词音乐流派分类系统,在葡英双语数据集上显著优于翻译加词袋基线。
2025-01-07 cs.IR cs.LG cs.SD
Tune It Up: Music Genre Transfer and Prediction
University of Hacettepe(哈杰泰佩大学)
本研究改进CycleGAN模型实现爵士乐与古典乐的风格迁移,并训练分类器评估,最佳准确率分别为69.4%和39.3%,同时保留旋律。
2025-03-27 cs.LG cs.SD eess.AS
Leveraging Knowledge Bases And Parallel Annotations For Music Genre Translation
Deezer R&D(Deezer研发部)
普遍的努力已经投入到自动推断音乐项目的流派中。然而,所提出的解决方案往往依赖于简化,未能解决音乐流派的多样性和主观性。不过,考虑这些因素对于调整知识源、整合数据和用标签丰富音乐项目有很多好处。在这里,我们选择了一个新的角度的体裁研究,寻求预测什么将是音乐项目的体裁在目标标签系统,知道他们在源标签系统内分配的体裁。我们称之为翻译任务,并确定了三种情况:1)源和目标标签系统之间不存在共同的注释语料库,2)存在如此大的语料库,3)只有很少的共同注释存在。我们提出了相关的解决方案:基于知识的翻译建模为分类映射,统计翻译建模与最大似然逻辑回归,混合翻译建模与最大后验逻辑回归与先验知识的翻译。在评估过程中,解决方案很好地适应了确定的情况下,混合翻译系统是最有效的w.r.t.多标签分类度量。这是第一次尝试统一体裁标签系统,利用代表性和解释的多样性。
2019-07-27 cs.IR cs.LG cs.SD
Bottom-up Broadcast Neural Network For Music Genre Classification
Faculty of Electronic Information and Electrical Engineering, Dalian University of Technology(大连理工大学电子信息与电气工程学院);School of Innovation and Entrepreneurship, Dalian University of Technology(大连理工大学创新创业学院);Department of Functional R&D, JD(京东职能研发部);College of Information Science and Technology, Dalian Maritime University(大连海事大学信息科学技术学院)
基于视觉表示的音乐类型识别在过去几年中已经得到了成功的探索。最近,人们对尝试卷积神经网络(CNN)来实现该任务的兴趣越来越大。然而,现有的方法大多采用图像识别中提出的成熟的CNN结构而不做任何修改,导致学习特征不足以用于音乐流派分类。针对这一问题,本文充分利用音频频谱图中的低层信息,提出了一种新的CNN结构。所提出的CNN架构考虑了长上下文信息,从而为决策层传递更合适的信息。在GTZAN、Ballroom和Extended Ballroom等基准数据集上的实验验证了所提出的神经网络的优良性能。代码和型号将在“ttps://www.example.com“上提供。github.com/CaifengLiu/music-genre-classification
2019-01-24 cs.AI cs.SD eess.AS
Content-based feature exploration for transparent music recommendation using self-attentive genre classification
Seoul National University(首尔大学)
检索结果的解释是音乐推荐系统中的一个重要问题,特别是从用户的角度来看。在这项研究中,我们调查的方法提供可解释性的内容功能使用自我注意。我们使用在140,000首歌词上训练的自我关注流派分类模型提取歌词特征。同样,我们使用声学模型提取声学特征,其中自我注意力在120,000个声学信号的轨道上训练。实验结果表明,所提出的方法提供的特点是可解释的抒情和音乐的内容。我们通过可视化注意力权重以及呈现使用歌词或音频功能找到的最相似的歌曲来证明这一点。
2018-09-03 cs.IR cs.SD eess.AS
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná(巴拉那联邦理工大学);University of Campinas(坎皮纳斯大学)
在这项工作中,我们分析的随机投影梅尔声谱图作为低级别的功能,音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明,随机投影导致的结果与学习的特征相当,并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识,同时,与其他基于投影的低级特征相比,需要更少的计算能力进行训练。因此,他们可以是一个可行的选择,用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
Reducing Barriers to the Use of Marginalised Music Genres in AI
University of the Arts London(伦敦艺术大学);Central Conservatory of Music(中央音乐学院)
本文通过4个月国际研究,探索可解释AI在降低边缘化音乐流派使用障碍中的机遇,包括提升透明度、减少偏见等,并强调其增强文化代表性,现正构建国际负责任AI音乐社区。
2024-07-18 cs.AI cs.SD eess.AS
Automatic Lyrics Alignment and Transcription in Polyphonic Music: Does Background Music Help?
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
背景音乐影响歌曲中演唱者的歌词可懂度。在复调音乐中,歌词的自动对齐和自动转写是一项具有挑战性的任务,因为演唱的声音会被背景音乐所破坏。在这项工作中,我们提出了学习音乐流派的具体特点,训练复调声学模型。我们首先比较了几个自动语音识别管道的歌词转录的应用。然后,我们提出了歌词对齐和转录性能的音乐知情的声学模型的最佳性能管道,并系统地研究了音乐流派和语言模型的性能的影响。通过这种基于流派的方法,我们显式地对音乐进行建模,而不会在声学建模期间将其删除。在几个著名的复调测试数据集上,所提出的方法在歌词对齐和转录任务中优于所有竞争系统。
2019-10-22 cs.SD eess.AS
GCDance: Genre-Controlled Music-Driven 3D Full Body Dance Generation
School of Computer Science and Electronic Engineering, University of Surrey(萨里大学计算机科学与电子工程学院);Department of Music and Media, University of Surrey(萨里大学音乐与媒体系);Department of Informatics, University of Oslo(奥斯陆大学信息学系);Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心);School of Artificial Intelligence and Computer Science, Jiangnan University(江南大学人工智能与计算机科学学院)
本文提出GCDance框架,通过音乐和文本条件生成风格化的3D舞蹈,利用文本控制机制和音乐基础模型提升生成质量,实验验证其优于现有方法。
2025-09-29 cs.CV cs.GR cs.SD
Learning to Fuse Music Genres with Generative Adversarial Dual Learning
Virginia Tech(弗吉尼亚理工学院);Georgia Institute of Technology(佐治亚理工学院)
FusionGAN是一个用于音乐生成的新型流派融合框架,它集成了生成对抗网络和双重学习的优势。特别是,所提出的方法提供了一个双重的学习扩展,可以有效地整合给定领域的风格。为了有效地量化不同域之间的差异并避免消失梯度问题,FusionGAN提供了一个基于Wasserstein的度量来近似目标域和现有域之间的距离。采用Wasserstein距离,通过使用对抗学习组合现有域的模式来创建新域。在公共音乐数据集上的实验结果表明,该方法可以有效地合并两种类型。
2017-12-05 cs.AI cs.LG cs.MM
A Study on Broadcast Networks for Music Genre Classification
Egypt-Japan University of Science and Technology(埃及-日本科学技术大学);Waseda University(早稻田大学)
由于音乐流媒体/推荐服务需求的增加和音乐信息检索框架的最新发展,音乐类型分类(MGC)引起了社会的关注。然而,已知基于卷积的方法缺乏有效编码和定位时间特征的能力。在本文中,我们研究了基于广播的神经网络,旨在提高在一个小的参数集(约180 k)下的局部化和泛化能力,并研究了广播网络的12种变体,讨论了块配置,池化方法,激活函数,归一化机制,标签平滑,通道相互依赖性,LSTM块包含和初始方案的变体的影响。我们的计算实验使用相关的数据集,如GTZAN,扩展舞厅,HOMBURG,和免费音乐档案(FMA)显示国家的最先进的分类精度在音乐流派分类。我们的方法提供了见解和潜力,使紧凑和概括的广播网络的音乐和音频分类。
2022-08-25 cs.AI cs.MM cs.SD
Equipping Pretrained Unconditional Music Transformers with Instrument and Genre Controls
Duke University(杜克大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究利用最大规模符号音乐数据集预训练无条件音乐Transformer,并提出通过微调加入控制token以赋予其乐器与流派控制能力,显著提升了生成音乐的可控性与质量。
2023-11-21 cs.IR cs.MM cs.SD
Can MusicGen Create Training Data for MIR Tasks?
Time Machine Capital(时光机资本);DAACI Ltd.(DAACI有限公司);University of Piraeus(比雷埃夫斯大学)
本研究探索用 AI 生成音乐系统为 MIR 任务创建训练数据,通过 MusicGen 生成人工数据集训练流派分类器,初步证明其可学习流派特征并泛化至真实音乐。
2023-11-15 cs.AI cs.SD eess.AS
Music Genre Classification Using Spectral Analysis and Sparse Representation of the Signals
本文提出了一种基于稀疏FFT的特征提取方法,该方法利用非平稳音频信号的谱分析的鉴别能力和稀疏表示分类器的能力进行特征提取,并在此基础上提出了一种稳健的音乐类型分类方法。特征提取方法组合两组特征,即短期特征(从加窗信号中提取)和长期特征(从提取的短期特征的组合中提取)。实验结果表明,所提出的特征提取方法导致了一个稀疏表示的音频信号。结果,实现了信号维度的显著降低。然后将提取的特征馈送到基于稀疏表示的分类器(SRC)中。在GTZAN数据库上的实验结果表明,该方法优于其他最先进的SRC方法。此外,该方法的计算效率优于其他压缩采样(CS)为基础的分类器。
2018-03-13 cs.SD eess.AS
Transfer Learning of Artist Group Factors to Musical Genre Classification
Delft University of Technology(代尔夫特理工大学);Kakao Corp.(Kakao公司);Universitat Pompeu Fabra(庞培法布拉大学)
从音频信息中自动识别音乐流派是一个具有挑战性的问题,因为流派标签是主观的和嘈杂的。艺术家的标签不那么主观,也不那么嘈杂,而某些艺术家可能与某些流派有更强的联系。同时,在预测时,不能保证艺术家标签可用于给定的音频段。因此,在这项工作中,我们建议应用迁移学习框架,学习艺术家相关的信息,这些信息将在推理时用于体裁分类。我们考虑不同类型的艺术家相关信息,通过艺术家群体因素表达,这将允许更有效的学习和更强的鲁棒性,以潜在的标签噪声。此外,我们还研究了如何在给定的FMA数据集上实现最高的验证精度,通过实验各种转移方法,包括单任务转移,多任务转移和最后的多任务学习。
2019-01-13 cs.LG cs.SD eess.AS
Transfer Learning for Underrepresented Music Generation
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
本文提出组合创造力迁移学习方法,将大型音乐生成模型 MusicVAE 高效适配伊朗民间音乐这一 OOD 流派,为生成代表性不足音乐提供可行路径。
2023-06-01 cs.LG cs.SD eess.AS
Combining Genre Classification and Harmonic-Percussive Features with Diffusion Models for Music-Video Generation
Brunel University London(布鲁内尔伦敦大学)
本研究提出结合流派分类、谐波-打击乐特征与扩散模型的音乐视频生成方法,分图像生成和视频插值两阶段,引入AVS指标验证其视听同步效果优于线性插值,可应用于多领域视听创作。
2024-12-07 cs.GR cs.MM cs.SD
Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究比较了CNN、VGG16和XGBoost在30秒Mel频谱图与3秒MFCCs特征下的音乐流派分类性能,发现MFCC XGBoost模型表现最佳,且数据分割能显著提升CNN性能。
2024-01-09 cs.AI cs.SD eess.AS
Enhancing Music Genre Classification through Multi-Algorithm Analysis and User-Friendly Visualization
BITS Pilani WILP(印度皮拉尼博拉理工学院工学结合项目)
本研究利用五种独立算法分析歌曲的节奏、旋律和音调,以准确分类音乐流派,并通过可视化工具展示结果,便于用户理解与反馈。
2024-05-27 cs.AI cs.SD eess.AS
Texture Selection for Automatic Music Genre Classification
Federal University of Technology – Paraná(巴拉那联邦理工大学);University of Campinas(坎皮纳斯大学)
音乐流派分类是将与流派相关的标签与数字化音乐曲目相关联的问题。它在商业和个人音乐收藏的组织中有应用。通常,音乐曲目被描述为一组音色灵感的声音纹理。在浅学习系统中,每个音轨的声音纹理总数通常太高,纹理下采样是必要的,以使训练易于处理。虽然以前的工作已经解决了这个线性下采样,没有广泛的工作已经完成,以评估如何纹理选择的好处流派分类的背景下,袋的帧轨道描述。在本文中,我们评估的影响,帧选择自动音乐流派分类在一袋帧的情况下。我们还提出了一种新的纹理选择器的基础上K-Means旨在确定不同的声音纹理在每个轨道。我们评估了纹理选择在不同的数据集,四个不同的功能集,以及它的关系,一个单变量特征选择策略。结果表明,帧选择导致显着改善的单一向量基线的数据集组成的全长轨道,无论功能集。结果还表明,K-Means纹理选择器在基线上实现了显着的改进,与常用的线性下采样相比,每个轨道使用更少的纹理。结果还表明,纹理选择是互补的特征选择策略评估。我们的定性分析表明,类内的纹理多样性有利于模型的泛化。我们的分析表明,选择特定的音频摘录可以提高分类性能,它可以自动完成。
2019-05-28 cs.IR cs.LG cs.SD
Convolution channel separation and frequency sub-bands aggregation for music genre classification
University of Seoul(首尔大学)
在音乐中,音高和节奏等短期特征构成了旋律和叙事等长期语义特征。音乐流派分类(MGC)系统应该能够分析这些特征。在这项研究中,我们提出了一个新的框架,可以提取和聚合的短期和长期的功能分层。我们的框架基于ECAPA-TDNN,由于反向传播训练,所有提取短期特征的层都会受到提取长期特征的层的影响。为了防止短期特征的失真,我们设计了卷积通道分离技术,将短期特征与长期特征提取路径分离。为了从我们的框架中提取更多不同的特征,我们采用了频率子带聚合方法,该方法将输入频谱图沿频率带宽划分并处理每个段。我们使用Melon Playlist数据集评估了我们的框架,Melon Playlist数据集是一个大规模数据集,包含的数据是MGC研究中广泛使用的数据集GTZAN的600倍。结果,我们的框架实现了70.4%的准确率,与传统框架相比提高了16.9%。
2022-11-03 cs.SD eess.AS
Music Genre Classification: A Comparative Analysis of Classical Machine Learning and Deep Learning Approaches
Computer Science and Engineering(计算机科学与工程);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Tribhuvan University, IOE(特里布文大学理工学院);Arlington, USA(美国阿灵顿);kathmandu(加德满都);Dharan(达尔汉)
本文通过构建包含8000个标注音频片段的新型数据集,比较了九种分类模型在两种范式下的性能,发现顺序卷积循环神经网络在Nepali音乐流派分类中达到84%的准确率。
2026-03-16 cs.AI cs.SD eess.AS
Music Genre Classification using Large Language Models
École de Technologie Supérieure(高等技术学院);University of Quebec(魁北克大学);Pontifícia Univ. Católica do Paraná(巴拉那天主教大学)
本文利用预训练LLMs的零样本能力进行音乐流派分类,通过分割音频并提取特征向量训练分类头,实验表明AST模型以85.5%的准确率优于WavLM、HuBERT等模型。
2024-10-10 cs.CV cs.SD eess.AS
GTN-Bailando: Genre Consistent Long-Term 3D Dance Generation based on Pre-trained Genre Token Network
Xverse Inc.(Xverse公司)
针对音乐驱动3D舞蹈生成中的流派不一致问题,提出GTN-Bailando框架,利用从音乐推断流派的GTN并采用预训练微调,在AIST++上提升动作质量与流派一致性。
2023-04-25 cs.MM cs.SD eess.AS
Extended pipeline for content-based feature engineering in music genre recognition
RWTH Aachen University(亚琛工业大学);University of Florence(佛罗伦萨大学)
我们提出了一个特征工程管道的音乐信号特征的建设,用于设计一个监督模型的音乐流派识别。其关键思想是扩展传统的两步提取和分类过程,添加独立的阶段,不再组织在瀑布方案。整个系统是通过遍历各个阶段之间的回溯箭头和循环来实现的。为了给一个紧凑和有效的表示的功能,标准的早期时间整合与其他选择和提取阶段相结合:一方面,选择最有意义的特征的基础上的信息增益,另一方面,包括这个子集的功能,由自动编码器确定的非线性相关性。在GTZAN数据集上进行的实验结果表明,这种方法对模型在分类任务中的性能有明显的贡献。
2018-05-12 cs.LG cs.SD eess.AS
Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis
Vienna University of Technology(维也纳技术大学)
本论文将音频分析与计算机视觉相结合,从多模态的角度研究音乐信息检索(MIR)任务。本论文的重点是音乐视频的视觉层所提供的信息,以及如何利用它来增强和改进MIR研究领域的任务。这项工作的主要假设是基于这样一种观察,即某些表达类别,如体裁或主题,可以在视觉内容的基础上单独识别,而不需要听到声音。这导致了一个假设,即存在一种用于表达情绪或体裁的视觉语言。在进一步的结果中,可以得出结论,该视觉信息是音乐相关的,并且因此应该有益于对应的MIR任务,诸如音乐流派分类或情绪识别。本文针对视觉信息的提取及其在不同任务中的应用进行了一系列的综合实验和评价。创建自定义数据集,其适合于开发和测试能够表示音乐相关信息的视觉特征。评估范围从低级视觉特征到通过深度卷积神经网络检索的高级概念。此外,引入了新的视觉功能,捕捉有节奏的视觉模式。在所有这些实验中,基于音频的结果作为视觉和视听方法的基准。本实验针对三个MIR任务艺术家识别、音乐体裁分类和跨体裁分类进行。实验表明,利用视觉概念检测获得的高级语义信息的视听方法,优于纯音频类型分类准确率16.43%。
2020-02-01 cs.CV cs.IR cs.MM
GACA-DiT: Diffusion-based Dance-to-Music Generation with Genre-Adaptive Rhythm and Context-Aware Alignment
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Tencent AI Lab(腾讯AI实验室)
GACA-DiT通过风格自适应节奏提取和上下文感知时间对齐模块,实现了舞蹈到音乐生成的节奏一致性和时间对齐,提升了生成音乐与舞蹈动作的同步精度。
2026-03-02 cs.AI cs.MM cs.SD
MS-SincResNet: Joint learning of 1D and 2D kernels using multi-scale SincNet and ResNet for music genre classification
National Yang Ming Chiao Tung University(国立阳明交通大学);Chung Hua University(中华大学)
在这项研究中,我们提出了一种新的端到端卷积神经网络,称为MS-SincResNet,用于音乐流派分类。MS-SincResNet将1D多尺度SincNet(MS-SincNet)作为第一个卷积层添加到2D ResNet,试图在训练阶段联合学习1D内核和2D内核。首先,将输入音乐信号划分为多个固定持续时间(本研究中为3秒)的音乐片段,并将每个音乐片段的原始波形馈送到1D MS-SincNet滤波器学习模块中以获得三通道2D表示。与声谱图、和声声谱图、泛音声谱图和梅尔声谱图相比,习得的表征具有丰富的音色、和声和泛音特征。然后使用ResNet从这些2D表示中提取判别嵌入。空间金字塔池化(SPP)模块进一步用于在时间和频率方面增强特征区分度,以获得每个音乐片段的分类标签。最后,投票策略被应用于总结来自所有3秒音乐片段的分类结果。在我们的实验结果中,我们证明了所提出的MS-SincResNet优于基线SincNet和许多众所周知的手工制作的功能。考虑到单独的2D表示,MS-SincResNet还在GTZAN数据集和ISMIR 2004数据集上产生了与最先进方法竞争的结果。代码可在https://github.com/PeiChunChang/MS-SincResNet上获得
2021-09-18 cs.AI cs.SD eess.AS