Multi-label Music Genre Classification from Audio, Text, and Images Using Deep Features
音乐流派允许对具有共同特征的音乐项目进行分类。虽然这些类别并不相互排斥,但大多数相关研究传统上都集中在将曲目分类为单个类别。此外,这些类别(例如,流行乐、摇滚乐)对于某些应用来说往往过于宽泛。在这项工作中,我们的目标是通过将音乐项目分类为多个细粒度的标签,使用三种不同的数据形式:音频,文本和图像来扩展这项任务。为此,我们提出了MuMu,一个新的数据集,包含超过31k张专辑,分为250个流派类别。对于每一张专辑,我们都收集了封面图片,文字评论和音轨。此外,我们提出了一种多标签流派分类方法,该方法基于与最先进的深度学习方法学的特征嵌入的组合。实验表明模态之间的主要差异,这不仅为多标签流派分类引入了新的基线,而且还表明将它们结合起来会产生更好的结果。
2017-07-16 cs.IR
On large-scale genre classification in symbolically encoded music by automatic identification of repeating patterns
重复在音乐中的重要性是众所周知的。在本文中,我们研究的背景下,有效和高效的自动体裁分类在大型音乐数据库中的音乐重复。我们的目标是通过只考虑音乐内容对整个收藏进行自动分类,来增强数字图书馆中音乐作品的访问和组织。我们向公众移交了一套特定类型的模式,以支持音乐学的研究。例如,这些模式可以用来探索和分析音乐流派之间的关系。有许多现有的算法可用于识别和提取符号编码音乐中的重复模式。在我们的例子中,提取的模式被用作基础语料库上的音乐片段的表示,并且连续地用于训练和评估分类器以自动识别流派。在本文中,我们采用两个非常快速的算法,使我们能够在大型和多样化的语料库上进行实验。因此,我们能够找到具有强鉴别力的模式,可用于各种应用。我们进行了实验的语料库包含超过40,000个的文本文件注释至少一个流派。实验表明,我们的方法是可扩展的,能够处理真实世界大小的音乐收藏。
2019-10-21 cs.IR
Claraprint: a chord and melody based fingerprint for western classical music cover detection
针对西方古典音乐翻唱检测需求,提出一种基于和弦与旋律的专用音乐指纹Claraprint以实现参考库翻唱检索,并开放新数据集推动该流派相关研究。
2024-04-15 cs.IR
Music Genre Classification with Paralleling Recurrent Convolutional Neural Network
深度学习在音乐流派分类中的有效性和效率已经得到证明。然而,现有的成果仍然存在一些缺点,影响了这一分类任务的性能。在本文中,我们提出了一种混合结构,它由并行的CNN和Bi-RNN块。它们分别侧重于空间特征和时间帧顺序的提取。然后将两个输出融合成一个强大的音乐信号表示,并送入softmax函数进行分类。并行网络保证了提取的特征足够鲁棒以表示音乐。此外,实验证明,我们提出的架构提高了音乐流派分类的性能和额外的Bi-RNN块是CNN的补充。
2017-12-22 cs.IR cs.SD eess.AS
Machine learning and chord based feature engineering for genre prediction in popular Brazilian music
Maynooth University(梅努斯大学);Paraná Federal University(巴拉那联邦大学)
音乐类型很难描述:涉及许多因素,如风格,音乐技巧和历史背景。有些类型甚至有重叠的特征。为了更好地了解音乐类型与音乐和声结构的关系,我们收集了数千首巴西流行歌曲的音乐和弦数据。在这里,“流行”不仅指MPB(巴西流行音乐),而且指九种不同的音乐类型,这些音乐类型被认为是巴西特有的。本工作的主要目标是提取和工程师和谐相关的和弦数据的功能,并使用它来分类流行的巴西音乐流派建立和谐的关系和巴西流派之间的连接。我们还强调了获得数据的方法的一般化,允许复制和直接扩展这项工作。我们的最终模型是多个分类树的组合,也称为随机森林模型。我们发现,从谐波元素中提取的特征可以令人满意地预测巴西的音乐类型,以及从Spotify API中获得的特征。在这项工作中考虑的变量也给出了一个关于它们如何与体裁相关的直觉。
2019-02-08 cs.IR cs.LG cs.SD
Lyrics-Based Music Genre Classification Using a Hierarchical Attention Network
Stanford University(斯坦福大学)
音乐体裁分类,特别是仅使用歌词分类,一直是音乐信息检索中的一个具有挑战性的课题。在这项研究中,我们应用递归神经网络模型来分类一个完整的歌词大数据集。由于歌词呈现分层结构-其中单词组合形成线条,线条形成片段,片段形成完整的歌曲-我们采用分层注意力网络(HAN)来利用这些层,并学习单词,线条和片段的重要性。我们在117种类型的数据集和减少的20种类型的数据集上测试模型。实验结果表明,HAN优于非神经模型和简单的神经模型,同时也比以前的研究分类更多的类型。通过学习过程,我们还可以可视化模型认为歌曲中的哪些单词或台词对分类流派很重要。因此,HAN从计算的角度提供了对区分音乐流派的抒情结构和语言特征的见解。
2017-07-15 cs.CL cs.IR cs.NE
Content-based feature exploration for transparent music recommendation using self-attentive genre classification
Seoul National University(首尔大学)
检索结果的解释是音乐推荐系统中的一个重要问题,特别是从用户的角度来看。在这项研究中,我们调查的方法提供可解释性的内容功能使用自我注意。我们使用在140,000首歌词上训练的自我关注流派分类模型提取歌词特征。同样,我们使用声学模型提取声学特征,其中自我注意力在120,000个声学信号的轨道上训练。实验结果表明,所提出的方法提供的特点是可解释的抒情和音乐的内容。我们通过可视化注意力权重以及呈现使用歌词或音频功能找到的最相似的歌曲来证明这一点。
2018-09-03 cs.IR cs.SD eess.AS
Tag2Risk: Harnessing Social Music Tags for Characterizing Depression Risk
International Institute of Information Technology, Hyderabad(印度海得拉巴国际信息技术学院);University of Jyväskylä(于韦斯屈莱大学)
音乐偏好被认为是自我的一面镜子。在这个大数据时代,在线音乐流媒体服务使我们能够捕捉生态上有效的音乐收听行为,并提供丰富的信息来源来识别几个用户特定的方面。研究表明,音乐参与是内部状态的间接表征,包括内化的抑郁症和抑郁症。目前的研究旨在揭示有抑郁风险的个体的模式和趋势,因为它表现在自然发生的音乐听行为中。获得了Last.fm用户(N=541)的心理健康评分、音乐参与度和收听历史。分析与每个听众最受欢迎的曲目相关联的社交标签,以挖掘与用户相关联的情绪/情感和流派。结果显示,社会标签中流行的抑郁症风险的用户主要是与描绘悲伤的情绪与流派标签代表新迷幻,前卫,dream-pop.这项研究将开辟途径,一个基于MIR的方法来表征和预测抑郁症的风险,可以帮助早期检测,并提供相应的音乐推荐设计的基础。
2020-07-26 cs.IR cs.MM cs.SD
A Novel Audio Representation for Music Genre Identification in MIR
BITS Pilani WILP(印度博拉理工学院皮拉尼分校工作整合学习项目);Eudoxia Research Centre(尤多西亚研究中心);City of Dallas(达拉斯市政府);CBRE Inc(世邦魏理仕公司)
本文针对MIR音乐流派识别任务,提出基于Jukebox深度向量量化的新型音频表示,并在2万曲目数据集上与梅尔频谱图对比,发现其效果并不优于梅尔频谱图。
2024-04-01 cs.IR cs.LG cs.SD
Item-Item Music Recommendations With Side Information
在线音乐服务拥有数千万首曲目。内容本身是广泛的,涵盖各种音乐流派以及非音乐音频内容,如广播剧和播客。内容的庞大规模和多样性使得用户很难找到相关的曲目。因此,相关建议对于良好的用户体验至关重要。在这里,我们提出了一种方法来计算轨迹轨迹相似性使用协同过滤信号与边信息。在来自音乐流媒体服务SoundCloud的数据集上,这里的方法优于广泛采用的隐式矩阵分解技术。我们的方法的实现是开源的,可以应用于相关的项目项目推荐任务的边信息。
2017-12-18 cs.IR
Expertise and Dynamics within Crowdsourced Musical Knowledge Curation: A Case Study of the Genius Platform
许多平台主要从志愿者那里收集众包信息。随着这种类型的知识策展变得越来越普遍,贡献格式差异很大,并受到不同平台上不同流程的驱动。因此,一个平台的模型不一定适用于其他平台。在这里,我们研究了Genius的时间动态,Genius是一个主要为用户贡献的歌词注释而设计的平台。Genius的一个独特之处在于,注释是非常本地化的--一个注释的歌词可能只是一首歌的几行--但也是高度相关的,例如,按歌曲、专辑、艺术家或流派分类。我们分析了几个动态过程与歌词注释和他们的编辑,这与其他平台的模型有很大的不同。例如,歌曲注释的专业知识遵循“U形”,其中专家是早期和晚期贡献者,非专家贡献中间;我们开发了一个用户效用模型,捕捉这种行为。我们还发现,在用户的贡献寿命早期出现的几个贡献特征,区分(最终)专家和非专家。结合我们的研究结果,我们开发了一个早期预测用户专业知识的模型。
2020-10-14 cs.HC cs.IR cs.SI
Biases in LLM-Generated Musical Taste Profiles for Recommendation
本文通过用户研究考察LLM根据收听历史生成的音乐品味画像是否存在用户与物品特征偏差,并对比下游推荐表现,揭示其潜力与局限。
2025-07-22 cs.IR
MIRFLEX: Music Information Retrieval Feature Library for Extraction
MIRFLEX是一个可扩展的模块化音乐特征提取库,集成最先进模型,提取调性、强拍、流派等音乐元素及乐器识别等音频特征,支持潜在或后处理标签,便于集成到音乐应用并作为基准测试工具。
2024-11-01 cs.AI cs.IR cs.SD
From Context to Concept: Exploring Semantic Relationships in Music with Word2Vec
University of Miami(迈阿密大学);Institute for High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究院);Singapore University of Technology and Design(新加坡科技设计大学)
我们探讨了一个流行的分布式语义向量空间模型,word 2 vec,捕捉生态(复杂的复调)音乐有意义的关系的潜力。更准确地说,word 2 vec的skip-gram版本被用来从一个跨越八个音乐流派的大型语料库中对音乐片段进行建模。在这个新学习的向量空间中,基于余弦距离的度量能够区分功能和弦关系以及音乐中的和声关联。证据,基于弦对向量之间的余弦距离,表明在向量空间中存在一个隐式的五分之一圆。此外,不同键的片段之间的比较表明,键关系是在word 2 vec空间中表示的。这些结果表明,新学习的嵌入式向量表示实际上确实捕获了音乐的音调和和声特征,而没有接收到有关组成切片的音乐内容的明确信息。为了调查是否接近在发现的嵌入空间表示“语义相关”的切片,我们探索了一个音乐生成任务,通过自动替换现有的切片从一个给定的音乐片与新的切片。我们提出了一种算法来找到替代片的基础上空间接近和音高类分布推断在所选择的子空间。结果表明,所使用的子空间的大小有一个显着的影响是否属于同一个键的切片被选中。总之,所提出的word 2 vec模型能够学习音乐向量嵌入,捕获音乐中有意义的音调和和声关系,从而提供了一个有用的工具,用于探索音乐属性和跨作品的比较,作为深度学习模型的潜在输入表示,以及作为音乐生成设备。
2018-11-29 cs.IR cs.LG cs.SD
Evaluation of pretrained language models on music understanding
Queen Mary University of London(伦敦玛丽女王大学);Spotify
该研究针对大语言模型音乐知识评估不足的问题,提出基于Audioset本体三元组的评估方法,发现6款通用Transformer模型存在提示敏感等三类问题,表明现成LLM需适配音乐领域后再使用。
2024-09-17 cs.AI cs.IR cs.LG
Audio Prototypical Network For Controllable Music Recommendation
针对传统音乐推荐系统黑盒建模缺乏可解释性与可控性的问题,提出音频原型网络,以音乐语义特征原型表示用户偏好,在保持推荐性能竞争力的同时实现了可解释可控的用户画像构建。
2025-07-31 cs.IR eess.AS
Comparative Analysis of Pretrained Audio Representations in Music Recommender Systems
针对音乐信息检索预训练模型在音乐推荐系统中研究不足的问题,对比评估6种预训练音频后端模型搭配3类推荐模型的性能,发现其在两类任务中表现差异显著,为后续优化音乐推荐奠定基础。
2024-09-13 cs.IR