Adopting State-of-the-Art Pretrained Audio Representations for Music Recommender Systems
University of Tartu(塔尔图大学)
本文评估了九种预训练模型在音乐推荐系统中的表现,发现其在传统MIR任务与冷热启动场景中性能差异显著,揭示了后端模型捕捉的音乐信息方面存在差异。
2026-04-25 cs.IR
A Novel Audio Representation for Music Genre Identification in MIR
BITS Pilani WILP(印度博拉理工学院皮拉尼分校工作整合学习项目);Eudoxia Research Centre(尤多西亚研究中心);City of Dallas(达拉斯市政府);CBRE Inc(世邦魏理仕公司)
本文针对MIR音乐流派识别任务,提出基于Jukebox深度向量量化的新型音频表示,并在2万曲目数据集上与梅尔频谱图对比,发现其效果并不优于梅尔频谱图。
2024-04-01 cs.IR cs.LG cs.SD
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: a Survey
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多综合理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
本综述梳理了应用于符号音乐生成与信息检索的NLP方法,涵盖符号音乐表示、适配的深度学习模型及专用机制,并讨论了技术问题与文本音乐差异,为后续适配研究指明方向。
2024-02-27 cs.AI cs.IR cs.SD
Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training
音乐信息检索(MIR)技术在西方古典声乐训练中的应用已被证明是有效的。京剧演唱在大部分的感性维度上都不同于西方演唱,训练者采用口心法。在本文中,我们首先介绍了在专业京剧培训课堂场景中使用的培训方法,并展示了将MIR技术引入培训过程的潜在好处。本文的主体部分是对京剧演唱训练中潜在的MIR技术进行识别。针对这一意图,我们回答了这样一个问题:京剧演唱指导教师和学员是如何看待京剧音乐的每一个维度--语调、节奏、响度、音质和发音的重要性的?本研究透过(一)将课堂歌唱练习、导师的口头反馈归纳为五个维度,(二)对受训者进行问卷调查。然后,借助音乐信号分析法,对课堂练习录音实例进行了细致的考察,揭示了训练过程中的细节要素。最后,在上述分析的基础上,本文提出了几种可能的多媒体合成技术,对京剧演唱训练有一定的参考价值。
2017-11-02 cs.IR cs.SD eess.AS
Multimodal music information processing and retrieval: survey and future challenges
LIM – Music Informatics Laboratory Department of Computer Science University of Milan(米兰大学计算机科学系LIM - 音乐信息学实验室)
为了提高在各种音乐信息处理任务中的表现,最近的研究利用能够捕获音乐的不同方面的不同模态。这些形式包括音频记录,符号乐谱,中级表示,运动和手势数据,视频记录,编辑或文化标签,歌词和专辑封面艺术。本文批判性地回顾了音乐信息处理和检索中采用的各种方法,并强调了多模态算法如何帮助音乐计算应用程序。首先,我们根据它们所涉及的应用对相关文献进行分类。随后,我们分析了现有的信息融合方法,我们得出结论,音乐信息检索和声音和音乐计算研究社区应该在未来几年集中的挑战。
2019-02-14 cs.IR cs.MM cs.SD
Affective Music Information Retrieval
音乐的吸引力主要在于它能传达情感/情绪,并能唤起听众的情感/情绪。因此,在过去的十年里,在音乐信息检索(MIR)社区中,人们对从音乐信号中建模情感的兴趣越来越大。在这篇文章中,我们提出了一种新的生成方法来音乐情感建模,特别关注情绪的效价唤醒(VA)维度模型。所提出的生成模型,称为\emph{acoustic emotion Gaussians}(AEG),更好地占主观情绪感知的概率分布的使用。具体地说,它从多个主题的情感注释中学习VA空间中的高斯混合模型,并对训练音乐片段的相应声学特征进行先验约束。这种计算框架在技术上是合理的,能够以在线方式学习,因此适用于各种应用,包括用户独立的(一般)和用户依赖的(个性化)情感识别和基于情感的音乐检索。我们报告的AEG的上述应用程序的一个更大规模的情感注释语料库,AMG 1608,以证明AEG的有效性,并展示如何进行评估的研究情绪为基础的MIR。并对今后的工作方向进行了讨论。
2015-02-18 cs.IR
Tag2Risk: Harnessing Social Music Tags for Characterizing Depression Risk
International Institute of Information Technology, Hyderabad(印度海得拉巴国际信息技术学院);University of Jyväskylä(于韦斯屈莱大学)
音乐偏好被认为是自我的一面镜子。在这个大数据时代,在线音乐流媒体服务使我们能够捕捉生态上有效的音乐收听行为,并提供丰富的信息来源来识别几个用户特定的方面。研究表明,音乐参与是内部状态的间接表征,包括内化的抑郁症和抑郁症。目前的研究旨在揭示有抑郁风险的个体的模式和趋势,因为它表现在自然发生的音乐听行为中。获得了Last.fm用户(N=541)的心理健康评分、音乐参与度和收听历史。分析与每个听众最受欢迎的曲目相关联的社交标签,以挖掘与用户相关联的情绪/情感和流派。结果显示,社会标签中流行的抑郁症风险的用户主要是与描绘悲伤的情绪与流派标签代表新迷幻,前卫,dream-pop.这项研究将开辟途径,一个基于MIR的方法来表征和预测抑郁症的风险,可以帮助早期检测,并提供相应的音乐推荐设计的基础。
2020-07-26 cs.IR cs.MM cs.SD
Late multimodal fusion for image and audio music transcription
Instituto Universitario de Investigación Informática(信息学大学研究所);University of Alicante(阿利坎特大学)
音乐转录是音乐信息检索的一个关键问题,它将音乐源转换成结构化的数字格式。在计算方面解决这一挑战时,MIR社区遵循两条研究路线:音乐文档,这是光学音乐识别(OMR)的情况,或音频记录,这是自动音乐转录(AMT)的情况。上述输入数据的不同性质决定了这些领域必须发展特定模式的框架。然而,他们最近的定义序列标签任务导致一个共同的输出表示,这使得研究的组合范式。在这方面,多模态图像和音频音乐转录包括有效地组合由图像和音频模态传达的信息的挑战。在这项工作中,我们探讨这个问题在后期融合水平:我们研究了四种组合方法,以合并,第一次,关于端到端的OMR和AMT系统的假设,在基于格的搜索空间。从一系列性能场景中获得的结果--其中相应的单模态模型产生不同的出错率--显示了这些方法的有趣好处。此外,所考虑的四种策略中有两种显著改善了相应的单峰标准识别框架。
2022-08-26 cs.CV cs.IR cs.MM
The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);University of Washington(华盛顿大学);Google Research(谷歌研究院)
数据是现代机器学习系统的生命线,包括音乐信息检索(MIR)系统。然而,MIR长期以来一直被小数据集和不可靠的标签所困扰。在这项工作中,我们建议使用生成建模来打破这一瓶颈。通过将音符的生成模型(在巴赫合唱团上训练的Coconet)与室内合奏的结构化合成模型(在URMP上训练的MIDI-DDSP)流水线化,我们展示了一个能够产生无限数量的具有丰富注释的逼真合唱音乐的系统,所述注释包括混音、词干、连音、音符级性能属性(断奏、颤音等),甚至是细粒度的合成参数(音调、幅度等)。我们称这个系统为腔室合奏生成器(CEG),并使用它来生成一个大的数据集chorales从四个不同的腔室合奏(CocoChorales)。我们证明,使用我们的方法生成的数据改进了最先进的音乐转录和声源分离模型,我们发布的系统和数据集作为开源的基础,为未来的工作在MIR社区。
2022-09-28 cs.IR cs.LG cs.SD
LooPy: A Research-Friendly Mix Framework for Music Information Retrieval on Electronic Dance Music
New York University(纽约大学)
提出LooPy,一个面向电子舞曲的Python包,通过专业模板和概率旋律生成器自动生成高质量EDM音频,解决标注数据稀缺问题,实验证明混音质量媲美知名艺术家作品。
2023-05-01 cs.IR cs.LG cs.MM
An Extensive Analysis of Query by Singing/Humming System Through Query Proportion
S.J.College of Engineering(S.J.工程学院)
QBSH(Query by Singing/Humming)是一个以小音频片段为查询对象的音乐信息检索系统。数字音乐的日益普及为音乐检索提供了有效的方法。此外,MIR系统支持基于内容的音乐搜索,并且不需要熟悉音乐。目前对QBSH的研究主要集中在音高、节奏、音符等旋律特征上,数据库的大小、响应时间、分数匹配和搜索算法。尽管提出了各种QBSH技术,但通过查询摘录来分析QBSH的工作还很缺乏。在这里,我们提出了一个分析,QBSH通过查询摘录。为了证实这一点,我们利用Mel频率倒谱系数(MFCC)、线性预测系数(LPC)和线性预测倒谱系数(LPCC)进行了一系列的实验,以描述知识表示的鲁棒性。建议的实验试图揭示,检索性能以及精度下降,在蜗牛阶段与不断增长的数据库的大小。
2013-01-09 cs.IR cs.MM cs.SD
Claraprint: a chord and melody based fingerprint for western classical music cover detection
针对西方古典音乐翻唱检测需求,提出一种基于和弦与旋律的专用音乐指纹Claraprint以实现参考库翻唱检索,并开放新数据集推动该流派相关研究。
2024-04-15 cs.IR
FMA: A Dataset For Music Analysis
LTS2, EPFL(洛桑联邦理工学院信号处理实验室);SCSE, NTU(南洋理工大学计算机科学与工程学院)
我们介绍了免费音乐档案(FMA),一个开放的,易于访问的数据集,适合评估MIR中的几个任务,一个与浏览,搜索和组织大型音乐收藏有关的领域。然而,社区对功能和端到端学习日益增长的兴趣受到大型音频数据集有限的限制。FMA旨在通过提供917 GiB和343天的Creative Commons授权音频来克服这一障碍,这些音频来自16,341位艺术家的106,574首曲目和14,854张专辑,并以161种类型的分层分类法排列。它提供完整长度和高质量的音频,预先计算的功能,以及轨道和用户级元数据,标签和自由格式的文本,如传记。我们在这里描述的数据集,以及它是如何创建的,提出了一个训练/验证/测试分裂和三个子集,讨论了一些合适的MIR任务,并评估了一些基线的体裁识别。代码、数据和使用示例可在https://github.com/mdeff/fma上获得
2017-09-05 cs.IR cs.SD
Large-Scale Cover Song Detection in Digital Music Libraries Using Metadata, Lyrics and Audio Features
在音乐信息检索(MIR)研究中,封面歌曲检测是一个非常相关的任务,并且主要使用基于音频的系统来解决。尽管其在工业环境中具有潜在的影响,但低性能和缺乏可扩展性阻止了这种系统在实践中用于大型应用。在这项工作中,我们调查是否可以使用文本音乐信息(如元数据和歌词)与音频大规模的覆盖识别问题,在一个广泛的数字音乐库。我们使用标准文本和最先进的音频相似性措施来衡量这个问题。我们的研究表明,这些方法可以显着提高百万歌曲数据集(MSD)和二手歌(SHS)数据集上的封面检测系统的准确性和可扩展性。通过仅利用基于标准tf-idf的歌曲标题和歌词文本相似性度量,与MSD上当前基于可扩展音频内容的最先进方法相比,我们实现了平均平均精度绝对提高35.5%。这些实验结果表明,新的方法可以鼓励研究人员利用和识别更复杂的基于NLP的技术,以改善当前的翻唱歌曲识别系统的数字音乐库与元数据。
2018-08-30 cs.IR cs.MM
Emergent musical properties of a transformer under contrastive self-supervised learning
本文挑战了对比自监督学习在MIR局部任务上表现不足的假设,通过NT-Xent训练ViT-1D模型,发现其序列标记能涌现出丰富的音乐特性,在局部和全局任务中均表现优异,推进了对Transformer的音乐解释。
2025-06-30 cs.IR cs.LG cs.SD
Towards Musically Meaningful Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室);Northwestern University(西北大学)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务。这些模型通常被认为是“黑箱”,这意味着它们的预测是不可解释的。MIR中可解释模型的先前工作通常使用图像处理工具来产生DNN预测的解释,但这些解释不一定具有音乐意义,也不一定可以收听(可以说,这在音乐中很重要)。我们提出了audioLIME,一种基于本地可解释模型不可知解释(LIME)的方法,扩展了音乐定义的地方。LIME学习我们想要解释的例子的扰动的局部线性模型。我们建议使用声源分离,而不是使用图像分割作为LIME流水线的一部分来提取谱图的分量。扰动是通过开关源产生的,这使得我们的解释是合理的。我们首先在一个分类器上验证audioLIME,该分类器经过故意训练,将真实目标与虚假信号混淆,并表明使用我们的方法可以很容易地检测到。然后,我们表明,它通过了一个健全的检查,许多可用的解释方法失败。最后,我们证明了我们的(模型不可知)方法对第三方音乐标签的一般适用性。
2020-09-04 cs.IR cs.LG cs.SD
What is missing in deep music generation? A study of repetition and structure in popular music
Carnegie Mellon University(卡内基梅隆大学)
结构是音乐最基本的方面之一,而音乐结构通常通过重复来表示。然而,音乐中的重复和结构的本质仍然没有得到很好的理解,特别是在音乐生成的背景下,并且还有很多东西需要利用音乐信息检索(MIR)技术进行探索。两个流行音乐数据集的分析(中国和美国)说明重要的音乐建设原则:(1)结构存在于多个层次,(2)歌曲使用重复和有限的词汇,使得单个歌曲不遵循歌曲集合的一般统计,(3)结构与节奏、旋律、和声和可预测性相互作用,以及(4)在歌曲的过程中,重复不是随机的,而是遵循交叉熵所揭示的一般趋势。这些和其他研究结果为深度学习音乐生成提供了挑战和机遇,并提出了新的正式音乐标准和评估方法。我们分析了最近音乐生成系统中的音乐,并将其与我们数据集中的人类创作的音乐进行了比较,通常从结构的角度揭示了显着的差异。
2022-09-01 cs.IR cs.SD eess.AS
Machine Learning Approaches to Hybrid Music Recommender Systems
音乐推荐系统已经成为支持在线音乐流服务、在线音乐商店和私人收藏中对越来越大的音乐目录的访问的关键技术。用户与大型音乐目录的交互是一个复杂的现象,从不同的学科研究。我们调查我们的工作,调查混合音乐推荐系统的机器学习和数据采掘方面(即,集成不同推荐技术的系统)。我们提出了混合音乐推荐系统,完全基于数据和强大的所谓的“冷启动问题”的新音乐项目,有利于发现相关的,但非流行音乐。我们深入研究了音乐播放列表延续的具体任务,通过分析基本的播放列表特征,歌曲特征表示,以及播放列表和其中的歌曲之间的关系。
2018-07-16 cs.IR
SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Music Classification: Beyond Supervised Learning, Towards Real-world Applications
音乐分类是一项音乐信息检索(MIR)任务,用于将音乐项分类为诸如流派、情绪和乐器之类的标签。它还与音乐相似性和音乐偏好等其他概念密切相关。在本教程中,我们将重点放在两个方向上-最近的训练计划超越监督学习和音乐分类模型的成功应用。本书的目标读者是对最先进的音乐分类研究和构建现实世界应用程序感兴趣的研究人员和从业人员。我们假设观众熟悉基本的机器学习概念。在这本书中,我们提出了三个讲座如下:1。音乐分类概述:任务定义,应用,现有方法,数据集,2。Beyond supervised learning:Semi- and自监督学习for music classification.走向现实世界的应用:较少讨论,但在实践中的重要研究问题。
2021-12-03 cs.IR cs.SD eess.AS
Advancing the Foundation Model for Music Understanding
本文提出统一音乐理解基础模型MuFun,联合处理器乐与歌词,并构建多任务基准MuCUE,实验证明其显著优于现有音频大语言模型。
2025-08-02 cs.AI cs.IR cs.SD
Chord Recognition- Music and Audio Information Retrieval
音乐信息检索(MIR)是一项协作科学研究,有助于建立创新的信息研究主题,新颖的框架,并开发连接的交付机制,以及使世界上大量的音乐收藏对每个人开放。现代摇滚乐被证明很难估计节奏,和弦识别也不起作用。所有的研究结果都表明,现代摇滚和金属音乐是可以分析的,尽管它很复杂,但需要在这一领域进行进一步的研究,使其有用。使用神经网络是最简单的处理方法之一,在神经网络方法中使用了音高类轮廓向量。由于该矢量仅包含12个半音值元素,因此足以用于和弦识别。当然,还有其他方法可以实现这项工作,其中大多数依赖于音高类别分析将和弦转换为可以识别的类型,但是识别过程非常耗时,并且集中在非常复杂和内存密集的方法上。
2021-09-08 cs.IR cs.SD eess.AS
Machine learning for music genre: multifaceted review and experimentation with audioset
UCLM(卡斯蒂利亚-拉曼恰大学)
音乐类型分类是音乐信息检索的一个分支,由于其存在的问题,越来越受到研究者的关注。虽然研究已经在出版的作品数量方面多产,但该主题仍然存在一个基础问题:没有明确和正式的定义是什么类型。音乐分类模糊不清,受人的主观性和缺乏一致性的影响。在第一部分,本文提供了一个调查,试图涵盖这个问题的许多不同方面。它的主要目标是让读者概述历史和当前的最新技术水平,探索迄今为止使用的技术和数据集,以及确定当前的挑战,例如体裁定义的模糊性或以人为本的方法的引入。本文特别关注机器学习应用于音乐标注问题的新趋势。最后,我们还包括一个音乐流派分类实验,使用Audioset比较不同的机器学习模型。
2019-11-28 cs.IR cs.LG cs.SD
CCMusic: An Open and Diverse Database for Chinese Music Information Retrieval Research
China Conservatory of Music(中国音乐学院)
本文提出CCMusic,一个开放多样的中文音乐信息检索数据库,整合多数据集并统一清洗标注,提供支持分类与检测的基准评估框架,托管于HuggingFace和ModelScope。
2025-03-24 cs.IR cs.SD
Towards Explainable and Interpretable Musical Difficulty Estimation: A Parameter-efficient Approach
Universitat Pompeu Fabra(庞培法布拉大学);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Nuremberg University of Music(纽伦堡音乐学院)
本文提出一种参数高效的白盒模型,利用可解释描述符对符号化音乐进行难度估计,在9类钢琴曲目上取得41.4%准确率和1.7的MSE,兼顾性能与可解释性,以促进MIR与音乐教育领域的有效沟通。
2024-08-01 cs.AI cs.IR cs.SD
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University(纽约大学);University of Florida(佛罗里达大学);Carnegie Mellon University(卡内基梅隆大学)
编曲生成是自动音乐生成的一个子任务,它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式,但它们缺乏更精确的数据,无法实现更好的评估和更实际的结果。在本文中,我们提出了POP909,一个数据集,其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏,这些都是与原始音频文件对齐的。此外,我们还提供了速度,节拍,基调和和弦的注释,其中速度曲线是手工标记的,其他的是通过MIR算法完成的。最后,我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
The Music Streaming Sessions Dataset
Spotify Research(Spotify研究院)
在线流媒体服务面临的许多重要机器学习问题的核心是需要对用户如何与他们所服务的内容进行交互建模。不幸的是,目前还没有公共数据集可以让研究人员探索这个主题。为了推动这项研究,我们发布了音乐流媒体会话数据集(MSSD),其中包括1.6亿个收听会话和相关的用户操作。此外,我们还为日志中提到的约370万首独特曲目提供音频功能和元数据。这是目前向公众提供的此类轨道元数据的最大集合。该数据集支持对重要问题的研究,包括如何对流媒体中的用户收听和交互行为进行建模,以及音乐信息检索(MIR)和基于会话的顺序推荐。此外,使用均匀随机的推荐设置收集会话的子集,使得它们能够用于对这种顺序推荐的反事实评估。最后,我们提供了一个用户行为的分析,并提出了进一步的研究问题,可以使用数据集解决。
2020-10-14 cs.HC cs.IR cs.LG
An Information-theoretic Approach to Machine-oriented Music Summarization
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);INESC-ID Lisboa(里斯本INESC-ID研究所);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院)
音乐摘要允许更高的处理、存储和数据集共享效率。面向机器的方法,对人类消费不可知,进一步优化了这些方面。这种摘要已在一些和平、恢复和重建任务中得到成功验证。现在,我们概括了以前的结论,从概率的角度来评估音乐的通用摘要的影响。我们估计高斯分布的原始和总结的歌曲,并计算它们的相对熵,以衡量信息损失的摘要。我们的研究结果表明,相对熵是一个很好的预测摘要性能的任务依赖于袋的功能模型的上下文中。基于这一观察,我们进一步提出了一个简单而富有表现力的摘要器,它最大限度地减少了相对于原始歌曲的相对熵,客观上优于以前的方法,更适合于避免潜在的版权问题。
2018-09-21 cs.IR cs.LG cs.SD
Evaluation of pretrained language models on music understanding
Queen Mary University of London(伦敦玛丽女王大学);Spotify
该研究针对大语言模型音乐知识评估不足的问题,提出基于Audioset本体三元组的评估方法,发现6款通用Transformer模型存在提示敏感等三类问题,表明现成LLM需适配音乐领域后再使用。
2024-09-17 cs.AI cs.IR cs.LG