Harnessing High-Level Song Descriptors towards Natural Language-Based Music Recommendation
本文将基于自然语言的音乐推荐表述为密集检索问题，评估语言模型在利用流派、情绪等高层歌曲描述符时的有效性，发现针对语言相似性、信息检索及描述映射进行微调可提升性能。
2024-11-18 cs.IR
Large-Scale Cover Song Detection in Digital Music Libraries Using Metadata, Lyrics and Audio Features
在音乐信息检索（MIR）研究中，封面歌曲检测是一个非常相关的任务，并且主要使用基于音频的系统来解决。尽管其在工业环境中具有潜在的影响，但低性能和缺乏可扩展性阻止了这种系统在实践中用于大型应用。在这项工作中，我们调查是否可以使用文本音乐信息（如元数据和歌词）与音频大规模的覆盖识别问题，在一个广泛的数字音乐库。我们使用标准文本和最先进的音频相似性措施来衡量这个问题。我们的研究表明，这些方法可以显着提高百万歌曲数据集（MSD）和二手歌（SHS）数据集上的封面检测系统的准确性和可扩展性。通过仅利用基于标准tf-idf的歌曲标题和歌词文本相似性度量，与MSD上当前基于可扩展音频内容的最先进方法相比，我们实现了平均平均精度绝对提高35.5%。这些实验结果表明，新的方法可以鼓励研究人员利用和识别更复杂的基于NLP的技术，以改善当前的翻唱歌曲识别系统的数字音乐库与元数据。
2018-08-30 cs.IR cs.MM
The Skipping Behavior of Users of Music Streaming Services and its Relation to Musical Structure
Spotify（声田）
从单个歌曲的时间维度的角度研究音乐流媒体服务的用户的行为;具体地，分析的主要对象是用户停止收听并开始流播另一首歌曲（“跳过”）的歌曲内的时间点。本研究的主要贡献是确定了跳跃事件的时间分布与歌曲的音乐结构之间的相关性。它还表明，这种分布不仅是特定的个人歌曲，但也独立于用户的队列，并在固定条件下，观察日期。最后，用户的行为数据被用来训练的预测一首歌的音乐结构，仅仅从它的声学内容，它示出，使用这样的数据，可在大量的音乐流媒体服务，产生显着的改进，在精度上的习惯的方式训练这一类的算法，其中只有少量的手标记的数据是可用的。
2019-03-12 cs.IR cs.SD eess.AS
A User-Centered Investigation of Personal Music Tours
流媒体服务使用推荐系统向用户呈现正确的音乐。播放列表是一种流行的方式，目前的音乐在一个列表样的时尚，即作为一个平原名单的歌曲。另一种选择是巡演，歌曲交替进行，这解释了连续歌曲之间的联系。旅游解决用户需要寻求有关歌曲的背景信息，并被发现优于播放列表，给出了正确的用户上下文。在这项工作中，我们提供了，第一次，一个以用户为中心的评价两个旅游生成算法（贪婪和最佳）使用半结构化面试。我们评估的算法，我们讨论的算法产生的旅游的属性，我们确定哪些属性是可取的，哪些不是，我们列举了几个可能的改进算法，以及如何实现改进的实际建议。我们的主要研究结果是，贪婪产生更多的可爱的旅游比最佳的，旅游的三个重要属性是segue多样性，歌曲安排和歌曲熟悉度。更一般地说，我们提供了如何向用户呈现音乐的见解，这可以为以用户为中心的推荐系统的设计提供信息。
2022-08-16 cs.IR
Universal patterns in sound amplitudes of songs and music genres
Universidade Estadual de Maringá（马林加州立大学）；National Institute of Science and Technology for Complex Systems（国家复杂系统科学技术研究所）
我们报告了超过8000首歌曲的统计分析。具体来说，我们调查的概率分布的归一化的声音振幅。我们的研究结果似乎表明，一个普遍的形式的分布，提出了一个很好的协议与一个参数拉伸高斯。我们还认为，这个参数可以给音乐的复杂性的信息，因此它去分类歌曲以及音乐流派。此外，我们提出的统计证据，相关方面的歌曲直接与非高斯性质的声音振幅分布。
2010-12-01 cs.IR cs.SD physics.data-an
Hit Song Prediction for Pop Music by Siamese CNN with Ranking Loss
流行歌曲预测模型可以用于流行音乐行业，在向公众销售之前识别新兴趋势和潜在的艺术家或歌曲。虽然大多数以前的工作制定的热门歌曲预测作为一个回归或分类问题，我们在本文中提出了一个卷积神经网络（CNN）模型，将其视为一个排名问题。具体来说，我们使用商业数据集与每日播放计数训练多目标暹罗CNN模型与欧几里德损失和成对排名损失，从音频中学习歌曲之间的相对排名关系。此外，我们还根据对数据的一些经验观察设计了一些配对抽样方法。我们的实验表明，所提出的模型与采样方法称为A/B采样导致更高的准确性，在热门歌曲预测比基线回归模型。此外，我们还可以通过使用神经注意机制来提取歌曲的亮点，并通过使用单独的CNN模型来提供歌曲的高级特征，从而进一步提高准确性。
2017-10-30 cs.IR stat.ML
Claraprint: a chord and melody based fingerprint for western classical music cover detection
针对西方古典音乐翻唱检测需求，提出一种基于和弦与旋律的专用音乐指纹Claraprint以实现参考库翻唱检索，并开放新数据集推动该流派相关研究。
2024-04-15 cs.IR
Innovations in Cover Song Detection: A Lyrics-Based Approach
Hochschule Muenchen University of Applied Science（慕尼黑应用科学大学）；University of Regensburg（雷根斯堡大学）
本文提出一种基于歌词的翻唱歌曲检测新方法，并构建了包含5078首翻唱歌曲和2828首原唱歌曲及标注歌词的数据集，实验证明该方法优于多个基线方法。
2024-06-06 cs.AI cs.IR cs.LG
Representation Learning for Image-based Music Recommendation
图像感知是提供关于用户关于他/她的周围环境的上下文信息的最直接的方式之一;因此图像是上下文推荐的合适代理。我们提出了一种新的表示学习框架，基于图像的音乐推荐，弥合音乐和图像数据之间的异质性差距，所提出的方法是各种上下文推荐任务的关键组成部分。初步实验表明，对于图像到歌曲检索任务，所提出的方法检索相关的或概念上相似的歌曲输入图像。
2018-08-29 cs.IR cs.MM cs.SI
What is missing in deep music generation? A study of repetition and structure in popular music
Carnegie Mellon University（卡内基梅隆大学）
结构是音乐最基本的方面之一，而音乐结构通常通过重复来表示。然而，音乐中的重复和结构的本质仍然没有得到很好的理解，特别是在音乐生成的背景下，并且还有很多东西需要利用音乐信息检索（MIR）技术进行探索。两个流行音乐数据集的分析（中国和美国）说明重要的音乐建设原则：（1）结构存在于多个层次，（2）歌曲使用重复和有限的词汇，使得单个歌曲不遵循歌曲集合的一般统计，（3）结构与节奏、旋律、和声和可预测性相互作用，以及（4）在歌曲的过程中，重复不是随机的，而是遵循交叉熵所揭示的一般趋势。这些和其他研究结果为深度学习音乐生成提供了挑战和机遇，并提出了新的正式音乐标准和评估方法。我们分析了最近音乐生成系统中的音乐，并将其与我们数据集中的人类创作的音乐进行了比较，通常从结构的角度揭示了显着的差异。
2022-09-01 cs.IR cs.SD eess.AS
Improving Community Detection Performance in Heterogeneous Music Network by Learning Edge-type Usefulness Distribution
随着音乐成为日常生活中必不可少的一部分，迫切需要开发推荐系统来帮助人们以更少的努力瞄准更好的歌曲。由于用户与歌曲之间的交互自然地构成了一个复杂的网络，社区发现方法可以通过将相关用户和歌曲分组到同一社区来揭示用户对歌曲的潜在兴趣。然而，由于交互的类型可能是异构的，它挑战了传统的社区发现方法最初设计的同构网络。虽然已有的异构社区发现的工作，他们大多是任务驱动的方法，并不适用于特定的音乐推荐。在本文中，我们提出了一种基于遗传的方法来学习边缘类型有用性分布（ETUD）的所有边缘类型在异构音乐网络。ETUD可以被视为一个线性函数，将所有边缘投影到同一潜在空间，并使它们具有可比性。因此，可以将异构网络转换为同构网络，在同构网络中可以使用那些传统的方法。我们验证了所提出的模型上的异构音乐网络构建的在线音乐流媒体服务。结果表明，对于传统的方法，ETUD可以帮助检测社区显着提高音乐推荐的准确性，同时降低用户搜索成本。
2021-11-28 cs.IR
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University（纽约大学）；University of Florida（佛罗里达大学）；Carnegie Mellon University（卡内基梅隆大学）
编曲生成是自动音乐生成的一个子任务，它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式，但它们缺乏更精确的数据，无法实现更好的评估和更实际的结果。在本文中，我们提出了POP909，一个数据集，其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏，这些都是与原始音频文件对齐的。此外，我们还提供了速度，节拍，基调和和弦的注释，其中速度曲线是手工标记的，其他的是通过MIR算法完成的。最后，我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
Attentive Neural Architecture Incorporating Song Features For Music Recommendation
推荐系统是音乐共享平台的一个组成部分。这些系统的目的通常是增加用户在平台上花费的时间，因此具有很高的商业价值。旨在增加用户在平台上花费的平均时间的系统通常需要在每个时间点推荐用户接下来可能想要听的歌曲。这与推荐系统不同，推荐系统试图预测用户在用户生命周期中的某个时刻可能感兴趣的项目，但不一定是在不久的将来。预测用户可能喜欢的下一首歌曲需要对给定时间点的用户兴趣进行某种建模。注意神经网络一直在利用用户选择项目的序列来建模用户的隐式短期兴趣，以用于下一个项目预测的任务，然而，我们觉得序列中出现的歌曲的特征也可以传达一些关于短期用户兴趣的重要信息，而这些信息只有项目不能传达。在这个方向上，我们提出了一种新的专注神经架构，除了用户选择的项目序列，使用这些项目的功能，以更好地学习用户的短期偏好，并推荐下一首歌给用户。
2018-11-20 cs.IR
Generating Tips from Song Reviews: A New Dataset and Framework
Harbin Institute of Technology（哈尔滨工业大学）
歌曲评论在在线音乐服务平台中发挥着重要作用。之前的研究表明，当用户看到有意义的歌曲评论时，他们可以做出更快，更明智的决定。然而，对音乐歌曲的评论一般都很长，并且大多数评论对用户来说是没有信息的。用户很难有效地掌握有意义的信息来做出决策。为了解决这个问题，一个实用的策略是提供提示，即，关于歌曲的简短、简洁、有同情心和自成一体的描述。提示是从歌曲评论中产生的，应该表达对歌曲的重要见解。据我们所知，没有以前的研究探讨了提示生成任务在音乐领域。在本文中，我们创建了一个数据集名为MTips的任务，并提出了一个框架名为GENTMS自动生成提示的歌曲评论。该数据集涉及来自128首歌曲的8，003个中文提示/非提示，这些歌曲分布在五种不同的歌曲类型中。实验结果表明，GENTMS达到前10名的精度为85.56%，超过基线模型至少3.34%。此外，为了模拟我们提出的框架的实际使用，我们还对以前未见过的歌曲进行了实验，在此期间，GENTMS也以平均78.89%的前10名精度达到了最佳性能。实验结果表明了该框架在音乐领域的技巧生成中的有效性。
2022-05-30 cs.CL cs.IR
DisCover: Disentangled Music Representation Learning for Cover Song Identification
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对翻唱歌曲识别中表示纠缠导致的性能瓶颈，提出含KDM和GADM双模块的DisCover解耦框架，结合因果分析与对抗学习分离版本相关/不变因素，提升了翻唱识别效果。
2023-07-19 cs.IR cs.SD eess.AS
Pied Piper: Meta Search for Music
互联网搜索引擎已经成为生活中不可或缺的一部分，但对于流行音乐，人们仍然依赖于像谷歌这样的文本搜索引擎。我们提出了PiedPiper，一个音乐Meta搜索引擎。它可以搜索音乐歌词、歌曲元数据和歌曲音频或这些的任意组合作为输入查询，并有效地返回相关结果。
2022-11-14 cs.IR
Music Performance Analysis: A Survey
音乐信息检索（MIR）倾向于集中于音频信号的分析。通常，单个音乐记录被用作“歌曲”的代表，即使同一首歌曲的不同表演可能揭示不同的属性。表演在许多方面都不同于（可以说更抽象的）“歌曲”、“作品”或乐谱的表现。（录制的）表演的特点--与乐谱或音乐理念相反--会对听众如何感知音乐产生重大影响。然而，音乐表演的分析在传统上只是MIR研究界的一个外围话题。本文从多个角度对音乐表演分析进行了综述，讨论了其对音乐表演研究的意义，并指出了该领域未来的研究方向。
2019-06-29 cs.IR cs.MM
Music Recommendation Based on Audio Fingerprint
提出融合多种音频特征并经PCA降维至95%解释方差的音乐指纹方法，通过相似度矩阵进行推荐，在200首歌曲上达到89%的流派匹配准确率。
2023-10-06 cs.IR cs.SD eess.AS
Contextual Personalized Re-Ranking of Music Recommendations through Audio Features
用户可以通过Spotify、Pandora和Deezer等音乐流媒体服务访问数百万首歌曲。访问如此大的目录，创造了相关的歌曲推荐的需要。然而，用户偏好本质上是高度主观的并且根据上下文（例如，适合早上的音乐不适合晚上）。此外，一个用户在给定上下文中可能偏好的音乐可能不同于另一个用户在相同上下文中偏好的音乐（即，被认为是早安音乐的内容因用户而异）。准确地表示这些偏好对于创建准确有效的歌曲推荐至关重要。用户对歌曲的偏好可以基于高级音频特征，例如节奏和效价。因此，在本文中，我们提出了一个上下文重新排名算法，在特定的上下文条件下的用户偏好的音频特征表示的基础上。我们使用#NowPlaying-RS数据集来评估我们的重新排名算法的性能，该数据集包含从Twitter上抓取的用户收听事件，并富含歌曲音频功能。我们比较了全球（所有用户的上下文）和个性化（每个用户的上下文）模型的基础上，这些音频功能。全局模型基于所有用户的偏好创建每个上下文条件的音频特征表示。与全局模型不同，个性化模型创建上下文条件的用户特定音频特征表示，并在333个不同用户中进行测量。我们表明，个性化模型优于全球模型时，使用精度和平均精度指标进行评估。
2020-09-06 cs.IR
Architecture for Automated Tagging and Clustering of Song Files According to Mood
音乐是人类休闲娱乐的基本需求之一。随着歌曲档案的数字化，以及数字图书馆的不断扩大，这使得人们很难回忆起一首歌曲。因此，除了体裁之外，需要一个新的分类系统是非常明显的，基于语气的分类系统很好地满足了这一目的。在本文中，我们将提出一个定义良好的架构，将歌曲分为不同的情绪为基础的类别，使用音频内容分析，歌词的情感值映射到一个基于心理的情感空间和信息的歌曲从网上来源。在音频内容分析中，我们将使用音乐特征，如强度，音色和节奏，包括他们的子特征，以映射音乐在二维情感空间。在基于歌词的分类中，使用一维情感空间。这两个结果合并到一个二维情感空间，将歌曲分类到一个特定的情绪类别。最后，根据从各种互联网来源获得的数据，基于情绪的歌曲文件的集群形成和排列。
2012-06-12 cs.IR cs.MM
Expertise and Dynamics within Crowdsourced Musical Knowledge Curation: A Case Study of the Genius Platform
许多平台主要从志愿者那里收集众包信息。随着这种类型的知识策展变得越来越普遍，贡献格式差异很大，并受到不同平台上不同流程的驱动。因此，一个平台的模型不一定适用于其他平台。在这里，我们研究了Genius的时间动态，Genius是一个主要为用户贡献的歌词注释而设计的平台。Genius的一个独特之处在于，注释是非常本地化的--一个注释的歌词可能只是一首歌的几行--但也是高度相关的，例如，按歌曲、专辑、艺术家或流派分类。我们分析了几个动态过程与歌词注释和他们的编辑，这与其他平台的模型有很大的不同。例如，歌曲注释的专业知识遵循“U形”，其中专家是早期和晚期贡献者，非专家贡献中间;我们开发了一个用户效用模型，捕捉这种行为。我们还发现，在用户的贡献寿命早期出现的几个贡献特征，区分（最终）专家和非专家。结合我们的研究结果，我们开发了一个早期预测用户专业知识的模型。
2020-10-14 cs.HC cs.IR cs.SI
Context-Based Music Recommendation Algorithm Evaluation
University of Technology（科技大学）
人工智能（AI）在基于数据为在线用户创建和预测音乐播放列表方面非常成功;从用户使用应用程序的体验中接收的数据，例如搜索他们喜欢的歌曲。由于Spotify，Pandora等音乐平台所有者之间的竞争，人工智能目前有很多技术进步。在本文中，6个机器学习算法及其预测用户是否会喜欢一首歌的准确性在Weka，SKLearn和Orange等3个不同的平台上进行了探索。探索的算法包括逻辑回归，朴素贝叶斯，顺序最小优化（SMO），多层感知器（神经网络），最近邻，和随机森林。通过分析Spotify API [1]提供的每首歌曲的具体特征，随机森林是预测用户是否会喜欢歌曲的最成功算法，准确率为84%。这高于Mungekar使用随机森林技术发现的82.72%的准确率，并且歌曲的特征略有不同[2]。Mungekars随机森林算法的特征更多地关注艺术家和流行度，而不是歌曲的声音特征。去除流行度方面，纯粹关注音质，提高了推荐的准确性。最后，本文展示了如何在没有任何货币投资的情况下完成歌曲预测，从而激发了一个想法，即通过全面的金融研究可以实现惊人的结果。
2021-12-16 cs.IR cs.LG cs.SD
Neural content-aware collaborative filtering for cold-start music recommendation
最先进的音乐推荐系统是基于协同过滤，它建立在学习用户和歌曲之间的相似性，从可用的收听数据。这些方法固有地面临冷启动问题，因为它们不能推荐没有收听历史的新颖歌曲。内容感知推荐通过在协同过滤的基础上结合歌曲的内容信息来解决这个问题。然而，属于这一类的方法依赖于源于矩阵分解框架的浅用户/项目交互。在这项工作中，我们介绍了神经内容感知协同过滤，一个统一的框架，它体现了这些限制，并扩展了最近推出的神经协同过滤的内容感知对应。我们提出了一个生成模型，它利用深度学习从低级声学特征中提取内容信息，并对用户和歌曲嵌入之间的交互进行建模。深度内容特征提取器可以直接预测项目嵌入，也可以作为正则化先验，产生我们模型的两个变体（严格和放松）。实验结果表明，该方法达到了最先进的冷启动音乐推荐任务的结果。我们特别注意到，利用深度神经网络来学习精细的用户/项目交互优于在内容感知框架中使用更简单的交互模型的方法。
2022-07-20 cs.IR
An Analysis of Classification Approaches for Hit Song Prediction using Engineered Metadata Features with Lyrics and Audio Features
The University of Sheffield（谢菲尔德大学）；Universität Koblenz（科布伦茨大学）
热门歌曲预测是音乐信息检索中的一个新兴领域，也是一个相当大的挑战。能够理解是什么让一首给定的歌曲成为热门显然对整个音乐行业都有好处。先前的热门歌曲预测方法集中于使用唱片的音频特征。本研究旨在使用更多的替代元数据，包括Spotify提供的歌曲音频特征、歌曲歌词和基于新元数据的特征（标题主题、流行度连续性和流派类别），来改善Billboard Hot 100歌曲中前10名热门歌曲的预测结果。应用了五种机器学习方法，包括：k-最近邻、朴素贝叶斯、随机森林、逻辑回归和多层感知器。我们的结果表明，随机森林（RF）和逻辑回归（LR）的所有功能（包括小说特征，歌曲音频特征和歌词特征）优于其他模型，分别达到89.1%和87.2%的准确率，和0.91和0.93 AUC。我们的研究结果还证明了我们的新音乐元数据特征的实用性，这对模型的区分性能贡献最大。
2023-01-31 cs.IR cs.LG cs.SD
Leveraging the structure of musical preference in content-aware music recommendation
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
最先进的音乐推荐系统是基于协同过滤的，它根据用户的收听习惯和与其他用户的简档的相似性来预测用户的兴趣。这些方法对歌曲内容是不可知的，因此面临冷启动问题：如果没有收听历史，它们就不能推荐新的歌曲。为了解决这个问题，内容感知推荐结合了关于歌曲的信息，这些信息可以用于推荐新项目。属于这一类的大多数方法利用用户注释的标签，声学特征或深度学习的特征。因此，这些内容特征不具有明确的音乐含义，因此从音乐偏好的角度来看，它们不一定相关。在这项工作中，我们建议，而不是利用一个模型的音乐偏好，起源于音乐心理学领域。从低层次的声学特征，我们提取三个因素（唤醒，效价和深度），这已被证明是适当的描述音乐品味。然后，我们将这些集成到一个协同过滤框架的内容感知音乐推荐。在大规模数据上进行的实验表明，该方法能够解决冷启动问题，同时使用紧凑且有意义的音乐特征集。
2021-02-09 cs.IR cs.SD eess.AS
Multiple Stakeholders in Music Recommender Systems
音乐推荐服务每天为数百万听众提供数十亿首歌曲。用户通常可以收听各种根据其个人品味和偏好定制的歌曲。然而，音乐并不是这些服务中遇到的唯一类型的内容。广告通常散布在整个音乐流中，为企业创造收入。其他内容可能包括艺术家消息，票务，体育，新闻和天气。在本文中，我们讨论的问题时，出现多个内容提供方的利益相关者在推荐过程中。这些利益相关者都有自己的目标，必须协调一致，以维持健康的音乐推荐服务。
2017-08-01 cs.CY cs.IR
Emotion-Aware Music Recommendation System: Enhancing User Experience Through Real-Time Emotional Context
Alliance University（联盟大学）
针对传统音乐推荐系统忽视情感上下文的缺陷，本研究提出一种融入实时情感检测的人工智能模型，通过生成与用户当前情感状态相匹配的个性化歌曲推荐，显著提升用户的沉浸式收听体验。
2023-11-17 cs.AI cs.CV cs.IR
EXPLORE -- Explainable Song Recommendation
本研究开发了一个结合协同过滤与内容过滤、并配备交互界面的可解释音乐推荐系统，通过RMSE和用户研究验证了其有效性和用户满意度。
2023-12-30 cs.IR
Mood Classification of Bangla Songs Based on Lyrics
East West University（东西大学）；University of Liberal Arts Bangladesh（孟加拉国自由艺术大学）
针对孟加拉语歌曲情绪研究不足的问题，研究者构建含4000首歌曲的数据集，采用自然语言处理与Bert算法基于歌词实现四类情绪的多分类，为音乐情绪贴合用户情感提供自动化方案。
2023-07-19 cs.CL cs.IR cs.LG
Generating Mixcode Popular Songs with Artificial Intelligence: Concepts, Plans, and Speculations
本文提出一个结合人工智能与流行音乐的项目，旨在创造工具以促进社会变革、教育、医疗和情感福祉，目前处于概念与推测阶段。
2024-11-10 cs.AI cs.IR
Bootstrapping Contrastive Learning Enhanced Music Cold-Start Matching
Zhejiang University（浙江大学）；NetEase Cloud Music, NetEase Inc.（网易公司网易云音乐）
本文针对音乐冷启动匹配问题，提出自举对比学习BCL提升歌曲表示质量，并设计基于聚类的受众定位CAT实现精准推送，已在网易云音乐部署并影响数百万用户。
2023-08-05 cs.IR cs.SD eess.AS
Lyrics-Based Music Genre Classification Using a Hierarchical Attention Network
Stanford University（斯坦福大学）
音乐体裁分类，特别是仅使用歌词分类，一直是音乐信息检索中的一个具有挑战性的课题。在这项研究中，我们应用递归神经网络模型来分类一个完整的歌词大数据集。由于歌词呈现分层结构-其中单词组合形成线条，线条形成片段，片段形成完整的歌曲-我们采用分层注意力网络（HAN）来利用这些层，并学习单词，线条和片段的重要性。我们在117种类型的数据集和减少的20种类型的数据集上测试模型。实验结果表明，HAN优于非神经模型和简单的神经模型，同时也比以前的研究分类更多的类型。通过学习过程，我们还可以可视化模型认为歌曲中的哪些单词或台词对分类流派很重要。因此，HAN从计算的角度提供了对区分音乐流派的抒情结构和语言特征的见解。
2017-07-15 cs.CL cs.IR cs.NE
Novel Recording Studio Features for Music Information Retrieval
Bremen Spatial Cognition Center, University of Bremen（不来梅大学不来梅空间认知中心）；Faculty of Information and Communication Technology, Mahidol University（玛希隆大学信息与通信技术学院）
在录音室里，电子舞曲（EDM）的制作人花更多的时间来创作，塑造，混合和掌握声音，而不是作曲或编曲。他们通过近距离聆听和利用音频测量和音频分析工具来调整声音，直到成功地创造出所需的声音美学。EDM的DJ倾向于播放符合他们声音理想的歌曲集。因此，我们建议使用录音室的音频测量和监控工具来分析EDM，而不是依赖于传统的低级别音频功能。我们通过一个简单的分类任务来测试我们的新功能集。我们把歌曲归功于会播放特定歌曲的DJ。这套新的功能和对DJ集的关注是针对EDM的，因为它考虑到了制作人和DJ文化。通过简单的降维和机器学习，这些特征使我们能够以63%的准确率将歌曲归因于DJ。录音室中的音频测量和监测工具的特征可以用于音乐信息检索中的许多应用，例如流派、风格和时代分类以及为DJ和电子舞曲消费者推荐音乐。
2021-01-25 cs.IR cs.SD eess.AS
Finding Tori: Self-supervised Learning for Analyzing Korean Folk Song
Sogang University（西江大学）；Kunstuniversität Graz（格拉茨艺术大学）
本文针对约700小时韩国民歌实地录音数据集，提出基于音高轮廓的卷积神经网络自监督学习方法，以更好地捕捉由音阶、装饰音和旋律轮廓定义的音乐概念tori的特征，并验证了现有学术讨论在实际录音中的体现。
2023-08-04 cs.IR cs.LG cs.SD
Related Rhythms: Recommendation System To Discover Music You May Like
Language Technology Institute（语言技术研究所）；Electrical and Computer Engineering（电气与计算机工程系）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一个基于分布式机器学习流水线的音乐推荐系统，利用百万歌曲数据集训练模型，从输入歌曲子集中发现并推荐相似歌曲。
2023-09-24 cs.AI cs.IR cs.LG
Towards a computational definition of the tresillo rhythm and its tracing in popular music
本文讨论了一种节奏的使用和流行，此后被称为“特雷西洛节奏”。我们首先定义和形式化的Tresillo节奏。如果给出节奏的数学表示，则可以在过去20年的美国Billboard Top 20图表中进行跟踪。为了检测和确定在歌曲中使用这种节奏，我们计算歌曲与这种节奏的相似性。然后，所计算的相似性指示流行歌曲的节奏与先前定义的Tresillo节奏相比有多相似。为了断言和交叉验证的计算机节奏相似性，两种不同的形式化的Tresillo节奏已被编译和几种不同的方法来计算节奏相似性进行了测试和比较。然后使用该相似性度量对Tresillo节奏在过去20年（1999-2019）美国Billboard Top 20 Charts中的使用情况进行实证研究。最后，我们讨论了观察到的趋势的一些可能的原因。
2021-09-21 cs.IR
Brazilian Lyrics-Based Music Genre Classification Using a BLSTM Network
PUC-Rio（里约热内卢天主教大学）
组织歌曲，专辑，和艺术家在组共享相似性可以做的帮助下，流派标签。在本文中，我们提出了一种新的方法，在巴西音乐的自动分类音乐流派只使用歌词。这种分类仍然是自然语言处理领域的一个挑战。我们构建了一个数据集的138，368巴西歌曲歌词分布在14个流派。我们应用支持向量机，随机森林和双向长短期记忆（BLSTM）网络结合不同的词嵌入技术来解决这个分类任务。我们的实验表明，BLSTM方法优于其他模型的F1得分平均值为$0.48$。一些类型，如“福音”，“放克-卡里奥卡”和“sertanejo”，分别获得0.89，0.70和0.69的F1分数，可以被定义为最独特的和容易分类的巴西音乐类型的背景。
2020-03-06 cs.CL cs.IR cs.LG
ByteCover3: Accurate Cover Song Identification on Short Queries
ByteDance（字节跳动）；Zhejiang University（浙江大学）；University of Oxford（牛津大学）
近年来，基于深度学习的方法已经成为封面歌曲识别（CSI）的范例，其中ByteCover系统在CSI的所有主流数据集上都取得了最先进的结果。然而，随着短视频的蓬勃发展，许多现实世界的应用需要将短音乐摘录与数据库中的全长音乐曲目进行匹配，这仍然是一个未开发的领域，正在等待一个工业级的解决方案。在本文中，我们将以前的ByteCover系统升级到ByteCover3，利用本地特征进一步提高短音乐查询的识别性能。ByteCover3设计了一个局部对齐丢失（LAL）模块和一个两阶段的特征检索管道，使系统能够以更精确和有效的方式执行CSI。我们在具有不同基准设置的多个数据集上评估了ByteCover3，其中ByteCover3击败了所有比较方法，包括其以前的版本。
2023-03-21 cs.IR cs.SD eess.AS
Multi-Modal Chorus Recognition for Improving Song Search
Soochow University（苏州大学）；University of California, Irvine（加州大学欧文分校）；Anhui Toycloud Technology（安徽Toycloud科技）；iFLYTEK Research（讯飞研究院）；iFLYTEK（科大讯飞）
我们讨论了一个新的任务，合唱识别，这可能有利于下游任务，如歌曲搜索和音乐摘要。与现有的基于单模态信息的音乐摘要或歌词摘要不同，本文将合唱识别建模为一个多模态的问题，同时利用歌曲的歌词和曲调信息。我们提出了一个多模态合唱识别模型，认为不同的功能。此外，我们还创建并发布了第一个包含627首歌曲的合唱识别数据集，供公众使用。我们对数据集进行的实证研究表明，我们的方法在合唱识别中优于几个基线。此外，我们的方法还有助于提高其下游任务-歌曲搜索的准确率超过10.6%。
2021-06-27 cs.IR cs.SD eess.AS
Cross-cultural Mood Perception in Pop Songs and its Alignment with Mood Detection Algorithms
Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）；Leipzig University（莱比锡大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
来自不同文化背景的人对音乐中的情绪有相同的感受吗？不同文化背景下的人类评分与通常在西方流行音乐语料库上训练的自动情绪检测算法有多接近？分析了来自巴西、韩国和美国的166名参与者的回答，我们研究了音乐中9种感知情绪的评分之间的相似性，并估计了它们与4种流行的情绪检测算法的一致性。我们创建了一个包含360首最近流行歌曲的数据集，这些歌曲来自这些国家的主要音乐排行榜，并在英语、韩语和葡萄牙语中构建了语义相同的情绪描述符。来自这三个国家的多名参与者对他们对给定歌曲的熟悉程度、偏好和感知情绪进行了评分。对于基本的情绪属性，如悲伤、快乐和精力充沛，文化内部和文化之间的评级非常相似。然而，我们发现，对于更复杂的特征，如梦幻和爱情，存在显着的跨文化差异。令我们惊讶的是，情绪检测算法的结果在所有三个国家的人类评分中一致相关，并且没有显示出对任何特定文化的可检测偏见。因此，我们的研究表明，情绪检测算法可以被认为是一个客观的措施，至少在流行音乐的背景下。
2021-08-02 cs.IR cs.SD eess.AS
Using Deep learning methods for generation of a personalized list of shuffled songs
在音乐播放器系统中广泛发现并已知存在随机播放模式，其中以一次为所有音轨决定的随机顺序播放歌曲。只有少数音乐爱好者使用这种模式，因为它要么太随机，以适应他们的心情，或者它不断重复相同的列表每次。在本文中，我们提出构建一个卷积深度信念网络（CDBN），该网络经过训练，可以根据从百万歌曲数据集记录中检索到的音频特征进行类型识别。学习的参数将用于初始化多层感知器，该多层感知器将用户播放列表的提取特征与元数据一起作为输入以分类到各种类别。这些类别将基于元数据被回顾性地混洗，以自主地提供在正常条件下播放人类期望的歌曲时有效的列表。
2019-09-01 cs.IR cs.LG
Music Era Recognition Using Supervised Contrastive Learning and Artist Information
ByteDance（字节跳动）
针对歌曲发行年份难获取的问题，提出音乐时代识别任务，构建音频模型并提出多模态对比（MMC）学习框架融合艺术家信息，在百万歌曲数据集上3年误差精度达54%，加入艺术家信息后再提升9%。
2024-07-07 cs.AI cs.IR cs.SD
