Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound(流行病声音公司)
我们已经建立了一个音乐相似性搜索引擎,让视频制作人搜索的音乐摘录,作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络,在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明,我们可以成功地打动专业视频制作人的搜索体验的质量,并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验,更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Sequential Complexity as a Descriptor for Musical Similarity
Queen Mary University of London(伦敦玛丽女王大学)
我们提出了字符串压缩性作为音频中的时间结构的描述符,用于确定音乐相似性的目的。我们的描述符是基于计算的量化音频功能的跟踪压缩率,使用多个时间分辨率和量化粒度。为了验证我们的描述符捕获音乐相关的信息,我们将我们的描述符相似性评级预测和歌曲年预测任务。我们基于我们的评估数据集的15500轨道摘录的西方流行音乐,我们获得7800网络来源的成对相似性评级。为了评估相似性评级之间的协议,我们在受控条件下进行评估,获得0.33的等级相关性之间的ranksets的评级。结合袋的特征描述符,我们获得的性能增益为31.1%和10.9%的相似性评级预测和歌曲年份预测。对于这两个任务,分析选定的描述符显示,在多个时间尺度的代表功能的预测精度。
2014-09-28 cs.IR cs.LG cs.SD
Towards a computational definition of the tresillo rhythm and its tracing in popular music
本文讨论了一种节奏的使用和流行,此后被称为“特雷西洛节奏”。我们首先定义和形式化的Tresillo节奏。如果给出节奏的数学表示,则可以在过去20年的美国Billboard Top 20图表中进行跟踪。为了检测和确定在歌曲中使用这种节奏,我们计算歌曲与这种节奏的相似性。然后,所计算的相似性指示流行歌曲的节奏与先前定义的Tresillo节奏相比有多相似。为了断言和交叉验证的计算机节奏相似性,两种不同的形式化的Tresillo节奏已被编译和几种不同的方法来计算节奏相似性进行了测试和比较。然后使用该相似性度量对Tresillo节奏在过去20年(1999-2019)美国Billboard Top 20 Charts中的使用情况进行实证研究。最后,我们讨论了观察到的趋势的一些可能的原因。
2021-09-21 cs.IR
Textless Speech-to-Music Retrieval Using Emotion Similarity
KAIST(韩国科学技术院);ByteDance(字节跳动);Gaudio Lab(Gaudio实验室)
我们介绍了一个框架,建议基于语音的情感音乐。在内容创作和日常生活中,语音包含了人类情感的信息,音乐可以增强这些信息。我们的框架侧重于跨域检索系统,通过情感标签弥合语音和音乐之间的差距。我们探索不同的语音表征,并报告其对不同语音类型的影响,包括代理语音和唤醒词。我们还提出了一个跨领域检索任务中的情感相似性正则化项。通过将正则化项纳入训练,情感空间中的相似语音和音乐对在联合嵌入空间中更接近。综合实验结果表明,该模型在无文本语音到音乐检索中是有效的。
2023-03-19 cs.IR cs.MM cs.SD
A Long-Tail Friendly Representation Framework for Artist and Music Similarity
ByteDance(字节跳动)
本文提出长尾友好表示框架(LTFRF),通过统一度量学习与多关系损失建模相似性,显著提升了长尾场景下艺术家与音乐表示及推荐性能。
2023-09-08 cs.IR cs.SD eess.AS
Understanding Human Perception of Music Plagiarism Through a Computational Approach
本文通过计算方法研究人类感知音乐剽窃的关键标准,探讨旋律、节奏和和弦进行在音乐相似性判断中的作用。
2026-01-05 cs.IR cs.SD
Leveraging Knowledge Bases And Parallel Annotations For Music Genre Translation
Deezer R&D(Deezer研发部)
普遍的努力已经投入到自动推断音乐项目的流派中。然而,所提出的解决方案往往依赖于简化,未能解决音乐流派的多样性和主观性。不过,考虑这些因素对于调整知识源、整合数据和用标签丰富音乐项目有很多好处。在这里,我们选择了一个新的角度的体裁研究,寻求预测什么将是音乐项目的体裁在目标标签系统,知道他们在源标签系统内分配的体裁。我们称之为翻译任务,并确定了三种情况:1)源和目标标签系统之间不存在共同的注释语料库,2)存在如此大的语料库,3)只有很少的共同注释存在。我们提出了相关的解决方案:基于知识的翻译建模为分类映射,统计翻译建模与最大似然逻辑回归,混合翻译建模与最大后验逻辑回归与先验知识的翻译。在评估过程中,解决方案很好地适应了确定的情况下,混合翻译系统是最有效的w.r.t.多标签分类度量。这是第一次尝试统一体裁标签系统,利用代表性和解释的多样性。
2019-07-27 cs.IR cs.LG cs.SD
LabelBuddy: An Open Source Music and Audio Language Annotation Tagging Tool Using AI Assistance
Athens University of Economics and Business(雅典经济与商业大学);Orfium(Orfium公司);University of Patras(帕特拉斯大学);Archimedes/Athena R.C.(阿基米德/雅典研究会)
LabelBuddy是一种开源工具,利用AI辅助进行音乐和音频语言标注,通过容器化后端和多用户共识机制提升音频标注的准确性和效率。
2026-03-04 cs.AI cs.IR cs.LG
Self-supervised Auxiliary Loss for Metric Learning in Music Similarity-based Retrieval and Auto-tagging
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室公司);Koozyt, Inc(Koozyt公司)
本文提出一种结合自监督辅助损失的度量学习方法,用于提升音乐相似度检索与自动标注性能,并发现联合训练监督与自监督信号、微调阶段不使用数据增强更有效。
2023-04-15 cs.IR cs.LG cs.SD
Learning to rank music tracks using triplet loss
Creaminal(克里米纳尔公司)
大多数音乐流媒体服务依赖于自动推荐算法来利用其庞大的音乐目录。这些算法的目的是检索排序列表的音乐曲目的基础上,他们与目标音乐曲目的相似性。在这项工作中,我们提出了一种方法,直接推荐的基础上的音频内容,而没有明确标记的音乐曲目。为此,我们提出了几种策略,从排名列表中进行三重挖掘。我们训练一个卷积神经网络,通过三重丢失来学习相似性。这些不同的策略进行了比较,并验证了一个大规模的实验对自动标记为基础的方法。所获得的结果突出了我们系统的效率,特别是当与自动池层相关联时。
2020-05-18 cs.CV cs.IR cs.SD
Melodic Contour and Mid-Level Global Features Applied to the Analysis of Flamenco Cantes
Polytechnic University of Madrid(马德里理工大学);University of Seville(塞维利亚大学);Universitat Pompeu Fabra(庞培法布拉大学);Escola Superior de Música de Catalunya(加泰罗尼亚高等音乐学院)
这项工作的重点是旋律的特点和相似性的主题,在一个特定的音乐曲目:一个无伴奏合唱弗拉门戈演唱,更具体地说,在德布拉和马丁内特风格。我们提出了手动和自动描述相结合的方法。首先,我们使用一个国家的最先进的自动转录方法来解释一般的旋律相似性从音乐录音。其次,我们定义了一组特定的代表性中级旋律特征,这些特征由弗拉门戈专家手动标记。这两种方法进行对比,并结合成一个全球的相似性度量。通过检查通过系统发育算法算法获得的聚类,并通过将相似性与风格分类相关联,来评估这种相似性度量。最后,我们讨论了自动和专家注释相结合的优势,以及需要包括剧目的具体描述有意义的旋律表征在传统的音乐收藏。
2015-09-16 cs.IR cs.SD
A Contextual Hierarchical Graph Model for Generating Random Sequences of Objects with Application to Music Playlists
在大规模的多媒体流媒体服务中推荐合适的内容是一个重要的和具有挑战性的问题,在过去的十年里受到了广泛的关注。成功推荐的一个关键因素是两个对象之间有效的相似性度量,以及利用当前上下文来约束推荐的模型。这项工作提出了一个模型,随机对象生成,引入了两个关键的新元素:(i)一个相似性度量的基础上的对象之间的距离在一个给定的对象序列,这也是用来衡量元数据之间的相似性与对象,如艺术家和流派;(ii)一个分层的图形模型与不同的图形,每个与不同的元数据。耦合和同步的每个图中的有偏随机游走指示对象的随机生成,利用当前上下文来约束随机性。所提出的模型是完全参数化的对象序列,不需要外部参数或调整。该模型应用于一个大型音乐数据集,其中包含超过100万个播放列表,生成了一个三层(流派,艺术家,曲目)的层次结构。结果表明,它的优势,在生成实际的完整的播放列表对两个基线模型。
2019-11-11 cs.IR cs.SI
Large-Scale Cover Song Detection in Digital Music Libraries Using Metadata, Lyrics and Audio Features
在音乐信息检索(MIR)研究中,封面歌曲检测是一个非常相关的任务,并且主要使用基于音频的系统来解决。尽管其在工业环境中具有潜在的影响,但低性能和缺乏可扩展性阻止了这种系统在实践中用于大型应用。在这项工作中,我们调查是否可以使用文本音乐信息(如元数据和歌词)与音频大规模的覆盖识别问题,在一个广泛的数字音乐库。我们使用标准文本和最先进的音频相似性措施来衡量这个问题。我们的研究表明,这些方法可以显着提高百万歌曲数据集(MSD)和二手歌(SHS)数据集上的封面检测系统的准确性和可扩展性。通过仅利用基于标准tf-idf的歌曲标题和歌词文本相似性度量,与MSD上当前基于可扩展音频内容的最先进方法相比,我们实现了平均平均精度绝对提高35.5%。这些实验结果表明,新的方法可以鼓励研究人员利用和识别更复杂的基于NLP的技术,以改善当前的翻唱歌曲识别系统的数字音乐库与元数据。
2018-08-30 cs.IR cs.MM
Scaling and compressing melodies using geometric similarity measures
University of Seville(塞维利亚大学)
旋律相似性度量在音乐信息检索中具有重要意义。在本文中,我们使用几何匹配技术来衡量两个旋律之间的相似性。我们表示的点集或水平线段集在欧几里德平面上的音乐,并提出有效的算法优化问题的启发,在两个操作的旋律;线性缩放和音频压缩。在缩放问题中,传入的查询旋律被向前缩放,直到查询和参考旋律之间的相似性度量被最小化。压缩问题要求给定旋律的音符的子集,使得所选音符与参考旋律之间的匹配成本最小化。
2022-09-19 cs.IR cs.SD eess.AS
Barwise Music Structure Analysis with the Correlation Block-Matching Segmentation Algorithm
Univ. Rennes 1(雷恩第一大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所);IMT Atlantique(大西洋国立高等矿业电信学校);Lab-STICC(法国布雷斯特信息与通信科学技术实验室);CREATIS(法国里昂医学成像与信号处理研究中心);Univ Lyon(里昂大学)
本文扩展了相关性块匹配(CBM)算法,在仅需小节位置信息的条件下,通过比较三种相似度函数实现巴氏尺度的音乐结构分析,性能可与有监督最先进方法竞争。
2023-11-30 cs.IR cs.SD eess.AS
Data Cleansing with Contrastive Learning for Vocal Note Event Annotations
Ircam(声学/音乐研究与协调研究所);CNRS(法国国家科学研究中心);Spotify
数据清洗是一种用于清洗数据集中错误标签的策略,但在音乐信息检索中尚未得到广泛应用。以前提出的数据清洗模型不考虑结构化(例如,时变)标签,例如音乐数据常见的标签。我们提出了一种新的数据清洗模型的时变,结构化的标签,利用本地结构的标签,并证明其有用的声乐音符事件注释音乐。%我们的模型通过自动创建可能正确标签的局部变形,以对比学习方式进行训练。我们的模型以对比学习的方式进行训练,通过自动对比可能正确的标签对与它们的局部变形。我们证明,与使用原始数据集训练时的准确性相比,使用我们提出的策略训练时,转录模型的准确性大大提高。此外,我们使用我们的模型来估计DALI数据集中的注释出错率,并强调这种类型的模型的其他潜在用途。
2021-04-27 cs.IR cs.LG cs.SD
Uncertainty Estimation in the Real World: A Study on Music Emotion Recognition
Georgia Institute of Technology(佐治亚理工学院);University of Würzburg(维尔茨堡大学)
本研究针对音乐情感识别中主观标注的不确定性问题,探索概率损失函数和推理时随机采样等方法,发现中心趋势可建模但不确定性建模仍具挑战。
2025-01-20 cs.IR cs.LG cs.SD
Melon Playlist Dataset: a public dataset for audio-based playlist generation and music tagging
Universitat Pompeu Fabra(庞培法布拉大学);Kakao Corp(Kakao公司)
音频信号处理领域的主要限制之一是由于受版权保护的商业音乐的限制,缺乏具有音频表示和高质量注释的大型公共数据集。我们提出了Melon Playlist Dataset,这是一个公共数据集,包含649,091首曲目和148,826个由30,652个不同标签注释的相关播放列表。所有的数据都是从Melon收集的,Melon是一个流行的韩国流媒体服务。该数据集适合于音乐信息检索任务,特别是自动标记和自动播放列表延续。尽管后者可以通过协同过滤方法来解决,但音频为研究轨道建议和构建抗冷启动问题的系统提供了机会,为此我们提供了一个基线。此外,Melon Playlist Dataset中包含的播放列表和注释使其适用于度量学习和表示学习。
2021-01-30 cs.IR cs.LG cs.MM
Artist Similarity with Graph Neural Networks
Pandora Media LLC.(潘多拉媒体有限责任公司)
艺术家的相似性在组织、理解和随后促进发现大量音乐收藏方面起着重要作用。在本文中,我们提出了一种混合的方法来计算艺术家之间的相似性,使用图神经网络训练与三重损失。使用图神经网络架构的新颖之处在于将艺术家连接图的拓扑结构与内容特征相结合,以将艺术家嵌入到编码相似性的向量空间中。为了评估所提出的方法,我们编译了新的OLGA数据集,其中包含来自AllMusic的艺术家相似性,以及来自AcousticBrainz的内容特征。这是迄今为止最大的包含基于内容特征的学术艺术家相似性数据集,共有17,673名艺术家。此外,我们还通过实验更大的专有数据集来展示我们方法的可扩展性。结果表明,所提出的方法优于目前国家的最先进的方法,音乐相似性。最后,我们希望OLGA数据集将促进艺术家相似性数据驱动模型的研究。
2021-07-30 cs.IR cs.LG cs.SD
Music Rearrangement Using Hierarchical Segmentation
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术集团)
本文提出一种基于层次分割的自动音乐重排方法,利用深度音频表示划分乐曲结构,并搜索最优剪切点,以生成时长不同且过渡平滑、音乐发展连贯的版本。
2023-05-12 cs.IR cs.MM cs.SD