SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Unsupervised Incremental Learning and Prediction of Music Signals
University of Sheffield(谢菲尔德大学);Aalborg Universitet København(奥尔堡大学哥本哈根校区);Universitat Pompeu Fabra(庞培法布拉大学);Berlin Institute of Technology(柏林工业大学)
提出了一种系统,其以无监督的方式对音乐音频进行分段、聚类和预测,从而针对音频输入瞬时地调整(音色)聚类的数量。序列学习算法使其结构适应动态变化的聚类树。系统流程如下:1)通过起始点检测进行分段,2)通过Mel频率倒谱系数表示每个分段的音色,3)通过增量聚类进行离散化,产生不同声音类别的树(例如,乐器),其可以在由瞬时声音事件驱动的飞行中增长或收缩,导致离散符号序列,4)使用分层N-gram和新引入的概念Boltzmann机来提取符号序列的统计特征,以及5)预测序列中的下一个声音事件。该系统的鲁棒性进行评估相对于信号的复杂性和噪声。孤立的聚类产生一个调整后的兰德指数(ARI)为82.7% / 85.7%的数据集的歌声和鼓。发作检测与聚类联合实现了81.3% / 76.3%的ARI,整个系统的预测产生了27.2% /39.2%的ARI。
2015-10-23 cs.IR cs.LG cs.SD
Sequential Skip Prediction with Few-shot in Streamed Music Contents
Seoul National University(首尔国立大学);Institute for Industrial Systems Innovation(工业系统创新研究所);Center for Super Intelligence(超级智能中心);Music and Audio Research Group(音乐与音频研究组)
本文概述了为WSDM Cup 2019 Spotify顺序跳过预测挑战赛(团队名称:mimbres)提交的算法。在挑战中,提供了完整的信息,包括收听会话的前半部分的声学特征和用户交互日志。我们的目标是预测是否会跳过会话后半部分中的单个曲目,仅给定声学特征。我们提出了两种不同的算法,分别基于度量学习和序列学习。实验结果表明,序列学习方法的性能明显优于度量学习方法。此外,我们进行了额外的实验,发现使用完整的用户日志信息可以实现显着的性能增益。
2020-10-26 cs.IR cs.LG cs.SD
Disambiguating Music Artists at Scale with Audio Metric Learning
Deezer(迪泽)
我们解决的问题,通过定义一个未知的艺术家聚类任务的大规模目录消歧。我们探索使用度量学习技术直接从音频中学习艺术家嵌入,并使用专用的同音艺术家数据集,将我们的方法与最近使用艺术家分类器学习类似嵌入的方法进行比较。虽然这两个系统都有能力消除歧义的未知艺术家完全依赖于音频,我们表明,我们的系统是更合适的情况下,当足够的音频数据可用于每个艺术家的训练数据集。我们还提出了一种新的负采样方法的度量学习,利用边信息,如音乐流派在学习阶段,并显示出有前途的结果,艺术家聚类任务。
2018-10-03 cs.AI cs.IR cs.LG
Affective Music Information Retrieval
音乐的吸引力主要在于它能传达情感/情绪,并能唤起听众的情感/情绪。因此,在过去的十年里,在音乐信息检索(MIR)社区中,人们对从音乐信号中建模情感的兴趣越来越大。在这篇文章中,我们提出了一种新的生成方法来音乐情感建模,特别关注情绪的效价唤醒(VA)维度模型。所提出的生成模型,称为\emph{acoustic emotion Gaussians}(AEG),更好地占主观情绪感知的概率分布的使用。具体地说,它从多个主题的情感注释中学习VA空间中的高斯混合模型,并对训练音乐片段的相应声学特征进行先验约束。这种计算框架在技术上是合理的,能够以在线方式学习,因此适用于各种应用,包括用户独立的(一般)和用户依赖的(个性化)情感识别和基于情感的音乐检索。我们报告的AEG的上述应用程序的一个更大规模的情感注释语料库,AMG 1608,以证明AEG的有效性,并展示如何进行评估的研究情绪为基础的MIR。并对今后的工作方向进行了讨论。
2015-02-18 cs.IR
Enhanced Hierarchical Music Structure Annotations via Feature Level Similarity Fusion
我们描述了一种新的管道,自动发现音乐音频中重复部分的层次结构。该方法使用相似性网络融合(SNF)将不同的帧级特征组合成干净的亲和矩阵,然后将其用作谱聚类的输入。虽然以前的谱聚类方法的音乐结构分析有预处理的亲和矩阵与专门为此任务设计的算法,我们表明,SNF的方法直接产生的分割同意更好地与人类注释,作为衡量的“L-测量”度量层次注释。此外,SNF方法立即支持任意多个输入特征,允许我们同时发现以音色,和声和节奏表示编码的结构,而无需对基本算法进行任何更改。
2019-02-04 cs.IR
A Novel Multimodal Music Genre Classifier using Hierarchical Attention and Convolutional Neural Network
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
音乐体裁分类是当前音乐信息检索研究的热点之一。由于流派的依赖性不仅限于音频简档,我们还使用作为相应歌曲的歌词提供的文本内容。我们实现了一个基于CNN的特征提取器的声谱图,以纳入声学特征和层次注意力网络的特征提取器的歌词。然后,我们继续分类的音乐曲目的基础上产生的融合特征向量。
2020-11-24 cs.IR cs.MM cs.SD
Transformer-based approach towards music emotion recognition from lyrics
从给定的音乐曲目中识别情感的任务多年来一直是音乐信息检索(MIR)社区的积极追求。音乐情感识别通常依赖于声学特征、社交标签和其他元数据来识别和分类音乐情感。歌词在音乐情感识别中的作用仍然没有得到充分的重视,尽管有几项研究报告了基于歌词特征提取的音乐情感分类器的优越性能。在这项研究中,我们使用基于转换器的方法模型,使用XLNet作为基础架构,到目前为止,还没有被用来识别基于歌词的音乐情感内涵。我们提出的方法优于现有的多个数据集的方法。我们使用了一种强大的方法来提高网络爬虫提取歌词的准确性。这项研究具有重要的意义,在改善应用程序中涉及的音乐播放列表生成的基础上的情感,除了改善音乐推荐系统。
2021-01-06 cs.IR
Multimodal Music Recommendation System using LLMs
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);Dolby Laboratories(Dolby实验室);Adobe Research(Adobe研究);Cisco Research(Cisco研究)
提出一个多模态框架,通过融合音频、歌词、LLM生成的语义元数据和收听完成率,在基于会话的音乐推荐中显著提升Recall和NDCG。
2026-05-28 cs.AI cs.IR cs.LG
Musical Genres: Beating to the Rhythms of Different Drums
National Institute of Science and Technology for Complex Systems(国家复杂系统科学技术研究所)
由于互联网和数字音频的快速增长,在线音乐数据库显著增加,这需要开发更快和更有效的音乐内容分析工具。音乐流派被广泛用于组织音乐收藏。在本文中,自动音乐流派分类的问题是通过探索从各自的复杂网络表示获得的基于节奏的功能。为了分析节奏符号事件的时间序列,建立了一个马尔可夫模型。通过使用两种多元统计方法进行特征分析:主成分分析(无监督)和线性判别分析(监督)。同样,两个分类器,以确定类别的节奏:参数贝叶斯分类器高斯假设(监督),和凝聚层次聚类(无监督)。通过Kappa系数和聚类得到的定性结果证实了该方法的有效性。
2009-11-19 cs.IR cs.SD physics.data-an
A Music Classification Model based on Metric Learning and Feature Extraction from MP3 Audio Files
用于从音频媒体文件学习音乐相似性和特征提取的模型的开发对于娱乐行业来说是越来越重要的任务。提出了一种基于度量学习和特征提取的MP3音频文件音乐分类模型。度量学习过程考虑采用结构化预测方法从包含若干音乐流派的MP3音频文件的集合学习参数化距离的集合。这项工作的主要目标是使学习每个客户的个性化指标成为可能。为了提取声学信息,我们使用梅尔频率倒谱系数(MFCC),并使用主成分分析进行降维。我们证明了模型的有效性,进行了一系列的实验,并比较训练和测试结果与基线算法,如K-均值和软间隔线性支持向量机(SVM)。实验表明,有希望的结果,并鼓励未来的在线版本的学习模型的发展。
2019-09-17 cs.IR cs.LG cs.SD
Architecture for Automated Tagging and Clustering of Song Files According to Mood
音乐是人类休闲娱乐的基本需求之一。随着歌曲档案的数字化,以及数字图书馆的不断扩大,这使得人们很难回忆起一首歌曲。因此,除了体裁之外,需要一个新的分类系统是非常明显的,基于语气的分类系统很好地满足了这一目的。在本文中,我们将提出一个定义良好的架构,将歌曲分为不同的情绪为基础的类别,使用音频内容分析,歌词的情感值映射到一个基于心理的情感空间和信息的歌曲从网上来源。在音频内容分析中,我们将使用音乐特征,如强度,音色和节奏,包括他们的子特征,以映射音乐在二维情感空间。在基于歌词的分类中,使用一维情感空间。这两个结果合并到一个二维情感空间,将歌曲分类到一个特定的情绪类别。最后,根据从各种互联网来源获得的数据,基于情绪的歌曲文件的集群形成和排列。
2012-06-12 cs.IR cs.MM