SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
摘要:
SoundSignature 是一款音乐应用,它集成了一个定制的 OpenAI Assistant 来分析用户最喜欢的歌曲。该系统整合了最先进的音乐信息检索(MIR)Python 包,将提取的声学/音乐特征与该助手对艺术家和乐队的广泛知识相结合。利用这种结合的知识,SoundSignature 借助语义音频和新兴的声音互联网(Internet of Sounds, IoS)生态系统的原理,将 MIR 与 AI 集成,为用户提供关于其音乐声学特性的个性化见解,类似于一份音乐偏好个性报告。用户随后可以与聊天机器人互动,深入探究已执行的声学分析及其与自身音乐品味的关系。这种交互性改变了该应用的性质,使其不仅作为熟悉和/或喜爱歌曲的信息资源,还作为一个教育平台,使用户能够加深对音乐特征、音乐理论、信号处理中常用的声学特性以及音乐背后艺术家的理解。除了通用可用性之外,该应用还整合了多个成熟的面向音乐家的开源工具,例如和弦识别算法(CREMA)、音源分离算法(DEMUCS)和音频转 MIDI 转换器(basic-pitch)。这些功能使没有编程技能的用户只需与聊天机器人交互(例如,“你能给我这首歌的分轨吗?”)即可使用先进的开源音乐处理算法。在本文中,我们重点介绍了该应用的创新功能和教育潜力,并展示了一项评估其有效性和可用性的试点用户研究的结果。
英文摘要:
SoundSignature is a music application that integrates a custom OpenAI Assistant to analyze users' favorite songs. The system incorporates state-of-the-art Music Information Retrieval (MIR) Python packages to combine extracted acoustic/musical features with the assistant's extensive knowledge of the artists and bands. Capitalizing on this combined knowledge, SoundSignature leverages semantic audio and principles from the emerging Internet of Sounds (IoS) ecosystem, integrating MIR with AI to provide users with personalized insights into the acoustic properties of their music, akin to a musical preference personality report. Users can then interact with the chatbot to explore deeper inquiries about the acoustic analyses performed and how they relate to their musical taste. This interactivity transforms the application, acting not only as an informative resource about familiar and/or favorite songs, but also as an educational platform that enables users to deepen their understanding of musical features, music theory, acoustic properties commonly used in signal processing, and the artists behind the music. Beyond general usability, the application also incorporates several well-established open-source musician-specific tools, such as a chord recognition algorithm (CREMA), a source separation algorithm (DEMUCS), and an audio-to-MIDI converter (basic-pitch). These features allow users without coding skills to access advanced, open-source music processing algorithms simply by interacting with the chatbot (e.g., can you give me the stems of this song?). In this paper, we highlight the application's innovative features and educational potential, and present findings from a pilot user study that evaluates its efficacy and usability.
Deep Learning Techniques for Music Generation -- A Survey
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Universidade Federal do Estado do Rio de Janeiro(里约热内卢州联邦大学);Pontifícia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学);Sony Computer Science Laboratories(索尼计算机科学实验室);Spotify Creator Technology Research Lab(Spotify创作者技术研究实验室)
The Rest is Silence: Leveraging Unseen Species Models for Computational Musicology
Institut für Musikforschung, Julius-Maximilians-Universität Würzburg(音乐研究研究所,维尔茨堡大学);Institute of Formal and Applied Linguistics, Charles University(形式与应用语言学研究所,查尔斯大学);KreativInstitut.OWL, Paderborn University(创新研究所.OWL,帕德博恩大学);RISM Digital Center, Bern, Switzerland(RISM数字中心,瑞士巴塞尔)
Rubric-Based Optimization for Text-to-Music Generation
University of Washington(华盛顿大学);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for AI(艾伦人工智能研究所)
An Analysis of Classification Approaches for Hit Song Prediction using Engineered Metadata Features with Lyrics and Audio Features
The University of Sheffield(谢菲尔德大学);Universität Koblenz(科布伦茨大学)
热门歌曲预测是音乐信息检索中的一个新兴领域,也是一个相当大的挑战。能够理解是什么让一首给定的歌曲成为热门显然对整个音乐行业都有好处。先前的热门歌曲预测方法集中于使用唱片的音频特征。本研究旨在使用更多的替代元数据,包括Spotify提供的歌曲音频特征、歌曲歌词和基于新元数据的特征(标题主题、流行度连续性和流派类别),来改善Billboard Hot 100歌曲中前10名热门歌曲的预测结果。应用了五种机器学习方法,包括:k-最近邻、朴素贝叶斯、随机森林、逻辑回归和多层感知器。我们的结果表明,随机森林(RF)和逻辑回归(LR)的所有功能(包括小说特征,歌曲音频特征和歌词特征)优于其他模型,分别达到89.1%和87.2%的准确率,和0.91和0.93 AUC。我们的研究结果还证明了我们的新音乐元数据特征的实用性,这对模型的区分性能贡献最大。
Towards Interpretable Polyphonic Transcription with Invertible Neural Networks
Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所);Institute of Computational Perception, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校计算感知研究所)
What were you expecting? Using Expectancy Features to Predict Expressive Performances of Classical Piano Music
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);Department of Computational Perception, Johannes Kepler University Linz(林茨约翰内斯·开普勒大学计算感知系)
Context-Based Music Recommendation Algorithm Evaluation
University of Technology(科技大学)
人工智能(AI)在基于数据为在线用户创建和预测音乐播放列表方面非常成功;从用户使用应用程序的体验中接收的数据,例如搜索他们喜欢的歌曲。由于Spotify,Pandora等音乐平台所有者之间的竞争,人工智能目前有很多技术进步。在本文中,6个机器学习算法及其预测用户是否会喜欢一首歌的准确性在Weka,SKLearn和Orange等3个不同的平台上进行了探索。探索的算法包括逻辑回归,朴素贝叶斯,顺序最小优化(SMO),多层感知器(神经网络),最近邻,和随机森林。通过分析Spotify API [1]提供的每首歌曲的具体特征,随机森林是预测用户是否会喜欢歌曲的最成功算法,准确率为84%。这高于Mungekar使用随机森林技术发现的82.72%的准确率,并且歌曲的特征略有不同[2]。Mungekars随机森林算法的特征更多地关注艺术家和流行度,而不是歌曲的声音特征。去除流行度方面,纯粹关注音质,提高了推荐的准确性。最后,本文展示了如何在没有任何货币投资的情况下完成歌曲预测,从而激发了一个想法,即通过全面的金融研究可以实现惊人的结果。
Evolutionary modelling reveals melodic and harmonic constraints on global scale structure
Department of Physics, Ulsan National Institute of Science and Technology(物理系,乌山国立科学技术研究所);McMaster University(麦马斯特大学);University of Auckland(奥克兰大学);Keio University(庆应大学)
Ragas in Bollywood music A microscopic view through multrifractal cross-correlation method
Jadavpur University(贾达普大学);IIT Kharagpur(印度理工学院克勒格布尔分校);University of Toronto(多伦多大学)
自印度电影开始以来,已经制作了一些电影,其中一首特定的歌曲是基于某种拉加。这些歌曲在向没有正式接触古典音乐的普通人传播古典音乐精髓方面发挥了重要作用。在本文中,我们希望探讨的是什么样的特点,某一拉加,使它能够理解的普通人,并丰富了歌曲在很大程度上。为此,我们选择了两种常见的印度斯坦古典音乐,即“Bhairav”和“Mian ki Malhar”,它们在流行电影音乐中有广泛的应用。我们从两位著名的印度斯坦古典音乐大师的作品中截取了这两段3分钟的片段。选择宝莱坞电影的十(10)首广泛流行的歌曲的3分钟片段进行分析。这些分析的帮助下,一个最新的非线性分析技术称为多重分形去趋势交叉相关分析(MFDXA)。利用这种技术,分析电影音乐的所有部分和杰出大师的渲染,以找出给出这两个信号之间的相关程度的互相关系数(γx)。我们假设,具有最高程度的交叉相关性的部分是在歌曲中建立特定拉加的部分。另外,两个样本的不同部分中的互相关系数的变化给出了由歌手执行的调制的度量。因此,简而言之,我们试图科学地研究存在于拉加和电影音乐中使用的相同拉加之间的相关性。这将有助于生成一种自动算法,通过这种算法,一个天真的听众将享受流行电影歌曲中特定拉加的味道。对结果进行了详细的讨论。
Trade-offs between structural richness and perceptual robustness in music network representations
Institute for Interdisciplinary Studies on Artificial Intelligence (IRIDIA), Université Libre de Bruxelles(跨学科人工智能研究 institute(IRIDIA),布鲁塞尔自由大学);Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology(电气工程、数学和计算机科学学院,代尔夫特理工大学);Departament de Física de la Matèria Condensada, Universitat de Barcelona(凝聚态物质物理系,巴塞罗那大学);Universitat de Barcelona Institute of Complex Systems (UBICS), Universitat de Barcelona(巴塞罗那大学复杂系统研究所(UBICS),巴塞罗那大学);ICREA, Passeig Lluís Companys 23, E-08010 Barcelona, Spain(ICREA,巴塞罗那路易斯·康帕尼斯街23号,西班牙巴塞罗那)