madmom: a new Python Audio and Music Signal Processing Library
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所)
在本文中,我们介绍了madmom,一个开源的音频处理和音乐信息检索(MIR)库编写的Python。madmom具有简洁、NumPy兼容、面向对象的设计,具有简单的调用约定和所有参数的合理默认值,这有助于MIR应用程序的快速原型化。通过madmom的处理器概念,原型可以无缝转换为可调用的处理管道,处理器是在多个核心上透明运行的可调用对象。处理器还可以序列化、保存和重新运行,以便在任何地方轻松复制结果。除了低层次的音频处理,madmom还强调音乐上有意义的高层次功能。其中许多都结合了机器学习技术,madmom提供了一个模块,实现了一些在MIR中常用的方法,如隐马尔可夫模型和神经网络。此外,madmom还提供了几种最先进的MIR算法,用于起始检测,节拍,强拍和节拍跟踪,速度估计和钢琴转录。这些可以很容易地集成到更大的MIR系统中或作为独立程序运行。
2016-05-23 cs.SD
Towards democratizing music production with AI-Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin
Keio University(庆应义塾大学)
利用深度学习的音乐生成技术已经取得了重大进展。然而,音乐家和艺术家在日常音乐创作实践中仍然很难使用这些技术。本文提出了一种基于变分自动编码器\cite{Kingma2014}(VAE)的节奏生成系统,音乐家只需选择目标文件即可训练深度学习模型,然后使用该模型生成各种节奏。作者已经实现了该系统作为一个插件软件的数字音频工作站,即一个最大的现场设备Ableton现场。一些专业/半专业音乐家和音乐制作人使用了这个插件,他们证明了这个插件是一个创造性地制作音乐的有用工具。插件、源代码和演示视频可在线获取。
2020-04-01 cs.LG cs.SD eess.AS
FilmComposer: LLM-Driven Music Production for Silent Film Clips
Shanghai University(上海大学);Shanghai Engineering Research Center of Motion Picture Special Effects(上海影视特效工程技术研究中心)
本文提出FilmComposer框架,首次结合大型生成模型与多智能体方法,通过视觉处理、节奏可控MusicGen及多智能体评估编曲混音,并构建MusicPro-7k数据集,实现面向无声电影片段的高质量可控音乐制作。
2025-03-11 cs.CV cs.MM cs.SD
Between Homomorphic Signal Processing and Deep Neural Networks: Constructing Deep Algorithms for Polyphonic Music Transcription
Academia Sinica(中央研究院)
本文提出了一种新的方法来理解深度神经网络(DNN)的工作原理,通过应用同态信号处理技术。针对多基音周期估计问题,从结构和功能上论证了广义倒谱与动态神经网络的等价关系。这种等价关系,连同音高感知理论和最近建立的球上校正相关(RECOS)滤波器分析,提供了另一种方式来解释非线性激活函数和多层结构的作用,这两者都存在于倒谱和DNN中。为了验证这种新方法的有效性,提出了一种以相同方式设计的基音显著性函数的新特征。新功能在MPE任务中优于单层频谱,并且正如预测的那样,它解决了丢失基本效果的问题,并且还实现了对噪声的更好鲁棒性。
2017-06-26 cs.NE cs.SD
Audio Processing using Pattern Recognition for Music Genre Classification
Department of Information Technology(信息技术系);St. Thomas’ College of Engineering & Technology, MAKAUT(圣托马斯工程技术学院,马卡乌特大学)
本研究利用GTZAN数据集和多种机器学习算法对五种音乐流派进行分类,其中Keras实现的人工神经网络达到92.44%的验证准确率,并计划未来扩展至全部十种流派及实时应用。
2024-10-19 cs.LG cs.SD eess.AS
Muskits: an End-to-End Music Processing Toolkit for Singing Voice Synthesis
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学);The University of Hong Kong(香港大学);Human Dataware Lab. Co., Ltd.(人类数据仓库实验室有限公司);Nagoya University(名古屋大学);Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
本文介绍了一个新的开源的端到端音乐处理平台Muskits,它主要集中在端到端的歌声合成(E2 E-SVS)。Muskits支持最先进的SVS模型,包括RNN SVS、Transformer SVS和XiaoiceSing。Muskits的设计遵循广泛使用的语音处理工具包ESPnet和Kaldi的风格,用于数据预处理,训练和配方管道。据我们所知,这个工具包是第一个允许在SVS中的几个已发表作品之间进行公平和高度可重复比较的平台。此外,我们还展示了基于工具包功能的几种高级用法,包括多语言训练和迁移学习。本文描述了Muskits的主要框架,它的功能,以及在单歌手,多歌手,多语言和迁移学习场景下的实验结果。该工具包可在https://github.com/SJTMusicTeam/Muskits上公开查阅。
2022-07-02 cs.MM cs.SD eess.AS
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje(斯科普里圣西里尔与美多德大学);Faculty of Electrical Engineering and Information Technologies(电气工程与信息技术学院)
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者,只是通过搜索来寻找乐谱,还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统,可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法:音符起始检测,速度估计,节拍检测,音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律,与商业上可用的基于神经网络的系统相比,有很好的效果。
2021-08-24 cs.SD eess.AS
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器,通过自回归方式解码复合令牌,提升符号音乐和音频生成的性能,降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay(印度理工学院孟买分校)
音乐信息检索是当前一个活跃的研究领域,它致力于从音频信号中提取音乐上重要的信息,以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐,或者帮助音乐学研究,甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性,该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别,其中主要乐器是歌声。歌声比许多乐器更多才多艺,因此对信息检索系统提出了有趣的挑战。在本文中,我们提供了一个简短的概述,在声乐处理的相关工作在印度理工学院孟买的描述,导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
An introduction to pitch strength in contemporary popular music analysis and production
研究当代流行音乐中,音高强度作为低级感知参数,通过信号与感知分析,揭示其在歌曲内外部变化、对结构及不和谐处理的作用,有望让AI模型更适配音乐制作。
2026-07-15 cs.SD eess.AS
RIME: Enabling Large-Scale Agentic Music Post-Production
Dartmouth College(达特茅斯学院)
研究针对音乐后期制作问题,引入RIME框架,利用POEMS工具包生成配对数据,评估多模态语言模型,展示其通过监督微调提升智能体性能,是迈向迭代音乐智能体、变革音乐制作的早期步骤。
2026-10-02 cs.SD
Deep Layered Learning in MIR
KTH Royal Institute of Technology(KTH皇家理工学院)
近年来,深度学习提高了许多音乐信息检索(MIR)系统的性能。然而,音乐的复杂层次结构使得一些MIR任务的端到端学习变得困难-需要非常深入和灵活的处理链来对音乐音频的某些方面进行建模。涉及音调、和弦和节奏的表现是音乐的基本组成部分。本文讨论了如何将这些可以作为中间目标和先验的MIR处理结构复杂的学习问题,学习模块连接在一个有向无环图。有人建议,这种推理策略,被称为深层学习(DLL),可以帮助泛化(1)-在处理过程中加强中间表示的有效性和不变性,以及(2)-让推断的表示建立音乐组织以支持更高级别的不变处理。模块化音乐处理的背景与以前出版物的概述一起提供。从信息处理的相关概念,如修剪,跳过连接,和性能监督的DLL的上下文中进行审查。最后进行测试,显示分层学习如何影响音高跟踪。它表明,特别是偏移量更容易检测,如果引导提取的帧间基频。
2018-12-10 cs.SD eess.AS
PHONEix: Acoustic Feature Processing Strategy for Enhanced Singing Pronunciation with Phoneme Distribution Predictor
Renmin University of China(中国人民大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
歌唱声合成作为一种从乐谱中生成歌唱声的特殊任务,近年来受到了广泛的关注。声乐演唱面临的挑战是,在同一乐谱的条件下,演唱具有多种发音的灵活性。SVS以往的作品大多不能很好地处理乐谱与实际演唱之间的错位。在本文中,我们提出了一个声学特征处理策略,命名为PHONEix,音素分布预测器,以减轻乐谱和歌声之间的差距,它可以很容易地采用在不同的SVS系统。在各种环境中进行的广泛实验证明了我们的PHONEix在客观和主观评估方面的有效性。
2023-03-15 cs.SD eess.AS
Music Separation Enhancement with Generative Modeling
Northwestern University(西北大学);Descript, Inc.(Descript公司)
尽管近年来取得了惊人的进步,但最先进的音乐分离系统产生的源估计具有显著的感知缺陷,例如添加无关噪声或去除谐波。我们提出了一个后处理模型(MSG后处理器),以提高音乐声源分离系统的输出。我们将我们的后处理模型应用于最先进的基于波形和基于频谱的音乐源分离器,包括MSG在训练期间看不到的分离器。我们对源分离器产生的误差的分析表明,波形模型往往会引入更多的高频噪声,而频谱图模型往往会丢失瞬态和高频内容。我们引入客观的措施来量化这两种错误,并显示MSG提高了这两种错误的源重建。众包的主观评价表明,人类听众更喜欢低音和鼓的源估计已被味精后处理。
2022-08-26 cs.LG cs.SD eess.AS
Audio-Based Music Classification with DenseNet And Data Augmentation
Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司)
近年来,深度学习技术因其在图像识别方面的巨大成功而受到广泛关注。深度学习在各种信息处理领域的适应趋势已经形成,包括音乐信息检索(MIR)。在本文中,我们进行了全面的研究,音乐音频分类与改进的卷积神经网络(CNN)。据我们所知,这是第一个将密集连接卷积网络(DenseNet)应用于音乐音频标记的工作,它已被证明比残差神经网络(ResNet)表现更好。此外,两个具体的数据增强方法的时间重叠和音高移位已被提出,以解决标记的数据在MIR的不足。此外,集成学习堆叠的支持向量机的基础上。我们相信,DenseNet的强表示和数据增强的组合可以适用于其他音频处理任务。
2019-06-15 cs.MM cs.SD eess.AS
ReMi: A Random Recurrent Neural Network Approach to Music Production
针对生成式AI在音乐领域的能耗、版权与创造力问题,本文提出随机初始化递归神经网络方法ReMi,无需训练数据即可生成可配置的琶音和低频振荡,以低计算成本辅助而非取代音乐家创作。
2025-07-22 cs.AI cs.SD eess.AS
A Survey on Multimodal Music Emotion Recognition
University of New South Wales(新南威尔士大学)
本综述全面概述了多模态音乐情感识别(MMER)的最新进展,提出了包含数据选择、特征提取、处理与情感预测的四阶段框架,指出了当前研究面临的挑战并提出了未来方向。
2025-04-26 cs.MM cs.SD eess.AS
Music Genre Classification: Ensemble Learning with Subcomponents-level Attention
Georgetown University(乔治城大学)
本文提出结合集成学习与子组件注意力机制的音乐流派分类新方法,通过分别分类乐曲子组件并集成决策,在GTZAN数据集上准确率优于现有先进技术。
2024-12-20 cs.IR cs.LG cs.MM
Proceedings of the 4th International Workshop on Reading Music Systems
University of Alicante(阿利坎特大学);TU Wien(维也纳工业大学);Queen Mary University of London(伦敦玛丽女王大学)
阅读音乐系统国际研讨会(WoRMS)是一个研讨会,试图将开发阅读音乐系统的研究人员(如光学音乐识别领域)与其他研究人员和从业者(如图书馆员或音乐学家)联系起来。研讨会的相关主题包括但不限于:乐谱阅读系统;光学乐谱识别;数据集和性能评估;乐谱图像处理;作者识别;乐谱的创作、编辑、存储和呈现系统;多模式系统;制作书面音乐的新的音乐输入方法;基于网络的音乐信息检索服务;应用和项目;与书面音乐有关的案件。这些是第四届国际音乐阅读系统研讨会的会议记录,于2022年11月18日在线举行。
2022-11-23 cs.CV cs.IR cs.LG
N-Gram Unsupervised Compoundation and Feature Injection for Better Symbolic Music Understanding
Wuhan University(武汉大学)
针对符号音乐理解任务,提出融合N-gram技术的NG-Midiformer方法,通过无监督构词和N-gram Transformer编码器增强序列理解,在多下游任务上取得SOTA性能。
2023-12-15 cs.AI cs.MM cs.SD
Dance2Music: Automatic Dance-driven Music Generation
Adobe(奥多比);Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
舞蹈和音乐通常是齐头并进的。舞蹈、音乐及其同步的复杂性使它们从计算创造力的角度研究起来非常有趣。虽然一些作品已经着眼于为给定的音乐生成舞蹈,但为给定的舞蹈自动生成音乐仍然未被探索。这种能力可以有几个创造性的表达和娱乐应用。我们在这个方向提出了一些早期的探索。我们提出了一种基于搜索的离线方法,在处理整个舞蹈视频后生成音乐,以及一种在线方法,该方法使用深度神经网络在视频进行时实时生成音乐。我们比较这些方法通过人类研究的一个强大的启发式基线,并提出我们的研究结果。我们已经将我们的在线方法集成到了现场演示中!演示视频可以在这里找到:https://sites.google.com/view/dance2music/live-demo。
2021-07-20 cs.MM cs.SD eess.AS
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR(比萨大学,CNR区域);Scuola Superiore Sant’Anna, Area CNR(圣安娜高等学院,CNR区域)
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线,将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
Are Words Enough? On the semantic conditioning of affective music generation
ITI;LARSyS;INESC TEC
该范围综述梳理自动音乐生成的规则与机器学习两大范式,聚焦文本驱动的深度学习音乐生成模型,探讨语言表征音乐情感的可行性,指出深度学习结合自然语言的应用有望赋能创意产业的音乐创作。
2023-11-07 cs.LG cs.MM cs.SD
Workflow-Based Evaluation of Music Generation Systems
Department of Computer Science UiT, The Arctic University of Tromsø(计算机科学系,UiT极地大学);Department of Music NTNU, Norwegian University of Science and Technology(音乐系,NTNU挪威科学与技术大学)
本文通过评估八个开源音乐生成系统在真实制作工作流中的表现,发现它们主要作为增强而非取代人类创造力的协作工具,并提出了考虑迭代创作特性的结构化评估框架。
2025-06-11 cs.HC cs.LG cs.MM
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具,通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
Investigation on the use of Hidden-Markov Models in automatic transcription of music
ENSTA Bretagne(布列塔尼国立高等先进技术学校);Université Européenne de Bretagne(布列塔尼欧洲大学);Université Paris Descartes(巴黎笛卡尔大学)
隐马尔可夫模型(Hidden Markov Models,简称HMM)是一种普遍存在的对时间序列数据建模的工具,已被广泛应用于自动音乐转录(Automatic Music Transcription,简称AMT)的两个主要任务:音符分割,即在多音高估计之后识别所演奏的音符;以及顺序后处理,即使用训练数据校正音符分割。在本文中,我们采用多基音周期估计方法称为概率潜在成分分析(PLCA),并开发AMT系统集成不同的HMM为基础的模块在这个框架。对于笔记分割,我们使用两种不同的双状态on/o?阻碍,包括持续时间建模的高阶阻碍。对于顺序后处理,我们专注于复调和声过渡的音乐学建模,使用一阶和二阶Hertons,其状态通过候选音符混合物定义。这些不同的PLCA加HMM系统进行了评估比较两个不同的乐器曲目,即钢琴(使用MAPS数据库)和marovany齐特琴。我们的研究结果表明,使用的HALGOR可以带来显着的改善转录结果,这取决于仪器的剧目。
2017-04-12 cs.LG cs.SD stat.ML
DiffuseRoll: Multi-track multi-category music generation based on diffusion model
Communication University of China(中国传媒大学)
生成模型的最新进展显示了音乐生成的显著进步。然而,现有的方法大多集中在生成单声道或谐音音乐,而生成具有丰富属性的多声道和多音轨音乐仍然是一个具有挑战性的任务。在本文中,我们提出了一种新的方法,多轨道,多属性的交响乐音乐生成使用扩散模型。具体来说,我们生成一个扩散模型的钢琴滚动表示,并将它们映射到输出的pixel格式。为了获取丰富的属性信息,我们引入了一个颜色编码方案,将音符序列编码为颜色和位置信息,表示音高,速度和乐器。该方案实现了离散音乐序列和连续图像之间的无缝映射。我们还提出了一种后处理方法来优化生成的分数,以获得更好的性能。实验结果表明,我们的方法优于国家的最先进的方法在复调音乐生成与丰富的属性信息相比,数字方法。
2023-03-14 cs.MM cs.SD eess.AS
MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training
Microsoft Research Asia(微软亚洲研究院)
符号音乐理解,指的是从符号数据中理解音乐(例如,格式,但不是音频),涵盖了许多音乐应用,如流派分类,情感分类和音乐片段匹配。虽然好的音乐表示对这些应用是有益的,但缺乏训练数据阻碍了表示学习。受自然语言处理中预训练模型成功的启发,本文开发了一个用于音乐理解的大规模预训练模型MusicBERT。为此,我们构建了一个大规模的符号音乐语料库,包含超过100万首音乐歌曲。由于象征性音乐包含更多的结构(例如,条、位置)和各种信息(例如,节奏,乐器和音高),简单地采用从NLP到符号音乐的预训练技术只能带来边际收益。因此,我们设计了几种机制,包括八进制编码和小节级掩蔽策略,以增强符号音乐数据的预训练。实验证明了MusicBERT在四个音乐理解任务上的优势,包括旋律完成,伴奏建议,流派分类和风格分类。消融研究也验证了我们设计的八进制编码和酒吧级掩蔽策略在MusicBERT的有效性。
2021-06-10 cs.CL cs.IR cs.MM
SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出SYMPLEX,将概率空间上的单纯形扩散与词汇先验用于无序表示的4小节多乐器符号音乐生成,实现时间、音高填充及乐器选择等可控性,且无需任务适配或外部控制。
2024-05-21 cs.LG cs.SD eess.AS
Proceedings of the 5th International Workshop on Reading Music Systems
University of Alicante(阿利坎特大学);TU Wien(维也纳工业大学);Queen Mary University of London(伦敦玛丽女王大学)
本论文集为2023年11月在意大利米兰举办的第五届WoRMS研讨会成果,该研讨会连接乐谱阅读系统研发者与应用方,涵盖光学音乐识别等多类乐谱相关技术与应用主题。
2023-11-07 cs.CV cs.IR cs.LG
Pitchclass2vec: Symbolic Music Structure Segmentation with Chord Embeddings
University of Bologna(博洛尼亚大学)
结构知觉是人类音乐认知的一个基本方面。从历史上看,音乐的结构层次组织作为一种叙事手段,用于传达意义,创造期望,唤起听众的情感。因此,音乐结构在音乐创作中起着至关重要的作用,因为它们塑造了作曲家组织思想的音乐话语。在本文中,我们提出了一种新的音乐分割方法,pitchclass2vec,基于符号和弦注释,这是嵌入到连续矢量表示使用自然语言处理技术和定制的编码。我们的算法基于长短期记忆(LSTM)神经网络,并且优于该领域中基于符号和弦注释的最先进技术。
2023-03-24 cs.AI cs.LG cs.SD
SpecTNT: a Time-Frequency Transformer for Music Audio
ByteDance(字节跳动);Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组)
Transformers在自然语言处理和计算机视觉中表现出了卓越的性能,在MIR领域引起了人们的关注。然而,音频处理领域的现有工作大多使用Transformer作为时间特征聚合器,其作用类似于RNN。在本文中,我们提出了SpecTNT,一个基于变换器的架构来模拟输入时频表示的频谱和时间序列。具体来说,我们介绍了一种新的变形的Transformer-in-Transformer(TNT)架构。在每个SpecTNT块中,频谱Transformer将频率相关特征提取到每个帧的频率类令牌(FCT)中。随后,将FCT线性投影并添加到时间嵌入(TE)中,从而聚合来自FCT的有用信息。然后,时间Transformer处理TE以跨时间轴交换信息。通过堆叠SpecTNT块,我们构建SpecTNT模型来学习音乐信号的表示。在实验中,SpecTNT在音乐标记和声乐旋律提取方面表现出最先进的性能,并在和弦识别方面表现出竞争力。通过消融研究进一步检查SpecTNT和其他设计选择的有效性。
2021-10-18 cs.LG cs.SD eess.AS
musif: a Python package for symbolic music feature extraction
musif是一个用于符号音乐特征提取的Python包,提供大量预定义特征和自定义特征创建功能,适用于MusicXML及其他音乐信息检索格式。
2023-07-03 cs.MM cs.SD eess.AS
Revisiting Meter Tracking in Carnatic Music using Deep Learning Approaches
MTG
本研究评估TCN和Beat This!两种深度学习模型在卡纳提克音乐节拍追踪中的表现,发现通过迁移学习可显著提升性能并超越DBN基线,证明SOTA模型能有效适应代表性不足的音乐传统。
2025-09-14 cs.LG cs.SD eess.AS
LoopNet: Musical Loop Synthesis Conditioned On Intuitive Musical Parameters
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
循环,无缝可重复的音乐片段,是现代音乐制作的基石。当代艺术家经常根据音乐标准(如节奏、和声和音色纹理)混合和匹配各种采样或预先录制的循环来创作作品。考虑到这些标准,我们提出了LoopNet,一个前馈生成模型,用于创建以直观参数为条件的循环。我们利用音乐信息检索(MIR)模型,以及在我们的研究中的公共循环样本的大量收集,并使用Wave-U-Net架构映射控制参数到音频。我们还评估生成的音频的质量,并提出直观的控制作曲家映射的想法在他们的脑海中的音频循环。
2021-05-21 cs.LG cs.SD eess.AS
Seed-Music: A Unified Framework for High Quality and Controlled Music Generation
ByteDance(字节跳动);Seed Team(Seed团队)
Seed-Music提出统一框架,结合自回归语言建模与扩散方法,实现可控音乐生成与后期编辑,支持多模态输入和细粒度风格控制。
2024-09-19 cs.SD eess.AS
Attention-guided Spectrogram Sequence Modeling with CNNs for Music Genre Classification
IIT Hyderabad(印度理工学院海得拉巴分校)
本文提出利用CNN与多头注意力对频谱图序列建模,捕捉音乐中时序关键片段形成流派签名,以提升音乐流派分类准确率并支撑个性化推荐。
2024-11-18 cs.CV cs.LG cs.SD
Music Foundation Model as Generic Booster for Music Downstream Tasks
SonyAI(索尼人工智能);Sony Group Corporation(索尼集团);Sony Europe B.V.(索尼欧洲B.V.);Sony CSL(索尼计算机科学实验室)
本文提出音乐基础模型SoniDo,通过提取层次化中间特征作为通用助推器,增强音乐标注、转录、分离和混音等下游任务性能,尤其对数据稀缺场景有效。
2025-05-27 cs.IR cs.LG cs.SD
Bangla Music Genre Classification Using Bidirectional LSTMS
Dept. of Computer Science \& Engineering, Bangladesh Army International University of Science;Technology, Cumilla Cantonment, Cumilla - 3501, Bangladesh Dept. of Computer Science \& Engineering, CCN University of Science;Technology, CCN Road, Cumilla - 3506, Bangladesh. Dept. of Electrical \& Electronic Engineering, International Islamic University Chittagong,Chattogram - 4318, Bangladesh.
本文提出使用双向LSTM对孟加拉音乐进行流派分类,通过MFCC特征提取和实验验证,实现78%的分类准确率。
2026-01-21 cs.LG cs.SD
Can LLMs "Reason" in Music? An Evaluation of LLMs' Capability of Music Understanding and Generation
The Hong Kong University of Science and Technology(香港科技大学);Multimodal Art Projection(多模态艺术投影);Shenzhen University(深圳大学);Queen Mary University of London(伦敦玛丽女王大学)
本文系统评估了GPT-4、Llama2等大语言模型在符号音乐理解与生成中的多步推理能力,发现其在歌曲级复杂音乐推理上表现不足且难以运用已有音乐知识,并指出未来需弥合音乐知识与推理之间的差距以提升人机共同创作体验。
2024-07-31 cs.CL cs.MM cs.SD
Modelling Symbolic Music: Beyond the Piano Roll
CSIRO Data61(联邦科学与工业研究组织数据61研究所)
在本文中,我们考虑的问题,概率建模的符号音乐数据。我们介绍了一种表示,减少复调音乐的一个单变量的分类序列。通过这种方式,我们能够应用最先进的自然语言处理技术,即长短期记忆序列模型。我们采用的表示允许任意的节奏结构,我们假设是给定的。我们表明,我们的模型是有效的四出四个基于钢琴卷基准数据集。我们进一步改进我们的模型,通过增加我们的训练数据集与所有音乐键的原始作品的换位,从而令人信服地推进这些基准问题的最先进的。我们还适合模型的音乐,这是不受约束的节奏结构,讨论了这个模型的属性,并提供音乐样本,这是比以前更复杂的这类递归神经网络序列模型。我们还提供了新预处理的非钢琴滚动音乐数据集。
2016-06-04 cs.SD
CREPE Notes: A new method for segmenting pitch contours into discrete notes
本文提出一种基于CREPE的后处理方法,将音高轮廓分割为离散音符,在单声道器乐数据集上达到最先进效果,并减少97%的参数。
2023-11-15 cs.MM cs.SD eess.AS
Music Genre Classification: Training an AI model
Academy of computer science University of Johannesburg Auckland Park JHB 2092, South Africa
本研究探索多种机器学习算法(多层感知器、k近邻、卷积神经网络、随机森林)进行音乐流派分类,使用STFT和MFCC特征提取,评估模型稳健性并比较结果。
2024-05-23 cs.LG cs.SD eess.AS
Voice and accompaniment separation in music using self-attention convolutional neural network
Ohio State University(俄亥俄州立大学);Amazon Music, Bangalore(亚马逊音乐(班加罗尔));Amazon Lab126, CA(亚马逊Lab126(加利福尼亚))
音乐源分离是信号处理领域的一个热门课题,这不仅是因为它的技术难度,而且还因为它对自动卡拉OK和混音等许多商业应用的重要性。在这项工作中,我们提出了一种新的自我注意力网络分离的声音和伴奏音乐。首先,构建一个具有密集连接的CNN块的卷积神经网络(CNN)作为我们的基础网络。然后,我们在基础CNN的不同级别插入自注意力,以利用音乐的长期内部依赖性,即,重复在自我注意力模式中,相同音乐模式的重复通知其他重复的重建,以获得更好的源分离性能。实验结果表明,该方法在SDR方面的人声分离相对提高了19.5%。我们将我们的方法与最先进的系统(即MMDenseNet和MMDenseLSTM)进行比较。
2020-03-19 cs.LG cs.SD eess.AS
MT3: Multi-Task Multitrack Music Transcription
Google Research(谷歌研究院);Northwestern University(西北大学)
自动音乐转录(AMT),从原始音频中推断音符,是音乐理解核心的一项具有挑战性的任务。自动语音识别(ASR)通常只关注单个说话者的单词,而AMT通常需要同时转录多个乐器,同时保留精细的音高和时序信息。此外,许多AMT数据集是“低资源”的,因为即使是专家音乐家也会发现音乐转录困难且耗时。因此,以前的工作集中在特定于任务的架构,针对每个任务的个别工具。在这项工作中,受低资源自然语言处理(NLP)的序列到序列迁移学习的可喜成果的激励,我们证明了一个通用的Transformer模型可以执行多任务AMT,跨多个转录数据集联合转录乐器的任意组合。我们证明了这个统一的训练框架在一系列数据集上实现了高质量的转录结果,大大提高了低资源乐器(如吉他)的性能,同时保留了丰富乐器(如钢琴)的强大性能。最后,通过扩展AMT的范围,我们暴露了对更一致的评估指标和更好的数据集对齐的需求,并为多任务AMT的新方向提供了一个强大的基线。
2022-03-15 cs.LG cs.SD eess.AS
From Words to Music: A Study of Subword Tokenization Techniques in Symbolic Music Generation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Queen Mary University of London(伦敦玛丽女王大学)
本文研究 BPE、Unigram 等子词分词对 Transformer 符号音乐生成的影响,在三类 MIDI 数据上验证其可生成更长且结构更好的音乐。
2023-04-25 cs.LG cs.SD eess.AS
SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Music Source Restoration
The Chinese University of Hong Kong(香港中文大学);University of Surrey(萨里大学)
提出音乐源恢复(MSR)任务以弥补现有音乐源分离忽略制作退化的不足,构建含分层类别的RawStems数据集,并以U-Former为基线验证了该任务的可行性。
2025-05-27 cs.AI cs.LG cs.SD
Equipping Pretrained Unconditional Music Transformers with Instrument and Genre Controls
Duke University(杜克大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究利用最大规模符号音乐数据集预训练无条件音乐Transformer,并提出通过微调加入控制token以赋予其乐器与流派控制能力,显著提升了生成音乐的可控性与质量。
2023-11-21 cs.IR cs.MM cs.SD
ShrutiSense: Microtonal Modeling and Correction in Indian Classical Music
Lone Star College(Lone Star学院);University of Nebraska at Omaha(内布拉斯加欧马哈大学)
ShrutiSense提出针对印度古典音乐22斯鲁蒂微分音系统的符号处理框架,通过FST校正与GC-SHMM补全,在五个拉格上实现91.3%的校正准确率,并保持对噪声的稳健性。
2025-08-02 cs.AI cs.SD eess.AS
Analyzing Byte-Pair Encoding on Monophonic and Polyphonic Symbolic Music: A Focus on Musical Phrase Segmentation
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立综合理工学院);LaBRI(波尔多计算机科学研究实验室)
本文研究BPE在不同乐器编制及单、多声部符号音乐中的行为,并通过音乐乐句分割实验表明其词汇高度依赖编制、supertokens可捕捉抽象内容,且性能提升随声部与合并次数而变化。
2024-10-02 cs.CL cs.IR cs.SD
An Independence-promoting Loss for Music Generation with Language Models
Universität Hamburg(汉堡大学);IRCAM(法国声学/音乐研究和协作学院);Meta AI;The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Kyutai
本文提出一种促进独立性的损失函数来正则化音乐生成语言模型中的自编码器,通过降低多码本间的统计依赖性,使边缘分布乘积建模在保证生成质量的同时大幅提升音频生成速度。
2024-06-09 cs.AI cs.LG cs.SD
Music Source Separation with Band-split RNN
近年来,由于新型神经网络架构和训练管道的发展,音乐源分离(MSS)模型的性能得到了很大的提高。然而,最近的MSS模型设计主要是由其他音频处理任务或其他研究领域的动机,而音乐信号的内在特征和模式没有被完全发现。在本文中,我们提出了带分裂RNN(BSRNN),这是一种频域模型,它将混合物的频谱图显式地拆分为子带,并执行交织的带级和序列级建模。子带的带宽的选择可以通过关于目标源的特性的先验知识或专家知识来确定,以便优化特定类型的目标乐器上的性能。为了更好地利用未标记数据,我们还描述了一个半监督模型微调管道,可以进一步提高模型的性能。实验结果表明,仅在MUSDB 18-HQ数据集上训练的BSRNN在2021年音乐分层(MDX)挑战赛中的表现明显优于几个排名靠前的模型,并且半监督微调阶段进一步提高了所有四种乐器曲目的性能。
2022-09-30 cs.LG cs.SD eess.AS
Optimal Embedding Calibration for Symbolic Music Similarity
Central Conservatory of Music(中央音乐学院);Tsinghua University(清华大学)
在自然语言处理(NLP)中,语义相似性任务需要大规模、高质量的人工标注标签进行微调或评估。相比之下,在音乐相似性的情况下,这样的标签是昂贵的收集和很大程度上取决于注释者的艺术偏好。最近的研究表明,嵌入校准技术可以大大提高预训练的语言模型的语义相似度性能,而无需微调。然而,目前还不知道哪种校准方法是最好的,以及可以实现多大的性能改进。为了解决这些问题,我们建议使用作曲家的信息来构建标签自动评估音乐相似性。在这种模式下,我们发现嵌入校准的最佳组合,实现优于基线方法的指标。
2021-09-09 cs.CL cs.SD eess.AS