Music102: An $D_{12}$-equivariant transformer for chord progression accompaniment
Massachusetts Institute of Technology（麻省理工学院）
本文提出Music102，一种基于群论和音乐结构的等价变换器，用于提升和弦进行伴奏的质量，通过整合音乐对称性如转位和反射操作，改进了非等价变换器Music101的性能。
2025-07-06 cs.LG cs.MM cs.SD
MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training
Microsoft Research Asia（微软亚洲研究院）
符号音乐理解，指的是从符号数据中理解音乐（例如，格式，但不是音频），涵盖了许多音乐应用，如流派分类，情感分类和音乐片段匹配。虽然好的音乐表示对这些应用是有益的，但缺乏训练数据阻碍了表示学习。受自然语言处理中预训练模型成功的启发，本文开发了一个用于音乐理解的大规模预训练模型MusicBERT。为此，我们构建了一个大规模的符号音乐语料库，包含超过100万首音乐歌曲。由于象征性音乐包含更多的结构（例如，条、位置）和各种信息（例如，节奏，乐器和音高），简单地采用从NLP到符号音乐的预训练技术只能带来边际收益。因此，我们设计了几种机制，包括八进制编码和小节级掩蔽策略，以增强符号音乐数据的预训练。实验证明了MusicBERT在四个音乐理解任务上的优势，包括旋律完成，伴奏建议，流派分类和风格分类。消融研究也验证了我们设计的八进制编码和酒吧级掩蔽策略在MusicBERT的有效性。
2021-06-10 cs.CL cs.IR cs.MM
Moonbeam: A MIDI Foundation Model Using Both Absolute and Relative Music Attributes
Centre for Digital Music（数字音乐中心）；Queen Mary University of London（伦敦大学玛丽女王学院）
本研究提出基于Transformer的符号音乐基础模型Moonbeam，通过新型分词与MRA融入音乐领域偏置，在分类和生成任务上表现优于现有模型，并开源相关资源。
2025-05-21 cs.AI cs.SD eess.AS
Interpreting Graphic Notation with MusicLDM: An AI Improvisation of Cornelius Cardew's Treatise
University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究提出借助ChatGPT解读科尼利厄斯·卡杜《Treatise》的图形记谱生成文本提示，输入MusicLDM模型并通过外扩生成技术拼接音乐，为图形乐谱演绎提供新路径，拓展实验音乐创作空间。
2024-12-12 cs.LG cs.SD eess.AS
MuseTok: Symbolic Music Tokenization for Generation and Semantic Understanding
University of California San Diego, USA（加州大学圣地亚哥分校）
提出符号音乐分词方法 MuseTok，通过 Transformer 编解码器与 RQ-VAE 生成兼顾高保真重建和音乐理论理解的编码，并在生成及旋律、和弦、情感等理解任务上验证优势。
2025-10-18 cs.AI cs.SD eess.AS
musif: a Python package for symbolic music feature extraction
musif是一个用于符号音乐特征提取的Python包，提供大量预定义特征和自定义特征创建功能，适用于MusicXML及其他音乐信息检索格式。
2023-07-03 cs.MM cs.SD eess.AS
NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms
Central Conservatory of Music（中央音乐学院）；University of Rochester（罗切斯特大学）；Beijing Flowingtech Ltd.（北京流音科技有限公司）；Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
本研究提出符号音乐生成模型NotaGen，采用LLM预训练、微调及CLaMP-DPO强化学习范式，在大量乐谱数据训练下提升生成质量与可控性，主观测试显示其优于基线模型，推动符号音乐生成的音乐美学发展。
2025-03-21 cs.AI cs.SD eess.AS
MATT: A Multiple-instance Attention Mechanism for Long-tail Music Genre Classification
Huazhong University of Science and Technology（华中科技大学）
不平衡音乐类型分类是音乐信息检索（MIR）领域的一项重要任务，它基于相关的音乐音频片段来识别长尾、数据贫乏的音乐类型，这在现实世界中非常普遍。现有的大多数模型都是针对类别平衡的音乐数据集设计的，导致在识别分布尾部的音乐流派时，准确性和泛化性能较差。受在各种分类任务中成功引入多实例学习（MIL）的启发，我们提出了一种名为多实例注意力（MATT）的新机制，以提高识别尾类的性能。具体来说，我们首先通过生成专辑艺术家配对包来构建包级数据集。其次，我们利用神经网络来编码音乐音频片段。最后，在多实例注意力机制的指导下，基于神经网络的模型可以选择信息量最大的流派来匹配给定的音乐片段。在具有长尾分布的大规模音乐流派基准数据集上的综合实验结果表明，MATT显著优于其他最先进的基线。
2022-09-09 cs.AI cs.LG cs.MM
Meta-learning Extractors for Music Source Separation
Charles University（查理大学）；Preferred Networks
我们提出了一个分层的元学习启发模型的音乐声源分离（Meta-TasNet），其中一个生成器模型用于预测各个提取器模型的权重。这实现了高效的参数共享，同时仍然允许仪器特定的参数化。Meta-TasNet被证明比独立训练或在多任务环境中训练的模型更有效，并且实现了与最先进方法相当的性能。与后者相比，我们的提取器包含更少的参数，并具有更快的运行时性能。我们讨论了重要的架构考虑因素，并探讨了这种方法的成本和收益。
2020-02-17 cs.LG cs.SD eess.AS
ProGress: Structured Music Generation via Graph Diffusion and Hierarchical Music Analysis
Duke University（杜克大学）
本文提出ProGress框架，结合申克分析与DiGress离散扩散模型，解决现有音乐生成模型缺乏结构连贯性和可解释性的问题，支持用户控制生成过程，并在人类实验中表现优于现有方法。
2025-10-11 cs.LG cs.SD eess.AS
The Evolution of Popular Music: USA 1960-2010
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
在现代社会中，文化的变化似乎永无止境。流行音乐的流行趋势尤其明显。虽然关于流行音乐的起源和演变已经写了很多，但大多数关于其历史的说法都是轶事，而不是科学的。为了纠正这一点，我们调查了1960年至2010年之间的美国公告牌100强。使用音乐信息检索（MIR）和文本挖掘工具，我们分析了图表中出现的约17，000个录音的音乐属性，并展示了其谐波和音色属性的定量趋势。然后，我们使用这些属性产生一个基于音频的音乐风格分类，并研究音乐的多样性和差异，测试和拒绝，文化变迁的几个经典理论的演变。最后，我们调查流行音乐的演变是渐进的还是间断的。我们表明，虽然流行音乐不断发展，它这样做的三个风格的“革命”在1964年，1983年和1991年左右，特别迅速。最后，我们讨论了我们的研究如何指向一个定量科学的文化变革。
2015-02-17 cs.SD physics.soc-ph
Activation Patching for Interpretable Steering in Music Generation
Sapienza University of Rome（罗马大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文首次在文本到音乐生成中研究大型音频模型的潜在方向向量，通过均值差方法计算速度、音色等二元属性的引导向量并注入中间激活，实现了细粒度可控音乐生成，证明了基于方向的引导是一种更具机制性和可解释性的方法。
2025-04-06 cs.SD
Class-conditional embeddings for music source separation
MERL（三菱电机研究实验室）
在音乐混合物中分离出单个乐器有无数潜在的应用，考虑到最近的深度学习方法所达到的性能水平，这似乎是迫在眉睫的。虽然大多数音乐声源分离技术为每个乐器学习一个独立的模型，但我们建议在深度聚类和深度吸引子网络的启发下，为混合物中所有乐器的时频箱使用一个公共嵌入空间。此外，辅助网络用于生成高斯混合模型（GMM）的参数，其中嵌入空间中的GMM分量上的后验分布可以用于创建将各个源从混合物中分离的掩模。除了在MUSDB-18数据集上优于掩码推理基线外，我们的嵌入空间很容易解释，可用于基于查询的分离。
2018-11-07 cs.LG cs.SD eess.AS
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Methods for pitch analysis in contemporary popular music: phenomenological analysis of Primaal's commercial works
Sony Computer Science Laboratories, Paris, France（索尼计算机科学实验室，法国巴黎）；Department of Architecture, Design and Media Technology, Aalborg University, Denmark（建筑、设计与媒体技术系，奥尔堡大学，丹麦）；Neodrome Entertainment, Paris, France（Neodrome娱乐公司，法国巴黎）
研究以Primal商业作品为例，用现象学分析当代流行音乐音高，通过与制作人合作识别相关参数，借助信号分析等方法，揭示其音高为连续多维现象，对音乐分析等领域有贡献。
2026-07-31 cs.SD
Automatic Melody Reduction via Shortest Path Finding
本文提出一种基于图表示和最短路径查找的自动旋律简化方法，在流行、民谣和古典音乐上优于常见降采样方法，并用于生成更高质量的音乐变奏。
2025-08-03 cs.SD eess.AS
MusFlow: Multimodal Music Generation via Conditional Flow Matching
School of Mathematics and Statistics, Shanxi University（山西大学数学与统计学院）
针对普通用户难写准确提示词的问题，提出MusFlow模型，通过条件流匹配和多模态对齐，从图像、文本等生成音乐；构建MMusSet数据集，实验表明其单/多模态输入下均能生成高质量音乐，推动音乐创作普及。
2025-04-18 cs.MM cs.SD eess.AS
Symbolic Music Generation with Diffusion Models
University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
基于得分的生成模型和扩散概率模型已经成功地在诸如图像和音频的连续域中生成高质量样本。然而，由于它们的Langevin启发的采样机制，它们对离散和连续数据的应用受到限制。在这项工作中，我们提出了一种技术，用于训练扩散模型的连续数据参数化的离散域中的一个预先训练的变分自编码器的潜在空间。我们的方法是非自回归的，并通过反向过程学习生成潜在嵌入序列，并提供具有恒定数量的迭代细化步骤的并行生成。我们应用这种技术来模拟符号音乐，并表现出强大的无条件生成和事后条件填充结果相比，自回归语言模型在相同的连续嵌入操作。
2021-11-25 cs.LG cs.SD eess.AS
Efficient Learning of Harmonic Priors for Pitch Detection in Polyphonic Music
Centre for Digital Music（数字音乐中心）；Queen Mary University of London（伦敦玛丽女王大学）
自动音乐转录（AMT）的目的是推断一段音乐（钢琴卷）的潜在符号表示，给定相应的观察到的音频记录。复调音乐（当多个音符同时演奏时）是一个具有挑战性的问题，因为和声之间存在高度结构化的重叠。我们研究是否引入物理启发的高斯过程（GP）先验到音频内容分析模型，提高了AMT所需的模式的提取。音频信号被描述为源的线性组合。每个源被分解成一个振幅包络的产品，和一个准周期分量过程。我们介绍了Matérn频谱混合（MSM）内核描述单音符的频率内容。我们考虑两种不同的回归方法。在sigmoid模型中，每个音高激活都是独立的非线性变换。在softmax模型中，几个激活GP被联合非线性变换。这引入了激活之间的互相关。我们使用变分贝叶斯近似推理。我们经验性地评估了这些模型在复调音乐的转录实践中是如何工作的。我们证明，而不是鼓励激活之间的依赖关系，什么是相关的提高音高检测是学习先验，适合的声音事件的频率内容检测。
2018-11-16 cs.SD stat.ML
CCMusic: An Open and Diverse Database for Chinese Music Information Retrieval Research
China Conservatory of Music（中国音乐学院）
本文提出CCMusic，一个开放多样的中文音乐信息检索数据库，整合多数据集并统一清洗标注，提供支持分类与检测的基准评估框架，托管于HuggingFace和ModelScope。
2025-03-24 cs.IR cs.SD
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya（佩拉德尼亚大学）
这篇研究论文提出了一种新的基于深度学习的神经网络架构，名为Y-Net，用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离，从频谱图和波形域提取功能。受U-Net架构的启发，Y-Net预测了一个声谱图掩码，以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性，并且参数较少。总体而言，我们的工作提出了一个有前途的方法，提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Practical and Reproducible Symbolic Music Generation by Large Language Models with Structural Embeddings
LG AI Research（LG人工智能研究院）；Seoul National University（首尔国立大学）
针对现有音乐生成模型依赖特定标注且缺乏可复现性的缺陷，本文开发了基于MIDI的音乐生成框架，实证研究了两种不依赖领域特定标注的结构嵌入，并通过开源实现促进了实用且可复现的音乐生成。
2024-07-29 cs.AI cs.SD eess.AS
Learning a Predictive Model for Music Using PULSE
University of Stuttgart（斯图加特大学）；TU Dresden（德累斯顿工业大学）；TU Berlin（柏林工业大学）
算法作曲、认知科学和机器学习的研究人员都在研究音乐的预测模型。它们作为基本模型的组成，可以模拟人类的预测，并提供了一个多学科的应用领域的学习算法。一个特别完善和不断进步的子任务是预测单声道旋律。由于旋律通常涉及非马尔可夫依赖性，因此它们的预测需要有能力的学习算法。在这篇论文中，我将最新的特征发现和学习方法PULSE应用到符号音乐建模领域。PULSE由特征生成操作和L1正则化优化组成。这些用于迭代地扩展和剔除特征集，有效地探索对于普通特征选择方法来说太大的特征空间。我为PULSE设计了一个通用的Python框架，提出了任务优化的特征生成操作和各种音乐理论动机的特征，这些特征在单声道民谣和合唱旋律的标准语料库上进行评估。所提出的方法显着优于可比的最先进的模型。进一步讨论了学习算法的自由参数，分析了学习模型的特征组成。PULSE学习的模型提供了一个简单的检查，并首次从音乐学上进行解释。
2017-09-26 cs.LG cs.SD eess.AS
Music FaderNets: Controllable Music Generation Based On High-Level Features via Low-Level Feature Modelling
Singapore University of Technology and Design（新加坡科技设计大学）
高层次的音乐品质（如情感）往往是抽象的，主观的，难以量化的。考虑到这些困难，使用监督学习技术来学习良好的特征表示并不容易，这要么是因为标签的不足，要么是因为人工标注标签的主观性（因此差异很大）。在本文中，我们提出了一个框架，可以学习高层次的特征表示与有限的数据量，首先建模其相应的可量化的低层次属性。我们将我们提出的框架称为Music FaderNets，其灵感来自于这样一个事实，即低级别属性可以通过特征解纠缠和潜在正则化技术由单独的“滑动推子”连续操纵。然后使用高斯混合变分自动编码器（GM-VAE）通过半监督聚类从低级表示中推断出高级特征。使用唤醒作为一个例子的一个高层次的功能，我们表明，我们的模型的“推子”是解开和线性变化w.r.t.所生成的输出音乐的模型化的低级属性。此外，我们证明了该模型成功地学习了唤醒及其相应的低级别属性（节奏和音符密度）之间的内在关系，只有1%的训练集被标记。最后，使用学习到的高级特征表征，我们探索了我们的框架在不同唤醒状态的风格迁移任务中的应用。通过主观听力测试验证了该方法的有效性。
2020-07-29 cs.LG cs.SD eess.AS
MidiCaps: A large-scale MIDI dataset with text captions
本文提出MidiCaps，首个公开的大规模带文本描述的MIDI数据集，含超16.8万个文件，旨在支持文本到MIDI生成及音乐与语言模型结合的研究。
2024-07-22 cs.LG cs.MM cs.SD
Real-time Low-latency Music Source Separation using Hybrid Spectrogram-TasNet
L-Acoustics（L-声学）
本文针对实时低延迟音乐源分离需求，提出HS-TasNet混合频谱图与时域波形优势，在23 ms延迟下于MusDB上取得4.65 SDR，额外数据训练后提升至5.55。
2024-02-27 cs.LG cs.SD eess.AS
DadaGP: A Dataset of Tokenized GuitarPro Songs for Sequence Models
Queen Mary University of London（伦敦玛丽女王大学）；Academia Sinica（中央研究院）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Dadabots；Taiwan AI Labs（台湾人工智能实验室）
源于文艺复兴时期，在数字时代蓬勃发展，表格是一种常用的音乐记谱系统，它提供了乐器指法而不是音高的明确表示。GuitarPro已经成为一种广泛使用的指法格式和软件，使音乐家能够编辑和分享歌曲，用于音乐练习，学习和创作。在这项工作中，我们提出了DadaGP，一个新的符号音乐数据集，包括26,181首歌曲的乐谱，在GuitarPro格式涵盖739音乐流派，以及伴随的标记化格式非常适合生成序列模型，如Transformer。标记化格式的灵感来自于通常用于符号音乐生成模型的基于事件的编码。该数据集与编码器/解码器一起发布，可将GuitarPro文件转换为令牌并返回。我们介绍了一个用例的结果，其中DadaGP用于训练基于transformer的模型，以生成GuitarPro格式的新歌。我们讨论了数据集的其他相关用例（吉他-低音转录，音乐风格转移和艺术家/流派分类）以及伦理影响。DadaGP开辟了训练GuitarPro乐谱生成器、根据自定义数据微调模型、创建新风格的音乐、AI驱动的歌曲创作应用程序和人工智能即兴创作的可能性。
2021-07-30 cs.LG cs.SD eess.AS
Event-Based Token Sequences for Audio-Conditioned Music-Game Level Modeling
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究音乐游戏关卡程序生成问题，受基于事件的符号音乐建模启发，提出令牌级序列公式，构建Transformer模型，在事件级评估中优于基线，能系统分析音频对节奏对齐事件预测的支持。
2026-07-13 cs.MM cs.SD
Q&A: Query-Based Representation Learning for Multi-Track Symbolic Music re-Arrangement
Institute of Data Science, NUS（新加坡国立大学数据科学研究所）；Integrative Sciences and Engineering Programme, NUS Graduate School（新加坡国立大学研究生院综合科学与工程项目）；Music X Lab, NYU Shanghai（上海纽约大学Music X实验室）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；School of Computing, NUS（新加坡国立大学计算学院）
针对多轨符号音乐重编曲，论文提出自监督、基于查询的 Q&A 算法，通过解耦内容与风格表示实现四类可控重编曲，并显著优于基线。
2023-06-02 cs.SD eess.AS
Pac-HuBERT: Self-Supervised Music Source Separation via Primitive Auditory Clustering and Hidden-Unit BERT
MERL（三菱电机研究实验室）
本文提出自监督框架Pac-HuBERT，利用无标签音乐数据的原始听觉特征进行预训练，结合Res-U-Net解码器，在数据有限时显著提升了音乐源分离的SDR性能。
2023-04-04 cs.LG cs.SD eess.AS
A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis
New York University Shanghai（纽约大学上海校区）；ByteDance（字节跳动）
我们提出了一个统一的模型，用于三个相互关联的任务：1）\textit{separate}从混合音乐音频的各个声源，2）\textit{transcribe}每个声源的音符，和3）到\textit{ synthesize}新的作品的音色的基础上分离的来源。该模型的灵感来自于这样一个事实，即当人类听音乐时，我们的大脑不仅可以区分不同乐器的声音，而且还可以同时感知乐谱和音色等高级表征。为了在计算上反映这种能力，我们设计了一个基于流行的声源分离的编码器-解码器神经结构的音高-音色解纠缠模块。关键的归纳偏差是矢量量化的音高表示和音高变换不变的音色表示。此外，我们采用了一种通过实例查询的方法来实现\textit{zero-shot}的学习，即，该模型能够为\textit{unseen}仪器进行声源分离、转录和合成。目前的设计重点是两个单声道乐器的音频混合。实验结果表明，我们的模型优于现有的多任务基线，转录分数作为一个强大的辅助分离任务。
2021-08-07 cs.AI cs.SD eess.AS
Graph Representation of RaagBase: A Unique Dataset for Hindustani Music
XIM University（西姆大学）
针对北印度音乐拉格聚类未充分探索的问题，提出基于Pt. Bhatkhande作品音符序列的拉格基础数据集，用图形表示拉格结构，通过音符频率分布体现作品相似性，应用聚类技术，实验验证了数据集及表示的有效性。
2026-07-14 cs.SD
Texture Selection for Automatic Music Genre Classification
Federal University of Technology – Paraná（巴拉那联邦理工大学）；University of Campinas（坎皮纳斯大学）
音乐流派分类是将与流派相关的标签与数字化音乐曲目相关联的问题。它在商业和个人音乐收藏的组织中有应用。通常，音乐曲目被描述为一组音色灵感的声音纹理。在浅学习系统中，每个音轨的声音纹理总数通常太高，纹理下采样是必要的，以使训练易于处理。虽然以前的工作已经解决了这个线性下采样，没有广泛的工作已经完成，以评估如何纹理选择的好处流派分类的背景下，袋的帧轨道描述。在本文中，我们评估的影响，帧选择自动音乐流派分类在一袋帧的情况下。我们还提出了一种新的纹理选择器的基础上K-Means旨在确定不同的声音纹理在每个轨道。我们评估了纹理选择在不同的数据集，四个不同的功能集，以及它的关系，一个单变量特征选择策略。结果表明，帧选择导致显着改善的单一向量基线的数据集组成的全长轨道，无论功能集。结果还表明，K-Means纹理选择器在基线上实现了显着的改进，与常用的线性下采样相比，每个轨道使用更少的纹理。结果还表明，纹理选择是互补的特征选择策略评估。我们的定性分析表明，类内的纹理多样性有利于模型的泛化。我们的分析表明，选择特定的音频摘录可以提高分类性能，它可以自动完成。
2019-05-28 cs.IR cs.LG cs.SD
One Deep Music Representation to Rule Them All? : A comparative analysis of different representation learning strategies
Delft University of Technology（代尔夫特理工大学）
受在计算机视觉和自然语言处理领域成功部署深度学习的启发，这种学习范式也进入了音乐信息检索领域。为了以有效且高效的方式从深度学习中受益，深度迁移学习已成为一种常见的方法。在这种方法中，可以重用预先训练的神经网络的输出作为新学习任务的基础。基本假设是，如果初始学习任务和新学习任务显示出共性并且被应用于相同类型的输入数据（例如音乐音频），则所生成的数据的深度表示也为新任务提供信息。然而，由于大多数用于生成深度表示的网络都是使用单个初始学习源进行训练的，因此它们的表示不太可能为所有可能的未来任务提供信息。在本文中，我们提出了我们的调查结果是什么是最重要的因素，以产生在音乐领域的数据和学习任务的深度表示。我们通过一项广泛的实证研究进行了这项调查，该研究涉及多个学习源以及多个深度学习架构，这些架构在源之间具有不同程度的信息共享，以便学习音乐表示。然后，我们验证这些表示考虑多个目标数据集进行评估。我们的实验结果产生了一些关于如何设计用于学习音乐领域中可广泛部署的深度数据表示的方法的见解。
2019-02-11 cs.NE cs.SD eess.AS
Melody Extraction from Polyphonic Music by Deep Learning Approaches: A Review
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
旋律提取是音乐研究者的一项重要音乐信息检索任务，因为它在教育教学和音乐产业中具有潜在的应用价值。由于背景乐器的存在，旋律提取是一项非常具有挑战性的任务。此外，通常旋律来源表现出类似的特点，其他文书。背景伴奏与人声的干扰使得从混合信号中提取旋律更具挑战性。直到最近，经典的基于信号处理的旋律提取方法在旋律提取研究者中相当流行。深度学习模型对大规模数据进行建模的能力以及模型通过利用空间和时间依赖性来学习自动特征的能力激励了许多研究人员采用深度学习模型进行旋律提取。在本文中，尝试已作出审查的最新数据驱动的深度学习方法从复调音乐的旋律提取。已经基于所使用的神经网络的类型和它们用于预测旋律的输出表示来对可用的深度模型进行分类。此外，简要介绍了25个旋律提取模型的体系结构。用于优化旋律提取模型的模型参数的损失函数大致分为四类，并简要描述了各种旋律提取模型所使用的损失函数。此外，旋律提取模型所采用的各种输入表示和参数设置进行了深入的描述。包括描述块框旋律提取深度神经网络的可解释性的部分。比较了25种旋律提取方法的性能。本文还提出了今后旋律提取方法的探索和改进方向。
2022-02-02 cs.SD eess.AS
MIDI-Sandwich2: RNN-based Hierarchical Multi-modal Fusion Generation VAE networks for multi-track symbolic music generation
University of Science and Technology of China（中国科学技术大学）
目前，几乎所有的多音轨音乐生成模型都是使用卷积神经网络（CNN）来构建生成模型，而基于递归神经网络（RNN）的生成模型则无法应用于此任务。针对上述问题，本文提出了一种基于RNN的分层多模态融合生成变分自编码器（VAE）网络MIDI-Sandwich 2，用于多音轨符号音乐生成。MIDI-Sandwich 2受VQ-VAE 2的启发，通过使用多个独立的二进制变分自编码器（Binary Variational Autoencoder，BVAE）模型来处理每个音轨的信息，从而扩展了原有分层模型的维度。然后，利用多模态融合技术，上层多模态融合生成VAE（MFG-VAE）将各个音轨生成的特征空间向量进行组合，并利用解码器进行升维重构，模拟多模态融合、多模态生成的逆运算，从而实现基于RNN的多音轨符号化音乐生成。对于多音轨格式的pianoroll，我们还改进了MuseGAN的输出二值化方法，解决了原方案细化步骤难区分、梯度难下降的问题，使生成的歌曲更具表现力。该模型在Lakh Pianoroll数据集（LPD）多轨道数据集上进行了验证。与MuseGAN相比，MIDI-Sandwich 2不仅可以生成和谐的多轨音乐，生成质量也接近于艺术水平。同时，通过使用VAE还原歌曲，MIDI-Sandwich 2再现的半生成歌曲比MuseGAN生成的纯自动生成音乐更优美。代码和试听音频样本都是在https:…
2019-09-08 cs.LG cs.SD eess.AS
The Sounds of Music : Science of Musical Scales III -- Indian Classical
在本系列的前几篇文章中，我们讨论了音阶的发展，特别是构成当今西方古典音乐基础的七声音阶。在这最后一篇文章中，我们来看看印度古典音乐中使用的音阶的基本结构，以及如何通过音阶转换的简单过程产生不同的“拉加”。
2019-10-14 cs.SD eess.AS
Scaling and compressing melodies using geometric similarity measures
University of Seville（塞维利亚大学）
旋律相似性度量在音乐信息检索中具有重要意义。在本文中，我们使用几何匹配技术来衡量两个旋律之间的相似性。我们表示的点集或水平线段集在欧几里德平面上的音乐，并提出有效的算法优化问题的启发，在两个操作的旋律;线性缩放和音频压缩。在缩放问题中，传入的查询旋律被向前缩放，直到查询和参考旋律之间的相似性度量被最小化。压缩问题要求给定旋律的音符的子集，使得所选音符与参考旋律之间的匹配成本最小化。
2022-09-19 cs.IR cs.SD eess.AS
Generating Coherent Drum Accompaniment With Fills And Improvisations
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）
创作像音乐这样复杂的艺术作品需要深刻的创造力。随着深度学习和变形金刚等强大模型的最新进展，自动音乐生成取得了巨大进展。在伴奏生成上下文中，即使对于有经验的鼓手来说，在歌曲中的适当位置处创建具有适当填充和即兴的连贯鼓模式也是一项具有挑战性的任务。鼓点往往遵循一个重复的模式，通过节与填充或即兴在部分边界。在这项工作中，我们解决的任务，鼓模式生成条件的伴奏音乐由四个旋律乐器：钢琴，吉他，低音提琴，弦乐。我们使用Transformer序列到序列模型来生成以旋律伴奏为条件的基本鼓模式，以发现即兴演奏在很大程度上是不存在的，这可能归因于其在训练数据中的相对较低的表示。我们提出了一个新颖的函数来捕捉酒吧相对于邻近酒吧的即兴创作程度。我们训练一个模型来从旋律伴奏音轨中预测即兴演奏的位置。最后，我们使用一种新颖的BERT启发的填充架构，学习鼓和旋律的结构，以填充即兴音乐的元素。
2022-09-01 cs.LG cs.MM cs.SD
Mode-conditioned music learning and composition: a spiking neural network inspired by neuroscience and psychology
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与类脑智能技术重点实验室）
针对现有音乐AI忽略调式多样性的问题，提出受脑机制与心理学启发的多子系统协同脉冲神经网络，通过神经环路进化学习生成指定调式音乐，兼具调性与旋律适应性，架起人类认知与AI的桥梁。
2025-01-14 cs.AI cs.SD eess.AS
MusicSwarm: Biologically Inspired Intelligence for Music Composition
Massachusetts Institute of Technology（麻省理工学院）
MusicSwarm提出一种无需权重更新的去中心化群体智能框架，利用冻结基础模型通过点对点信号协调完成长篇幅音乐创作，展现出更优的质量与多样性，为长视野创作提供了高效路径。
2025-09-15 cs.AI cs.MM cs.SD
Decoding Musical Evolution Through Network Science
Department of Computer Science, Sapienza University of Rome（罗马大学计算机科学系）；Department of Computer, Control and Management Engineering, Sapienza University of Rome（罗马大学计算机、控制与管理工程系）；University of Padova, Department of Mathematics（帕多瓦大学数学系）
本文利用网络科学分析音乐复杂性，通过20000个MIDI文件研究不同音乐流派的结构特性，发现古典和爵士音乐复杂度较高，但时间分析显示现代音乐趋于简化。
2025-01-13 cs.CY cs.SD eess.AS
Perception-Inspired Graph Convolution for Music Understanding Tasks
Institute of Computational Perception, Johannes Kepler University Linz（约翰开普勒林茨大学计算感知研究所）；LIT AI Lab, Linz Institute of Technology（林茨技术学院LIT人工智能实验室）
受音乐感知原理启发，本研究提出聚焦音高与节奏维度的MusGConv图卷积模块，在四类音乐理解任务（对应三类图学习问题）中验证了其可提升三项任务性能，且简洁高效，为乐谱相关图网络设计提供新思路。
2024-05-15 cs.AI cs.LG cs.SD
ONOTE: Hypergraph-Grounded Omnimodal Reasoning for Computational Music Science
Beijing University of Posts and Telecommunications（北京邮电大学）；Nanyang Technological University（南洋理工大学）
本文提出ONOTE基准测试，通过确定性流程消除记谱系统偏差，揭示多模态模型在感知准确性和音乐理论理解间的根本分歧。
2026-08-25 cs.AI cs.MM cs.SD
Designing Maintainable Hybrid Generative Systems: A Quantum-Inspired Approach to Automated Music Harmony Generation
Czech Technical University in Prague（捷克技术大学（布拉格））
研究从旋律自动生成音乐和声，核心方法是结合量子启发的候选探索与基于规则的优化，主要贡献是设计并评估出可维护的混合生成架构，其生成的和声保留结构与行为，优化层提升多种性能，且无需训练语料库。
2026-07-08 cs.AI cs.ET cs.SD
Undecidability Results and Their Relevance in Modern Music Making
本文探讨不可判定性在现代音乐制作中的相关性，通过分析Ableton的图灵完备性及声音创作、复节拍、纯律和声和新排序系统的不可判定性，为非理论计算机科学从业者提供理论证明与实践启示。
2023-09-14 cs.SD eess.AS
Musical creativity enabled by nonlinear oscillations of a bubble in water
Charles Sturt University（查尔斯特大学）
研究证明水中气泡在编码古典音乐的声压信号下非线性振荡可产生创造性音乐成果，其响应类似电吉他版本，并提出该特性可用于创建模拟人类音乐创造力的物理启发AI系统。
2023-04-03 cs.NE cs.SD eess.AS
ConchShell: A Generative Adversarial Networks that Turns Pictures into Piano Music
Guangzhou University（广州大学）
我们提出了ConchShell，这是一个多模态生成对抗框架，它将图片作为网络的输入，并生成与图片上下文相匹配的钢琴音乐样本。受I3 D的启发，我们提出了一种新的图像特征表示方法：时间-卷积神经网络（TCNN），用于在时间维上伪造图像的特征。虽然我们的图像数据只包括六个类别，我们提出的框架将是创新的和商业意义。该项目将为3D游戏配音、短视频配乐、虚拟世界背景音乐实时生成等工作提供技术思路。我们还发布了一个新的数据集--Beach-Ocean-Piano Dataset（BOPD）1，其中包含3,000多张图像和1,500多首钢琴曲。该数据集将支持多模态图像到音乐的研究。
2022-10-11 cs.IR cs.SD eess.AS
Real-time, EDM-inspired sonification of the activity of a supercomputer
High-Performance Computing Center North（高性能计算中心北）；Umeå University（乌梅大学）
本研究采用EDM风格，通过实时声音化超级计算机节点活动数据，实现长时间可理解的监控，结合了监控、实时数据解释和风格连贯音乐生成三个要素。
2026-05-22 cs.SD
Relating Human Perception of Musicality to Prediction in a Predictive Coding Model
The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachussetts Institute of Technology（麻省理工学院）
我们探索使用的神经网络的启发，预测编码建模人类的音乐感知。该网络是基于分层视觉皮层中经常性相互作用的计算神经科学理论开发的。当使用自监督学习对视频数据进行训练时，该模型表现出与人类视觉错觉一致的行为。在这里，我们调整这个网络来模拟分层听觉系统，并研究它是否会做出类似的选择人类关于一组随机音高序列的音乐性。当该模型用大量的古典器乐和流行旋律作为梅尔频谱图进行训练时，它对人类受试者认为音乐性较低的随机音高序列表现出更大的预测误差。我们发现，预测误差取决于有关后续音符，音高间隔和时间上下文的信息量。我们的研究结果表明，可预测性与人类对音乐性的感知相关，并且在音乐上训练的预测编码神经网络可用于表征有助于人类感知音乐的特征和主题。
2022-10-29 cs.AI cs.SD eess.AS
In-depth analysis of music structure as a text network
National Tsing Hua University（国立清华大学）；University of Michigan（密歇根大学）；Advanced Semiconductor Engineering, INC.（日月光半导体制造股份有限公司）
本文从自然语言视角构建音乐基本元素的演化网络，分析不同时期音乐结构差异，提出连接音乐与自然语言处理及知识图谱的科学框架。
2024-01-02 cs.AI cs.CL cs.SD
Adaptive music: Automated music composition and distribution
Universidad de Málaga（马拉加大学）
创造力，或产生新的有用的想法的能力，通常与人类有关;但在自然界中有许多其他例子可以观察到这种现象。受这一事实的启发，在工程中，特别是在计算科学中，已经开发了许多不同的模型来解决许多问题。音乐创作是人类历史上广泛存在的一种艺术形式，也是本文研究的主题。利用这种想法，带来多样性和创造力的性质和计算，我们提出Melomics：一种基于进化搜索的算法组合方法。这些解决方案具有基于正式语法的遗传编码，并且在复杂的发展过程中解释这些编码，然后进行健康评估，以产生标准格式的有效音乐作品。该系统表现出了很高的创造力和多功能性，可以制作不同类型的音乐，并且已经过测试，在许多情况下证明其结果与人类作曲家制作的音乐没有区别。该系统还促成了一系列全新应用的出现：从帮助任何人轻松获得所需精确音乐的有效工具，到用于治疗、锻炼、娱乐等的自适应音乐等全新用途。很明显，自动合成是一个活跃的研究领域，并且会发现无数新的用途。
2022-01-25 cs.CY cs.NE cs.SD
Simulation of Neural Responses to Classical Music Using Organoid Intelligence Methods
Capitol Technology University（卡皮托尔理工大学）
研究提出PyOrganoid库和Pianoid模型，利用双向LSTM基于古典音乐音频特征预测EEG响应，模拟音乐诱导的神经活动，为计算神经科学和音乐认知提供新工具与见解。
2024-07-25 cs.AI cs.LG cs.NE
Music De-limiter Networks via Sample-wise Gain Inversion
Seoul National University（首尔大学）
针对音乐行业响度战争导致音乐动态范围受损的问题，提出基于逐样本增益反转的音乐去限制器网络，搭配构建的musdb-XL-train数据集训练，在重建任务中取得24.0 dB的SI-SDR优异性能。
2024-06-23 cs.SD eess.AS
