Frechet Music Distance: A Metric For Generative Symbolic Music Evaluation
Institute of Computer Science, Warsaw University of Technology(华沙理工大学计算机科学学院)
提出受 FID 与 FAD 启发的 Frechet Music Distance,通过参考与生成符号音乐嵌入分布间的距离评估生成质量,并在多数据集和模型上验证其有效性。
2025-01-16 cs.AI cs.MM cs.SD
MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training
Microsoft Research Asia(微软亚洲研究院)
符号音乐理解,指的是从符号数据中理解音乐(例如,格式,但不是音频),涵盖了许多音乐应用,如流派分类,情感分类和音乐片段匹配。虽然好的音乐表示对这些应用是有益的,但缺乏训练数据阻碍了表示学习。受自然语言处理中预训练模型成功的启发,本文开发了一个用于音乐理解的大规模预训练模型MusicBERT。为此,我们构建了一个大规模的符号音乐语料库,包含超过100万首音乐歌曲。由于象征性音乐包含更多的结构(例如,条、位置)和各种信息(例如,节奏,乐器和音高),简单地采用从NLP到符号音乐的预训练技术只能带来边际收益。因此,我们设计了几种机制,包括八进制编码和小节级掩蔽策略,以增强符号音乐数据的预训练。实验证明了MusicBERT在四个音乐理解任务上的优势,包括旋律完成,伴奏建议,流派分类和风格分类。消融研究也验证了我们设计的八进制编码和酒吧级掩蔽策略在MusicBERT的有效性。
2021-06-10 cs.CL cs.IR cs.MM
partitura: A Python Package for Handling Symbolic Musical Data
Institute of Computational Perception, Johannes Kepler University Linz(约翰内斯·开普勒林茨大学计算感知研究所)
这篇演示论文介绍了partitura,一个用于处理符号音乐信息的Python包。该软件包的主要目的是处理由现代五线谱乐谱所传达的结构丰富的音乐信息。它提供了一个更广泛的可能性来处理音乐比更还原(但非常常见)的钢琴辊导向的方法,灵感来自于标准。该软件包是一个开源项目,可在GitHub上获得。
2022-01-31 cs.SD eess.AS
WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
WildScore是首个用于评估多模态大语言模型在现实世界中符号音乐推理能力的基准测试,通过真实音乐作品和用户生成问题,系统性评估模型在音乐学分析中的表现。
2026-01-23 cs.CL cs.SD eess.AS
Retrieval Augmented Generation of Symbolic Music with LLMs
KTH Royal Institute of Technology(瑞典皇家理工学院)
本研究探索利用大语言模型结合检索系统进行符号音乐生成,在与用户对话中取得初步良好效果,且系统易于实现,代码已公开。
2023-12-28 cs.SD eess.AS
MelodyT5: A Unified Score-to-Score Transformer for Symbolic Music Processing
Central Conservatory of Music(中央音乐学院);Tsinghua University(清华大学)
本文提出统一框架MelodyT5,将七项旋律任务建模为乐谱到乐谱转换,并在包含超26.1万条旋律的MelodyHub数据集上通过多任务迁移学习实现卓越性能,尤其提升了数据稀缺任务的效果。
2024-07-03 cs.SD eess.AS
Generating Symbolic Music from Natural Language Prompts using an LLM-Enhanced Dataset
本研究针对符号音乐领域缺乏带丰富元数据的大规模数据集的问题,构建了含96.3万份乐谱的MetaScore数据集,用LLM生成伪文本描述后训练文本/标签条件符号音乐生成模型,性能优于基线且与同期Text2MIDI相当,文本交互更自然。
2025-06-16 cs.SD eess.AS
Mamba-Diffusion Model with Learnable Wavelet for Controllable Symbolic Music Generation
Centre for Digital Music Queen Mary University of London(数字音乐中心 威廉玛丽大学伦敦分校)
本文提出一种融合Transformer-Mamba模块与可学习小波变换的扩散模型,将符号音乐表示为钢琴卷帘图像,并通过无分类器引导实现目标和弦可控的符号音乐生成,在质量和可控性上优于强基线。
2025-05-06 cs.AI cs.SD eess.AS
Symbotunes: unified hub for symbolic music generative models
Warsaw University of Technology(华沙理工大学)
针对符号音乐生成模型实现差异大、难以比较和上手的问题,本文推出开源统一中心 Symbotunes,提供多种知名方法的现代 Python 实现及统一的训练与生成流水线。
2024-10-27 cs.AI cs.LG cs.SD
Symbolic Music Loop Generation with VQ-VAE
LG AI Research(LG人工智能研究院)
音乐是模式和节奏的重复。它可以通过以结构化的方式重复一定数量的小节来组成。在本文中,目标是生成一个循环的8个酒吧,可用作积木的音乐。即使考虑到音乐的多样性,我们也假设人类熟悉的音乐模式可以在有限集中定义。通过明确的规则从音乐中提取循环,我们发现离散表示足以对符号音乐序列进行建模。在VAE族中,VQ-VAE模型的音乐特性比其他模型更好地观察到。此外,为了强调音乐结构,我们已经将离散的潜在特征操作为重复的,从而使属性更加强化。大量的定量和定性实验来验证我们的假设。
2021-11-15 cs.MM cs.SD eess.AS
Not that Groove: Zero-Shot Symbolic Music Editing
Drexel University(德雷塞尔大学)
本文研究仅基于文本指令的符号音乐编辑,提出用创造性格式连接LLM与音乐,实现零样本鼓点律动编辑,并构建与音乐家判断高度一致的单元测试评估数据集。
2025-05-13 cs.CL cs.SD eess.AS
A Domain-Knowledge-Inspired Music Embedding Space and a Novel Attention Mechanism for Symbolic Music Modeling
Singapore University of Technology and Design(新加坡科技设计大学)
针对现有符号音乐建模忽略相对音乐属性的问题,提出兼具绝对与相对属性表征的基础音乐嵌入FME,及结合领域知识的RIPO注意力机制,在旋律补全与生成任务上性能优于现有最优Transformer模型,解决了生成退化问题。
2022-12-02 cs.AI cs.SD eess.AS
SymPAC: Scalable Symbolic Music Generation With Prompts And Constraints
ByteDance Inc.(字节跳动公司);Queen Mary University of London(伦敦玛丽女王大学);The Chinese University of Hong Kong(香港中文大学)
针对符号音乐数据稀缺问题,本文利用预训练 MIR 模型从音频自动提取符号事件训练生成模型,并提出 SymPAC,通过提示小节和 FSM 受约束生成提升可控性。
2024-09-09 cs.SD eess.AS
NotaGen: Advancing Musicality in Symbolic Music Generation with Large Language Model Training Paradigms
Central Conservatory of Music(中央音乐学院);University of Rochester(罗切斯特大学);Beijing Flowingtech Ltd.(北京流音科技有限公司);Beihang University(北京航空航天大学);Tsinghua University(清华大学)
本研究提出符号音乐生成模型NotaGen,采用LLM预训练、微调及CLaMP-DPO强化学习范式,在大量乐谱数据训练下提升生成质量与可控性,主观测试显示其优于基线模型,推动符号音乐生成的音乐美学发展。
2025-03-21 cs.AI cs.SD eess.AS
Fast Diffusion-GAN Model for Generating Symbolic Music with Emotions
Queen Mary University of London(伦敦玛丽女王大学)
本文提出结合生成对抗网络的扩散模型,通过变分自编码器嵌入训练,实现了情感可控的符号音乐生成,并将采样去噪步骤降至4步,大幅降低计算成本。
2026-10-14 cs.AI cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research(LG人工智能研究院);University of Ulsan(蔚山大学)
与计算机视觉中的彩色化类似,乐器分离是分配乐器标签(例如钢琴,吉他.)到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题,我们采用扩散模型,并明确指导他们保持混合和音乐之间的一致性。定量结果表明,我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: a Survey
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多综合理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
本综述梳理了应用于符号音乐生成与信息检索的NLP方法,涵盖符号音乐表示、适配的深度学习模型及专用机制,并讨论了技术问题与文本音乐差异,为后续适配研究指明方向。
2024-02-27 cs.AI cs.IR cs.SD
Large Language Models' Internal Perception of Symbolic Music
本文通过让LLM从文本提示生成MIDI数据集并训练神经网络进行分类与旋律补全,揭示LLM能隐式编码基本音乐结构,同时指出其因缺乏显式音乐语境而存在局限。
2025-07-17 cs.AI cs.CL cs.LG
XMusic: Towards a Generalized and Controllable Symbolic Music Generation Framework
Tencent(腾讯)
针对AI生成音乐质量不足、情感控制难的问题,本文提出通用可控的符号音乐生成框架XMusic,搭配大规模标注数据集XMIDI,经评估显著优于现有最优方法,还获WAIC 2023相关奖项。
2025-01-15 cs.AI cs.SD eess.AS
Partitura: A Python Package for Symbolic Music Processing
Johannes Kepler University(约翰内斯·开普勒大学)
Partitura是一个轻量级的Python包,用于处理符号音乐信息。它可以轻松访问音乐信息检索任务中常用的功能,如音符阵列(定时音高事件列表)和2D钢琴滚动矩阵,以及其他乐谱元素,如时间和键签名,演奏指令和重复结构。Partitura可以加载乐谱(MEI,MusicXML,Kern和EML格式),音乐表演和乐谱到表演的对齐。该软件包包括一些用于音乐分析的工具,例如自动音高拼写,关键签名识别和语音分离。Partitura是一个开源项目,可以在https://github.com/CPJKU/partitura/上找到。
2022-06-02 cs.DL cs.SD eess.AS
From Words to Music: A Study of Subword Tokenization Techniques in Symbolic Music Generation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Queen Mary University of London(伦敦玛丽女王大学)
本文研究 BPE、Unigram 等子词分词对 Transformer 符号音乐生成的影响,在三类 MIDI 数据上验证其可生成更长且结构更好的音乐。
2023-04-25 cs.LG cs.SD eess.AS
Composer Style-specific Symbolic Music Generation Using Vector Quantized Discrete Diffusion Models
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
本文提出结合VQ-VAE与离散扩散模型生成目标作曲家风格的符号音乐,将音乐编码为码本索引序列并在离散潜在空间中建模,实验达到72.36%的风格符合准确率。
2024-09-03 cs.AI cs.SD eess.AS
Exploring Softly Masked Language Modelling for Controllable Symbolic Music Generation
KTH(瑞典皇家理工学院)
本文探索将软掩码语言建模(SMLM)应用于可控符号音乐生成,通过Transformer编码器架构实现约束条件下的音乐生成,并提供了音频示例。
2023-05-11 cs.LG cs.SD eess.AS
Symbolic & Acoustic: Multi-domain Music Emotion Modeling for Instrumental Music
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对单域音乐情感识别方法唤醒度与效价建模一致性弱的问题,提出结合符号与声学分析的器乐多域情感建模方法,在EMOPIA数据集上较基线准确率提升2.4%,达SOTA。
2023-08-28 cs.SD eess.AS
Learning Transposition-Invariant Interval Features from Symbolic Music and Audio
Institute of Computational Perception, JKU Linz(林茨约翰·开普勒大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室)
许多音乐理论结构(如音阶类型,调式,节奏和和弦类型)都是根据音高间隔-音高之间的相对距离来定义的。因此,当计算机模型用于音乐任务时,在音程表示上操作而不是在原始音乐表面上操作可能是有用的。此外,区间表示是转置不变的,对于音频对齐,翻唱歌曲检测和音乐结构分析等任务很有价值。我们采用门控自动编码器学习固定长度,可逆和换位不变的间隔表示从复调音乐中的符号域和音频。提出了一种无监督的训练方法,在音乐上合理的表示空间中产生间隔的组织。基于表示,转置不变的自相似矩阵的构建和使用,以确定重复的部分在符号音乐和音频,产生竞争力的结果在MIREX任务“发现重复的主题和部分”。
2019-02-04 cs.LG cs.SD eess.AS
Pitchclass2vec: Symbolic Music Structure Segmentation with Chord Embeddings
University of Bologna(博洛尼亚大学)
结构知觉是人类音乐认知的一个基本方面。从历史上看,音乐的结构层次组织作为一种叙事手段,用于传达意义,创造期望,唤起听众的情感。因此,音乐结构在音乐创作中起着至关重要的作用,因为它们塑造了作曲家组织思想的音乐话语。在本文中,我们提出了一种新的音乐分割方法,pitchclass2vec,基于符号和弦注释,这是嵌入到连续矢量表示使用自然语言处理技术和定制的编码。我们的算法基于长短期记忆(LSTM)神经网络,并且优于该领域中基于符号和弦注释的最先进技术。
2023-03-24 cs.AI cs.LG cs.SD
Quantifying Musical Style: Ranking Symbolic Music based on Similarity to a Style
Simon Fraser University(西蒙菲莎大学)
人类感知音乐相似性的建模对于生成音乐系统、音乐学研究和许多音乐信息检索任务的评估至关重要。虽然人类的相似性判断是黄金标准,但计算分析通常更可取,因为结果通常更容易重现,并且计算方法更具可扩展性。此外,基于计算的方法可以快速地按需计算,这是与在线系统一起使用的先决条件。我们提出了StyleRank,一种方法来衡量一个音乐文件和一个任意的音乐风格划定的一个集合的音乐文件之间的相似性。加密文件使用一组新颖的特征进行编码,并使用随机森林学习嵌入。实验证据表明,StyleRank与人类对风格相似性的感知高度相关,并且根据其与语料库风格的相似性对生成的样本进行排名是足够精确的。此外,相似性可以相对于单个特征进行测量,从而允许识别所生成的样本与特定音乐风格之间的特定差异。
2020-03-10 cs.SD eess.AS
GraphMuse: A Library for Symbolic Music Graph Processing
Institute of Computational Perception, Johannes Kepler University Linz(约翰内斯·开普勒林茨大学计算感知研究所);LIT AI Lab, Linz Institute of Technology(林茨理工学院LIT人工智能实验室)
GraphMuse是一个符号音乐图处理框架和库,通过新的邻居采样技术和分层建模增强GNN在音乐任务中的性能,在音高拼写和终止式检测上显著优于先前方法。
2024-07-17 cs.AI cs.DL cs.SD
Flexible Control in Symbolic Music Generation via Musical Metadata
LG AI Research(LG人工智能研究院)
本研究提出一种以音乐元数据为输入的自回归符号音乐生成模型,通过训练时随机丢弃元数据词元实现灵活控制,经多维度实验及主观测试验证,其在控制性和音乐质量上均优于其他模型。
2024-08-28 cs.MM cs.SD eess.AS
PianoBART: Symbolic Piano Music Generation and Understanding with Large-Scale Pre-Training
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
针对现有方法无法统一利用特征同时完成音乐生成与理解的问题,本文提出预训练模型PianoBART,搭配多级对象选择策略,在音乐生成和理解任务上均取得优异表现。
2024-06-26 cs.AI cs.SD eess.AS
SMUG-Explain: A Framework for Symbolic Music Graph Explanations
Institute of Computational Perception, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校计算感知研究所);LIT AI Lab, Linz Institute of Technology(林茨理工学院LIT人工智能实验室)
本研究提出SMUG-Explain框架,基于Verovio库搭建交互式界面,可在乐谱语境下可视化图神经网络针对乐谱预测任务的输入贡献,并在古典音乐终止式检测任务中验证了用法,代码已开源。
2024-05-15 cs.SD eess.AS
Symbolic Music Structure Analysis with Graph Representations and Changepoint Detection Methods
University of Zaragoza(萨拉戈萨大学)
音乐结构分析是音乐信息检索中的一个开放性研究课题。过去,已经有一些作品试图将音乐分割到音频和符号领域,但不同层次的音乐结构的识别和分割仍然是该领域的一个开放研究问题。在这项工作中,我们提出了三种方法,其中两种是新的基于图形的算法,旨在分割其形式或结构的符号音乐:规范,G-PELT和G-窗口。我们用两个具有不同形式或结构的公共数据集进行了消融研究,以比较这些方法的参数值,并比较不同音乐风格的性能。我们发现,用图表示的符号音乐编码和计算从图中获得的邻接矩阵的新颖性很好地表示了符号音乐作品的结构,而不需要从中提取特征。我们能够用在线无监督的变化点检测方法检测边界,F_在我们用于测试我们的方法的一个公共数据集中,1 bar公差为0.5640。我们还提供了在不同层次的结构,高,中,低的算法的性能结果,以显示所提出的方法的参数必须根据水平进行调整。我们将性能最好的方法及其每个结构级别的参数添加到musicaiz(一个开源python包)中,以促进这项工作的可重复性和可用性。我们希望这种方法可以用来改善其他MIR任务,如音乐生成与结构,音乐分类或关键变化检测。
2023-03-24 cs.AI cs.SD eess.AS
PiRhDy: Learning Pitch-, Rhythm-, and Dynamics-aware Embeddings for Symbolic Music
Nankai University(南开大学);National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Tsinghua University(清华大学)
在当今的深度学习中,连续嵌入仍然是计算音乐学对符号音乐的一个基本挑战。类似于自然语言,音乐可以被建模为一系列符号。这促使大多数现有解决方案探索利用词嵌入模型来构建音乐嵌入。然而,音乐在两个关键方面不同于自然语言:(1)音乐标记是多方面的-它包括音高,节奏和动态信息;(2)音乐上下文是二维的-每个音乐标记都依赖于旋律和和声上下文。在这项工作中,我们提供了一个全面的解决方案,提出了一个新的框架名为PiRhDy,无缝集成音高,节奏和动态信息。PiRhDy采用分层策略,可以分解为两个步骤:(1)令牌(即,音符事件)建模,其分别表示音高、节奏和动态,并将它们集成到单个标记嵌入中;以及(2)上下文建模,其利用旋律和和声知识来训练标记嵌入。深入研究了PiRhDy的各个组成部分和子策略。我们进一步验证我们的嵌入在三个下游任务-旋律完成,伴奏建议,和流派分类。结果表明,一个显着的进步的神经方法对象征性的音乐,以及PiRhDy的潜力作为一个预先训练的工具,广泛的象征性的音乐应用。
2020-10-16 cs.MM cs.SD eess.AS
Symbolic Music Loop Generation with Neural Discrete Representations
LG AI Research(LG人工智能研究院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
由于大多数音乐都有从主题到乐句的重复结构,重复音乐思想可以成为音乐创作的基本操作。我们关注的基本块被概念化为循环,这是音乐的基本成分。此外,有意义的音符模式可以在有限的空间中形成,所以用离散符号的组合来表示它们就足够了,就像在其他领域所做的那样。在这项工作中,我们提出了通过学习离散表示符号音乐循环生成。我们首先使用循环检测器从数据集中提取循环,然后学习由提取的循环的离散潜码训练的自回归模型。我们表明,我们的模型在保真度和多样性方面优于著名的音乐生成模型,在随机空间上进行评估。我们的代码和补充材料可在https://github.com/sjhan91/Loop_VQVAE_Official上获得。
2022-10-29 cs.MM cs.SD eess.AS
Analyzing Byte-Pair Encoding on Monophonic and Polyphonic Symbolic Music: A Focus on Musical Phrase Segmentation
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立综合理工学院);LaBRI(波尔多计算机科学研究实验室)
本文研究BPE在不同乐器编制及单、多声部符号音乐中的行为,并通过音乐乐句分割实验表明其词汇高度依赖编制、supertokens可捕捉抽象内容,且性能提升随声部与合并次数而变化。
2024-10-02 cs.CL cs.IR cs.SD
Signal-domain representation of symbolic music for learning embedding spaces
IRCAM(声学/音乐研究所)
机器学习模型的一个关键方面在于它们学习有效中间特征的能力。然而,输入表示在这个过程中起着至关重要的作用,复调乐谱仍然是一种特别复杂的信息类型。在本文中,我们介绍了一种新的表示符号音乐数据,它转换成一个连续的信号的复调乐谱。我们从音乐的角度来评估学习有意义的功能,从这个表示的能力。因此,我们介绍了一种评价方法,依靠原则性的生成合成数据。最后,为了测试我们提出的代表性,我们进行了广泛的基准对最近的复调符号表示。我们表明,我们的信号表示导致更好的重建和解开功能。这种改进反映在度量属性和根据音乐理论属性从我们的类信号表示学习的空间的生成能力中。
2021-09-08 cs.LG cs.SD eess.AS
SAGE-Music: Low-Latency Symbolic Music Generation via Attribute-Specialized Key-Value Head Sharing
针对现有符号音乐生成模型推理速度与质量难以兼得的问题,本文提出属性专用键值头共享(AS-KVHS)方法,实现约30%推理加速且质量几乎无损,并发布开源基准SAGE-Music。
2025-10-15 cs.AI cs.LG cs.SD
Unifying Symbolic Music Arrangement: Track-Aware Reconstruction and Structured Tokenization
Sound and Music Computing Lab, School of Computing, NUS(新加坡国立大学计算机学院声音与音乐计算实验室);Courant Institute of Mathematical Sciences, New York University(纽约大学应用数学科学学院);Music X Lab, MBZUAI(MBZUAI音乐X实验室)
本文提出统一符号音乐编曲框架,通过片段级重建目标解耦内容与风格,并引入REMI-z结构化分词,在多种编曲任务上超越专用模型,展示了强通用性。
2025-11-05 cs.CL cs.SD eess.AS
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器,通过自回归方式解码复合令牌,提升符号音乐和音频生成的性能,降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion
California Institute of Technology(加州理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);NVIDIA(英伟达公司);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究所)
针对符号音乐生成中非可微规则引导的挑战,提出仅需前向评估的免训练引导方法SCG及高时间分辨率潜在扩散架构,显著提升了音乐质量与规则可控性。
2024-09-25 cs.LG cs.SD eess.AS
Symbolic music generation conditioned on continuous-valued emotions
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)(系统与计算机工程、技术与科学研究所(INESC TEC));University of Coimbra(科英布拉大学);Polytechnic of Porto(波尔图理工学院)
本文提出了一种基于音乐情感驱动的多乐器符号音乐生成方法。我们的方法的主要新颖之处集中在调节一个国家的最先进的Transformer的基础上连续值效价和唤醒标签。此外,我们提供了一个新的大规模数据集的符号音乐配对的情感标签的效价和唤醒。我们以两种方式定量评估我们的方法,首先通过测量其音符预测准确性,其次通过在效价唤醒平面中的回归任务。我们的研究结果表明,我们提出的方法优于条件使用控制令牌,这是目前最先进的代表。
2022-05-04 cs.AI cs.MM eess.AS
CLaMP: Contrastive Language-Music Pre-training for Cross-Modal Symbolic Music Information Retrieval
Central Conservatory of Music(中央音乐学院);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
CLaMP通过对比学习联合训练音乐与文本编码器,利用140万配对数据和掩码音乐建模,实现符号音乐的语义搜索与零样本分类,性能媲美需微调的先进模型。
2023-10-18 cs.IR cs.SD eess.AS
8+8=4: Formalizing Time Units to Handle Symbolic Music Durations
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);CNAM Paris(巴黎国立工艺学院);Nagoya University(名古屋大学);Asia University(亚细亚大学);Linz Institute of Technology(林茨技术研究所)
本文提出一种与乐谱图形符号直接相关的符号音乐时间单位,并在半环数学框架下形式化该单位及操作,以提升音乐计算机应用中处理流程的数据类型与计算效率。
2023-10-23 cs.SD eess.AS
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
研究针对符号音乐表示自监督方法探索不足的问题,提出MIDI-RAE-JEPA,结合音高和时间移位等方差目标、LeJEPA及Swin Transformer V2编码器学习分层表示,经实验验证该方法在多方面表现良好,为符号音乐表示提供了可行途径。
2026-07-17 cs.LG cs.SD eess.AS
Joint Audio and Symbolic Conditioning for Temporally Controlled Text-to-Music Generation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Meta, FAIR Team(Meta 公平团队)
本文提出 JASCO,一个基于 Flow Matching 的文本到音乐生成模型,通过信息瓶颈层与时间模糊处理联合融入符号条件和音频条件,在保持生成质量的同时实现更精细、更多样的时间可控音乐生成。
2024-06-16 cs.SD eess.AS
Symbolic Music Genre Transfer with CycleGAN
ETH Zürich(苏黎世联邦理工学院)
深度生成模型,如变分自编码器(VAE)和生成对抗网络(GANs),最近已被应用于图像的风格和域转移,在VAE的情况下,音乐。基于GAN的模型采用多个生成器和某种形式的周期一致性损失,是图像域传输中最成功的模型之一。在本文中,我们应用这样一个模型,象征性的音乐,并显示我们的方法的可行性,音乐体裁转移。使用单独的体裁分类器的评估表明,风格转移效果良好。为了提高转换后的音乐的保真度,我们添加了额外的鉴别器,使生成器保持原始音乐的结构基本不变,同时仍然实现了强大的流派转移。视觉和听觉结果进一步显示了我们方法的潜力。据我们所知,本文代表了GANs在符号音乐域转移中的首次应用。
2018-09-20 cs.LG cs.SD eess.AS
The Power of Fragmentation: A Hierarchical Transformer Model for Structural Segmentation in Symbolic Music Generation
IEEE Publication Technology Group(IEEE出版技术组)
符号音乐生成依赖于生成模型的上下文表示能力,其中最流行的方法是基于transformer的模型。音乐语境的学习也与音乐中的结构元素有关,即介绍,诗句和合唱,这些都是目前研究界所忽视的。在本文中,我们提出了一个层次化的Transformer模型来学习音乐中的多尺度上下文。在编码阶段,我们首先设计了一个Fragment Scope Localization层,将音乐切分成和弦和小节。然后,我们使用多尺度注意力机制来学习音符、和弦和小节级上下文。在解码阶段,我们提出了一个分层的Transformer模型,它使用细解码器来并行生成部分和粗解码器来解码组合的音乐。我们还设计了一个音乐风格规范化层,以在生成的部分之间实现一致的音乐风格。我们的模型在两个开放的数据集上进行了评估,实验表明,我们的模型优于当代最好的音乐生成模型。更令人兴奋的是,视觉评价表明,我们的模型是优越的旋律重用,从而产生更真实的音乐。
2022-07-10 cs.LG cs.SD eess.AS
SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出SYMPLEX,将概率空间上的单纯形扩散与词汇先验用于无序表示的4小节多乐器符号音乐生成,实现时间、音高填充及乐器选择等可控性,且无需任务适配或外部控制。
2024-05-21 cs.LG cs.SD eess.AS
Barwise Section Boundary Detection in Symbolic Music Using Convolutional Neural Networks
本文针对符号音乐乐段边界检测问题,构建了基于Lakh MIDI的人工标注数据集,并提出基于合成泛音编码和卷积神经网络的检测方法,F1达到0.77,显著优于音频方法。
2025-09-20 cs.LG cs.SD eess.AS
Discrete Diffusion Probabilistic Models for Symbolic Music Generation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Linz Institute of Technology(林茨技术研究所)
本研究首次将离散扩散概率模型(D3PM)应用于复调符号音乐生成,实现了最先进的样本质量与音符级灵活填充,支持事后分类器引导,并批判性指出了现有统计评估指标的缺陷。
2023-05-16 cs.AI cs.SD eess.AS
MusicAOG: an Energy-Based Model for Learning and Sampling a Hierarchical Representation of Symbolic Music
Central Conservatory of Music(中央音乐学院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Alibaba Group(阿里巴巴集团)
本文提出MusicAOG,一种基于层次化与或图和能量模型的符号音乐表示与生成方法,利用极小极大熵原则和Metropolis-Hastings采样实现细粒度控制,显著提升了可解释性与可控性。
2024-01-05 cs.MM cs.SD eess.AS
musif: a Python package for symbolic music feature extraction
musif是一个用于符号音乐特征提取的Python包,提供大量预定义特征和自定义特征创建功能,适用于MusicXML及其他音乐信息检索格式。
2023-07-03 cs.MM cs.SD eess.AS
Symbolic Music Representations for Classification Tasks: A Systematic Evaluation
Queen Mary University of London(伦敦大学玛丽女王学院);Johannes Kepler University(约翰开普勒大学)
本文系统性评估了符号音乐在分类任务中的矩阵、序列和图表示及其对应神经架构,引入了针对符号演奏的新型图表示,发现图表示在训练更轻量的同时展现出极具前景的性能。
2023-09-10 cs.MM cs.SD eess.AS
An Order-Complexity Model for Aesthetic Quality Assessment of Symbolic Homophony Music Scores
计算美学评价在视觉艺术领域已经取得了很大的成就,但在音乐领域的研究工作还有待探索。尽管现有的音乐生成工作量非常可观,但与人类作曲家创作的乐谱相比,AI生成的乐谱质量相对较差。人工智能创作的乐谱通常是单调的,缺乏情感。基于伯克霍夫的美学测度,提出了一种客观定量的评价方法,用于评价和声乐谱的美学质量。本文的主要贡献在于:一是提出了一个和声乐谱审美模型,作为客观评价乐谱质量的基线模型;二是提出了八个基本音乐特征和四个音乐审美特征。
2023-01-14 cs.CV cs.MM cs.SD