PiCoGen2: Piano cover generation with transfer learning approach and weakly aligned data
National Taiwan University（台湾大学）
本文提出 PiCoGen2，通过钢琴独奏预训练与弱对齐歌曲-钢琴数据微调，结合主旋律谱编码器迁移作曲知识，在五类流行音乐的主客观评测中优于基线。
2024-08-02 cs.SD eess.AS
PianoBind: A Multimodal Joint Embedding Model for Pop-piano Music
针对通用模型难捕捉同质性钢琴音乐细粒度语义、现有钢琴专用模型为单模态的问题，提出钢琴专用多模态联合嵌入模型PianoBind，优化后在文本到音乐检索任务上表现优于通用模型，设计思路可复用。
2025-09-04 cs.IR cs.MM cs.SD
A Framework for Automated Pop-song Melody Generation with Piano Accompaniment Arrangement
New York University Shanghai（上海纽约大学）；Fudan University（复旦大学）
我们贡献了一个流行歌曲自动化框架的主旋律生成和伴奏安排。该框架反映了人类音乐创作的主要程序，通过统一的策略生成主旋律和钢琴伴奏。具体来说，我们以和弦进行为输入，并提出了三种模型来生成一个结构化的旋律与钢琴伴奏纹理。首先，和声交替模型将原始输入和弦进行变换为经改变的和弦进行，以更好地适应指定的音乐风格。第二，旋律生成模型使用季节性ARMA（自回归移动平均）过程生成伴奏的主旋律和其他声音（旋律线）。第三，旋律整合模式将旋律线（人声）整合在一起作为最终的钢琴伴奏。我们使用主观听力测试评估所提出的框架。实验结果表明，生成的旋律评分明显高于双向LSTM生成的旋律，我们的伴奏编排结果与最先进的商业软件Band in a Box相当。
2018-12-28 cs.LG cs.SD stat.ML
Beat-Based Rhythm Quantization of MIDI Performances
Klangio GmbH（Klangio公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Institute of Industrial Information Technology（工业信息科技研究所）
本文提出一种融合节拍与强拍信息的Transformer节奏量化模型，通过统一token表示和优化架构，在钢琴与吉他演奏上超越现有最优方法。
2025-08-18 cs.CL cs.MM cs.SD
Etude: Piano Cover Generation with a Three-Stage Approach -- Extract, strucTUralize, and DEcode
Dept. of Information Management, National Taiwan University, Taipei, Taiwan（信息管理系，国立台湾大学，台北，台湾）；National Taiwan University, Taipei, Taiwan（国立台湾大学，台北，台湾）；Dept. of Information Management National Taiwan University Taipei, Taiwan（信息管理系，国立台湾大学，台北，台湾）
Etude提出一种三阶段方法，通过提取、结构化和解码生成结构一致的钢琴改编曲，实现高质量音乐生成。
2026-01-23 cs.LG cs.SD eess.AS
Exploring Classical Piano Performance Generation with Expressive Music Variational AutoEncoder
School of Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术学院，西安交通大学）；China Mobile Group Shaanxi Co., Ltd.（中国移动集团陕西有限公司）
本文提出表现力音乐变分自编码器XMVAE，通过VQ-VAE作曲家分支与普通VAE钢琴家分支联合生成古典钢琴演奏，在客观与主观评估中均优于现有模型。
2025-07-02 cs.AI cs.MM cs.SD
EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation
Academia Sinica（中央研究院）；National Taiwan University（台湾大学）；KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
虽然在文献中有许多带有情感标签的音乐数据集，但它们不能用于符号域音乐分析或生成的研究，因为通常只有音频文件。在本文中，我们提出了EMOPIA（发音为“yee-milling-pi-uh”）数据集，一个共享的多模态（音频和音频）数据库，专注于流行钢琴音乐中的感知情感，以促进与音乐情感相关的各种任务的研究。该数据集包含来自387首歌曲的1，087个音乐片段和由四个专用注释器注释的片段级情感标签。由于剪辑不限于每首歌曲一个剪辑，因此它们也可以用于歌曲级分析。我们提出了构建数据集的方法，包括歌曲列表管理，剪辑选择和情感注释过程。此外，我们原型的剪辑级音乐情感分类和基于情感的符号音乐生成的使用情况下，通过训练和评估相应的模型使用的数据集。结果表明，EMOPIA被用于未来的探索钢琴情绪相关的MIR任务的潜力。
2021-08-03 cs.MM cs.SD eess.AS
D3PIA: A Discrete Denoising Diffusion Model for Piano Accompaniment Generation From Lead sheet
Graduate School of Culture Technology, KAIST, Republic of Korea（文化科技研究生院，韩国科学技术院）
D3PIA通过离散扩散模型和邻域注意力机制，有效生成符合乐谱约束的钢琴伴奏，优于连续扩散和Transformer基线模型。
2026-02-03 cs.AI cs.MM cs.SD
PiCoGen: Generate Piano Covers with a Two-stage Approach
National Taiwan University（台湾大学）；KKCompany Technologies（KKCompany科技公司）
提出两阶段钢琴翻唱生成方法PiCoGen，通过转录旋律与和弦并以此为条件生成符号域钢琴翻唱，无需配对数据即可展现优异性能。
2024-07-30 cs.SD eess.AS
The Persian Piano Corpus: A Collection Of Instrument-Based Feature Extracted Data Considering Dastgah
Islamic Azad University Karaj Branch（伊斯兰阿扎德大学卡拉季分校）
为解决音乐研究中数据缺乏包容性的问题，本文构建了包含 2022 首乐曲及 Dastgah 标签的波斯钢琴语料库（PPC），并提取特征数据以支持波斯音乐的深入研究。
2023-11-18 cs.LG cs.MM cs.SD
Rubato: Transcribing Piano Music with Timestamps
Paul G. Allen School of Computer Science & Engineering, University of Washington（保罗·G·阿伦计算机科学与工程学院，华盛顿大学）；Allen Institute for AI（阿伦人工智能研究所）
提出一个名为Rubato的提示条件编码器-解码器模型，结合新的多声部音乐文本表示InterMo，实现从音频生成带时间戳的钢琴乐谱，在记谱准确性上优于现有级联方法。
2026-05-22 cs.CL cs.MM cs.SD
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription
Kyoto University（京都大学）
我们提出了一个自动钢琴转录系统，可以将复调录音转换为乐谱。这一直是音乐信息处理中的一个老大难问题，近年来的研究在多音高检测和节奏量化这两个主要组成技术上取得了显著的进展。鉴于这种情况，我们研究了一种集成基于深度神经网络的多音高检测和基于概率模型的节奏量化的方法。在第一部分中，我们进行了系统的评估，发现虽然本方法在音符水平上实现了高的转录准确度，但音乐的一些全局特征，如速度标度，节拍（时间标记）和小节线位置，经常被错误地估计。在第二部分中，我们制定了非本地统计的音高和节奏的内容，来自音乐知识，并研究他们的影响，推断这些全球性的特点。我们发现，这些统计数据是显着有效的提高转录结果，其最佳组合包括从分离的手部分获得的统计数据。在流行钢琴音乐的数据集上，该集成方法的总体转录出错率为7.1%，强拍F-测量为85.6%，并且所生成的转录可以部分地用于音乐表演和辅助人类转录者，从而展示了实际应用的潜力。
2021-04-03 cs.SD eess.AS
Mixing-Specific Data Augmentation Techniques for Improved Blind Violin/Piano Source Separation
National Cheng Kung University（国立成功大学）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
盲音乐源分离一直是音乐信息检索和信号处理领域的热门研究课题。为了解决缺乏可用的多音轨数据进行监督模型训练的问题，一种通过组合来自不同歌曲的音轨来创建人工混合的数据增强方法在最近的工作中已经被证明是有用的。根据这一点，我们在本文中进一步研究扩展的数据增强方法，考虑更复杂的混合设置在现代音乐制作程序，轨道之间的关系相结合，和沉默的因素。作为一个案例研究，我们认为分离的小提琴和钢琴曲目的小提琴钢琴合奏，评估性能方面的共同指标，即SDR，SIR和SAR。除了检查这些新的数据增强方法的有效性外，我们还研究了训练数据量的影响。我们的评估表明，提出的混合特定数据增强方法可以帮助提高基于深度学习的源分离模型的性能，特别是在训练数据较小的情况下。
2020-08-06 cs.LG cs.SD eess.AS
BEAT: Tokenizing and Generating Symbolic Music by Uniform Temporal Steps
South China University of Technology（南方科技大学）；National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；New York University（纽约大学）
提出一种以均匀节拍为基本单元的分词方法，将同一时间步内相同音高的所有事件编码为一个令牌，并在音乐续写和伴奏生成任务中验证其相比传统事件基方法能提升音乐质量和结构连贯性。
2026-06-01 cs.AI cs.SD
MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE
Taiwan AI Labs（台湾人工智能实验室）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
Transformers和变分自编码器（VAE）已被广泛用于符号（例如，域音乐生成。虽然前者在建模长序列方面拥有令人印象深刻的能力，但后者允许用户自愿地对不同部分进行控制（例如，小节）的音乐。在本文中，我们有兴趣将两者结合起来，构建一个单一的模型，表现出这两个优势。任务分为两个步骤。首先，我们为Transformer解码器配备了在序列生成期间接受段级时变条件的能力。随后，我们将开发和测试的注意力解码器与Transformer编码器相结合，并使用VAE目标训练产生的MuseMorphose模型，以实现长流行钢琴作品的风格转移，其中用户可以指定音乐属性，包括节奏强度和复调（即，他们所渴望的，是一种境界，一种境界，一种境界。实验表明，MuseMorphose在风格转换任务的许多广泛使用的指标上优于基于递归神经网络（RNN）的基线。
2022-12-19 cs.LG cs.MM cs.SD
An End-to-End Neural Network for Polyphonic Piano Music Transcription
Queen Mary University of London（伦敦玛丽女王大学）
提出了一种有监督的神经网络模型用于钢琴复调音乐的改编。所提出的模型的架构是类似于语音识别系统，包括一个声学模型和一个音乐语言模型。声学模型是用于估计音频帧中音高的概率的神经网络。语言模型是一个循环神经网络，它对音高组合之间随时间的相关性进行建模。所提出的模型是通用的，可以用来转录复调音乐，而不施加任何限制的复调。声学和语言模型预测使用概率图形模型相结合。使用波束搜索算法对输出变量进行推断。我们进行了两组实验。我们研究了各种神经网络架构的声学模型，并研究了结合声学和音乐语言模型预测使用所提出的架构的效果。我们比较性能的神经网络为基础的声学模型与两个流行的无监督声学模型。结果表明，卷积神经网络声学模型在所有评估指标中产生最佳性能。我们还观察到改进的性能与应用的音乐语言模型。最后，我们提出了一个有效的波束搜索的变体，提高了性能，减少了一个数量级的运行时间，使模型适合实时应用。
2016-02-11 cs.LG cs.SD stat.ML
InverseMV: Composing Piano Scores with a Convolutional Video-Music Transformer
National Chengchi University（国立政治大学）
许多社交媒体用户更喜欢以视频而不是文本的形式消费内容。然而，为了让内容创作者制作具有高点击率的视频，需要进行大量编辑以使镜头与音乐相匹配。这给更多的业余视频制作者带来了额外的挑战。因此，我们提出了一种新的基于注意力的模型VMT（视频音乐Transformer），自动生成钢琴乐谱从视频帧。使用模型生成的音乐还可以防止使用现有音乐时经常出现的潜在版权侵权。据我们所知，除了拟议的VMT之外，没有其他工作旨在为视频创作音乐。此外，缺乏具有对齐的视频和符号音乐的数据集。我们发布了一个新的数据集，由超过7个小时的钢琴乐谱组成，流行音乐视频和MIDI文件之间具有良好的对齐。我们对VMT，SeqSeq模型（我们的基线）和原始钢琴版本配乐进行了人类评估实验。VMT在音乐流畅度和视频相关性方面取得了持续的改进。特别是，通过相关性分数和我们的案例研究，我们的模型显示了音乐生成的帧级演员运动的多模态能力。我们的VMT模型，以及新的数据集，提出了一个很有前途的研究方向，为视频组成匹配的配乐。我们已经在https://github.com/linchintung/VMT上发布了我们的代码
2021-12-31 cs.CV cs.LG cs.MM
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University（纽约大学）；University of Florida（佛罗里达大学）；Carnegie Mellon University（卡内基梅隆大学）
编曲生成是自动音乐生成的一个子任务，它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式，但它们缺乏更精确的数据，无法实现更好的评估和更实际的结果。在本文中，我们提出了POP909，一个数据集，其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏，这些都是与原始音频文件对齐的。此外，我们还提供了速度，节拍，基调和和弦的注释，其中速度曲线是手工标记的，其他的是通过MIR算法完成的。最后，我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
Research on Piano Timbre Transformation System Based on Diffusion Model
Yuan Ze University（元智大学）；National Central University（中央大学）
本文提出基于扩散模型的钢琴音色转换系统，通过提取音高和响度特征实现高质量音乐转换，适用于多种音乐风格和场景，未来将拓展至更多音色转换任务。
2026-01-14 cs.MM cs.SD
SDMuse: Stochastic Differential Music Editing and Generation via Hybrid Representation
Zhejiang University（浙江大学）；Sea AI Lab（Sea人工智能实验室）
虽然深度生成模型已经赋予了音乐生成能力，但以细粒度编辑现有音乐作品仍然是一个具有挑战性且未充分探索的问题。在本文中，我们提出了SDMuse，一个统一的随机差分音乐编辑和生成框架，它不仅可以从头开始组成一个完整的音乐作品，但也可以修改现有的音乐作品在许多方面，如组合，延续，修补，和风格转移。拟议的SDM使用遵循两个阶段的管道，以实现音乐生成和编辑的混合表示，包括钢琴和MIDI事件的顶部。特别地，SDMuse首先通过基于扩散模型生成先验的随机微分方程（Stochastic Differential Equation，简称SDMS）迭代地去噪来生成/编辑pianoroll，然后细化所生成的pianoroll并自动回归地预测MIDI事件标记。我们评估我们的方法在ailabs 1 k7流行音乐数据集上生成的音乐在各种音乐编辑和生成任务的质量和可控性。实验结果表明，我们提出的随机差分音乐编辑和生成过程，以及混合表示的有效性。
2022-11-02 cs.MM cs.SD eess.AS
Mamba-Diffusion Model with Learnable Wavelet for Controllable Symbolic Music Generation
Centre for Digital Music Queen Mary University of London（数字音乐中心 威廉玛丽大学伦敦分校）
本文提出一种融合Transformer-Mamba模块与可学习小波变换的扩散模型，将符号音乐表示为钢琴卷帘图像，并通过无分类器引导实现目标和弦可控的符号音乐生成，在质量和可控性上优于强基线。
2025-05-06 cs.AI cs.SD eess.AS
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Relationships between Keywords and Strong Beats in Lyrical Music
School of Computing（计算学院）；George Mason University（乔治·梅森大学）
本研究通过分析歌词中关键词与强拍的对齐关系，发现关键词与强拍高度匹配，并开发了LRM指标和文件格式，为AI歌曲生成提供结构分析支持。
2024-12-05 cs.AI cs.SD eess.AS
Audeo: Audio Generation for a Silent Performance Video
University of Washington（华盛顿大学）
我们提出了一个新的系统，作为一个音乐家弹钢琴的输入视频帧，并生成该视频的音乐。从视觉线索生成音乐是一个具有挑战性的问题，目前还不清楚这是否是一个可以实现的目标。我们在这项工作中的主要目的是探索这种转变的可解释性，并确定能够进行声音与视觉事件的关联的线索和组件。为了实现转换，我们构建了一个名为“\textit{Audeo}”的完整管道，其中包含三个组件。我们首先将键盘和音乐家手部动作的视频帧翻译成原始的机械音乐符号表示Piano-Roll（Roll），用于表示在每个时间步按下的键的每个视频帧。然后，我们调整滚动，以适应音频合成，包括时间相关性。这一步对于有意义的音频生成至关重要。作为最后一步，我们实现MIDI合成器来生成逼真的音乐。\textit{Audeo}可将视频平滑清晰地转换为音频，仅需几个设置限制。我们评估\textit{Audeo}上“在野外”钢琴演奏视频，并获得他们所产生的音乐是合理的音频质量，可以成功地识别流行的音乐识别软件的高精度。
2020-06-23 cs.CV cs.LG cs.MM
MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies
LAION；University of California San Diego（加州大学圣迭戈分校）；Mila, Quebec Artificial Intelligence Institute（Mila魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Surrey（萨里大学）
本文提出MusicLDM模型，通过适配Stable Diffusion和AudioLDM架构并采用节拍同步混音策略进行数据增强，有效提升了文本到音乐生成的质量、新颖性及文本匹配度。
2023-08-03 cs.AI cs.LG cs.MM
Generating Coherent Drum Accompaniment With Fills And Improvisations
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Stanford University（斯坦福大学）
创作像音乐这样复杂的艺术作品需要深刻的创造力。随着深度学习和变形金刚等强大模型的最新进展，自动音乐生成取得了巨大进展。在伴奏生成上下文中，即使对于有经验的鼓手来说，在歌曲中的适当位置处创建具有适当填充和即兴的连贯鼓模式也是一项具有挑战性的任务。鼓点往往遵循一个重复的模式，通过节与填充或即兴在部分边界。在这项工作中，我们解决的任务，鼓模式生成条件的伴奏音乐由四个旋律乐器：钢琴，吉他，低音提琴，弦乐。我们使用Transformer序列到序列模型来生成以旋律伴奏为条件的基本鼓模式，以发现即兴演奏在很大程度上是不存在的，这可能归因于其在训练数据中的相对较低的表示。我们提出了一个新颖的函数来捕捉酒吧相对于邻近酒吧的即兴创作程度。我们训练一个模型来从旋律伴奏音轨中预测即兴演奏的位置。最后，我们使用一种新颖的BERT启发的填充架构，学习鼓和旋律的结构，以填充即兴音乐的元素。
2022-09-01 cs.LG cs.MM cs.SD
MulTTiPop: A Multitrack Transcription Dataset for Pop Music
Carnegie Mellon University（卡内基梅隆大学）
介绍用于评估自动音乐转录模型的MulTTiPop数据集，通过对Lakh MIDI和TheoryTab数据集歌曲片段基于元数据匹配等方式收集，评估模型发现有改进空间，最佳模型起始F1得分为38%。
2026-08-21 cs.LG cs.SD
JSIR: An Audio-Aligned, Multi-Task Dataset of Jazz Standard Recordings
Sogang University（西江大学）
本文提出JSIR多任务数据集，含25.6小时爵士标准曲录音，经多轮修订提供三类标注，训练模型提升了节拍跟踪与和弦估计性能，公开标注及相关工具。
2026-10-14 cs.DL cs.LG cs.MM
Multi-Track MusicLDM: Towards Versatile Music Generation with Latent Diffusion Model
UC San Diego（加州大学圣迭戈分校）；Bose Corp.（博士公司）；Institute for Research and Coordination in Acoustics and Music (IRCAM)（声学与音乐研究协调研究所（IRCAM））
本文将 MusicLDM 潜在扩散模型扩展为多轨生成模型，通过学习轨道间联合概率实现多轨音乐生成与编配生成，并在客观指标上显著优于现有多轨生成模型。
2024-10-23 cs.MM cs.SD eess.AS
AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer
NYU Shanghai（纽约大学上海校区）
伴奏编曲是一项困难的音乐生成任务，涉及旋律、和声、织体和音乐结构的交织约束。现有的模型还不能有效地捕捉所有这些限制，特别是对于长期的音乐生成。为了解决这个问题，我们提出了AccoMontage，一个通过统一的乐句选择和神经风格转移的整首音乐的伴奏安排系统。我们专注于基于一个铅表（即，旋律与和弦进行）。具体来说，AccoMontage首先从数据库中检索短语蒙太奇，同时使用动态规划在结构上重新组合它们。其次，检索到的短语的和弦被操纵，以匹配铅表通过风格转移。最后，系统提供对生成过程的控制。与纯粹的基于学习的方法相比，AccoMontage引入了一种新的混合途径，其中基于规则的优化和深度学习都可以相互补充，以实现高质量的生成。实验表明，我们的模型生成结构良好的伴奏与细腻的纹理，显着优于基线。
2021-08-25 cs.IR cs.MM cs.SD
Theme Transformer: Symbolic Music Generation with Theme-Conditioned Transformer
基于注意力的Transformer模型已经越来越多地用于自动音乐生成。为了用用户指定的序列来调节这种模型的生成过程，流行的方法是将该调节序列作为启动序列，并要求Transformer解码器生成延续。然而，这种基于提示的条件反射无法保证条件反射序列会发展，甚至只是在生成的延续中重复。在本文中，我们提出了一种替代的条件反射方法，称为基于主题的条件反射，明确训练的Transformer处理的条件反射序列作为一个主题的材料，必须表现出自己多次在其生成结果。这是通过两个主要的技术贡献实现的。首先，我们提出了一种基于深度学习的方法，该方法使用对比表示学习和聚类来自动从训练数据中的音乐片段中检索主题材料。其次，我们提出了一种新的门控并行注意模块中使用的序列到序列（seq 2seq）的编码器/解码器架构，以更有效地考虑到一个给定的空调专题材料的生成过程中的Transformer解码器。我们报告的客观和主观评价的变体的建议的主题Transformer和传统的基于bundle的基线，表明我们最好的模型可以产生，在一定程度上，复调流行钢琴音乐的重复和合理的变化的一个给定的条件。
2022-03-21 cs.MM cs.SD eess.AS
Learning Hierarchical Metrical Structure Beyond Measures
NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；QMUL（伦敦玛丽女王大学）
音乐包含着超越节拍和小节的层次结构。虽然层次结构注释有助于音乐信息检索和计算机音乐学，但在当前的数字音乐数据库中，这样的注释是稀缺的。在本文中，我们探索了一种数据驱动的方法来自动提取层次度量结构的成绩。我们提出了一个新的模型与时间卷积网络条件随机场（TCN-CRF）架构。给定一个象征性的乐谱，我们的模型需要在一个节拍量化的形式，在任意数量的声音，并预测一个4级的层次结构的韵律从downbeat级到节级。我们还使用RWC-POP MIDI文件注释数据集，以方便训练和评估。我们通过实验表明，所提出的方法比基于规则的方法在不同的编排设置下表现更好。我们还对模型预测进行了一些简单的音乐学分析。所有演示、数据集和预训练模型都可以在Github上公开获得。
2022-09-21 cs.LG cs.SD eess.AS
Score Transformer: Generating Musical Score from Note-level Representation
Yamaha Corporation（雅马哈公司）
在本文中，我们探讨了标记表示的乐谱使用Transformer模型自动生成乐谱。到目前为止，序列模型已经取得了丰硕的成果与音符级（MIDI等效）的音乐符号表示。尽管音符级表示可以包含足够的信息来从听觉上再现音乐，但它们无法包含足够的信息来从符号方面视觉地表示音乐。乐谱包含各种音乐符号（例如，谱号、密钥签名和注释）和属性（例如，主干方向、波束和结），其使得我们能够视觉地理解音乐内容。然而，这些要素的自动估计尚未得到全面解决。在本文中，我们首先设计了与各种音乐元素相对应的分数标记表示。然后，我们训练Transformer模型将音符级表示转录为适当的乐谱。流行的钢琴乐谱的评价表明，所提出的方法显着优于现有的方法上的所有12个音乐方面进行了调查。我们还探索了一个有效的符号级令牌表示与模型一起工作，并确定我们提出的表示产生最好的结果。
2021-12-01 cs.LG cs.MM cs.SD
Timing and Dynamics of the Rosanna Shuffle
Tampere University（坦佩雷大学）；University of Turku（图尔库大学）
本文分析了Toto乐队《Rosanna》原版鼓轨Rosanna shuffle的时序与动态，发现其具有显著摇摆、速度漂移、微时序长程相关性及独特的两小节重复模式，揭示了其丰富的节奏特征。
2024-11-12 cs.SD physics.comp-ph physics.pop-ph
BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on Pop and Classical Music
University of California San Diego, USA（加州大学圣地亚哥分校）
BACHI通过掩码迭代解码实现流行与古典音乐的边界感知符号和弦识别，引入增强数据集并提出分解任务的模型，提升识别性能。
2026-02-05 cs.LG cs.SD eess.AS
Come Together: Analyzing Popular Songs Through Statistical Embeddings
Harvard University（哈佛大学）；Dalhousie University（达尔豪斯大学）
本文利用逻辑主成分分析构建歌曲嵌入，分析列侬和麦卡特尼1962-1966年歌曲的结构和风格演变，探讨歌曲嵌入如何按专辑聚类及创作风格的收敛或发散。
2026-04-24 cs.SD stat.AP
Deep Learning Techniques for Music Generation -- A Survey
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Universidade Federal do Estado do Rio de Janeiro（里约热内卢州联邦大学）；Pontifícia Universidade Católica do Rio de Janeiro（里约热内卢天主教大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）；Spotify Creator Technology Research Lab（Spotify创作者技术研究实验室）
本文是对使用深度学习（深度人工神经网络）生成音乐内容的不同方法的调查和分析。我们提出了一种方法，基于五个维度为我们的分析：目标-什么音乐内容是要生成的？例如：旋律，复调，伴奏或对位。- 目的地和用途是什么？由人（在乐谱的情况下）或由机器（在音频文件的情况下）执行。代表性-什么是要操纵的概念？例如：波形、声谱图、音符、和弦、节拍和节拍。- 使用什么格式？例如：钢琴曲、钢琴卷或文本。- 如何对表示进行编码？例如：标量、one-hot或many-hot。架构-使用什么类型的深度神经网络？例如：前馈网络、递归网络、自动编码器或生成对抗网络。挑战-有哪些限制和开放的挑战？例如：可变性、互动性和创造性。战略-我们如何建模和控制生成过程？例如：单步前馈、迭代前馈、采样或输入操作。对于每个维度，我们进行了各种模型和技术的比较分析，我们提出了一些尝试性的多维类型。这种类型学是自下而上的，基于对从相关文献中选择的用于音乐生成的许多现有的基于深度学习的系统的分析。这些系统的描述，并用于解释各种选择的目标，代表性，架构，挑战和战略。最后一部分是讨论和展望。
2019-08-07 cs.LG cs.SD
