YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation
Queen Mary（伦敦玛丽女王大学）；AI Industrial Convergence Cluster（人工智能产业融合集群）
本文提出YourMT3+多乐器音乐转录模型，通过分层注意力Transformer、专家混合编码器及跨数据集声部增强方法，在不完整标注下实现直接声乐转录，并在多个公共数据集上取得优于或媲美现有模型的性能。
2024-08-01 cs.LG cs.SD eess.AS
A Bi-directional Transformer for Musical Chord Recognition
Seoul National University（首尔大学）
由于和弦是音乐的高度抽象和描述性特征，因此和弦识别是一项重要的任务。为了有效地识别和弦，必须利用音频序列中的相关上下文。虽然各种机器学习模型，如卷积神经网络（CNN）和递归神经网络（RNN）已被用于该任务，但它们中的大多数在捕获长期依赖性方面具有局限性，或者需要训练额外的模型。在这项工作中，我们利用自我注意力机制的和弦识别，专注于某些地区的和弦。所提出的用于和弦识别（BTC）的双向Transformer的训练由单个阶段组成，同时显示出竞争性性能。通过注意力地图分析，我们已经可视化了注意力是如何被执行的。结果表明，该模型能够利用注意力机制的自适应感受野来划分和弦段。此外，据观察，该模型能够有效地捕捉长期依赖性，利用基本信息，而不管距离远近。
2019-07-05 cs.LG cs.SD eess.AS
LakhNES: Improving multi-instrumental music generation with cross-domain pre-training
UC San Diego（加州大学圣地亚哥分校）
我们对生成多乐器乐谱的任务感兴趣。Transformer架构最近在钢琴乐谱生成任务中表现出了很大的潜力;在这里，我们将其调整为多乐器设置。Transformers是一种复杂的、高维的语言模型，它能够捕获序列数据中的长期结构，但需要大量的数据来拟合。他们在钢琴乐谱生成上的成功部分地解释了大量的符号数据。我们利用最近推出的NES-MDB数据集的四个乐器的分数从早期的视频游戏声音合成芯片（NES），我们发现这是非常适合训练与Transformer架构。为了进一步提高模型的性能，我们提出了一种预训练技术，以利用大量异构音乐（即Lakh音乐数据集）中的信息。尽管这两个语料库之间的差异，我们发现，这种迁移学习程序提高了我们的主要任务的定量和定性性能。
2019-07-10 cs.LG cs.MM cs.SD
Emotion-Guided Image to Music Generation
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Samsung R&D Institute Noida（三星诺伊达研发中心）；Chubu University（中部大学）
针对图像到音乐生成的情感匹配需求，提出基于VA情感空间、整合VA损失函数的CNN-Transformer框架，在自建情感配对数据集上多项指标优于现有模型。
2024-10-29 cs.CV cs.LG cs.SD
Music theme recognition using CNN and self-attention
我们提出了一个有效的架构来检测的MTG-Jamendo数据集的autotagging-moodtheme子集的音乐曲目的情绪/主题。我们的方法包括两个模块，一个是基于MobileNetV 2架构的CNN模块，另一个是来自Transformer架构的自注意模块，用于捕获长期的时间特性。我们表明，我们提出的模型产生了显着的改进，基线模型。我们的模型（团队名称：AMLAG）在MediaEval 2019的PR-AUC-macro排行榜上获得第四名：使用Jamendo进行音乐情感和主题识别。
2019-11-16 cs.LG cs.SD eess.AS
UniMuMo: Unified Text, Music and Motion Generation
The Chinese University of Hong Kong（香港中文大学）；University of Washington（华盛顿大学）；The University of British Columbia（不列颠哥伦比亚大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Cisco Research（思科研究部门）
针对跨文本、音乐、动作三模态生成缺乏时间同步数据的问题，研究提出统一多模态模型UniMuMo，通过节奏对齐未配对数据、音乐码本编码动作等架构改进，微调单模态预训练模型实现多任务生成，在各基准上取得有竞争力的结果。
2024-10-06 cs.CV cs.GR cs.LG
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
针对自动音乐转录模型训练计算成本高的问题，提出用软件合成器生成的合成音频训练通用模型，为迁移学习适配多乐器打基础，验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Transformers Meet ACT-R: Repeat-Aware and Sequential Listening Session Recommendation
Deezer Research（Deezer研究院）
本文提出PISA，一种基于Transformer与ACT-R认知架构的会话级序列推荐系统，通过捕捉用户行为的动态与重复模式，有效预测后续收听歌曲，并在公开与专有数据上验证了重复建模的关键作用。
2024-08-29 cs.IR cs.LG
Multi-Genre Music Transformer -- Composing Full Length Musical Piece
Purdue University（普渡大学）
在生成音乐的任务中，艺术因素起着很大的作用，对AI来说是一个巨大的挑战。以前的工作涉及对抗性训练，以产生新的音乐作品，并对音乐中的各种兼容性（节拍，节奏，音乐干）进行建模，展示了学习这项任务的很好的例子。尽管这仅限于生成mashup或从节奏和键分布中学习特征以生成类似的模式。复合词Transformer能够将音乐生成任务表示为涉及由复合词定义的音乐事件的序列生成挑战。这些音乐事件对音符的进展、和弦的变化、和声和艺术因素给予了更准确的描述。该项目的目标是实现一个多流派的Transformer，它通过更适应的学习过程来学习制作音乐作品，包括更具有挑战性的任务，其中还考虑了作曲的流派或形式。我们建立了一个多体裁的复合词数据集，实现了一个线性Transformer，它是在这个数据集上训练的。我们称之为多流派Transformer，它能够产生全长新的音乐作品，这是多样化的，可与原始轨道。该模型的训练速度比其他模型快2-5倍。
2023-01-06 cs.LG cs.SD eess.AS
Encoding Musical Style with Transformer Autoencoders
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
我们考虑的问题，学习高层次的控制生成的序列的全局结构，特别是在符号音乐生成与复杂的语言模型的背景下。在这项工作中，我们提出了Transformer自动编码器，它聚合了跨时间的输入数据的编码，以获得一个全局表示的风格从一个给定的性能。我们表明，它是可能的，以结合其他时间分布的嵌入这种全球性的表示，使改进的控制性能风格和旋律的单独方面。从经验上讲，我们证明了我们的方法在MAESTRO数据集和YouTube数据集上的各种音乐生成任务上的有效性，该数据集具有10，000多小时的钢琴演奏，与基线相比，我们在对数似然和平均听力分数方面取得了改进。
2020-06-30 cs.LG cs.SD eess.AS
Building Blocks for a Complex-Valued Transformer Architecture
CiM IMPRS Graduate School Münster（明斯特国际马克斯·普朗克研究生院（CiM IMPRS））
针对复值信号处理需求，研究提出复值Transformer的构建模块，包含复值缩放点积注意力与层归一化，在MusicNet数据集上实现了与实值架构性能相当且抗过拟合鲁棒性提升的效果。
2023-06-16 cs.CV cs.LG cs.NE
Do we need more complex representations for structure? A comparison of note duration representation for Music Transformers
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Pontifical Catholic University of Minas Gerais（米纳斯吉拉斯天主教大学）
本研究探讨了仅使用未标注MIDI信息的现成Music Transformer模型在结构相似性指标上的表现，发现对常见表示的轻微调整能带来微小但显著的改进，并指出寻找更好的未标注音乐表示比生成大量标注数据更具成本效益。
2024-10-14 cs.LG cs.SD eess.AS
Score Transformer: Generating Musical Score from Note-level Representation
Yamaha Corporation（雅马哈公司）
在本文中，我们探讨了标记表示的乐谱使用Transformer模型自动生成乐谱。到目前为止，序列模型已经取得了丰硕的成果与音符级（MIDI等效）的音乐符号表示。尽管音符级表示可以包含足够的信息来从听觉上再现音乐，但它们无法包含足够的信息来从符号方面视觉地表示音乐。乐谱包含各种音乐符号（例如，谱号、密钥签名和注释）和属性（例如，主干方向、波束和结），其使得我们能够视觉地理解音乐内容。然而，这些要素的自动估计尚未得到全面解决。在本文中，我们首先设计了与各种音乐元素相对应的分数标记表示。然后，我们训练Transformer模型将音符级表示转录为适当的乐谱。流行的钢琴乐谱的评价表明，所提出的方法显着优于现有的方法上的所有12个音乐方面进行了调查。我们还探索了一个有效的符号级令牌表示与模型一起工作，并确定我们提出的表示产生最好的结果。
2021-12-01 cs.LG cs.MM cs.SD
An adaptive music generation architecture for games based on the deep learning Transformer mode
PUC-Rio（里约热内卢天主教大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出了一种基于Transformer深度学习模型的视频游戏音乐生成架构。我们的动机是能够根据玩家的口味定制生成，玩家可以选择与他喜欢的音乐风格相对应的训练样本语料库。该系统生成各种音乐层，遵循当前设计视频游戏音乐的作曲家使用的标准分层策略。为了使生成的音乐适应游戏和玩家的情况，我们使用情绪的唤醒-效价模型，以控制音乐层的选择。我们讨论了当前的局限性和未来的前景，如音乐组件的协作和交互式控制。
2022-09-10 cs.LG cs.MM cs.SD
Musical Speech: A Transformer-based Composition Tool
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；IICSI；Memorial University of Newfoundland（纽芬兰纪念大学）
在本文中，我们提出了一个新的作曲工具，将产生一个音乐大纲的语音记录/用户提供的音乐积木在他们的作品。该工具允许任何用户使用自己的语音来生成音乐素材，同时仍然能够听到他们录制的语音和所产生的音乐之间的直接联系。该工具是建立在我们提出的管道。该管道从基于语音的信号处理开始，之后应用一些简单的音乐技巧，最后这些预处理的信号通过在新音乐任务上训练的Transformer模型。我们通过音乐家使用我们的工具创作的音乐示例来说明我们的管道的有效性-它不需要配对的数据集进行训练。
2021-08-02 cs.CV cs.LG cs.SD
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器，通过自回归方式解码复合令牌，提升符号音乐和音频生成的性能，降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Exploring Transformer-Based Music Overpainting for Jazz Piano Variations
Queen Mary University of London（伦敦玛丽女王大学）
针对爵士钢琴变奏的音乐覆画任务，本文构建含4,352个训练对的VAR4000数据集，并评估两种Transformer配置，证明更大规模数据集可改善泛化与性能。
2024-12-05 cs.LG cs.SD eess.AS
Anticipatory Music Transformer
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
提出 anticipation 方法构建时间点过程可控生成模型，通过交错事件与控制序列实现符号音乐的 infilling 控制任务，在 Lakh MIDI 上训练的模型匹配自回归性能且伴奏音乐性媲美人类。
2024-07-25 cs.LG cs.SD eess.AS
SpecTNT: a Time-Frequency Transformer for Music Audio
ByteDance（字节跳动）；Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）
Transformers在自然语言处理和计算机视觉中表现出了卓越的性能，在MIR领域引起了人们的关注。然而，音频处理领域的现有工作大多使用Transformer作为时间特征聚合器，其作用类似于RNN。在本文中，我们提出了SpecTNT，一个基于变换器的架构来模拟输入时频表示的频谱和时间序列。具体来说，我们介绍了一种新的变形的Transformer-in-Transformer（TNT）架构。在每个SpecTNT块中，频谱Transformer将频率相关特征提取到每个帧的频率类令牌（FCT）中。随后，将FCT线性投影并添加到时间嵌入（TE）中，从而聚合来自FCT的有用信息。然后，时间Transformer处理TE以跨时间轴交换信息。通过堆叠SpecTNT块，我们构建SpecTNT模型来学习音乐信号的表示。在实验中，SpecTNT在音乐标记和声乐旋律提取方面表现出最先进的性能，并在和弦识别方面表现出竞争力。通过消融研究进一步检查SpecTNT和其他设计选择的有效性。
2021-10-18 cs.LG cs.SD eess.AS
Track Mix Generation on Music Streaming Services using Transformers
Deezer（Deezer（迪泽））
本文介绍了Deezer的Track Mix系统，该系统利用在数百万用户播放列表序列上训练的Transformer模型自动生成个性化混搭播放列表，并分析了相比协同过滤方法的优劣，已服务于每日数百万用户。
2023-07-06 cs.IR cs.LG cs.SD
Generating music with sentiment using Transformer-GANs
State University of Campinas（坎皮纳斯州立大学）
由于深度学习的出现，自动音乐生成领域取得了重大进展。然而，大多数这些结果都是由无条件模型产生的，这些模型缺乏与用户交互的能力，不允许他们以有意义和实用的方式指导生成过程。此外，合成在较长时间尺度上保持连贯的音乐，同时仍然捕捉使其听起来“现实”或“像人”的地方方面仍然具有挑战性。这是由于需要处理长数据序列的大计算需求，以及经常采用的训练方案所施加的限制。在本文中，我们提出了一个生成模型的符号音乐条件下检索到的数据从人类的感情。该模型是一个Transformer-GAN，使用标签进行训练，这些标签对应于定量表示人类情感状态的效价和唤醒维度的不同配置。我们试图通过采用有效的线性版本的注意力和使用鉴别器来解决上述两个问题，这两个工具都可以提高生成的音乐的整体质量及其跟随条件反射信号的能力。
2022-12-21 cs.LG cs.SD eess.AS
MusRec: Zero-Shot Text-to-Music Editing via Rectified Flow and Diffusion Transformers
针对现有音乐编辑模型缺乏真正零样本能力的问题，本文提出基于整流流与扩散Transformer的零样本文本到音乐编辑模型MusRec，可高效完成真实音乐编辑任务，性能优于现有方法。
2025-11-18 cs.AI cs.LG cs.MM
MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE
Taiwan AI Labs（台湾人工智能实验室）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
Transformers和变分自编码器（VAE）已被广泛用于符号（例如，域音乐生成。虽然前者在建模长序列方面拥有令人印象深刻的能力，但后者允许用户自愿地对不同部分进行控制（例如，小节）的音乐。在本文中，我们有兴趣将两者结合起来，构建一个单一的模型，表现出这两个优势。任务分为两个步骤。首先，我们为Transformer解码器配备了在序列生成期间接受段级时变条件的能力。随后，我们将开发和测试的注意力解码器与Transformer编码器相结合，并使用VAE目标训练产生的MuseMorphose模型，以实现长流行钢琴作品的风格转移，其中用户可以指定音乐属性，包括节奏强度和复调（即，他们所渴望的，是一种境界，一种境界，一种境界。实验表明，MuseMorphose在风格转换任务的许多广泛使用的指标上优于基于递归神经网络（RNN）的基线。
2022-12-19 cs.LG cs.MM cs.SD
Multitrack Music Transformer
University of California San Diego（加州大学圣迭戈分校）
本文提出多轨音乐Transformer（MMT），通过新的音乐表示缩短序列长度，在保持可比性能的同时显著提升生成速度并降低内存需求，适用于实时音乐创作。
2023-05-24 cs.AI cs.LG cs.MM
Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation
Nanjing University（南京大学）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
符号音乐生成的目标是自动生成乐谱。最近的趋势是在音乐生成中使用Transformer或其变体，然而，这是次优的，因为完全注意力不能有效地对通常较长的音乐序列（例如，超过10，000个标记），并且现有的模型在生成音乐重复结构方面具有缺点。在本文中，我们提出了Museformer，一个Transformer与一个新的细粒度和粗粒度的注意音乐生成。具体地，利用细粒度注意力，特定小节的记号直接注意与音乐结构最相关的小节的所有记号（例如，先前的第1、第2、第4和第8条，通过相似性统计选择）;在粗粒度注意力的情况下，标记仅关注其他条的汇总，而不是它们中的每个标记，以便降低计算成本。好处有两方面。首先，它可以通过细粒度的注意力捕获音乐结构相关的相关性，并通过粗粒度的注意力捕获其他上下文信息。第二，它是高效的，可以模拟超过3倍长的音乐序列相比，它的全注意力对应。主观和客观的实验结果表明，该方法能够生成高质量、结构更好的长音乐序列。
2022-10-31 cs.AI cs.CL cs.LG
Harmonic Representations in Symbolic Music Transformers are Localized and Controllable
本研究以基于LLaMA的符号音乐Transformer Aria为对象，发现其谐波表示从中间层逐步局部化，可通过潜在方向操纵实现音乐生成的谐波控制，验证了模型内部谐波知识可用于控制输出。
2026-10-14 cs.LG cs.SD
Emergent musical properties of a transformer under contrastive self-supervised learning
本文挑战了对比自监督学习在MIR局部任务上表现不足的假设，通过NT-Xent训练ViT-1D模型，发现其序列标记能涌现出丰富的音乐特性，在局部和全局任务中均表现优异，推进了对Transformer的音乐解释。
2025-06-30 cs.IR cs.LG cs.SD
MuSLCAT: Multi-Scale Multi-Level Convolutional Attention Transformer for Discriminative Music Modeling on Raw Waveforms
University of San Francisco（旧金山大学）
在这项工作中，我们的目标是通过在一个有效的端到端架构中建模顺序（时间）和层次信息来提高基于波形的歧视性音乐网络的表达能力。我们提出了MuSLCAT，或多尺度和多级卷积注意力Transformer，一种新的架构，用于直接从原始波形记录中学习复杂音乐标签的鲁棒表示。我们还介绍了MuSLCAT的一个轻量级变体MuSLCAN，即Multi-scale and Multi-level Convolutional Attention Network的缩写。MuSLCAT和MuSLCAN都通过集成前端-后端架构从多个尺度和级别建模功能。前端针对不同的频率范围，同时通过使用两个具有注意力增强卷积（AAC）块的卷积注意力网络来建模远程依赖性和多级交互。后端动态地重新校准多尺度和水平的功能，从前端提取的结合自我注意。MuSLCAT和MuSLCAN之间的区别在于它们的后端组件。MuSLCAT的后端是BERT的修改版本。而MuSLCAN是一个简单的AAC块。我们验证了建议MuSLCAT和MuSLCAN架构进行比较，以最先进的网络上的四个基准数据集的音乐标记和流派识别。我们的实验表明，MuSLCAT和MuSLCAN始终产生竞争力的结果相比，国家的最先进的波形为基础的模型，但需要少得多的参数。
2021-04-06 cs.LG cs.SD eess.AS
InverseMV: Composing Piano Scores with a Convolutional Video-Music Transformer
National Chengchi University（国立政治大学）
许多社交媒体用户更喜欢以视频而不是文本的形式消费内容。然而，为了让内容创作者制作具有高点击率的视频，需要进行大量编辑以使镜头与音乐相匹配。这给更多的业余视频制作者带来了额外的挑战。因此，我们提出了一种新的基于注意力的模型VMT（视频音乐Transformer），自动生成钢琴乐谱从视频帧。使用模型生成的音乐还可以防止使用现有音乐时经常出现的潜在版权侵权。据我们所知，除了拟议的VMT之外，没有其他工作旨在为视频创作音乐。此外，缺乏具有对齐的视频和符号音乐的数据集。我们发布了一个新的数据集，由超过7个小时的钢琴乐谱组成，流行音乐视频和MIDI文件之间具有良好的对齐。我们对VMT，SeqSeq模型（我们的基线）和原始钢琴版本配乐进行了人类评估实验。VMT在音乐流畅度和视频相关性方面取得了持续的改进。特别是，通过相关性分数和我们的案例研究，我们的模型显示了音乐生成的帧级演员运动的多模态能力。我们的VMT模型，以及新的数据集，提出了一个很有前途的研究方向，为视频组成匹配的配乐。我们已经在https://github.com/linchintung/VMT上发布了我们的代码
2021-12-31 cs.CV cs.LG cs.MM
F-StrIPE: Fast Structure-Informed Positional Encoding for Symbolic Music Generation
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）
针对 Transformers 位置编码利用音乐结构时序列长度二次复杂度的问题，本文提出线性复杂度的 F-StrIPE，并证明其推广了 SPE，在符号音乐旋律配和声中验证了优势。
2025-02-14 cs.AI cs.LG cs.SD
End-to-end Piano Performance-MIDI to Score Conversion with Transformers
Technical University of Munich（慕尼黑工业大学）
本文提出一种基于Transformer的端到端方法，将钢琴演奏MIDI直接转换为详细乐谱，通过复合标记量化缩短序列长度3.5倍，并在MUSTER指标上显著超越已有方法，首次实现从演奏数据直接预测颤音等记谱细节。
2024-09-30 cs.LG cs.SD eess.AS
Music Playlist Title Generation: A Machine-Translation Approach
KAIST（韩国科学技术院）
我们提出了一个机器翻译的方法来自动生成一个播放列表标题从一组音乐曲目。我们将曲目ID序列作为输入，将播放列表标题中的单词序列作为输出，基于递归神经网络（RNN）和Transformer的序列到序列框架适用于音乐数据。考虑到播放列表中的音乐曲目的无序性，我们提出了两种技术，删除输入序列的顺序。一种是通过混洗进行数据增强，另一种是删除位置编码。我们还重新组织现有的音乐播放列表数据集，以生成短语级播放列表标题。结果表明，Transformer模型的性能普遍优于RNN模型。此外，去除输入序列的顺序进一步提高了性能。
2021-10-03 cs.CL cs.LG cs.SD
From Words to Music: A Study of Subword Tokenization Techniques in Symbolic Music Generation
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Queen Mary University of London（伦敦玛丽女王大学）
本文研究 BPE、Unigram 等子词分词对 Transformer 符号音乐生成的影响，在三类 MIDI 数据上验证其可生成更长且结构更好的音乐。
2023-04-25 cs.LG cs.SD eess.AS
A Transformer Based Pitch Sequence Autoencoder with MIDI Augmentation
Peking University（北京大学）
尽管深度学习自动音乐生成算法最近取得了一些成就，但很少有人提出方法来评估单曲音乐摘录是由自动机还是智人创作的。为了解决这个问题，我们应用了一个基于ALBERT的掩码语言模型进行作曲家分类。目的是获得一个模型，该模型可以建议自动生成假设下的视频剪辑可能是合成条件的概率，并且该模型仅使用AI合成的单声道视频进行训练。本文在减少参数数量的基础上，提出了两种数据增强方法，并提出了一种改进的损失函数以防止过拟合。实验结果表明，我们的模型排名$3^{rd}$在所有的$7$团队在数据挑战CSMT（2020）。此外，这种启发性的方法可以推广到其他基于小数据集的音乐信息检索任务。
2021-02-01 cs.LG cs.SD eess.AS
Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对现有Transformer类音乐生成方法上下文窗口短、长时音乐缺乏结构的问题，提出整合文本转音乐模型与大语言模型的方案，可生成2.5分钟长的高结构化连贯音乐。
2024-10-05 cs.LG cs.SD eess.AS
Fusing Memory and Attention: A study on LSTM, Transformer and Hybrid Architectures for Symbolic Music Generation
Kalinga Institute of Industrial Technology (KIIT)（凯林加工业技术学院（KIIT））；IMC University of Applied Sciences Krems（应用科学克雷姆斯大学）
本文比较LSTM与Transformer在符号音乐生成中的表现，发现LSTM擅长局部模式但缺乏长距离依赖，Transformer能保持全局结构但易产生不规则节奏，提出混合架构结合两者优势，实验显示混合方法在局部和全局连续性上表现更优。
2026-03-22 cs.AI cs.LG cs.SD
Impact of time and note duration tokenizations on deep learning symbolic music modeling
Sorbonne University（索邦大学）；Aubay（欧贝公司）；University of Angers（昂热大学）；ESEO-TECH / ERIS
本文研究时间和音符时长标记化对深度学习符号音乐建模的影响，通过实验比较不同表示在多个任务上的性能，证明显式信息能根据任务带来更好结果。
2023-10-12 cs.AI cs.LG cs.SD
Long-form music generation with latent diffusion
Stability AI
本文提出一种基于潜在扩散的长篇音乐生成模型，通过在高度下采样的连续潜在表示上训练diffusion-transformer，可从文本提示生成长达4m45s且结构连贯的完整音轨，在音频质量和提示对齐指标上达到SOTA。
2024-07-29 cs.LG cs.SD eess.AS
DadaGP: A Dataset of Tokenized GuitarPro Songs for Sequence Models
Queen Mary University of London（伦敦玛丽女王大学）；Academia Sinica（中央研究院）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Dadabots；Taiwan AI Labs（台湾人工智能实验室）
源于文艺复兴时期，在数字时代蓬勃发展，表格是一种常用的音乐记谱系统，它提供了乐器指法而不是音高的明确表示。GuitarPro已经成为一种广泛使用的指法格式和软件，使音乐家能够编辑和分享歌曲，用于音乐练习，学习和创作。在这项工作中，我们提出了DadaGP，一个新的符号音乐数据集，包括26,181首歌曲的乐谱，在GuitarPro格式涵盖739音乐流派，以及伴随的标记化格式非常适合生成序列模型，如Transformer。标记化格式的灵感来自于通常用于符号音乐生成模型的基于事件的编码。该数据集与编码器/解码器一起发布，可将GuitarPro文件转换为令牌并返回。我们介绍了一个用例的结果，其中DadaGP用于训练基于transformer的模型，以生成GuitarPro格式的新歌。我们讨论了数据集的其他相关用例（吉他-低音转录，音乐风格转移和艺术家/流派分类）以及伦理影响。DadaGP开辟了训练GuitarPro乐谱生成器、根据自定义数据微调模型、创建新风格的音乐、AI驱动的歌曲创作应用程序和人工智能即兴创作的可能性。
2021-07-30 cs.LG cs.SD eess.AS
Melody Infilling with User-Provided Structural Context
National Cheng Kung University（国立成功大学）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
本文提出了一种新的基于transformer的乐谱填充模型，以生成一个音乐段落，填补了给定的过去和未来的背景之间的差距。虽然现有的填充方法可以生成与给定上下文局部平滑连接的段落，但是它们没有考虑音乐的音乐形式或结构，因此可能生成过度平滑的结果。为了解决这个问题，我们提出了一个结构感知的条件反射方法，采用了一种新的注意力选择模块提供用户提供的结构相关的信息，以填充的Transformer。客观和主观的评价，我们表明，该模型可以有效地利用结构信息，并产生更高质量的流行风格的旋律比现有的两个结构不可知的填充模型。
2022-10-06 cs.LG cs.SD eess.AS
Sequence-to-Sequence Piano Transcription with Transformers
Google Research（谷歌研究院）
自动音乐转录近年来通过在大型数据集上训练自定义深度神经网络取得了重大进展。然而，这些模型需要广泛的特定于域的网络架构，输入/输出表示和复杂的解码方案的设计。在这项工作中，我们表明使用通用编码器-解码器Transformer和标准解码方法可以实现同等性能。我们证明了该模型可以学习将声谱图输入直接转换为几个转录任务的MIDI类输出事件。这种序列到序列的方法通过联合建模音频特征和类似语言的输出依赖关系来简化转录，从而消除了对特定于任务的架构的需求。这些结果指出，通过专注于数据集的创建和标记，而不是自定义模型设计，创建新的音乐信息检索模型的可能性。
2021-07-19 cs.LG cs.SD eess.AS
Are Nearby Neighbors Relatives?: Testing Deep Music Embeddings
Delft University of Technology（代尔夫特理工大学）
深度神经网络经常用于从原始输入数据直接学习对给定任务有用的表示。在整体性能指标方面，据报道，经常采用深度表示的机器学习解决方案大大优于使用手工制作的特征表示的解决方案。同时，他们可能会注意到数据中占主导地位的方面，但实际上没有意义或不可解释。因此，在本文中，我们提出了一种系统的方法来测试的可信度深音乐表示，考虑音乐语义。潜在的假设是，在要信任深度表示的情况下，应该在输入音频空间和对应的潜在深度空间两者中保持已知相关点之间的距离一致性。我们通过语义上有意义的变换生成已知的相关点，同时考虑到不可察觉和严重的变换。然后，我们研究了空间内和空间间的距离，既考虑了音频空间，也考虑了潜在的嵌入空间，后者是传统特征提取器或深度编码器的结果。我们说明了我们的方法，作为特定任务的性能的补充，提供了可解释的洞察网络可能已经从训练数据信号中捕获。
2019-10-17 cs.LG cs.SD eess.AS
Everybody Compose: Deep Beats To Music
Stanford University（斯坦福大学）
该研究提出三种深度学习方法（全注意力LSTM、局部注意力LSTM和相对位置表示Transformer），从输入节拍生成单音旋律，使普通人也能通过敲击键盘或改编现有节拍来创作音乐。
2023-06-09 cs.LG cs.MM cs.SD
BERT-like Pre-training for Symbolic Piano Music Classification Tasks
Carnegie Mellon University（卡内基梅隆大学）；National Tsing Hua University（国立清华大学）；Academia Sinica（中央研究院）；National Taiwan University（国立台湾大学）
本研究将BERT掩码语言建模方法应用于符号钢琴音乐分类，针对MIDI乐谱和演奏两类数据预训练两个12层Transformer模型，在4项下游分类任务上准确率优于RNN基线。
2024-04-14 cs.LG cs.MM cs.SD
Structure-Enhanced Pop Music Generation via Harmony-Aware Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent Inc（腾讯公司）；Communication University of China（中国传媒大学）
长期以来，流行音乐生成一直是音乐家和科学家都很感兴趣的话题。然而，自动合成具有令人满意的结构的流行音乐仍然是一个具有挑战性的问题。在本文中，我们提出利用和声感知学习结构增强的流行音乐生成。一方面，和声的参与者之一和弦代表着多个音符的和声集合，它与音乐的空间结构织体紧密结合。另一方面，和声的另一个参与者和弦进行往往伴随着音乐的发展，促进了音乐的时间结构，即形式。而且，当和弦演变为和弦进行时，织体与曲式之间可以自然地通过和声进行衔接，这有助于两种结构的共同学习。此外，我们提出了Harmony-Aware Hierarchical Music Transformer（HAT），它可以从音乐中自适应地利用结构，并使音乐令牌分层交互，以增强多层次音乐元素的结构。实验结果表明，与现有的方法相比，HAT方法对音乐结构有更好的理解，能够提高生成音乐的质量，尤其是在形式和纹理方面。
2022-07-12 cs.LG cs.SD eess.AS
Contrastive Learning with Positive-Negative Frame Mask for Music Representation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自监督学习，特别是对比学习，为深度学习的许多研究领域的发展做出了突出贡献。最近，声学信号处理领域的研究人员注意到了它的成功，并利用对比学习来更好地表示音乐。通常，现有方法最大化从相同音乐采样的两个失真音频段之间的相似性。换句话说，它们确保了音乐层面的语义一致性。然而，这些粗粒度的方法忽略了一些不必要的或嘈杂的元素在帧级，这可能是不利的模型学习的有效表示的音乐。为此，本文提出了一种新的正负框架面具的音乐表示的基础上的对比学习框架，简称PEMR。具体地，PEMR结合了正-负掩码生成模块，其利用Transformer块来在Log-Mel频谱图上生成帧掩码。我们可以通过分别屏蔽重要成分或不重要成分来生成自增强的负样本和正样本。我们设计了一个新的对比学习目标，以适应两个自我增强的积极/消极采样从相同的音乐。我们在四个公共数据集上进行了实验。两个音乐相关的下游任务，音乐分类，翻唱歌曲识别的实验结果，证明了泛化能力和转移的音乐表征学习PEMR。
2022-04-03 cs.LG cs.SD eess.AS
Predicting emotion from music videos: exploring the relative contribution of visual and auditory information to affective responses
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Goethe University Frankfurt（法兰克福大学）
尽管媒体内容越来越多地以多种形式的组合来生产、分发和消费，但个体形式如何对媒体项目的感知情感做出贡献仍然知之甚少。在本文中，我们提出了MusicVideos（MuVi），情感多媒体内容分析的一种新的数据集，研究听觉和视觉模态如何有助于感知媒体的情感。通过在三种条件下向参与者展示音乐视频来收集数据：音乐，视觉和视听。参与者对音乐视频进行了注释，以了解随着时间的推移的效价和唤醒程度，以及传达的整体情感。我们提供了数据集中关键指标的详细描述性统计数据，以及每种条件下特征重要性分析的结果。最后，我们提出了一种新的迁移学习架构，训练预测模型增强与孤立的模态评级（PAIR），并证明了潜在的孤立的模态评级，以提高多模态情感识别。我们的研究结果表明，觉醒的看法主要是由听觉信息的影响，而感知价更主观，可以同时受到视觉和听觉信息的影响。数据集是公开的。
2022-02-19 cs.CV cs.LG cs.MM
Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation
Athens University of Economics and Business（雅典经济与商业大学）；Orfium Research（Orfium 研究）；Hellenic Mediterranean University（希腊地中海大学）；Archimedes / Athena Research Center（阿基米德/雅典娜研究中心）
提出基于PID反馈控制的推理时激活引导框架，通过差分均值法提取音高和时长潜在方向，并利用Gram-Schmidt正交化解耦多属性引导，实现符号音乐生成中细粒度、可解释的属性调制。
2026-06-18 cs.AI cs.LG cs.SD
An Information-theoretic Approach to Machine-oriented Music Summarization
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID Lisboa（里斯本INESC-ID研究所）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院）
音乐摘要允许更高的处理、存储和数据集共享效率。面向机器的方法，对人类消费不可知，进一步优化了这些方面。这种摘要已在一些和平、恢复和重建任务中得到成功验证。现在，我们概括了以前的结论，从概率的角度来评估音乐的通用摘要的影响。我们估计高斯分布的原始和总结的歌曲，并计算它们的相对熵，以衡量信息损失的摘要。我们的研究结果表明，相对熵是一个很好的预测摘要性能的任务依赖于袋的功能模型的上下文中。基于这一观察，我们进一步提出了一个简单而富有表现力的摘要器，它最大限度地减少了相对于原始歌曲的相对熵，客观上优于以前的方法，更适合于避免潜在的版权问题。
2018-09-21 cs.IR cs.LG cs.SD
Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation
Athens University of Economics；Innovation Lab Orfium Athens, Greece；Department of Music Technology；Acoustics Hellenic Mediterranean University Rethymno, Greece；Institute of Informatics \& Telecommunications National Center for Scientific Research “Demokritos” Athens, Greece；Department of Informatics Athens University of Economics
本文利用差分均值方法从多轨音乐Transformer的残差流中分离音高和时长的潜在方向，并通过Gram-Schmidt正交化实现双属性引导，从而在推理时实现可解释的确定性属性调制。
2026-05-29 cs.AI cs.IR cs.LG
