Augmentation Methods on Monophonic Audio for Instrument Classification in Polyphonic Music
School of ECE, NTUA（希腊国家技术大学电气与计算机工程学院）
乐器分类是音乐信息检索中的一个研究热点。然而，其中大部分是处理单声道音乐，而对复调材料的努力主要集中在主要乐器的识别上。在本文中，我们提出了一种方法，从纯粹的单声道数据，包括执行数据增强混合不同的音频段的复调音乐中的乐器分类。探讨了各种各样的数据增强技术，侧重于不同的声音方面，如覆盖相同流派的音频片段，以及基于音高和节奏的同步。我们利用卷积神经网络进行分类任务，比较浅层和深层网络架构。我们进一步研究了上述分类器组合的使用，每个分类器都在单个增强数据集上训练。VGG类分类器的集合，分别在非增强，音高同步，节奏同步和体裁相似的摘录上训练，产生了最好的结果，在IRMAS测试集中的标签排名平均精度（LRAP）方面达到了略高于80%。
2020-03-03 cs.LG cs.SD eess.AS
Audio-Based Music Classification with DenseNet And Data Augmentation
Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
近年来，深度学习技术因其在图像识别方面的巨大成功而受到广泛关注。深度学习在各种信息处理领域的适应趋势已经形成，包括音乐信息检索（MIR）。在本文中，我们进行了全面的研究，音乐音频分类与改进的卷积神经网络（CNN）。据我们所知，这是第一个将密集连接卷积网络（DenseNet）应用于音乐音频标记的工作，它已被证明比残差神经网络（ResNet）表现更好。此外，两个具体的数据增强方法的时间重叠和音高移位已被提出，以解决标记的数据在MIR的不足。此外，集成学习堆叠的支持向量机的基础上。我们相信，DenseNet的强表示和数据增强的组合可以适用于其他音频处理任务。
2019-06-15 cs.MM cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Music-Source-Separation-Training (MSST): A Unified Framework for Training and Evaluating Music Demixing Models
National Research University Higher School of Economics (HSE University)（俄罗斯国立研究型高等经济大学）；AlphaChip LLC.（阿尔法芯片有限责任公司）
本文针对音乐源分离任务提出MSST框架，统一训练、验证和推理，支持多种模型架构、数据处理方式、损失函数及评估指标，还有提升分离质量的实用技术，通过整合组件降低实验门槛，实现快速迭代。
2026-07-28 cs.LG cs.SD eess.AS
A Transformer Based Pitch Sequence Autoencoder with MIDI Augmentation
Peking University（北京大学）
尽管深度学习自动音乐生成算法最近取得了一些成就，但很少有人提出方法来评估单曲音乐摘录是由自动机还是智人创作的。为了解决这个问题，我们应用了一个基于ALBERT的掩码语言模型进行作曲家分类。目的是获得一个模型，该模型可以建议自动生成假设下的视频剪辑可能是合成条件的概率，并且该模型仅使用AI合成的单声道视频进行训练。本文在减少参数数量的基础上，提出了两种数据增强方法，并提出了一种改进的损失函数以防止过拟合。实验结果表明，我们的模型排名$3^{rd}$在所有的$7$团队在数据挑战CSMT（2020）。此外，这种启发性的方法可以推广到其他基于小数据集的音乐信息检索任务。
2021-02-01 cs.LG cs.SD eess.AS
The MIDI Degradation Toolkit: Symbolic Music Augmentation and Correction
EPFL（洛桑联邦理工学院）；University of Edinburgh（爱丁堡大学）；Kyoto University（京都大学）
在本文中，我们介绍了MDTK的降级工具包（MDTK），包含的功能，作为输入的音乐摘录（一组音符的音高，开始时间和持续时间），并返回一个“降级”版本的摘录与一些错误（或错误）介绍。使用该工具包，我们创建了更改和损坏的数据摘要数据集版本1.0（ACME v1.0），并提出了四个任务的难度增加，检测，分类，定位和纠正的退化。我们假设，为这些任务训练的模型可以用于（例如）提高自动音乐转录性能，如果作为后处理步骤应用。为此，MDTK包含一个脚本，用于测量转录中不同类型错误的分布，并创建具有类似属性的降级数据集。MDTK的降级也可以在训练过程中动态应用于数据集（使用或不使用上述脚本），在每个时期生成新的降级摘录。MDTK还可以用于测试任何系统的鲁棒性，该系统被设计为将噪声（或类似）数据作为输入（例如，被设计用于语音分离、韵律对齐或和弦检测的系统），以这种转录错误或其他噪声数据。该工具包和数据集都可以在线公开获得，我们鼓励社区的贡献和反馈。
2020-09-30 cs.LG cs.SD eess.AS
Evaluating Disentangled Representations for Controllable Music Generation
本文评估了音乐生成中解耦表示的有效性，发现现有方法在可控生成中存在语义不一致问题，需重新审视解耦策略。
2026-02-15 cs.LG cs.SD eess.AS
Leave-One-EquiVariant: Alleviating invariance-related information loss in contrastive music representations
School of EECS, Queen Mary University of London（伦敦大学玛丽皇后学院电子工程与计算机科学学院）；Music & Audio Machine Learning Lab, Universal Music Group（环球音乐集团音乐与音频机器学习实验室）
本文提出 LOEV 框架，通过选择性保留特定增强信息来缓解对比音乐表示中不变性导致的信息损失，并进一步提出 LOEV++ 构建解耦潜在空间以支持定向检索。
2024-12-25 cs.SD eess.AS
Mixing-Specific Data Augmentation Techniques for Improved Blind Violin/Piano Source Separation
National Cheng Kung University（国立成功大学）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
盲音乐源分离一直是音乐信息检索和信号处理领域的热门研究课题。为了解决缺乏可用的多音轨数据进行监督模型训练的问题，一种通过组合来自不同歌曲的音轨来创建人工混合的数据增强方法在最近的工作中已经被证明是有用的。根据这一点，我们在本文中进一步研究扩展的数据增强方法，考虑更复杂的混合设置在现代音乐制作程序，轨道之间的关系相结合，和沉默的因素。作为一个案例研究，我们认为分离的小提琴和钢琴曲目的小提琴钢琴合奏，评估性能方面的共同指标，即SDR，SIR和SAR。除了检查这些新的数据增强方法的有效性外，我们还研究了训练数据量的影响。我们的评估表明，提出的混合特定数据增强方法可以帮助提高基于深度学习的源分离模型的性能，特别是在训练数据较小的情况下。
2020-08-06 cs.LG cs.SD eess.AS
Persian Musical Instruments Classification Using Polyphonic Data Augmentation
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢里夫理工大学）
本文针对波斯乐器分类研究不足的问题，提出基于文化背景的复音数据增强策略，结合MERT模型在真实波斯音乐上取得最佳ROC-AUC（0.795），验证了该方法对文化包容性音乐信息检索的有效性。
2025-11-07 cs.CL cs.SD
A Perceptual Measure for Evaluating the Resynthesis of Automatic Music Transcriptions
University of Milano（米兰大学）
本研究的重点是音乐表演的感知时，环境因素，如室内声学和仪器，改变。我们建议将“表演”的概念与表达“艺术意图”的“解释”概念区分开来。为了评估这一区别，我们进行了一项实验评估，其中91名受试者被邀请听取通过自动音乐转录（AMT）系统和传感器声学钢琴获得的重新合成的数据创建的各种录音。在重新合成的过程中，我们模拟了不同的语境，并要求听众评估当语境改变时，解释发生了多大的变化。结果表明：（1）单凭音乐表现形式无法完全把握音乐表演的艺术意图;（2）通常基于音乐表现形式的客观评价指标与主观评价的平均值相关性较低。为了弥合这一差距，我们提出了一种新的措施，这是有意义的相关测试的结果。此外，我们研究多模态机器学习提供了一个新的得分通知AMT方法，并提出了一个近似算法的$p$分散问题。
2022-03-07 cs.LG cs.SD eess.AS
Multimodal Music Generation with Explicit Bridges and Retrieval Augmentation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Edinburgh（爱丁堡大学）；Meitu Inc（美图公司）；The Chinese University of Hong Kong（香港中文大学）；Beihang University（北京航空航天大学）
针对多模态音乐生成存在的数据稀缺、跨模态对齐弱等问题，提出带文本与音乐显式桥接的VMB方法，显著提升音乐生成质量与可控性，树立该领域新标杆。
2024-12-12 cs.CV cs.MM cs.SD
CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following
本文提出CMI-Bench，将传统音乐信息检索任务转化为指令遵循格式，全面评估音频-文本LLM在MIR任务上的表现，揭示其与监督模型的性能差距及偏见，为音乐感知LLM发展奠定统一基础。
2025-06-27 cs.AI cs.LG cs.SD
Evaluating Interval-based Tokenization for Pitch Representation in Symbolic Music Analysis
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立综合理工学院）
本文提出构建基于音程的音乐分词通用框架，并在三项音乐分析任务上验证其相较绝对 MIDI 音高表示可提升模型性能与可解释性。
2025-01-08 cs.IR cs.SD eess.AS
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
UC San Diego（加利福尼亚大学圣地亚哥分校）；UC Los Angeles（加利福尼亚大学洛杉矶分校）
CoLLAP提出一种对比式长音频-语言预训练方法，通过音乐时间结构增强和注意力融合机制扩展音频与文本的感知窗口，并在长音频音乐文本检索及下游音乐信息检索任务中取得一致性能提升。
2024-10-03 cs.AI cs.SD eess.AS
Training a Perceptual Model for Evaluating Auditory Similarity in Music Adversarial Attack
Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
针对MIR系统易受人类无法察觉的对抗攻击且现有感知指标与人类判断相关性低的问题，提出基于心理声学条件序列对比变换器的PAMT框架，提升了感知对齐度和对抗攻击下的鲁棒准确率。
2025-09-05 cs.SD eess.AS
Actions Speak Louder than Listening: Evaluating Music Style Transfer based on Editing Experience
Academia Sinica（中央研究院）；KKBOX, Inc.（KKBOX公司）
对音乐生成技术的主观评价主要是基于听觉测试的，而忽略了从音乐创作、编曲和配乐编辑的角度。在本文中，我们提出了一个编辑测试，以评估用户的编辑体验的音乐生成模型在一个系统的方式。为此，我们设计了一个新的音乐风格迁移模型结合非时序推理架构，自回归模型和Transformer，这是一个改进的基线模型相同的风格迁移任务。然后，我们将这两个模型的性能与传统的听力测试和建议的编辑测试进行比较，在编辑测试中，生成的样本的质量通过努力量（例如，所需的键盘和鼠标动作的数量）。对两种目标样式的测试结果表明，编辑测试可以定量地反映相对于基线模型的改进。此外，编辑测试提供了深刻的见解，这是无法从通常的听力测试。本文的主要贡献是系统地介绍了编辑测试和相应的见解，而提出的音乐风格转移模型的基础上，国家的最先进的神经网络代表另一个贡献。
2021-10-25 cs.HC cs.LG cs.MM
Masked Contrastive Pre-Training Improves Music Audio Key Detection
Department of Computer Science；Engineering, Texas A\&M University
本文通过掩码对比预训练提升音乐音频键检测性能，发现其能有效增强音高敏感性，并在监督学习中实现SOTA表现。
2026-04-11 cs.LG cs.SD
GANkyoku: a Generative Adversarial Network for Shakuhachi Music
使用神经网络生成符号音乐的常见方法涉及对自回归模型的重复采样，直到获得完整的输出序列。虽然这样的方法在生成短音乐序列方面已经显示出一些前景，但是这通常还没有扩展到最终目标序列明显更长的情况，例如一整段音乐。在这项工作中，我们提出了一个在对抗过程中训练的网络，以符号记谱的形式生成整首尺八独奏音乐。这些作品旨在明确地参考传统尺八音乐，保持地道性和关键的美学品质，同时也增加了新颖的功能，最终创造有价值的补充当代尺八曲目。一个关键的子问题也得到了解决，即缺乏相关的训练数据，在两个步骤：首先，我们介绍了PH_Shaku数据集的象征性的传统尺八音乐;其次，我们建立在以前的工作中使用条件反射生成对抗网络引入数据增强的技术。
2019-11-22 cs.LG cs.SD eess.AS
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia（微软亚洲研究院）
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器，在帧级标记有人声或非人声标签的大数据集是必不可少的。然而，帧级标记是耗时和劳动力昂贵的，导致很少有良好的标记数据集可用于歌唱语音检测（S-VD）。因此，我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中，干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起，以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同，用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配，使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集，即，演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据，所提出的迁移学习数据增强方法可以提高S-VD的性能，F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
AImoclips: A Benchmark for Evaluating Emotion Conveyance in Text-to-Music Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Seoul National University (SNU)（首尔国立大学）
本研究推出AImoclips基准，通过12种情感意图、6个前沿TTM系统生成的千余段音乐及111名参与者的评分实验，评估文本生成音乐的情感传递效果，发现商业与开源系统的情感偏移方向相反，且所有模型均存在情感中性化偏差，为情感对齐的TTM系统开发提供参考。
2025-09-04 cs.AI cs.SD eess.AS
Unrolled Creative Adversarial Network For Generating Novel Musical Pieces
KAUST（卡塔尔科技大学）
本文提出基于对抗网络的音乐生成系统，通过扩展CAN框架解决模式崩溃问题，提升音乐创作的创新性和多样性。
2025-12-28 cs.LG cs.SD eess.AS
Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation
Clemson University（克莱姆森大学）；Michigan State University（密歇根州立大学）
提出双层标题投毒策略，通过向音乐知识库注入少量恶意标题，使检索增强文本到音乐系统生成偏离用户意图的音乐，暴露了系统的完整性风险。
2026-05-18 cs.AI cs.SD eess.AS
Investigating Personalization Methods in Text to Music Generation
Athena Research Center（雅典娜研究中心）；University of Athens（雅典大学）
本文首次在少样本设置下将预训练文本到音频扩散模型与两种个性化方法结合，研究文本到音乐生成的个性化，并通过新数据集、定量指标和用户研究揭示当前方法更易学习节奏而非旋律。
2023-09-20 cs.LG cs.SD eess.AS
CMI-RewardBench: Evaluating Music Reward Models with Compositional Multimodal Instruction
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
针对音乐生成模型缺乏有效评估机制的问题，提出CMI-RewardBench基准，包含大规模偏好数据集和参数高效奖励模型，实现多模态指令下的音乐质量评估。
2026-06-12 cs.AI cs.LG cs.MM
Multi-modal Conditional Bounding Box Regression for Music Score Following
Johannes Kepler University Linz（约翰内斯开普勒大学林茨分校）；Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）
本文研究了基于单张图像的在线音频-乐谱对齐问题。从目标检测中得到启发，提出了一种条件神经网络结构，该结构可以直接预测给定音乐表演在每个时间点的完整乐谱图像中匹配位置的x，y坐标。在合成复调钢琴基准数据集上进行了实验，并将新方法与文献中几种现有方法进行了比较，这些方法用于基于纸张图像的分数跟踪以及光学音乐识别基线。所提出的方法实现了新的国家的最先进的结果，并进一步显着提高了一组现实世界的钢琴录音的对齐性能，通过应用脉冲响应作为一种数据增强技术。
2021-05-10 cs.LG cs.SD eess.AS
Towards robust music source separation on loud commercial music
Seoul National University（首尔大学）
如今，商业音乐与过去相比具有极大的响度和严重压缩的动态范围。然而，在音乐声源分离中，这些特性没有被充分考虑，导致实验室和现实世界之间的域不匹配。在本文中，我们证实，这种域失配的音乐声源分离网络的性能产生负面影响。为此，我们首先通过模仿音乐母带制作过程创建了域外评估数据集musdb-L和XL。然后，我们定量地验证了最先进的算法的性能显着恶化，在我们的数据集。最后，我们提出了LimitAug数据增强方法来减少域失配，该方法在训练数据采样过程中使用在线限幅器。我们证实，它不仅消除了域外数据集的性能下降，而且还提高了域内数据的性能。
2022-08-30 cs.SD eess.AS
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services（亚马逊云科技）；Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术，如随机源混合，已被证明可以更好地利用现有数据，并温和地提高模型的性能。我们提出了一种新的数据增强技术，chromagram为基础的音高感知混音，音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验，我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比（SDR）
2022-03-28 cs.LG cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University（西北大学）；Descript, Inc（Descript公司）
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统，如摇滚和流行音乐，但许多音乐领域没有，如古典音乐，合唱音乐和非西方音乐传统。众所周知，从相关领域转移学习可以提高深度学习系统的性能，但如何最好地进行预训练并不总是很清楚。在这项工作中，我们研究了预训练期间数据增强的有效性，预训练和下游数据集具有相似内容域对性能的影响，并探讨了一旦预训练，模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
musicaiz: A Python Library for Symbolic Music Generation, Analysis and Visualization
University of Zaragoza（萨拉戈萨大学）
在这篇文章中，我们提出了musicaiz，一个面向对象的图书馆分析，生成和评估符号音乐。该软件包的子模块允许用户从头开始创建符号音乐数据，构建分析符号音乐的算法，将符号数据编码为令牌以训练深度学习序列模型，修改现有音乐数据并评估音乐生成系统。评估子模块建立在以前的工作，客观地衡量音乐生成系统，并能够重现音乐生成模型的结果。图书馆在网上公开。我们鼓励社区作出贡献并提供反馈。
2022-09-16 cs.MM cs.SD eess.AS
Cutting Music Source Separation Some Slakh: A Dataset to Study the Impact of Training Data Quality and Quantity
MERL（三菱电机研究实验室）
近年来，随着基于深度学习的方法的出现，音乐声源分离性能得到了极大的改善。这样的方法通常需要大量的标记的训练数据，在音乐的情况下，这些训练数据由混合物和相应的乐器干组成。然而，大多数商业音乐都无法获得茎，到目前为止，只有有限的数据集向公众发布。因此，当比较各种声源分离方法时，很难得出结论，因为性能上的差异可能源于更好的数据增强技术或训练技巧，以缓解训练数据的有限可用性，以及内在更好的模型架构和目标函数。在本文中，我们提出了合成的Lakh数据集（Slakh）作为一个新的工具，音乐声源分离的研究。Slakh由高质量的仪器混合物渲染和使用专业级基于样本的虚拟仪器从Lakh数据集（LMD）生成的相应茎组成。第一个版本，Slakh 2100，专注于2100首歌曲，导致145小时的混合。虽然由于其纯粹是工具性的，因此不完全具有可比性，但该数据集包含的数据比MUSDB 18多一个数量级，MUSDB 18是该领域的{ \it de facto}标准数据集。我们表明，Slakh可用于有效地增强现有的乐器分离数据集，同时为各种数据密集型音乐信号分析任务打开大门。
2019-09-18 cs.LG cs.SD eess.AS
Inspecting and Interacting with Meaningful Music Representations using VAE
NYU Shanghai（上海纽约大学）；New York University（纽约大学）
变分自编码器（VAE）在图像生成方面已经取得了很大的成果，最近在音乐生成方面也取得了可喜的进展。然而，生成过程仍然是很难控制的意义上说，学习的潜在表示缺乏有意义的音乐语义。如果人们可以通过潜在表征来修改某些音乐特征，如节奏和音高轮廓，以测试不同的作曲想法，那将更加有用。在本文中，我们提出了一种新的方法来检查潜在的表征的音高和节奏的解释，我们称之为通过增强解开。基于可解释的表示，一个直观的图形用户界面的设计，为用户更好地指导音乐创作过程中，通过操纵的音高轮廓和节奏的复杂性。
2019-04-18 cs.HC cs.IR cs.LG
Optical Music Recognition with Convolutional Sequence-to-Sequence Models
University of Amsterdam（阿姆斯特丹大学）
光学音乐识别是音乐信息检索中的一项重要技术。深度学习模型在OMR任务上显示出有希望的结果，但是没有足够大的符号级注释数据集来训练这种模型，并且难以开发。我们提出了一种称为卷积序列到序列模型的深度学习架构，以实现端到端的可训练OMR管道，并应用一个学习过程，训练乐谱的完整句子，而不是单独标记的符号。该模型在人类生成的数据集上进行训练和评估，并基于真实世界场景进行各种图像增强。该数据集是OMR研究中第一个公开可用的数据集，其大小足以训练和评估深度学习模型。与引入的增强的音高识别准确率为81%，持续时间的准确率为94%，从而在一个音符级的准确率为80%。最后，该模型与商业上可用的方法进行了比较，显示了这些应用程序的很大改进。
2017-07-16 cs.CV cs.IR cs.SD
Graph Representation learning for Audio & Music genre Classification
Mercedes-Benz R&D India（梅赛德斯-奔驰印度研发中心）
音乐类型可以说是音乐和音频内容的最重要和最有区别性的信息之一。基于视觉表示的方法已经在用于音乐流派分类的谱图上进行了探索。然而，缺乏高质量的数据和增强技术使得很难成功地使用深度学习技术。我们讨论了图神经网络在此类任务中的应用，因为它们具有很强的归纳偏差，并表明CNN和GNN的组合能够在GTZAN和AudioSet（不平衡音乐）数据集上实现最先进的结果。我们还讨论了Siamese神经网络作为学习边缘相似性权重的GNN的类似物的作用。此外，我们还进行视觉分析，以了解我们的模型的视野到基于体裁标签的频谱图。
2019-10-23 cs.LG cs.SD stat.ML
S3T: Self-Supervised Pre-training with Swin Transformer for Music Classification
Zhejiang University（浙江大学）
在本文中，我们提出了S3 T，一个自我监督的预训练方法与Swin Transformer的音乐分类，旨在学习有意义的音乐表示，从大量的易于访问的未标记的音乐数据。S3 T引入了一种基于动量的范式MoCo，以Swin Transformer作为音乐时频域的特征提取器。为了更好地学习音乐表示，S3 T提供了一个音乐数据增强管道和两个专门设计的预处理器。据我们所知，S3 T是第一种将Swin Transformer与自监督学习方法相结合的音乐分类方法。我们评估S3 T的音乐流派分类和音乐标记任务与线性分类器训练的学习表示。实验结果表明，S3 T优于以前的自我监督方法（CLMR）的12.5倍的top-1准确率和4.8倍的PR-AUC在两个任务上，也超过了特定于任务的最先进的监督方法。此外，S3 T在标记效率方面的进步仅使用10%的标记数据，超过了在两个任务上使用100%标记数据的CLMR。
2022-02-21 cs.IR cs.SD eess.AS
Exploring Isolated Musical Notes as Pre-training Data for Predominant Instrument Recognition in Polyphonic Music
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
针对复调音乐主奏乐器识别难题，提出用单音孤立音符预训练加微调、结合数据增强的端到端方法，在IRMAS数据集上实现性能提升，还构建了参数仅519K的轻量高效模型。
2023-06-15 cs.SD eess.AS
Language Models are Drummers: Drum Composition with Natural Language Pre-Training
University of Pennsylvania（宾夕法尼亚大学）
使用人工智能自动音乐生成通常需要大量数据，对于许多不太常见的流派和乐器来说，这是很难获得的。为了解决这个问题，我们提出了正在进行的工作和初步发现，即通过微调在仅数百个MIDI文件的海量文本语料库上预训练的大语言模型，深度模型将知识从语言转移到音乐的可能性。鼓表演。我们证明，通过这样做，最大的，最先进的模型之一（GPT3）能够生成合理的鼓槽，而没有预先训练的模型（Transformer）除了天真的重复之外没有显示出这种能力。评估生成的音乐是一项具有挑战性的任务，更是评估鼓槽在文献中很少有先例。因此，我们提出了一种量身定制的结构评估方法，并分析了GPT3产生的鼓槽与人类专业人士演奏的鼓槽相比，揭示了语言到音乐转换的优势和劣势。我们的研究结果表明，语言到音乐迁移学习与大语言模型是可行的，有前途的。
2023-01-03 cs.CL cs.SD eess.AS
VioPTT: Violin Technique-Aware Transcription from Synthetic Data Augmentation
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室有限公司）；Institute of Information Science, Academia Sinica（学术院信息研究所）；Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）；Original Content Center, Gamania Inc.（Gamania公司原创内容中心）
VioPTT 是首个结合小提琴转录与演奏技巧预测的统一框架，通过合成数据集提升转录性能。
2026-02-03 cs.LG cs.SD
Frechet Music Distance: A Metric For Generative Symbolic Music Evaluation
Institute of Computer Science, Warsaw University of Technology（华沙理工大学计算机科学学院）
提出受 FID 与 FAD 启发的 Frechet Music Distance，通过参考与生成符号音乐嵌入分布间的距离评估生成质量，并在多数据集和模型上验证其有效性。
2025-01-16 cs.AI cs.MM cs.SD
Large Language Models' Internal Perception of Symbolic Music
本文通过让LLM从文本提示生成MIDI数据集并训练神经网络进行分类与旋律补全，揭示LLM能隐式编码基本音乐结构，同时指出其因缺乏显式音乐语境而存在局限。
2025-07-17 cs.AI cs.CL cs.LG
A Survey on Evaluation Metrics for Music Generation
University of Central Florida（中央佛罗里达大学）
本文针对音乐生成评估方法进展滞后的问题，构建了音频与符号音乐表示的评估指标分类体系，梳理出现有方法的核心局限，并提出了构建综合评估框架的未来研究方向。
2025-08-24 cs.MM cs.SD eess.AS
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University（特拉维夫大学）
多乐器自动音乐转录（AMT），或将音乐记录解码成语义音乐内容，是音乐信息检索的圣杯之一。由于数据汇集困难，目前的AMT方法仅限于钢琴和（一些）吉他录音。为了克服数据汇集障碍，先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM，这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案，辅之以伪标签和音高偏移增强，我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督，我们报告了MAPS数据集的SOTA音符级准确性，以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果，并且我们提出了MusicNet数据集的替代标签，我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
CLaMP: Contrastive Language-Music Pre-training for Cross-Modal Symbolic Music Information Retrieval
Central Conservatory of Music（中央音乐学院）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
CLaMP通过对比学习联合训练音乐与文本编码器，利用140万配对数据和掩码音乐建模，实现符号音乐的语义搜索与零样本分类，性能媲美需微调的先进模型。
2023-10-18 cs.IR cs.SD eess.AS
Symbolic Music Loop Generation with Neural Discrete Representations
LG AI Research（LG人工智能研究院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
由于大多数音乐都有从主题到乐句的重复结构，重复音乐思想可以成为音乐创作的基本操作。我们关注的基本块被概念化为循环，这是音乐的基本成分。此外，有意义的音符模式可以在有限的空间中形成，所以用离散符号的组合来表示它们就足够了，就像在其他领域所做的那样。在这项工作中，我们提出了通过学习离散表示符号音乐循环生成。我们首先使用循环检测器从数据集中提取循环，然后学习由提取的循环的离散潜码训练的自回归模型。我们表明，我们的模型在保真度和多样性方面优于著名的音乐生成模型，在随机空间上进行评估。我们的代码和补充材料可在https://github.com/sjhan91/Loop_VQVAE_Official上获得。
2022-10-29 cs.MM cs.SD eess.AS
Benchmarking Music Generation Models and Metrics via Human Preference Studies
ETH Zurich（苏黎世联邦理工学院）
本研究通过大规模人类偏好调查，首次基于人类偏好对12个最先进的音乐生成模型和常用评估指标进行排名，并公开数据集以推动主观指标评估。
2025-06-23 cs.LG cs.SD
MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies
LAION；University of California San Diego（加州大学圣迭戈分校）；Mila, Quebec Artificial Intelligence Institute（Mila魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Surrey（萨里大学）
本文提出MusicLDM模型，通过适配Stable Diffusion和AudioLDM架构并采用节拍同步混音策略进行数据增强，有效提升了文本到音乐生成的质量、新颖性及文本匹配度。
2023-08-03 cs.AI cs.LG cs.MM
Generating High-quality Symbolic Music Using Fine-grained Discriminators
Hangzhou Dianzi University（杭州电子科技大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Xi’an Jiaotong University（西安交通大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；Macquarie University（麦考瑞大学）
本文提出将旋律与节奏解耦，并设计配备音高增强和小节级相对位置编码的细粒度判别器，以提升符号音乐生成质量，在POP909上验证了其有效性。
2024-08-03 cs.AI cs.SD eess.AS
Self-supervised Auxiliary Loss for Metric Learning in Music Similarity-based Retrieval and Auto-tagging
Sony Computer Science Laboratories, Inc（索尼计算机科学实验室公司）；Koozyt, Inc（Koozyt公司）
本文提出一种结合自监督辅助损失的度量学习方法，用于提升音乐相似度检索与自动标注性能，并发现联合训练监督与自监督信号、微调阶段不使用数据增强更有效。
2023-04-15 cs.IR cs.LG cs.SD
Optimal Embedding Calibration for Symbolic Music Similarity
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
在自然语言处理（NLP）中，语义相似性任务需要大规模、高质量的人工标注标签进行微调或评估。相比之下，在音乐相似性的情况下，这样的标签是昂贵的收集和很大程度上取决于注释者的艺术偏好。最近的研究表明，嵌入校准技术可以大大提高预训练的语言模型的语义相似度性能，而无需微调。然而，目前还不知道哪种校准方法是最好的，以及可以实现多大的性能改进。为了解决这些问题，我们建议使用作曲家的信息来构建标签自动评估音乐相似性。在这种模式下，我们发现嵌入校准的最佳组合，实现优于基线方法的指标。
2021-09-09 cs.CL cs.SD eess.AS
PDMX: A Large-Scale Public Domain MusicXML Dataset for Symbolic Music Processing
UC San Diego（加州大学圣地亚哥分校）
本文发布包含 25 万余份公有领域 MusicXML 乐谱及元数据的 PDMX 数据集，并通过多轨生成实验验证不同子集和用户评分对下游模型与质量筛选的作用。
2025-03-17 cs.AI cs.LG cs.MM
Music Source Separation in the Waveform Domain
Facebook AI Research（Facebook AI研究院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
音乐的声源分离是将来自不同乐器的贡献或茎分离出来的任务，这些乐器单独录制并安排在一起形成一首歌曲。类似于许多音频合成任务，其中最好的性能是通过直接生成波形的模型来实现的，用于音乐的声源分离的最新技术是计算幅度谱上的掩码。在本文中，我们比较了两种波形域架构。我们首先适应Conv-Tasnet，最初开发的语音声源分离，音乐声源分离的任务。虽然Conv-Tasnet击败了许多现有的频谱域方法，但它遭受了显着的伪影，如人类评估所示。我们提出了一种新的波形到波形模型Demucs，它具有U-Net结构和双向LSTM。在MusDB数据集上的实验表明，通过适当的数据增强，Demucs击败了现有的最先进的架构，包括Conv-Tasnet，平均6.3 SDR，（并且高达6.8，具有150首额外的训练歌曲，甚至超过了低音源的Brachiracle）。使用模型量化的最新发展，Demucs可以被压缩到120 MB而不会损失任何准确性。我们还提供了人类的评估，表明Demucs受益于音频自然度的大幅度提升。然而，它遭受了一些出血，特别是在人声和其他来源之间。
2021-04-28 cs.LG cs.SD eess.AS
MidiCaps: A large-scale MIDI dataset with text captions
本文提出MidiCaps，首个公开的大规模带文本描述的MIDI数据集，含超16.8万个文件，旨在支持文本到MIDI生成及音乐与语言模型结合的研究。
2024-07-22 cs.LG cs.MM cs.SD
Evaluating Fake Music Detection Performance Under Audio Augmentations
本研究探讨了虚假音乐检测模型在音频增强下的鲁棒性，通过构建真实与合成音乐数据集并应用多种音频变换，发现即使引入轻度增强，最先进检测模型的分类准确率也显著下降。
2025-07-07 cs.AI cs.LG cs.SD
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息科技系）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学智能信息处理上海重点实验室）
针对情感标注乐谱稀缺问题，提出EMelodyGen系统，通过音乐特征模板构建Rough4Q数据集，预训练模型实现高解析率与情感对齐度，验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
