Self-Supervised Beat Tracking in Musical Signals with Polyphonic Contrastive Learning
Deezer Research（Deezer研究院）；CNRS（法国国家科学研究中心）；Télécom ParisTech（巴黎高等电信学院）；École Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学院）
提出基于 Spleeter 源分离的复调对比学习自监督预训练任务，用于节拍与强拍跟踪，在极少样本下优于随机初始化。
2023-07-16 cs.LG cs.SD eess.AS
MuQ: Self-Supervised Music Representation Learning with Mel Residual Vector Quantization
Tencent AI Lab（腾讯AI实验室）
本文提出 MuQ，通过梅尔残差向量量化进行自监督音乐表示学习，以少量数据超越以往模型，并结合对比学习在零样本音乐标签任务上达到最先进水平。
2025-01-03 cs.AI cs.CL cs.LG
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）；UJM-Saint Etienne（圣艾蒂安大学）；Inserm（法国国家健康与医学研究院）
自动音乐转录是将音乐表演的音频记录转换为符号格式，它仍然是一项困难的音乐信息检索任务。在这项工作中，重点是钢琴转录，我们提出了一个半监督的方法，使用低秩矩阵分解技术，特别是卷积非负矩阵分解。在半监督设置中，只需要对每个音符进行单次记录。我们在MAPS数据集上表明，所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术，略差于监督深度学习最先进的方法，但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Toward Fully Self-Supervised Multi-Pitch Estimation
University of Rochester（罗切斯特大学）
本文提出一套自监督学习目标，训练全卷积自编码器直接从合成单音符音频中学习多基音估计，无需标注即可泛化到复调音乐并达到与监督模型相当的性能。
2024-02-23 cs.LG cs.SD eess.AS
On the Effectiveness of Speech Self-supervised Learning for Music
Queen Mary University of London（伦敦玛丽女王大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Sheffield（谢菲尔德大学）；University of Waterloo（滑铁卢大学）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）；Dartmouth College（达特茅斯学院）；New York University Shanghai（上海纽约大学）；Hong Kong University of Science and Technology（香港科技大学）
本文将 data2vec1.0 与 Hubert 适配到音乐预训练，通过12个模型和13项MIR任务验证音乐数据可提升性能，并指出语音范式在复调建模上的局限。
2023-07-11 cs.AI cs.LG cs.SD
Emergent musical properties of a transformer under contrastive self-supervised learning
本文挑战了对比自监督学习在MIR局部任务上表现不足的假设，通过NT-Xent训练ViT-1D模型，发现其序列标记能涌现出丰富的音乐特性，在局部和全局任务中均表现优异，推进了对Transformer的音乐解释。
2025-06-30 cs.IR cs.LG cs.SD
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
研究针对符号音乐表示自监督方法探索不足的问题，提出MIDI-RAE-JEPA，结合音高和时间移位等方差目标、LeJEPA及Swin Transformer V2编码器学习分层表示，经实验验证该方法在多方面表现良好，为符号音乐表示提供了可行途径。
2026-07-17 cs.LG cs.SD eess.AS
MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training
Hong Kong University of Science and Technology（香港科技大学）；University of Waterloo（滑铁卢大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Manchester（曼彻斯特大学）；University of Sheffield（谢菲尔德大学）；Carnegie Mellon University（卡内基梅隆大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）；Durham University（杜伦大学）；Google DeepMind（谷歌DeepMind）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；New York University（纽约大学）
本文提出音乐理解模型MERT，通过融合RVQ-VAE声学教师与CQT音乐教师的大规模自监督预训练，在14项音乐理解任务上取得SOTA表现。
2024-12-27 cs.AI cs.CL cs.LG
Supervised contrastive learning from weakly-labeled audio segments for musical version matching
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团公司）
针对现有音乐版本匹配仅支持曲目级、损失函数陈旧的问题，提出弱标注片段学习方法与改进对比损失，在曲目级和片段级评估中均取得优异性能，方法可推广至更多领域。
2025-05-16 cs.AI cs.LG cs.SD
Do Foundational Audio Encoders Understand Music Structure?
Sony Group Corporation, Japan（日本索尼集团公司）；Sony AI, USA（美国索尼人工智能）
本研究探讨了基础音频编码器在音乐结构分析中的有效性，发现自监督学习方法在该任务中表现优异。
2026-01-29 cs.LG cs.SD eess.AS
Finding Tori: Self-supervised Learning for Analyzing Korean Folk Song
Sogang University（西江大学）；Kunstuniversität Graz（格拉茨艺术大学）
本文针对约700小时韩国民歌实地录音数据集，提出基于音高轮廓的卷积神经网络自监督学习方法，以更好地捕捉由音阶、装饰音和旋律轮廓定义的音乐概念tori的特征，并验证了现有学术讨论在实际录音中的体现。
2023-08-04 cs.IR cs.LG cs.SD
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation（小米公司）
我们研究了预训练的弱监督音频标记（AT）模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说，我们将弱监督预训练模型（MobileNetV 2和EfficientNet-B 0）与现代自监督学习方法（BYOL-A）作为特征提取器进行基准测试。14个下游任务用于评估，从乐器分类到语言分类。我们的研究结果表明，AT预训练模型是音乐，事件和情感识别任务的优秀迁移学习选择。此外，微调AT模型还可以使语音相关任务受益，例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
Scaling Self-Supervised Representation Learning for Symbolic Piano Performance
本文将 SimCLR 框架适配于符号音乐，基于约 6 万小时数据预训练生成式自回归 Transformer 模型，生成对比 MIDI 嵌入，在钢琴续写与 MIR 分类基准上达到 SOTA 且具强泛化能力。
2025-06-30 cs.AI cs.LG cs.SD
Contrastive Learning with Positive-Negative Frame Mask for Music Representation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自监督学习，特别是对比学习，为深度学习的许多研究领域的发展做出了突出贡献。最近，声学信号处理领域的研究人员注意到了它的成功，并利用对比学习来更好地表示音乐。通常，现有方法最大化从相同音乐采样的两个失真音频段之间的相似性。换句话说，它们确保了音乐层面的语义一致性。然而，这些粗粒度的方法忽略了一些不必要的或嘈杂的元素在帧级，这可能是不利的模型学习的有效表示的音乐。为此，本文提出了一种新的正负框架面具的音乐表示的基础上的对比学习框架，简称PEMR。具体地，PEMR结合了正-负掩码生成模块，其利用Transformer块来在Log-Mel频谱图上生成帧掩码。我们可以通过分别屏蔽重要成分或不重要成分来生成自增强的负样本和正样本。我们设计了一个新的对比学习目标，以适应两个自我增强的积极/消极采样从相同的音乐。我们在四个公共数据集上进行了实验。两个音乐相关的下游任务，音乐分类，翻唱歌曲识别的实验结果，证明了泛化能力和转移的音乐表征学习PEMR。
2022-04-03 cs.LG cs.SD eess.AS
EmoGen: Eliminating Subjective Bias in Emotional Music Generation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Nanjing University（南京大学）；National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）
EmoGen通过情感相关音乐属性作为中间桥梁，将情感音乐生成分解为有监督聚类的情感到属性映射和自监督的属性到音乐生成两个阶段，从而消除情感标签主观偏差，在情感控制准确度和音乐质量上均优于以往方法。
2023-07-03 cs.AI cs.LG cs.MM
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony（索尼）
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统，以自监督方式从湿多轨数据中解耦音频效果信息，并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
Unsupervised Music Source Separation Using Differentiable Parametric Source Models
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Sonos Inc.（搜诺思公司）
欠定音频声源分离的监督深度学习方法实现了最先进的性能，但需要混合物的数据集以及它们相应的隔离源信号。这样的数据集对于音乐混合物的获得可能是极其昂贵的。这就需要无监督的方法。我们提出了一种新的基于无监督模型的深度学习方法来进行音乐声源分离。每个源被建模与可微参数源滤波器模型。训练神经网络以通过在给定源模型的基频的情况下估计源模型的参数来将所观察到的混合重构为源的和。在测试时，从合成的源信号中获得软掩模。对声乐合奏分离任务的实验评估表明，该方法优于基于非负矩阵分解和监督深度学习基线的无学习方法。将领域知识以源模型的形式集成到数据驱动的方法中，可以提高数据效率：即使在不到三分钟的音频上训练，所提出的方法也可以实现良好的分离质量。这项工作使得强大的基于深度学习的分离可用于具有地面实况的训练数据昂贵或不存在的场景。
2023-01-31 cs.AI cs.LG cs.SD
Linear Complexity Self-Supervised Learning for Music Understanding with Random Quantizer
Orfium Research（奥菲姆研究）
本文提出了一种结合Branchformer和SummaryMixing的自监督学习方法，通过随机量化减少模型规模，实现音乐理解任务中的高效性能。
2026-01-14 cs.AI cs.CL cs.LG
Equivariant Self-Supervision for Musical Tempo Estimation
Universal Music Group（环球音乐集团）
近年来，自监督方法已经成为表示学习的一个有前途的途径，因为它们减轻了对标记数据集的需求，而标记数据集是稀缺且昂贵的。对比方法是音频领域中自我监督的流行选择，并且通常通过强制模型对输入的某些变换保持不变来提供学习信号。然而，这些方法需要采取负采样或某种形式的正则化等措施，以防止模型在平凡解上崩溃。在这项工作中，而不是不变性，我们建议使用等方差作为一个自我监督信号学习音频节奏表示从未标记的数据。我们推导出一个简单的损失函数，它可以防止网络在训练过程中崩溃在一个平凡的解决方案上，而不需要任何形式的正则化或负采样。我们的实验表明，它是可以学习有意义的表示节奏估计仅仅依靠等变自我监督，实现性能与监督的方法在几个基准。作为一个额外的好处，我们的方法只需要适度的计算资源，因此仍然可以访问广泛的研究社区。
2022-09-03 cs.AI cs.LG cs.SD
Self-Supervised Learning of Context-Aware Pitch Prosody Representations
Stanford University（斯坦福大学）
在音乐和演讲中，意义是在多层次的语境中产生的。例如，情感可以通过短的声音标记和较长时间窗口（如整个录音）上的声音模式来推断。在这封信中，我们专注于从这种语境的二分法中推断意义。我们展示了如何短唱声乐行的上下文表示可以隐式地从基频（$F_0$）学习，从而被用作下游音乐信息检索（MIR）任务的一个有意义的特征空间。我们提出了三种自我监督的深度学习范式，它们利用这两个层次的上下文的伪任务学习来产生潜在的表示空间。我们通过将看不见的音高轮廓嵌入到每个空间中并进行下游分类任务来评估这些表示的有用性。我们的研究结果表明，上下文表示可以提高下游分类多达15%相比，使用传统的统计轮廓特征。
2021-08-01 cs.CV cs.IR cs.LG
Automatic Music Sample Identification with Multi-Track Contrastive Learning
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
本文提出一种基于多轨对比学习的自监督方法，用于自动识别音乐采样并检索其来源，显著优于现有基线，且对流派和数据库规模具有鲁棒性。
2025-10-27 cs.AI cs.LG cs.SD
Generating Music Medleys via Playing Music Puzzle Games
Research Center for IT innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Graduate Institute of Networking and Multimedia, National Taiwan University（国立台湾大学网路与多媒体研究所）
生成音乐混合泳是关于找到一个最佳排列的一组给定的音乐剪辑。为了实现这个目标，我们提出了一个自监督学习任务，称为音乐益智游戏，训练神经网络模型学习音乐中的序列模式。从本质上讲，这样的游戏需要机器正确地排序几个多秒的音乐片段。在训练阶段，我们通过从同一首歌曲中采样多个不重叠的片段对来学习模型，并试图预测给定的片段对是否是连续的，并且是否处于正确的时间顺序。为了测试，我们设计了一些不同难度的益智游戏，其中难度最大的是音乐混合泳，它需要对不同歌曲的片段进行排序。在最先进的Siamese卷积网络的基础上，我们提出了一种改进的架构，该架构学习将从输入片段对计算的帧级相似性得分嵌入到公共空间中，其中可以更容易地识别正确顺序的片段对。我们的研究结果表明，由此产生的模型，被称为相似性嵌入网络（SEN），在不同的游戏，包括音乐拼图，音乐排序，音乐混合泳比竞争模型表现更好。示例结果可以在我们的项目网站https://remyhuang.github.io/DJnet上找到。
2017-11-17 cs.LG cs.SD stat.ML
Semi-Supervised Contrastive Learning for Controllable Video-to-Music Retrieval
Dolby Laboratories（杜比实验室）
本文提出一种结合自监督与标签监督对比学习的框架，通过训练音视频联合嵌入空间，实现推理时细粒度可控的跨模态音乐与视频检索。
2024-12-23 cs.MM cs.SD eess.AS
Semi-Supervised Music Tagging Transformer
Universitat Pompeu Fabra（庞培法布拉大学）；ByteDance（字节跳动）
我们提出了音乐标记Transformer，它是用半监督的方法训练的。该模型在浅层卷积层中捕获局部声学特征，然后使用堆叠的自注意层在时间上总结提取的特征序列。通过仔细的模型评估，我们首先表明，所提出的架构优于以前的国家的最先进的音乐标记模型，是基于卷积神经网络下的监督计划。音乐标记Transformer通过嘈杂的学生训练进一步改进，这是一种半监督方法，利用标记和未标记的数据，结合数据增强。据我们所知，这是第一次尝试利用百万首歌曲数据集的整个音频。
2021-11-26 cs.SD eess.AS
Semi-supervised music emotion recognition using noisy student training and harmonic pitch class profiles
我们提出了Mirable提交给2021年情感和主题音乐挑战。在这项工作中，我们打算解决的问题：我们可以利用半监督学习技术对音乐情感识别？有了这个，我们用带噪声的学生训练进行了实验，这提高了模型在图像分类领域的性能。由于嘈杂的学生方法需要一个强大的教师模型，我们进一步深入研究了包括（i）输入训练长度和（ii）互补音乐表示在内的因素，以进一步提高教师模型的性能。对于（i），我们发现用短输入长度训练的模型在PR-AUC中表现更好，而用长输入长度训练的模型在ROC-AUC中表现更好。对于（ii），我们发现，使用谐波音高类配置文件（HPCP）一贯提高标记性能，这表明谐波表示是有用的音乐情感标记。最后，我们发现，噪声学生的方法只提高了标记的结果的情况下，长的训练长度。此外，我们发现，用不同的训练长度训练的集合表示可以显着改善标记结果，这为将来的工作提供了一个可能的方向，可以探索在网络架构中引入多个时间分辨率。
2021-12-09 cs.LG cs.SD eess.AS
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
S3T: Self-Supervised Pre-training with Swin Transformer for Music Classification
Zhejiang University（浙江大学）
在本文中，我们提出了S3 T，一个自我监督的预训练方法与Swin Transformer的音乐分类，旨在学习有意义的音乐表示，从大量的易于访问的未标记的音乐数据。S3 T引入了一种基于动量的范式MoCo，以Swin Transformer作为音乐时频域的特征提取器。为了更好地学习音乐表示，S3 T提供了一个音乐数据增强管道和两个专门设计的预处理器。据我们所知，S3 T是第一种将Swin Transformer与自监督学习方法相结合的音乐分类方法。我们评估S3 T的音乐流派分类和音乐标记任务与线性分类器训练的学习表示。实验结果表明，S3 T优于以前的自我监督方法（CLMR）的12.5倍的top-1准确率和4.8倍的PR-AUC在两个任务上，也超过了特定于任务的最先进的监督方法。此外，S3 T在标记效率方面的进步仅使用10%的标记数据，超过了在两个任务上使用100%标记数据的CLMR。
2022-02-21 cs.IR cs.SD eess.AS
ReconVAT: A Semi-Supervised Automatic Music Transcription Framework for Low-Resource Real-World Data
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（科学、技术与研究署（A*STAR）高性能计算研究所（IHPC））；Singapore University of Technology and Design（新加坡科技设计大学）
当前大多数有监督的自动音乐转录（AMT）模型缺乏泛化能力。这意味着他们很难从标记的训练数据中没有呈现的不同音乐流派中转录真实世界的音乐录音。在本文中，我们提出了一个半监督框架ReconVAT，它通过利用大量可用的未标记音乐录音来解决这个问题。建议的ReconVAT使用重建损失和虚拟对抗训练。当与现有的AMT U-net模型相结合时，ReconVAT在MAPS和MusicNet等常见基准数据集上取得了有竞争力的结果。例如，在MusicNet的字符串部分版本的Few-Shot设置中，ReconVAT分别针对音符和音符偏移度量实现了61.0%和41.6%的F1分数，这意味着与监督基线模型相比提高了22.2%和62.5%。我们提出的框架还展示了对新数据进行持续学习的潜力，这在不断提供新数据的实际应用中可能是有用的。
2021-07-29 cs.LG cs.MM cs.SD
Music Classification: Beyond Supervised Learning, Towards Real-world Applications
音乐分类是一项音乐信息检索（MIR）任务，用于将音乐项分类为诸如流派、情绪和乐器之类的标签。它还与音乐相似性和音乐偏好等其他概念密切相关。在本教程中，我们将重点放在两个方向上-最近的训练计划超越监督学习和音乐分类模型的成功应用。本书的目标读者是对最先进的音乐分类研究和构建现实世界应用程序感兴趣的研究人员和从业人员。我们假设观众熟悉基本的机器学习概念。在这本书中，我们提出了三个讲座如下：1。音乐分类概述：任务定义，应用，现有方法，数据集，2。Beyond supervised learning：Semi- and自监督学习for music classification.走向现实世界的应用：较少讨论，但在实践中的重要研究问题。
2021-12-03 cs.IR cs.SD eess.AS
End-to-end Music Remastering System Using Self-supervised and Adversarial Training
Graduate School of AI, Seoul National University（首尔国立大学人工智能研究生院）
掌握是音乐制作中必不可少的一步，但它也是一项具有挑战性的任务，必须经过经验丰富的音频工程师的手，他们调整歌曲的音调，空间和音量。重制遵循同样的技术过程，其中的背景在于掌握一首适合时代的歌曲。由于这些任务具有很高的进入门槛，我们的目标是通过提出一个端到端的音乐重制系统，将输入音频的母带风格转换为目标的母带风格，从而降低门槛。该系统以自我监督的方式进行训练，其中发布的流行歌曲用于训练。我们还期望模型通过应用预训练的编码器和投影映射器来生成反映参考的母带风格的逼真音频。我们验证了我们的结果与定量指标和主观听力测试，并表明该模型生成的样本掌握风格类似的目标。
2022-02-17 cs.LG cs.SD eess.AS
Invariances and Data Augmentation for Supervised Music Transcription
University of Washington（华盛顿大学）；Amazon（亚马逊）
本文探讨了基于帧的音乐转录的各种模型，重点是在人类录音上达到最先进水平所需的方法。本文讨论的不变性网络将传统滤波器组与卷积神经网络相结合，是2017年MIREX多基频估计评估中表现最好的模型。这类模型在对数频率域中共享参数，这利用了音乐的频率不变性来减少模型参数的数量并避免对训练数据的过拟合。本文中的所有模型都是通过来自MusicNet数据集的标记数据进行监督训练的，并通过随机标签保持音高转换进行增强。
2017-11-13 cs.LG cs.SD eess.AS
Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation
Belmont University（贝尔蒙特大学）
本研究提出分层自监督世界模型，通过Swin V2编码器与条件流匹配模型构建协同音乐创作智能体，提升了和弦与调式检测准确率，可快速生成音乐建议并支持交互演示。
2026-08-06 cs.LG cs.SD eess.AS
Supervised Symbolic Music Style Translation Using Synthetic Data
Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
对风格转移和领域翻译的研究已经清楚地证明了基于深度学习的算法在艺术风格方面操纵图像的能力。最近，已经进行了几次尝试来将这种方法扩展到音乐（符号和音频两者），以便能够以类似的方式转换音乐风格。在这项研究中，我们专注于象征性音乐，目的是改变作品的“风格”，同时保持其原有的“内容”。与目前的方法相反，由于缺乏“对齐”数据（即以多种风格演奏的同一音乐作品），这些方法本质上被限制为无监督的，我们为此任务开发了第一个完全监督的算法。我们的方法的核心在于一个合成数据生成方案，它允许我们产生几乎无限数量的对齐数据，从而避免了上述问题。鉴于这种数据生成方案，我们提出了一种编码器-解码器模型，用于在许多不同风格之间翻译符号音乐符号。我们的实验表明，尽管我们的模型完全基于合成数据进行训练，但即使对于真实的（非合成的）录音，也能够产生具有音乐意义的声音。
2019-07-04 cs.LG cs.SD eess.AS
Self-Supervised Multi-View Learning for Disentangled Music Audio Representations
New York University（纽约大学）
针对音乐音频自监督学习中的表示纠缠问题，提出一种多视角学习框架，通过分离私有与共享表示空间，在受控实验中验证了其解纠缠有效性。
2024-11-05 cs.SD eess.AS
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd（Tmap移动有限公司）
自监督学习的共同研究目标是提取一个通用的表示，任意下游任务将从中受益。在这项工作中，我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索（MIR）的任务，不同层次的音乐感知关注。本文通过对实验结果的分析，探讨了不同任务下对比学习策略的使用方向。我们发现，这些表示传达了一个全面的信息的听觉特性的音乐一般，虽然每个自我监督策略有自己的有效性，在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
Self-Supervised Hierarchical Metrical Structure Modeling
NYU Shanghai（上海纽约大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
我们提出了一种新的方法来模拟分层韵律结构的符号音乐和音频信号在一个自我监督的方式与最小的领域知识。该模型对节拍对齐的音乐信号进行训练和推理，并预测从节拍、小节到小节级别的8层分层韵律树。训练过程不需要任何层次的韵律标记，除了节拍，纯粹依靠韵律规律性和声音间一致性的本质作为归纳偏差。我们在实验中表明，该方法在符号音乐和音频信号的多个韵律结构分析任务上实现了与监督基线相当的性能。所有演示、源代码和预训练模型都可以在GitHub上公开获得。
2023-01-25 cs.LG cs.SD eess.AS
Balancing Information Preservation and Disentanglement in Self-Supervised Music Representation Learning
New York University（纽约大学）
针对自监督音乐表征学习中信息保留与解耦难以兼顾的问题，提出结合对比与重构目标的多视图SSL框架，在保证信息完整性的同时实现音乐属性解耦。
2025-07-30 cs.SD eess.AS
Supervised and Unsupervised Learning of Audio Representations for Music Understanding
SiriusXM（天狼星卫星广播公司）
在这项工作中，我们提供了一个广泛的比较分析的策略预训练音频理解模型的几个任务在音乐领域，包括标记流派，时代，起源，情绪，乐器，关键，音高，声乐特点，节奏和响亮。具体来说，我们探讨了预训练数据集（音乐或通用音频）和预训练方法（监督或无监督）如何影响下游任务所产生的音频嵌入的充分性。我们发现，通过监督学习在大规模专家注释的音乐数据集上训练的模型在各种音乐标签任务中实现了最先进的性能，每个任务都有新的内容和词汇。这可以通过包含少于1亿个参数的模型以有效的方式完成，这些参数不需要对下游任务进行微调或重新参数化，使得这种方法对于行业规模的音频目录是实用的。在无监督学习策略类中，我们证明了训练数据集的域可以显着影响模型学习的表示性能。我们发现，将预训练数据集的域限制在音乐上，可以使用较小的批量进行训练，同时在无监督学习中实现最先进的技术-在某些情况下，监督学习-用于音乐理解。我们还证实，虽然在许多任务上实现了最先进的性能，但监督学习可能会导致模型专门针对所提供的监督信息，这在一定程度上损害了模型的通用性。
2022-10-07 cs.AI cs.IR cs.LG
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
Inria/ENS（法国国家信息与自动化研究所/巴黎高等师范学院）
神经风格转移允许将一个图像的艺术风格应用于另一个图像，在其引入后不久就成为最广泛展示的计算机视觉应用之一。相比之下，音乐音频领域的相关任务直到最近才在很大程度上得到解决。虽然已经提出了几种针对音乐信号的风格转换方法，但大多数都缺乏经典图像风格转换算法的“一次性”能力。另一方面，现有的单次音频风格转移方法对音乐输入的结果并不那么令人信服。在这项工作中，我们特别感兴趣的问题，一次性音色转移。我们提出了一种新的方法，这项任务的基础上扩展的矢量量化变分自编码器（VQ-VAE），以及一个简单的自监督学习策略，旨在获得解开表示的音色和音高。我们使用一组客观的指标来评估该方法，并表明它能够优于选定的基线。
2021-06-10 cs.LG cs.SD eess.AS
Supervised Metric Learning for Music Structure Features
ByteDance（字节跳动）
音乐结构分析（MSA）方法传统上搜索音频中具有音乐意义的模式：同质性，重复性，新颖性和片段长度规则性。手工制作的音频功能，如MFCC或chromagram通常用于引出这些模式。然而，随着节标签的更多注释（例如，主歌、副歌和桥）变得可用，人们可以使用监督特征学习来使这些模式更加清晰并提高MSA性能。为此，我们采取了一种监督度量学习方法：我们训练一个深度神经网络，如果两个谱图输入具有相同的截面类型（根据注释），则输出彼此接近的嵌入，否则远离。我们提出了一个批量抽样方案，以确保训练对中的标签得到有意义的解释。训练模型提取可用于现有MSA算法的特征。在三个数据集（HarmonixSet，SALAMI和RWC）的评估中，我们证明了使用所提出的功能可以在数据集内和跨数据集的情况下显着改善传统的MSA算法。
2022-04-29 cs.SD eess.AS
Supervised Learning for Game Music Segmentation
Queen Mary University of London（伦敦玛丽女王大学）
本研究通过结合卷积神经网络和循环神经网络，利用监督学习方法在游戏音乐结构分段任务中取得与无监督学习相当的性能。
2026-01-19 cs.SD
Layer-wise Investigation of Large-Scale Self-Supervised Music Representation Models
NanJing UniversityChina（南京大学）；Shanghai Jiao Tong UniversityChina（上海交通大学）；Tencent AI Lab China（腾讯AI实验室）
本研究分析MusicFM和MuQ两个自监督音乐表示模型，验证其在多任务中的优势，探索层间信息专门化及层选择对性能的影响，揭示模型结构与应用潜力。
2025-05-22 cs.AI cs.SD eess.AS
Scaling Up Music Information Retrieval Training with Semi-Supervised Learning
ByteDance（字节跳动）
针对音乐信息检索标注数据稀缺问题，提出采用半监督师生训练方法，通过扩大无标注数据规模、迭代优化伪标签及扩展模型规模，在多项MIR任务上取得了当前最优结果。
2023-10-02 cs.SD eess.AS
Sketching the Expression: Flexible Rendering of Expressive Piano Performance with Self-Supervised Learning
Seoul National University（首尔大学）；Krust Universe（Krust宇宙）
我们提出了一个系统，用于呈现具有灵活的音乐表现力的象征性钢琴表演。为了创造一种新的音乐表演，传达各种情感或细微差别，有必要积极地控制音乐表达。然而，以前的方法仅限于遵循作曲家的音乐表现的指导方针，或只处理音乐属性的一部分。我们的目标是使用条件VAE框架来解开钢琴演奏的整个音乐表达和结构属性。它随机地从潜在表征和给定的音符结构生成表达参数。此外，我们采用自我监督的方法，迫使潜变量代表目标属性。最后，我们利用两步编码器和解码器来学习分层依赖性，以增强输出的自然度。实验结果表明，我们的系统可以稳定地产生相关的性能参数给定的乐谱，学习解开表示，并控制音乐属性彼此独立。
2022-09-03 cs.MM cs.SD eess.AS
Music Source Separation with Generative Flow
University of Rochester（罗切斯特大学）；Tencent Technology (Shanghai) Co., Ltd.（腾讯科技（上海）有限公司）
用于源分离的全监督模型是在并行混合源数据上训练的，并且是目前最先进的。然而，这样的并行数据通常难以获得，并且使训练模型适应具有新源的混合物是繁琐的。相比之下，仅源监督模型只需要单个源数据进行训练。在本文中，我们首先利用基于流的生成器来训练个人音乐源先验，然后使用这些模型，以及基于可能性的目标，分离音乐混合物。我们表明，在歌声分离和音乐分离任务中，我们提出的方法与完全监督的方法相比具有竞争力。我们还证明了我们可以灵活地添加新类型的源，而完全监督的方法需要重新训练整个模型。
2022-10-16 cs.SD eess.AS eess.SP
Masked Contrastive Pre-Training Improves Music Audio Key Detection
Department of Computer Science；Engineering, Texas A\&M University
本文通过掩码对比预训练提升音乐音频键检测性能，发现其能有效增强音高敏感性，并在监督学习中实现SOTA表现。
2026-04-11 cs.LG cs.SD
End-to-End Lyrics Recognition with Self-supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Western Australia（西澳大利亚大学）
歌词识别是音乐处理中的一项重要任务。尽管传统算法如混合HMM-TDNN模型取得了良好的性能，但应用端到端模型和自监督学习（SSL）的研究有限。在本文中，我们首先建立了一个端到端的歌词识别基线，然后探讨SSL模型在歌词识别任务上的性能。我们使用不同的训练方法（掩蔽重建，掩蔽预测，自回归重建和对比学习）评估了各种上游SSL模型。即使没有经过大型训练的语言模型，我们的端到端自监督模型在DAMP音乐数据集上进行评估，在开发集上的表现也比之前的最先进（SOTA）系统高出5.23%，在测试集上高出2.4%。此外，我们研究了背景音乐对自监督学习模型性能的影响，并得出结论，SSL模型在背景音乐存在下无法有效地提取特征。最后，我们研究了SSL特征的域外泛化能力，考虑到这些模型不是在音乐数据集上训练的。
2022-10-27 cs.SD eess.AS
Semi-Supervised Monaural Singing Voice Separation With a Masking Network Trained on Synthetic Mixtures
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
我们研究了半监督歌声分离问题，其中训练数据包含一组混合音乐（歌唱和器乐）和一组不匹配的器乐样本。我们的解决方案采用了一个单一的映射函数g，它适用于混合样本，恢复基本的器乐，并适用于乐器样本，返回相同的样本。网络g使用纯乐器样本以及通过将重建的歌唱声音与随机乐器样本混合而创建的合成混合样本进行训练。我们的研究结果表明，我们与完全监督方法相当或更好，这些方法也提供了未混合的歌声的训练样本，并且优于最近的其他半监督方法。
2019-05-06 cs.LG cs.SD eess.AS
Self-Supervised Music Source Separation Using Vector-Quantized Source Category Estimates
Queen Mary University（玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出一种自监督音乐源分离系统，通过向量量化表示替代音频查询，在推理时无需音频查询，为不同音乐流派的源分离提供新途径。
2023-11-21 cs.SD eess.AS
How Far Can Pretrained LLMs Go in Symbolic Music? Controlled Comparisons of Supervised and Preference-based Adaptation
Johannes Kepler University Linz（约翰·凯pler大学林茨）
本文探讨了预训练大语言模型在符号音乐生成与理解中的适应效果，通过对比监督学习与偏好导向适应方法，分析了领域适应与保留先验信息的权衡及指标行为差异。
2026-01-30 cs.AI cs.SD
Tempo estimation as fully self-supervised binary classification
SiriusXM-Pandora
本文提出一种全自监督节奏估计方法，将节奏估计转化为判断目标音轨与参考音轨节奏是否相同的二分类问题，利用无标注音乐数据和时间拉伸训练模型，在放宽八度约束下取得与最先进方法相当的竞争力。
2024-01-17 cs.LG cs.SD eess.AS
Self-Supervised Disentanglement of Harmonic and Rhythmic Features in Music Audio Signals
AlphaTheta Corporation（AlphaTheta公司）
提出一种基于深度神经网络的自监督学习方法，通过训练变分自编码器在音高偏移条件下重建梅尔频谱图，实现音乐音频中节奏与谐波特征的解耦，并验证了其解耦效果及在自动音乐混音生成中的应用。
2023-09-06 cs.SD eess.AS
Representation Learning of Music Using Artist Labels
NAVER Corp.（NAVER公司）；Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
在音乐领域，特征学习主要有两种方式：基于稀疏表示的无监督学习和基于音乐类型等语义标签的监督学习。然而，以无监督的方式找到有区别的特征是具有挑战性的，并且使用语义标签的监督特征学习可能涉及噪声或昂贵的注释。在本文中，我们提出了一个监督的特征学习方法，使用艺术家标签标注在每一个单一的轨道作为客观的Meta数据。我们提出了两个深度卷积神经网络（DCNN）来学习深层艺术家特征。一个是同时使用整个艺术家标签训练的普通DCNN，另一个是基于艺术家身份使用艺术家标签子集训练的Siamese DCNN。我们将训练好的模型应用于迁移学习环境中的音乐分类和检索任务。结果表明，我们的方法与以前的最先进的方法相当，这表明所提出的方法捕获了与使用语义标签学习的模型一样多的一般音乐音频特征。最后，我们讨论了这两种模型的优点和缺点。
2018-06-19 cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK（爱丁堡大学）
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调，揭示了情感语音与音乐间的声学相似性及模型情感偏差，并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
