Learning a Predictive Model for Music Using PULSE
University of Stuttgart（斯图加特大学）；TU Dresden（德累斯顿工业大学）；TU Berlin（柏林工业大学）
算法作曲、认知科学和机器学习的研究人员都在研究音乐的预测模型。它们作为基本模型的组成，可以模拟人类的预测，并提供了一个多学科的应用领域的学习算法。一个特别完善和不断进步的子任务是预测单声道旋律。由于旋律通常涉及非马尔可夫依赖性，因此它们的预测需要有能力的学习算法。在这篇论文中，我将最新的特征发现和学习方法PULSE应用到符号音乐建模领域。PULSE由特征生成操作和L1正则化优化组成。这些用于迭代地扩展和剔除特征集，有效地探索对于普通特征选择方法来说太大的特征空间。我为PULSE设计了一个通用的Python框架，提出了任务优化的特征生成操作和各种音乐理论动机的特征，这些特征在单声道民谣和合唱旋律的标准语料库上进行评估。所提出的方法显着优于可比的最先进的模型。进一步讨论了学习算法的自由参数，分析了学习模型的特征组成。PULSE学习的模型提供了一个简单的检查，并首次从音乐学上进行解释。
2017-09-26 cs.LG cs.SD eess.AS
ARIMA: Reconstruction-Grounded Predictive Representation Learning for Symbolic Music
本文提出ARIMA框架，用于符号音乐的基于重构的预测表示学习。它直接从数据学习紧凑窗口表示，编码窗口为潜在表示，训练因果预测器并通过结构化重构确定编码器基础，在多下游任务表现良好，证明相关方法的有效性和重要性。
2026-07-14 cs.SD
From Bach to the Beatles: The simulation of human tonal expectation using ecologically-trained predictive models
Austrian Research Institute for Artificial Intelligence (OFAI)（奥地利人工智能研究所）；Johannes Kepler University（约翰内斯·开普勒大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
音调结构部分地通过音乐事件之间的统计性的重叠来传达，并且研究已经表明，计算模型通过在如音高直方图的示意性构造中捕获这些重叠来反映音乐中的音调结构。在为数不多的研究中，从音乐数据中获取感知学习的模型，大多数采用自组织模型，学习静态描述音乐上下文的拓扑结构。此外，用于训练这些模型的刺激通常是象征性的，而不是音乐材料的声学忠实表示。在这项工作中，我们调查了音乐记忆的顺序预测模型（特别是递归神经网络），从商业CD录音的音频训练，诱导音调知识以类似的方式给听众（如在音乐感知的行为研究）。我们的实验表明，各种类型的递归神经网络产生的音乐期望，清楚地传达音调结构。此外，结果表明，虽然隐含的音调结构的知识是准确的音乐预期的必要条件，最准确的预测模型还使用其他线索以外的音调结构的音乐背景。
2017-07-19 cs.LG cs.SD
High-Level Control of Drum Track Generation Using Learned Patterns of Rhythmic Interaction
Sony Computer Science Laboratories (CSL)（索尼计算机科学实验室（CSL））
在深度学习潜力的推动下，计算音乐生成重新引起了学术界的兴趣。音乐生成中的一个关键问题是用户控制，特别是在音乐生成过程以现有音乐材料为条件的情况下。在这里，我们提出了一个有条件的踢鼓轨道生成模型，以现有的音乐材料作为输入，除了低维代码，编码现有的材料和要生成的新材料之间的所需关系。这些关系代码是以无监督的方式从音乐数据集中学习的。我们表明，代码可以被采样，以创建各种音乐上合理的踢鼓轨道，该模型可以用来转移踢鼓模式从一首歌到另一个。最后，我们证明了学习的代码在很大程度上是不变的节奏和时移。
2019-08-02 cs.HC cs.LG cs.SD
Vector Quantized Contrastive Predictive Coding for Template-based Music Generation
Sony Computer Science Laboratories（索尼计算机科学实验室）
在这项工作中，我们提出了一种灵活的方法来生成离散序列的变化，其中令牌可以被分组为基本单位，如文本中的句子或音乐中的酒吧。更确切地说，给定一个模板序列，我们的目标是产生与原始模板具有可感知相似性的新序列，而不依赖于任何注释;因此，我们生成变体的问题与在没有监督的情况下学习相关高级表示的问题密切相关。我们的贡献是双重的：首先，我们提出了一个自我监督的编码技术，称为矢量量化对比预测编码，它允许学习一个有意义的分配的基本单位在一组离散的代码，连同机制，允许控制这些学习的离散表示的信息内容。其次，我们展示了如何使用这些压缩表示可以用来生成模板序列的变化，通过使用适当的注意模式中的Transformer架构。我们说明了我们的方法上的语料库J. S.巴赫合唱，我们讨论了音乐意义的学习离散代码，并表明我们提出的方法允许生成一个给定的模板的连贯性和高质量的变化。
2020-04-21 cs.LG cs.SD eess.AS
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
我们提出了一个框架，采用自动音乐转录（AMT）使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差，音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此，我们采用了两个经常性的神经网络，作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在，另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性，我们应用动态时间规整作为对齐算法，而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集，并将其与以前的工作进行比较。结果表明，与学习功能的对齐框架显着提高了准确性，实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
Emotion-Aligned Contrastive Learning Between Images and Music
University of Southern California（南加州大学）
针对跨模态音乐检索中情感匹配研究不足的问题，提出基于情感监督对比学习的图像-音乐情感对齐联合嵌入方法，经跨模态检索和自动音乐标注实验验证，该方法能有效对齐两者情感，适用于跨模态检索场景。
2024-12-08 cs.MM cs.SD eess.AS
DLR : Toward a deep learned rhythmic representation for music content analysis
Seoul National University（首尔国立大学）；Queen Mary University of London（伦敦玛丽女王大学）
在使用深度神经网络时，为网络提供适当的输入表示以供学习至关重要。在本文中，我们提出了一种方法来学习一种表示，专注于节奏表示，这被称为DLR（深度学习节奏表示）。所提出的方法旨在从原始音频信号中学习DLR，并将其用于其他音乐信息学任务。在DLR的学习中使用了一维卷积网络。在实验中，我们呈现了源任务和目标任务的结果以及DLRs的可视化。结果表明，DLR提供了紧凑的节奏信息，可用于多标记任务。
2017-12-14 cs.SD
An Interactive Musical Prediction System with Mixture Density Recurrent Neural Networks
University of Oslo（奥斯陆大学）
本文是关于创建数字乐器的预测神经网络模型集成到交互系统。而不是预测象征性的音乐（例如，我们建议，从用户和精确的时间信息预测未来的控制数据可以导致新的和有趣的交互可能性。我们建议，混合密度递归神经网络（MDRNN）是一个合适的模型，这项任务。当用户停止执行时，预测可以用于填充控制数据，或者作为对用户自己输入的一种过滤器。我们提出了一个交互式的MDRNN预测服务器，允许快速原型的新NIME具有预测的音乐交互记录数据集，训练MDRNN模型，并与交互模式进行实验。我们说明了我们的系统与几个例子NIME应用这个想法。我们的评估表明，即使在单板计算机上，实时预测交互也是可行的，并且小模型适用于小数据集。
2019-04-10 cs.HC cs.NE cs.SD
PHALAR: Phasors for Learned Musical Audio Representations
Department of Computer Science, Sapienza University of Rome, Italy（罗马大学计算机科学系）；Moises Systems, Inc.（Moises系统公司）；Paradigma, Inc.（Paradigma公司）
提出PHALAR对比框架，利用学习谱池化和复值头实现音高和相位等变，在茎检索任务中参数减少50%、训练加速7倍，准确率相对提升约70%，并捕获鲁棒的音乐结构。
2026-05-26 cs.AI cs.LG cs.SD
PianoBART: Symbolic Piano Music Generation and Understanding with Large-Scale Pre-Training
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对现有方法无法统一利用特征同时完成音乐生成与理解的问题，本文提出预训练模型PianoBART，搭配多级对象选择策略，在音乐生成和理解任务上均取得优异表现。
2024-06-26 cs.AI cs.SD eess.AS
Stem-JEPA: A Joint-Embedding Predictive Architecture for Musical Stem Compatibility Estimation
Télécom-Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎理工学院）；Sony Computer Science Laboratories - Paris（索尼计算机科学实验室巴黎分部）；Sony AI（索尼人工智能）
本文提出Stem-JEPA，一种基于联合嵌入预测架构的自监督模型，通过编码器-预测器联合训练学习音乐分轨兼容性，可用于分轨检索、对齐与生成，并在MUSDB18及下游任务中验证其有效性。
2024-08-05 cs.LG cs.SD eess.AS
Learning Music Audio Representations With Limited Data
School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）
本文研究多种音乐音频表示模型在5至8000分钟有限数据下的表现，发现特定条件下有限数据甚至随机模型的表示可与大数据集模型媲美，但部分任务中手工特征仍更优。
2025-05-09 cs.LG cs.SD eess.AS
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd（Tmap移动有限公司）
自监督学习的共同研究目标是提取一个通用的表示，任意下游任务将从中受益。在这项工作中，我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索（MIR）的任务，不同层次的音乐感知关注。本文通过对实验结果的分析，探讨了不同任务下对比学习策略的使用方向。我们发现，这些表示传达了一个全面的信息的听觉特性的音乐一般，虽然每个自我监督策略有自己的有效性，在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
Maximum entropy models for generation of expressive music
SONY CSL（索尼计算机科学实验室）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
在当代单声道音乐的背景下，表达可以被视为音乐表演与其符号表示（即乐谱）之间的差异。在本文中，我们将展示如何最大熵（MaxEnt）模型可以用来生成音乐表达，以模仿人类的表现。作为训练语料库，我们让一位专业钢琴家演奏了大约150首爵士乐、流行音乐和拉丁爵士乐的旋律。结果显示出良好的预测能力，验证了我们模型的选择。此外，我们建立了一个听力测试，其结果显示，平均而言，人们显着更喜欢的旋律产生的MaxEnt模型比那些没有任何表情，或与完全随机的表情。此外，在某些情况下，MaxEnt旋律几乎和人类演奏的旋律一样受欢迎。
2016-10-12 cs.AI cs.SD
Deep rank-based transposition-invariant distances on musical sequences
LIP6, Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学 LIP6 实验室）；Sony CSL, Paris（索尼计算机科学实验室（巴黎））；École Polytechnique, Palaiseau, France（巴黎综合理工学院）；Sony CSL, Tokyo（索尼计算机科学实验室（东京））
从音乐检索到自动音乐生成，各种应用都需要符号音乐序列上的距离。这些音乐序列属于一个给定的语料库（或风格），很明显，一个好的音乐序列距离应该考虑到这一信息;能够定义一个可以适用于所有音乐风格的距离似乎是不可信的。距离也可以在某些变换下是不变的，例如换位，因此它可以用作音乐动机之间的距离，而不是音乐序列之间的距离。然而，据我们所知，设计音乐距离的方法似乎都没有解决这些问题。本文介绍了一种方法来建立转置不变距离的符号音乐序列，从数据学习。它是一种混合距离，它结合了音乐序列的学习特征表示与手工制作的等级距离。与以前的方法相比，这种距离对数据的音乐编码的依赖性更小，并给出了感知上良好的结果。我们证明了它的有效性的数据集上的合唱旋律由J. S。巴赫.
2017-09-03 cs.IR cs.SD
A Modulation Front-End for Music Audio Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
卷积神经网络在自动音乐标注任务中得到了广泛的研究。这个问题可以通过使用工程时频特征或原始音频作为输入来解决。作为音色感知的基础，调制滤波器组表示已被积极研究，有可能促进感知显著特征的提取。我们探索端到端的学习前端音频表示学习，ModNet和SincModNet，其中包括一个时间调制处理块。该结构实际上类似于调制滤波器组，其中FIR滤波器中心频率以数据驱动的方式学习。期望的是，感知动机的滤波器组可以提供用于识别音乐特征的有用表示。我们的实验结果提供了一个完全可视化和可解释的前端时间调制分解的原始音频。我们评估了我们的模型对MagnaTagATune数据集上最先进的音乐标记的性能。我们分析了特定标签的性能的影响时，时间-频率带的调制滤波器在一个逐步降低的速率进行二次采样。我们证明，调制滤波提供了有前途的结果，音乐标记和特征表示，而不使用广泛的音乐领域的知识，在这个前端的设计。
2021-05-25 cs.LG cs.SD eess.AS
MVWeaver: A Hierarchical Music Video Generation Agent with a Learned Song-to-Visual Bridge
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；KlingAI Research（可灵AI研究院）；Shanghai Theatre Academy（上海戏剧学院）；Beijing Film Academy（北京电影学院）；University of Konstanz（康斯坦茨大学）
MVWeaver提出一种分层音乐视频生成智能体，通过学习歌曲-视觉桥接将歌曲理解转化为镜头计划，利用1,861对真实数据微调LLM，显著提升视觉连贯性与歌曲契合度。
2026-09-09 cs.MM cs.SD
Upmixing via style transfer: a variational autoencoder for disentangling spatial images and musical content
Amazon（亚马逊）
在音乐的立体声到多声道上混问题中，主要任务之一是在多声道渲染结果中设置乐器源的方向性。在本文中，我们提出了一种改进的变分自动编码器模型，学习一个潜在的空间来描述多通道音乐中的空间图像。我们试图解开空间图像和音乐内容，因此学习的潜变量对音乐是不变的。在测试时，我们使用潜变量来控制源的平移。我们提出了两个上混用例：将空间图像从一首歌曲转移到另一首歌曲和基于生成模型的盲平移。我们报告的客观和主观的评价结果，经验表明，我们的模型捕捉空间图像分别从音乐内容，并实现基于传输的交互式平移。
2022-03-22 cs.SD eess.AS
Channel-Preserving Representation Alignment for EEG-to-Music Reconstruction
UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
针对脑电信号弱、易受噪声和通道变异影响的问题，提出通道导向设计（包括通道级标记化、多视角自蒸馏和数据增强），在编码-对齐-解码流水线中实现稳定的音乐语义空间对齐，显著提升重建性能。
2026-09-29 cs.AI cs.SD eess.AS
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究提出通过多SAE对齐和音高移位归纳偏置，将音乐概念视为结构化轨道而非孤立特征，在两种音乐基础模型上成功恢复和弦、调性等结构，仅需少量锚示例即可解释概念族。
2026-10-02 cs.AI cs.SD
A Case Study of Deep-Learned Activations via Hand-Crafted Audio Features
Pompeu Fabra University（庞培法布拉大学）；European Commission - Joint Research Centre（欧盟委员会联合研究中心）
卷积神经网络（CNN）的可解释性在所有应用领域都是一项特别具有挑战性的任务，特别是在音乐和音频领域。在本文中，我们利用我们对手工制作的音频功能的知识来接近可解释性。我们的研究集中在一个定义明确的MIR任务，从用户生成的音乐录音中识别乐器。我们计算一组传统音频特征和CNN学习的表示之间的相似性。我们还提出了一种用于测量激活图和音频特征之间的相似性的技术，这些特征通常以矩阵的形式呈现，例如色度图或频谱图。我们观察到一些神经元的激活对应于众所周知的经典音频特征。特别是，对于浅层，我们发现激活和谐波和谐波分量的频谱之间的相似之处。对于更深的层，我们将色度图与高级激活图进行比较，并将响度和发病率与深度学习的嵌入进行比较。
2019-07-03 cs.LG cs.SD eess.AS
Quantifying Musical Style: Ranking Symbolic Music based on Similarity to a Style
Simon Fraser University（西蒙菲莎大学）
人类感知音乐相似性的建模对于生成音乐系统、音乐学研究和许多音乐信息检索任务的评估至关重要。虽然人类的相似性判断是黄金标准，但计算分析通常更可取，因为结果通常更容易重现，并且计算方法更具可扩展性。此外，基于计算的方法可以快速地按需计算，这是与在线系统一起使用的先决条件。我们提出了StyleRank，一种方法来衡量一个音乐文件和一个任意的音乐风格划定的一个集合的音乐文件之间的相似性。加密文件使用一组新颖的特征进行编码，并使用随机森林学习嵌入。实验证据表明，StyleRank与人类对风格相似性的感知高度相关，并且根据其与语料库风格的相似性对生成的样本进行排名是足够精确的。此外，相似性可以相对于单个特征进行测量，从而允许识别所生成的样本与特定音乐风格之间的特定差异。
2020-03-10 cs.SD eess.AS
Low-dimensional Embodied Semantics for Music and Language
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID Lisboa（里斯本信息与通信技术研究院）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））
语义认知理论认为语义在大脑中被编码为神经回路的放电模式，这些模式是根据人类多模态经验的统计结构来学习的。然而，每个人的大脑都有其独特的偏见，根据其主观经验历史，使这种生物语义机器相对于媒体工件（如音乐和语言摘录）固有的整体语义产生噪音。我们建议使用低维向量嵌入来表示共享语义，通过联合建模来自人类受试者的几个大脑。我们表明，这些无监督的有效表示优于原来的高维fMRI体素空间在代理音乐流派和语言主题分类任务。我们进一步表明，几个主题的联合建模增加了学习的潜在向量空间的语义丰富性。
2019-06-20 cs.IR cs.LG cs.SD
The Impact of Label Noise on a Music Tagger
Institute of Computational Perception, Johannes Kepler University Linz（约翰内斯·开普勒林茨大学计算感知研究所）
我们探讨有多少可以从嘈杂的标签音频音乐标记。我们的实验表明，仔细注释的标签会产生最高的品质因数，但即使是大量的嘈杂标签也包含足够的信息来成功学习。人工破坏精选数据使我们能够消除嘈杂标签的这种贡献。
2020-08-14 cs.LG cs.SD eess.AS
MS-SincResNet: Joint learning of 1D and 2D kernels using multi-scale SincNet and ResNet for music genre classification
National Yang Ming Chiao Tung University（国立阳明交通大学）；Chung Hua University（中华大学）
在这项研究中，我们提出了一种新的端到端卷积神经网络，称为MS-SincResNet，用于音乐流派分类。MS-SincResNet将1D多尺度SincNet（MS-SincNet）作为第一个卷积层添加到2D ResNet，试图在训练阶段联合学习1D内核和2D内核。首先，将输入音乐信号划分为多个固定持续时间（本研究中为3秒）的音乐片段，并将每个音乐片段的原始波形馈送到1D MS-SincNet滤波器学习模块中以获得三通道2D表示。与声谱图、和声声谱图、泛音声谱图和梅尔声谱图相比，习得的表征具有丰富的音色、和声和泛音特征。然后使用ResNet从这些2D表示中提取判别嵌入。空间金字塔池化（SPP）模块进一步用于在时间和频率方面增强特征区分度，以获得每个音乐片段的分类标签。最后，投票策略被应用于总结来自所有3秒音乐片段的分类结果。在我们的实验结果中，我们证明了所提出的MS-SincResNet优于基线SincNet和许多众所周知的手工制作的功能。考虑到单独的2D表示，MS-SincResNet还在GTZAN数据集和ISMIR 2004数据集上产生了与最先进方法竞争的结果。代码可在https://github.com/PeiChunChang/MS-SincResNet上获得
2021-09-18 cs.AI cs.SD eess.AS
How Far Should Tokenization Go? Predictive Effectiveness and Relational Losslessness
Tsinghua University（清华大学）
该研究针对GPT风格模型无法直接迁移到符号音乐的问题，提出有效性-无损性框架，通过构建预测有效且关系无损的坐标系优化标记化，实验验证了相关边界，揭示了跨模态迁移的关键在于标记化接口而非架构。
2026-08-31 cs.AI cs.LG cs.SD
Towards Contrastive Learning in Music Video Domain
本研究探索对比学习在音乐视频领域的应用，构建音频-视频双编码器并训练，但在音乐标注和流派分类任务上不如预训练网络，通过定性分析揭示原因并提出未来方向。
2023-09-01 cs.CV cs.IR cs.MM
Leveraging the structure of musical preference in content-aware music recommendation
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
最先进的音乐推荐系统是基于协同过滤的，它根据用户的收听习惯和与其他用户的简档的相似性来预测用户的兴趣。这些方法对歌曲内容是不可知的，因此面临冷启动问题：如果没有收听历史，它们就不能推荐新的歌曲。为了解决这个问题，内容感知推荐结合了关于歌曲的信息，这些信息可以用于推荐新项目。属于这一类的大多数方法利用用户注释的标签，声学特征或深度学习的特征。因此，这些内容特征不具有明确的音乐含义，因此从音乐偏好的角度来看，它们不一定相关。在这项工作中，我们建议，而不是利用一个模型的音乐偏好，起源于音乐心理学领域。从低层次的声学特征，我们提取三个因素（唤醒，效价和深度），这已被证明是适当的描述音乐品味。然后，我们将这些集成到一个协同过滤框架的内容感知音乐推荐。在大规模数据上进行的实验表明，该方法能够解决冷启动问题，同时使用紧凑且有意义的音乐特征集。
2021-02-09 cs.IR cs.SD eess.AS
Pitch Contour Tokenization using VQ-VAE and Its Application on Korean Traditional Music Analysis
该研究针对连续音高运动的音乐传统，用VQ-VAE从无标注音频学习音高轮廓分词，在韩国传统音乐分析中验证了分词可作为语料库级分析单元的有效性。
2026-08-12 cs.SD
From Context to Concept: Exploring Semantic Relationships in Music with Word2Vec
University of Miami（迈阿密大学）；Institute for High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
我们探讨了一个流行的分布式语义向量空间模型，word 2 vec，捕捉生态（复杂的复调）音乐有意义的关系的潜力。更准确地说，word 2 vec的skip-gram版本被用来从一个跨越八个音乐流派的大型语料库中对音乐片段进行建模。在这个新学习的向量空间中，基于余弦距离的度量能够区分功能和弦关系以及音乐中的和声关联。证据，基于弦对向量之间的余弦距离，表明在向量空间中存在一个隐式的五分之一圆。此外，不同键的片段之间的比较表明，键关系是在word 2 vec空间中表示的。这些结果表明，新学习的嵌入式向量表示实际上确实捕获了音乐的音调和和声特征，而没有接收到有关组成切片的音乐内容的明确信息。为了调查是否接近在发现的嵌入空间表示“语义相关”的切片，我们探索了一个音乐生成任务，通过自动替换现有的切片从一个给定的音乐片与新的切片。我们提出了一种算法来找到替代片的基础上空间接近和音高类分布推断在所选择的子空间。结果表明，所使用的子空间的大小有一个显着的影响是否属于同一个键的切片被选中。总之，所提出的word 2 vec模型能够学习音乐向量嵌入，捕获音乐中有意义的音调和和声关系，从而提供了一个有用的工具，用于探索音乐属性和跨作品的比较，作为深度学习模型的潜在输入表示，以及作为音乐生成设备。
2018-11-29 cs.IR cs.LG cs.SD
PIANOTREE VAE: Structured Representation Learning for Polyphonic Music
NYU Shanghai（纽约大学上海分校）；New York University（纽约大学）；Zhejiang University（浙江大学）
音乐表示学习的主要方法涉及深度无监督模型族变分自动编码器（VAE）。然而，大多数，如果不是全部，在这个问题上可行的尝试主要限于单声道音乐。通常由更丰富的模态和更复杂的音乐结构，复调对应尚未在音乐表征学习的背景下解决。在这项工作中，我们提出了PianoTree VAE，一个新的树结构扩展VAE旨在适应复调音乐学习。实验证明了PianoTree VAE的有效性，通过（i）-语义上有意义的潜在代码的复调段;（ii）-更满意的重建除了体面的几何学学习的潜在空间;（iii）-该模型的好处，下游音乐生成的多样性。
2020-08-17 cs.CL cs.LG cs.SD
Sample-level Deep Convolutional Neural Networks for Music Auto-tagging Using Raw Waveforms
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近，使用深度卷积神经网络从原始数据中学习分层表示的端到端方法已经在图像、文本和语音领域得到了成功的探索。这种方法也被应用于音乐信号，但尚未完全探索。为此，我们提出了样本级深度卷积神经网络，它从非常小的波形颗粒（例如2或3个样本）中学习表示，而不是典型的帧级输入表示。我们的实验展示了具有样本级过滤器的深度架构如何提高音乐自动标记的准确性，并且它们提供的结果与Magnatagatune数据集和Million Song数据集之前的最先进性能相当。此外，我们将在每一层的样本级DCNN中学习的滤波器可视化，以识别分层学习的特征，并表明它们对沿层的对数缩放频率敏感，例如广泛用于音乐分类系统的梅尔频谱图。
2017-05-22 cs.LG cs.MM cs.NE
Musical Training, but not Mere Exposure to Music, Drives the Emergence of Chroma Equivalence in Artificial Neural Networks
Canadian Centre for Behavioural Neuroscience（加拿大行为神经科学中心）；Department of Neuroscience（神经科学系）；University of Lethbridge（莱斯布里奇大学）
音乐训练而非单纯音乐接触驱动人工神经网络中音高等价性的发展，表明音乐感知任务需要更高阶的认知计算。
2026-02-20 cs.NE cs.SD
Signal-domain representation of symbolic music for learning embedding spaces
IRCAM（声学/音乐研究所）
机器学习模型的一个关键方面在于它们学习有效中间特征的能力。然而，输入表示在这个过程中起着至关重要的作用，复调乐谱仍然是一种特别复杂的信息类型。在本文中，我们介绍了一种新的表示符号音乐数据，它转换成一个连续的信号的复调乐谱。我们从音乐的角度来评估学习有意义的功能，从这个表示的能力。因此，我们介绍了一种评价方法，依靠原则性的生成合成数据。最后，为了测试我们提出的代表性，我们进行了广泛的基准对最近的复调符号表示。我们表明，我们的信号表示导致更好的重建和解开功能。这种改进反映在度量属性和根据音乐理论属性从我们的类信号表示学习的空间的生成能力中。
2021-09-08 cs.LG cs.SD eess.AS
Impact of Intervals on the Emotional Effect in Western Music
Florida International University（佛罗里达国际大学）
每一种艺术形式的最终目的都是唤起观众的情感反应，音乐也不例外。虽然对音乐的精确感知是一个非常主观的话题，但从广义上讲，音乐作品的“感觉”是一致的。基于这种观察，在这项研究中，我们的目的是确定与音乐的短段落相关的情感感受;特别是通过分析旋律方面。我们使用的数据集放在一起Eerola等。其由电影音乐的标记的短段落组成。我们对数据集的初步调查表明，除了“快乐”和“悲伤”标签之外，其他标签都不具备旋律结构。我们把快乐和悲伤的曲目的主旋律转录下来，用音符之间的间隔来分类。我们的实验表明，将旋律视为一个间隔袋并不具有任何预测能力，而相对于旋律的关键计数间隔产生了85%的准确度分类器。
2018-12-10 cs.LG cs.SD eess.AS
Musical Word Embedding for Music Tagging and Retrieval
Graduate School of Culture Technology, Korea Advanced Institute of Science and Technology（韩国科学技术院文化技术研究生院）
提出音乐词嵌入方法 MWE，通过学习日常与音乐相关词汇并将其集成到音频-词联合表示框架中，结合多原型训练平衡标注与检索性能，在多数据集和任务上证明其优于传统词嵌入。
2024-04-23 cs.SD eess.AS
Representation Learning of Music Using Artist Labels
NAVER Corp.（NAVER公司）；Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
在音乐领域，特征学习主要有两种方式：基于稀疏表示的无监督学习和基于音乐类型等语义标签的监督学习。然而，以无监督的方式找到有区别的特征是具有挑战性的，并且使用语义标签的监督特征学习可能涉及噪声或昂贵的注释。在本文中，我们提出了一个监督的特征学习方法，使用艺术家标签标注在每一个单一的轨道作为客观的Meta数据。我们提出了两个深度卷积神经网络（DCNN）来学习深层艺术家特征。一个是同时使用整个艺术家标签训练的普通DCNN，另一个是基于艺术家身份使用艺术家标签子集训练的Siamese DCNN。我们将训练好的模型应用于迁移学习环境中的音乐分类和检索任务。结果表明，我们的方法与以前的最先进的方法相当，这表明所提出的方法捕获了与使用语义标签学习的模型一样多的一般音乐音频特征。最后，我们讨论了这两种模型的优点和缺点。
2018-06-19 cs.SD eess.AS
CMA-OT: Hierarchical Expert Supervision for Dance-to-Music Generation
HKUST(GZ)（香港科技大学（广州））；Tencent（腾讯）
针对舞蹈到音乐生成中稀疏线索与密集音乐信息语义不匹配的问题，提出CMA-OT方法，利用外部音乐专家进行层级监督，结合课程引导多尺度学习和尺度感知最优传输对齐，在两个数据集上达到最先进性能。
2026-09-14 cs.AI cs.SD
Metric Learning vs Classification for Disentangled Music Representation Learning
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；Adobe Research（奥多比研究院）
深度表示学习为将输入数据映射到有组织的嵌入空间提供了强大的范例，并且对于许多音乐信息检索任务都很有用。表示学习的两种核心方法包括深度度量学习和分类，两者都具有相同的目标，即学习可以在任务中很好地推广的表示。随着泛化，解开表示的新兴概念也引起了极大的兴趣，其中多个语义概念（例如，体裁、情绪、乐器）是共同学习的，但在学习的表示空间中保持可分离。在本文中，我们提出了一个单一的表示学习框架，阐明了度量学习，分类，并在一个整体的方式解开之间的关系。为此，我们（1）概述了过去关于度量学习和分类之间关系的工作，（2）通过探索三种不同的学习方法及其分解版本将这种关系扩展到多标签数据，（3）评估四个任务（训练时间，相似性检索，自动标记和三重预测）的所有模型。我们发现，基于分类的模型通常在训练时间、相似性检索和自动标记方面具有优势，而深度度量学习在三元组预测方面表现出更好的性能。最后，我们表明，我们提出的方法产生的音乐自动标记的最先进的结果。
2020-08-12 cs.IR cs.LG cs.SD
Leave-One-EquiVariant: Alleviating invariance-related information loss in contrastive music representations
School of EECS, Queen Mary University of London（伦敦大学玛丽皇后学院电子工程与计算机科学学院）；Music & Audio Machine Learning Lab, Universal Music Group（环球音乐集团音乐与音频机器学习实验室）
本文提出 LOEV 框架，通过选择性保留特定增强信息来缓解对比音乐表示中不变性导致的信息损失，并进一步提出 LOEV++ 构建解耦潜在空间以支持定向检索。
2024-12-25 cs.SD eess.AS
Inspecting and Interacting with Meaningful Music Representations using VAE
NYU Shanghai（上海纽约大学）；New York University（纽约大学）
变分自编码器（VAE）在图像生成方面已经取得了很大的成果，最近在音乐生成方面也取得了可喜的进展。然而，生成过程仍然是很难控制的意义上说，学习的潜在表示缺乏有意义的音乐语义。如果人们可以通过潜在表征来修改某些音乐特征，如节奏和音高轮廓，以测试不同的作曲想法，那将更加有用。在本文中，我们提出了一种新的方法来检查潜在的表征的音高和节奏的解释，我们称之为通过增强解开。基于可解释的表示，一个直观的图形用户界面的设计，为用户更好地指导音乐创作过程中，通过操纵的音高轮廓和节奏的复杂性。
2019-04-18 cs.HC cs.IR cs.LG
Contrastive Learning with Positive-Negative Frame Mask for Music Representation
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自监督学习，特别是对比学习，为深度学习的许多研究领域的发展做出了突出贡献。最近，声学信号处理领域的研究人员注意到了它的成功，并利用对比学习来更好地表示音乐。通常，现有方法最大化从相同音乐采样的两个失真音频段之间的相似性。换句话说，它们确保了音乐层面的语义一致性。然而，这些粗粒度的方法忽略了一些不必要的或嘈杂的元素在帧级，这可能是不利的模型学习的有效表示的音乐。为此，本文提出了一种新的正负框架面具的音乐表示的基础上的对比学习框架，简称PEMR。具体地，PEMR结合了正-负掩码生成模块，其利用Transformer块来在Log-Mel频谱图上生成帧掩码。我们可以通过分别屏蔽重要成分或不重要成分来生成自增强的负样本和正样本。我们设计了一个新的对比学习目标，以适应两个自我增强的积极/消极采样从相同的音乐。我们在四个公共数据集上进行了实验。两个音乐相关的下游任务，音乐分类，翻唱歌曲识别的实验结果，证明了泛化能力和转移的音乐表征学习PEMR。
2022-04-03 cs.LG cs.SD eess.AS
SampleMatch: Drum Sample Retrieval by Musical Context
Sony Computer Science Laboratories（索尼计算机科学实验室）
现代数字音乐制作通常涉及组合许多声学元素来编辑一段音乐。这些元素的重要类型是鼓样，它决定了作品的膨胀成分的特征。艺术家必须用他们的审美判断来评估一个给定的鼓样本是否适合当前的音乐背景。然而，从一个潜在的大型库中选择鼓样本是乏味的，并且可能会中断创作流程。在这项工作中，我们探讨了自动鼓样本检索的基础上从数据中学习的美学原则。因此，艺术家可以通过在制作过程的不同阶段（即，通过适合于不完整的歌曲混合物）。为此，我们使用对比学习来最大化来自与混合物相同的歌曲的鼓样本的得分。我们进行听力测试，以确定人工评分是否符合自动评分功能。我们还进行客观的定量分析，以评估我们的方法的有效性。
2022-08-01 cs.LG cs.SD eess.AS
Learned Continuous Synthesis of Quadratic Difference Tone Spectra
Universitat Pompeu Fabra（庞培法布拉大学）；University of Birmingham（伯明翰大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文提出一种基于神经网络的连续合成方法，学习二次差音频谱的逆映射，解决先前数值方法的不连续和难控制问题，并实现实时版本，适用于音乐应用。
2026-09-11 cs.SD
Dance Generation with Style Embedding: Learning and Transferring Latent Representations of Dance Styles
Fudan University（复旦大学）；Bilibili（哔哩哔哩）
舞蹈编排是指根据人的潜意识知识创造舞蹈的舞步和动作，创造出的舞蹈动作一般具有风格特异性和连贯性。到目前为止，这种潜在的风格特定的知识，舞蹈风格不能明确地表示在人类语言中，还没有在以前的作品中学习的音乐到舞蹈生成任务。在本文中，我们提出了一个新的音乐舞蹈合成框架与可控的风格嵌入。这些嵌入是学习表示风格一致的运动学抽象的参考舞蹈剪辑，作为可控因素施加风格约束的舞蹈生成的潜在方式。因此，仅通过修改风格嵌入就可以将舞蹈风格转换为舞蹈动作。为了支持这项研究，我们建立了一个大型的音乐舞蹈数据集。定性和定量的评价表明，我们提出的框架的优势，以及通过风格嵌入从相同的音乐合成不同风格的舞蹈的能力。
2021-04-30 cs.GR cs.MM cs.SD
Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory
Nanyang Technological University（南洋理工大学）；Sun Yat-Sen University（中山大学）；UCLA（加州大学洛杉矶分校）；SenseTime Research（商汤科技研究院）
驱动3D角色跟随一段音乐跳舞是非常具有挑战性的，因为编舞规范对姿势施加了空间约束。此外，生成的舞蹈序列还需要保持与不同音乐流派的时间一致性。为了解决这些挑战，我们提出了一种新的音乐到舞蹈的框架，Bailando，有两个强大的组件：1）一个舞蹈记忆，学习总结有意义的舞蹈单元从3D姿势序列到量化的码本，2）一个演员-评论家生成预训练的Transformer（GPT），组成这些单元流畅的舞蹈连贯的音乐。与学习的编舞记忆，舞蹈生成上实现的量化单元，满足高编舞标准，使生成的舞蹈序列被限制在空间约束。为了实现不同的运动节奏和音乐节拍之间的同步对齐，我们引入了一个基于演员-评论家的强化学习计划的GPT与新设计的节拍对齐奖励函数。在标准基准测试上的大量实验表明，我们提出的框架在定性和定量上都达到了最先进的性能。值得注意的是，学习的舞蹈记忆被证明可以以无监督的方式发现人类可解释的舞蹈风格姿势。
2022-03-25 cs.CV cs.SD eess.AS
Do Music Generative Models Understand Musical Qualities? Automatic Music Evaluation with Model-Intrinsic Signals
本文证明音乐生成模型的内在信号（预测损失、熵及SAE概念）与人类评分高度相关，据此训练轻量模型实现自动音乐评估，并在五个基准上验证其有效性。
2026-09-30 cs.SD
Towards Cross-Cultural Analysis using Music Information Dynamics
UCSD（加州大学圣迭戈分校）；Smule（Smule公司）
音乐作品既有层次的理解，从声音事件到旋律，又有顺序的理解，以重复和变化的形式。不同文化的音乐在这两个方面有着不同的风格规约，从而确立了不同的审美观。我们提出了一个框架，可以用来定量比较音乐从不同的文化，从这两个方面来看。该框架是基于音乐信息动力学模型，一个可变马尔可夫预言机（VMO），并扩展与音频的变分表示学习。训练变分自编码器（VAE）以将音频片段映射到潜在表示中。潜在表示被馈送到VMO中。然后，VMO通过一个阈值来学习潜在表示的聚类，该阈值使量化的潜在表示序列的信息率最大化。这个阈值有效地控制了预测步骤对声学变化的敏感性，这决定了框架在更长时间尺度上跟踪重复的能力。这种方法允许在每个声学灵敏度水平上表征音乐信号的整体信息内容。我们的研究结果表明，在这个框架下，微妙的声学变化的敏感性是较高的东亚音乐传统，而西方的作品表现出更长的动机结构在更高的阈值的差异，在潜在的空间。这表明，作为声学细节水平的函数分析的信息内容的概况可以作为一种可能的文化特征。
2021-11-24 cs.LG cs.SD eess.AS
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
研究针对符号音乐表示自监督方法探索不足的问题，提出MIDI-RAE-JEPA，结合音高和时间移位等方差目标、LeJEPA及Swin Transformer V2编码器学习分层表示，经实验验证该方法在多方面表现良好，为符号音乐表示提供了可行途径。
2026-07-17 cs.LG cs.SD eess.AS
Learning Musical Relations using Gated Autoencoders
Johannes Kepler University Linz（林茨约翰·开普勒大学）
音乐通常是高度结构化的，如何设计能够成功学习识别和表示音乐结构的模型仍然是一个悬而未决的问题。一个基本的问题是，结构相关的模式可以有非常不同的外观，因为结构关系往往是基于音乐材料的转换，如半音阶或全音阶的换位，反转，逆行，或节奏的变化。在这项初步工作中，我们研究了两种无监督学习技术的潜力-限制玻尔兹曼机（RBM）和门控自动编码器（GAE）-从构建的数据对中捕获预定义的转换。我们通过使用学习的表示作为判别任务中的输入来评估模型，对于给定类型的变换（例如全音阶换位），必须识别两种音乐模式之间的特定关系（例如全音阶步骤的向上换位）。此外，我们衡量模型的重建误差时，重建音乐转换模式。最后，我们在类比制作任务中测试了模型。我们发现，这是很难学习音乐的转换与RBM和GAE是更充分的这项任务，因为它能够学习表示的特定的转换，在很大程度上是内容不变的。我们相信这些结果表明，GAE等模型可以为更全面的音乐分析系统提供基础，使它们更好地理解音乐的结构。
2017-08-17 cs.AI cs.LG cs.SD
Domain Adversarial Training on Conditional Variational Auto-Encoder for Controllable Music Generation
NUS（新加坡国立大学）；NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
变分自动编码器已成为符号音乐生成的主导框架，如何有效地控制生成过程是一个热门的研究方向。一种简单的方法是在推理过程中使用不同的条件来控制模型。然而，在音乐实践中，条件通常是连续的（而不是简单的分类标签），涉及与学习的表征重叠的丰富信息。因此，解码器对于是否“收听”潜在表示或条件感到困惑，并且有时忽略条件。为了解决这个问题，我们利用领域对抗训练来从条件线索中分离出表征，以便更好地控制。具体来说，我们提出了一个条件腐败的目标，使用的表示去噪损坏的条件。最小化的一个矩阵和最大化的VAE编码器，这个目标逆向诱导条件不变的表示。在本文中，我们专注于旋律协调的任务来说明我们的想法，而我们的方法可以推广到其他可控的生成任务。演示和实验表明，我们的方法不仅有利于条件不变的表示学习，但也更高质量的可控性相比，基线。
2022-09-15 cs.SD eess.AS
FIGARO: Generating Symbolic Music with Fine-Grained Artistic Control
ETH Zürich（苏黎世联邦理工学院）
本文提出FIGARO模型，通过自监督描述到序列任务结合高层特征与领域知识，实现细粒度可控的符号音乐生成，并取得最先进结果。
2024-02-22 cs.LG cs.SD eess.AS
Flat Latent Manifolds for Human-machine Co-creation of Music
Volkswagen Group（大众集团）；ArgoAI；St. Pölten University of Applied Sciences（圣帕尔滕应用科学大学）；St Joost School of Art and Design（圣约斯特艺术与设计学院）
机器学习在艺术音乐生成中的使用导致了对艺术质量的有争议的讨论，对此，客观量化是无意义的。因此，我们将音乐生成算法视为人类音乐家的对应物，在这种情况下，相互作用将为音乐家和观众带来新的体验。为了获得这种行为，我们求助于循环变分自动编码器（VAE）的框架，并学习生成由人类音乐家播种的音乐。在学习模型中，我们通过在潜在空间中插值来生成新的音乐序列。然而，标准VAE并不保证其潜在表示中的任何形式的平滑性。这转化为所生成的音乐序列中的突然变化。为了克服这些限制，我们正则化解码器并赋予潜在空间平坦的黎曼流形，即，与欧几里得空间等距的流形。因此，在潜在空间中进行线性插值会产生逼真而平滑的音乐变化，适合我们所追求的机器-音乐家交互类型。我们通过一组音乐数据集上的实验为我们的方法提供了经验证据，并将我们的模型部署到与专业鼓手的交互式果酱会话中。现场表演提供了定性的证据，潜在的代表性可以直观地解释和利用鼓手驱动的相互作用。除了音乐应用之外，我们的方法还展示了以人为本的机器学习模型设计实例，由可解释性和与最终用户的交互驱动。
2022-08-10 cs.LG cs.SD eess.AS
