Deep Learning Based Source Separation Applied To Choir Ensembles
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术集团）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）
合唱是一种广泛使用的合唱形式，其中一群人在复调和声中同时演唱。合唱团最常见的设置由四个部分组成;女高音，女低音，男高音和低音（SATB），每个部分都有自己的基频范围（F $0$ s）。在这种合唱环境中，源分离的任务需要将SATB混合物分离成组成部分。音乐混合的源分离已经得到了很好的研究，并且已经提出了许多基于深度学习的方法。然而，大多数研究都集中在一个典型的情况下，其中包括分离声乐，打击乐和低音源的混合，其中每一个都有一个独特的频谱结构。相比之下，合奏歌唱的同时和谐波性质导致合唱混合物中源的光谱分量之间的高度结构相似性和重叠，使得合唱团的源分离比典型情况更难。这一点，加上缺乏适当的综合数据集，导致迄今为止该领域缺乏研究。在本文中，我们首先评估如何以及最近开发的音乐源分离的方法执行的情况下，SATB合唱团。然后，我们提出了一种新的特定于域的适应条件最近提出的U-Net架构的音乐源分离使用的基本频率轮廓的每个歌唱组，并证明我们提出的方法超越域不可知的架构的结果。
2020-08-17 cs.LG cs.SD eess.AS
PerceiverS: A Multi-Scale Perceiver with Effective Segmentation for Long-Term Expressive Symbolic Music Generation
Auckland University of Technology（奥克兰技术大学）；University of Tasmania（塔斯马尼亚大学）
PerceiverS通过有效分割与多尺度注意力机制，同时建模长期结构与短期表现细节，在Maestro数据集上提升了符号音乐生成的连贯性与多样性。
2025-09-22 cs.AI cs.MM cs.SD
Incorporating Music Knowledge in Continual Dataset Augmentation for Music Generation
Northwestern University（西北大学）；Bienen School of Music, Northwestern University（西北大学比嫩音乐学院）；Sony CSL（索尼计算机科学实验室）
深度学习已迅速成为音乐生成的最先进方法。然而，训练深度模型通常需要大量的训练集，这通常不适用于特定的音乐风格。在本文中，我们提出了增强生成（Aug-Gen），一种在资源受限域上训练的任何音乐生成系统的数据集增强方法。该方法的关键直观在于，生成系统的训练数据可以通过系统在训练过程中产生的示例来增强，只要这些示例具有足够高的质量和多样性。我们将Aug-Gen应用于基于transformer的合唱生成，风格类似于J.S.巴赫，并表明这允许更长的训练和更好的生成输出的结果。
2020-07-20 cs.LG cs.SD eess.AS
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Exploring Classical Piano Performance Generation with Expressive Music Variational AutoEncoder
School of Computer Science and Technology, Xi’an Jiaotong University（计算机科学与技术学院，西安交通大学）；China Mobile Group Shaanxi Co., Ltd.（中国移动集团陕西有限公司）
本文提出表现力音乐变分自编码器XMVAE，通过VQ-VAE作曲家分支与普通VAE钢琴家分支联合生成古典钢琴演奏，在客观与主观评估中均优于现有模型。
2025-07-02 cs.AI cs.MM cs.SD
Towards An Integrated Approach for Expressive Piano Performance Synthesis from Music Scores
Queen Mary University of London（伦敦玛丽女王大学）；National Institute of Informatics（情报学研究所）；NICT（日本信息通信研究机构）；UKRI Centre for Doctoral Training in Artificial Intelligence and Music（英国研究理事会人工智能与音乐博士培训中心）；China Scholarship Council（中国留学基金委）
本研究提出一种集成系统，结合基于Transformer的EPR模型与微调神经MIDI合成器，将无表情控制的乐谱MIDI直接转换为富有表现力的钢琴音频，经ATEPP数据集测试，在还原人类表现力、捕捉环境声学氛围的同时保证了良好音频质量。
2025-01-17 cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University（西北大学）；Descript, Inc（Descript公司）
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统，如摇滚和流行音乐，但许多音乐领域没有，如古典音乐，合唱音乐和非西方音乐传统。众所周知，从相关领域转移学习可以提高深度学习系统的性能，但如何最好地进行预训练并不总是很清楚。在这项工作中，我们研究了预训练期间数据增强的有效性，预训练和下游数据集具有相似内容域对性能的影响，并探讨了一旦预训练，模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
A Computational Study of the Role of Tonal Tension in Expressive Piano Performance
Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
节奏和力度的表现性变化是音乐表演的一个重要方面，涉及到多种潜在因素。以前的工作表明，这种表达的变化（特别是表达的节奏）和知觉特征之间的关系，从乐谱，如音乐的期望，和感知的紧张。在这项工作中，我们使用计算方法来研究Herremans和Chew（2016）提出的三种音调张力测量在预测古典钢琴音乐表现力表现中的作用。这些特征捕捉了Chew的螺旋阵列模型中所表示的音乐的音调关系，该螺旋阵列模型是音高类、和弦和键的三维表示，其构造方式使得空间接近度表示紧密的音调关系。我们使用非线性序列模型（递归神经网络）来评估这些功能的贡献，使用专业音乐会钢琴家演奏的莫扎特钢琴奏鸣曲数据集的表达动力学和表达节奏的预测。对使用和不使用音调张力特征训练的模型进行的实验表明，音调张力比绝对速度和动态值更有助于预测速度和动态的变化。此外，动力学的改善比节奏更强。
2018-07-03 cs.SD eess.AS
A Study on Synthesizing Expressive Violin Performances: Approaches and Comparisons
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
本文针对小提琴表现性音乐合成中的挑战，比较了端到端和参数控制两种方法，通过客观与主观实验评估了三种模型变体，并探讨了关键问题。
2024-06-26 cs.MM cs.SD eess.AS
Decoding and Visualising Intended Emotion in an Expressive Piano Performance
Institute of Computational Perception, Johannes Kepler University Linz（约翰·开普勒林茨大学计算感知研究所）；LIT AI Lab, Linz Institute of Technology（林茨理工学院LIT人工智能实验室）
专业的音乐家可以塑造一个音乐作品来传达他们想要传达的特定情感。在本文中，我们放置一个中间层的功能为基础的音乐情感模型在这个表演者到听众的通信场景，并通过一个小的可视化音乐情感解码实时的。我们还扩展了现有的一套中级功能，使用类似的感知速度和感知动态。
2023-03-03 cs.SD eess.AS
This Time with Feeling: Learning Expressive Musical Performance
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；DeepMind（深度思维）
音乐生成通常专注于创作乐谱或诠释乐谱。我们讨论这两个问题之间的差异，并提出，事实上，它可能是有价值的工作空间中的直接$\it performance$代：共同预测的笔记$\it and$ $\it also$他们的表达时间和动态。我们认为这需要的数据集的重要性和质量。在确定了一个问题域和一个适当的数据集的特征，我们展示了一个基于LSTM的经常性网络模型，主观上执行这项任务相当不错。关键是，我们提供生成的示例。我们还包括专业作曲家和音乐家对其中一些例子的反馈。
2018-08-10 cs.LG cs.SD eess.AS
The GigaMIDI Dataset with Features for Expressive Music Performance Detection
该研究提出DNVR、DNODR和NOMML三种启发式方法检测MIDI中的表现性演奏，并基于NOMML构建了包含1,655,649个音轨的最大表现性MIDI数据集，占GigaMIDI的31%。
2025-02-24 cs.AI cs.DL cs.IR
Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
最近已经提出了大量基于深度学习的模型用于自动音乐合成。在这些模型中，Transformer脱颖而出，作为一个突出的方法，产生表现力的古典钢琴演奏与连贯的结构长达一分钟。该模型的强大之处在于它可以自己学习数据的抽象，而不需要太多人为强加的领域知识或约束。与这种一般的方法相比，本文表明，Transformers可以做得更好的音乐建模，当我们改进的方式将乐谱转换成数据馈送到一个Transformer模型。特别地，我们试图在输入数据中施加韵律结构，使得Transformers可以更容易地意识到音乐中的节拍-小节-短语层次结构。新的数据表示保持了本地节奏变化的灵活性，并提供了控制音乐的节奏和和声结构的障碍。通过这种方法，我们构建了一个流行音乐Transformer，它比现有的Transformer模型具有更好的节奏结构。
2020-08-10 cs.AI cs.SD eess.AS
Expressive Music Data Processing and Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）
针对AI音乐生成缺乏表现力与连贯性的问题，本文提出基于Weber定律的聆听式数据处理、概率链式多输出建模及输出熵筛选准则。
2025-03-14 cs.AI cs.SD eess.AS
The NES Music Database: A multi-instrumental dataset with expressive performance attributes
UC San Diego（加州大学圣地亚哥分校）
现有的音乐生成研究主要集中在作曲上，但往往忽视了合成作品的合理演绎所需的表现性表演特征。在本文中，我们介绍了任天堂娱乐系统音乐数据库（NES-MDB），一个大型语料库，允许单独检查的任务组成和性能。NES-MDB包含数千首多乐器歌曲，由受作曲限制的NES音频合成器进行播放。对于每首歌曲，数据集包含四种乐器声音的乐谱以及每个声音的动态和音色的表达属性。与由一般的音频文件组成的数据集不同，NES-MDB包括渲染原始作品的精确声学性能所需的所有信息。除了数据集，我们还提供了一个工具，通过模拟设备的音频处理器将生成的作品呈现为NES风格的音频。此外，我们建立基线的任务组成，其中包括学习的语义组成的NES合成器，和性能，这涉及到找到一个组成和现实的表达属性之间的映射。
2018-06-12 cs.LG cs.NE cs.SD
Improving Polyphonic Music Models with Feature-Rich Encoding
Humtap
本文探讨了复调音乐序列建模与深度神经网络。虽然最近的突破都集中在网络架构，我们证明了序列的表示可以作出同样显着的贡献的模型的性能，验证集损失。通过提取训练数据集固有的显著特征，模型可以以这些特征为条件，或者被训练以预测所述特征作为被建模的序列的额外组分。我们证明，训练一个神经网络来预测一个看似更复杂的序列，并在被建模的序列中包含额外的特征，可以显着提高整体模型的性能。我们首先介绍TonicNet，这是一个基于GRU的模型，经过训练，最初预测给定时间步的和弦，然后预测该时间步每个声音的音符，与仅预测音符的典型方法相反。然后，我们在规范的JSB Chorales数据集上评估TonicNet，并获得最先进的结果。
2020-09-14 cs.LG cs.SD eess.AS
Music-Aligned Holistic 3D Dance Generation via Hierarchical Motion Modeling
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；ByteDance Games（字节跳动游戏）
针对整体3D舞蹈生成中数据集稀缺、跨模态对齐难及多部位运动建模复杂的问题，研究者构建了高精度数据集SoulDance，并提出包含分层残差向量量化等三大组件的SoulNet框架，实验证明其生成效果显著优于现有方法。
2025-07-29 cs.MM cs.SD eess.AS
Expressive MIDI-format Piano Performance Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）
该工作提出一种生成MIDI格式表现力丰富钢琴演奏的神经网络，通过微时序、复调、力度和踏板效果实现表现力，克服符号音乐局限，生成效果可与音频生成媲美。
2024-12-13 cs.AI cs.SD eess.AS
Towards Explaining Expressive Qualities in Piano Recordings: Transfer of Explanatory Features via Acoustic Domain Adaptation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
音乐中的情感和表现力一直是音乐信息检索领域的研究热点。近年来，中级感知特征被认为是解释音乐情感的计算预测的手段。我们发现，用于学习这些特征的可用数据集中音乐风格和流派的多样性不足以使模型很好地推广到专业的声学领域，如钢琴独奏音乐。在这项工作中，我们表明，通过利用无监督的领域自适应与感受场正则化的深度神经网络，有可能显着提高推广到这个领域。此外，我们证明了我们的域适应模型可以更好地预测和解释古典钢琴演奏中的表达质量，正如人类听众所感知和描述的那样。
2021-02-26 cs.LG cs.SD eess.AS
MusicFace: Music-driven Expressive Singing Face Synthesis
Xiamen University（厦门大学）
如何在音乐信号的驱动下合成一个生动逼真的演唱人脸仍然是一个有趣而又具有挑战性的问题。在本文中，我们提出了一种方法，这项任务的自然运动的嘴唇，面部表情，头部姿势和眼睛的状态。针对音乐音频信号中人声和背景音乐混合信息的耦合性，设计了一种混叠融合策略。我们首先将输入的音乐音频分解为人声流和背景音乐流。由于两个流输入信号和面部表情，头部运动和眼睛状态的动态之间的隐式和复杂的相关性，我们用注意力方案来建模它们的关系，其中两个流的效果被无缝融合。此外，为了提高生成结果的表现力，我们建议将头部运动生成分解为速度生成和方向生成，并将眼睛状态生成分解为短时间眨眼生成和长时间闭眼生成，以单独建模。我们还建立了一个新的SingingFace数据集来支持这项任务的训练和评估，并促进未来关于这个主题的工作。大量的实验和用户研究表明，我们提出的方法是能够合成生动的歌唱脸，这是优于国家的最先进的方法定性和定量。
2023-03-24 cs.CV cs.GR cs.SD
On the Characterization of Expressive Performance in Classical Music: First Results of the Con Espressione Game
Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）；University of Tartu（塔尔图大学）；University of Oslo（奥斯陆大学）
一段音乐可以用多种方式表现或诠释。借助在线问卷“Con Espressione Game”，我们收集了约1,500份关于表现力特征的描述，这些描述与不同著名钢琴家演奏的9首古典钢琴作品的45场演奏有关。更具体地说，听众被要求描述，使用自由选择的词（最好是：形容词），他们如何看待不同的表演的表达特征。在本文中，我们提供了一个新的数据资源表达性能研究的第一个帐户，并提供了一个探索性的分析，解决三个主要问题：（1）如何相似地做不同的听众描述一块的性能？(2)由此产生的表现性特征的主要维度（或轴）是什么？以及（3）性能的可测量参数（例如，节奏、动态）以及可由机器学习模型预测的中级和高级特征（例如，发音，唤醒）与这些表达维度有关？我们与本文一起发布的数据集通过添加手动校正的分数与性能对齐以及描述性音频特征（如节奏和动态曲线）进行了丰富。
2020-08-05 cs.IR cs.SD eess.AS
On Perceived Emotion in Expressive Piano Performance: Further Experimental Evidence for the Relevance of Mid-level Perceptual Features
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Linz Institute of Technology（林茨理工学院）
尽管最近在基于音频内容的音乐情感识别方面取得了进展，但仍有待探索的一个问题是，算法是否可以可靠地辨别同一作品的不同表演之间的情感或表达品质。在目前的工作中，我们分析了几套功能，其有效性预测唤醒和效价的六个不同的性能（由六位著名钢琴家）巴赫的好脾气的钢琴曲集1。这些特征包括低级声学特征、基于分数的特征、使用预训练的情感模型提取的特征和中级感知特征。我们通过几个实验来评估它们的预测能力，这些实验旨在测试情绪的表现或分段变化。我们发现，中级特征在唤醒和效价的性能变化方面表现出显着的贡献-甚至比预先训练的情感模型更好。我们的研究结果增加了证据，中级感知功能是一个重要的代表性的音乐属性的几个任务-特别是，在这种情况下，捕捉表现为感知情感的音乐表演的音乐表现方面。
2021-07-28 cs.SD eess.AS
Towards Automatic Instrumentation by Learning to Separate Parts in Symbolic Multitrack Music
University of California San Diego（加州大学圣迭戈分校）；Stanford University（斯坦福大学）
现代键盘允许音乐家通过将区域（键盘的固定音高范围）分配给不同的乐器来同时演奏多种乐器。在本文中，我们的目标是进一步扩展这一想法，并检查自动仪器的可行性-动态分配乐器独奏音乐中的音符在表演过程中。除了用于执行性用例的在线实时设置之外，自动插装还可以在离线设置中的辅助撰写工具中找到应用。由于缺乏原始独奏音乐及其完整安排的配对数据，我们通过学习分离部分（例如，声音、乐器和音轨）从它们在象征性的多音轨音乐中的混合物中分离，假设该混合物将在键盘上演奏。我们将零件分离的任务视为一个连续的多类分类问题，并采用机器学习将笔记序列映射为零件标签序列。为了检验我们提出的模型的有效性，我们对不同流派和合奏的四个不同数据集进行了全面的实证评估-巴赫合唱团，弦乐四重奏，游戏音乐和流行音乐。我们的实验表明，所提出的模型优于各种基线。我们还展示了我们提出的模型的潜力，以产生替代令人信服的仪器为现有的安排，将其混合物分成几部分。所有源代码和音频样本都可以在https://salu133445.github.io/arranger/上找到。
2021-10-21 cs.AI cs.LG cs.SD
Expressive Communication: A Common Framework for Evaluating Developments in Generative Models and Steering Interfaces
Northwestern University（西北大学）；Google Research（谷歌研究院）
ML和HCI社区越来越有兴趣为创作者提供更好的生成模型和更直观的界面来控制它们。在音乐领域，机器学习研究人员专注于能够生成具有更长距离结构和音乐连贯性的作品的训练模型，而HCI研究人员则分别专注于设计支持用户控制和所有权的转向界面。在这项研究中，我们通过一个共同的框架来研究模型和用户界面的发展对于授权共同创作的重要性，其中的目标是创作传达特定意象或想法的音乐（例如，这对于音乐创作中的其它有目的的任务是常见的，如建立情绪或为另一媒体创作伴奏音乐）。我们的研究的区别在于，它通过作曲家的自我报告的经验，以及听众如何通过音乐评估这种沟通措施的沟通。在一项评估研究中，26位作曲家创作了100多首音乐，听众提供了1000多个头对头的比较，我们发现，更具表现力的模型和更可控的界面是重要的和互补的方式，可以通过音乐来改变作曲家的交流，并支持他们的创造力。
2021-11-29 cs.HC cs.LG cs.SD
Pianist Transformer: Towards Expressive Piano Performance Rendering via Scalable Self-Supervised Pre-Training
提出Pianist Transformer，通过统一MIDI表示进行大规模自监督预训练，结合非对称Transformer和音符级压缩，实现高效且富有表现力的钢琴演奏生成。
2026-06-26 cs.AI cs.MM cs.SD
The Accordiatron: A MIDI Controller For Interactive Music
Accordiatron是一种基于传统挤压盒或手风琴范例的新的实时性能控制器。它将表演者的手势转换为标准的MIDI通信协议，允许将表演数据灵活地映射到声音参数。当与实时信号处理环境结合使用时，手风琴成为一种富有表现力的多功能乐器。提供离散和连续数据的感官输出组合提供了交互式音乐所需的微妙表现力和控制。
2020-10-04 cs.HC cs.SD eess.AS
Maximum entropy models for generation of expressive music
SONY CSL（索尼计算机科学实验室）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
在当代单声道音乐的背景下，表达可以被视为音乐表演与其符号表示（即乐谱）之间的差异。在本文中，我们将展示如何最大熵（MaxEnt）模型可以用来生成音乐表达，以模仿人类的表现。作为训练语料库，我们让一位专业钢琴家演奏了大约150首爵士乐、流行音乐和拉丁爵士乐的旋律。结果显示出良好的预测能力，验证了我们模型的选择。此外，我们建立了一个听力测试，其结果显示，平均而言，人们显着更喜欢的旋律产生的MaxEnt模型比那些没有任何表情，或与完全随机的表情。此外，在某些情况下，MaxEnt旋律几乎和人类演奏的旋律一样受欢迎。
2016-10-12 cs.AI cs.SD
What were you expecting? Using Expectancy Features to Predict Expressive Performances of Classical Piano Music
Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；Department of Computational Perception, Johannes Kepler University Linz（林茨约翰内斯·开普勒大学计算感知系）
在本文中，我们提出了初步的工作，检查之间的关系形成的期望和实现的音乐表演，特别注意表达速度和动态。为了计算反映听众期望听到的特征，我们采用了一种称为音乐信息动力学模型（IDyOM）的听觉期望计算模型。然后，我们探讨如何以及这些期望功能-结合得分描述符使用的基础功能建模方法-可以预测表达的节奏和动态的莫扎特钢琴奏鸣曲表演的数据集。我们的研究结果表明，使用期望功能显着提高了对节奏的预测。
2017-09-11 cs.IT cs.LG cs.SD
Towards computer-assisted understanding of dynamics in symphonic music
Johannes Kepler University（约翰内斯·开普勒大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）
许多人喜欢古典交响乐。其多样化的乐器带来了丰富的聆听体验。这种多样性增加了指挥家根据自己的想象塑造声音的表达自由。因此，同一件作品可能听起来完全不同，从一个指挥到另一个。对于听者来说，理解上的差异可能是主观上明显的，但有时很难确定，大概是因为声音的声学复杂性。我们描述了一个计算模型，解释动力学-表现响度变化的表现-在乐谱方面，突出表现同一件作品之间的差异。我们通过实验证明，该模型具有预测能力，并给出了使用该模型作为解释工具发现的导体ideosyncrasies的例子。虽然目前的模式仍处于积极的发展，它可能铺平了道路，以消费者为导向的同伴互动古典音乐的理解。
2016-12-13 cs.MM cs.SD
Local Periodicity-Based Beat Tracking for Expressive Classical Piano Music
National Cheng Kung University（国立成功大学）；Academia Sinica（中央研究院）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University of Coimbra（科英布拉大学）；Taiwan AI Labs（台湾人工智能实验室）
针对现有后处理节拍跟踪器依赖全局速度假设、难以适配古典音乐局部速度变化的问题，提出结合主导局部脉冲与动态规划的PLPDP跟踪方法，在两个古典钢琴数据集上实现了F1值的整体提升。
2023-08-20 cs.SD eess.AS
Neural Translation of Musical Style
University of Bristol（布里斯托大学）
音乐是一种表达形式的沟通，经常用来传达情感的情况下，“文字是不够的”。这些信息的一部分存在于音乐作品中，其中存在定义明确的语言。然而，在演奏过程中，当音乐家解释作品时，会添加大量的信息。表演者通过不同的音乐属性，如动态和节奏的变化注入表现力的书面分数。在本文中，我们描述了一个可以学习演奏乐谱的模型。我们的研究得出结论，生成的表演与人类表演无法区分，从而通过了“音乐图灵测试”的精神测试。
2017-08-11 cs.NE cs.SD
Sounding Out Reconstruction Error-Based Evaluation of Generative Models of Expressive Performance
Johannes Kepler University（约翰·开普勒大学）
本研究通过听力测试和可靠性分析，揭示了基于重构误差的定量评估方法在表现性钢琴演奏生成模型中存在的感知偏差与不确定性，呼吁MIR社区重新审视此类评估方法的有效性。
2023-12-31 cs.SD eess.AS
PianoKontext: Expressive Performance Rendering from Deadpan Context
Dmitrii Gavrilev
提出PianoKontext，一种基于流匹配的钢琴演奏渲染模型，通过动态时间规整对齐乐谱与演奏的潜在表示，生成可变长度的表现力演奏。
2026-06-11 cs.LG cs.SD
Peransformer: Improving Low-informed Expressive Performance Rendering with Score-aware Discriminator
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Integrative Sciences and Engineering Programme, NUS Graduate School（新加坡国立大学整合科学与工程项目）
提出基于 transformer 的低信息量表现力演奏渲染系统 Peransformer，结合乐谱感知判别器与对齐数据集训练，并引入广义评估指标 GEM，实现了该领域的最优性能与更可靠的跨系统比较。
2025-10-11 cs.SD eess.AS
Equipping Pretrained Unconditional Music Transformers with Instrument and Genre Controls
Duke University（杜克大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究利用最大规模符号音乐数据集预训练无条件音乐Transformer，并提出通过微调加入控制token以赋予其乐器与流派控制能力，显著提升了生成音乐的可控性与质量。
2023-11-21 cs.IR cs.MM cs.SD
Music2Fail: Transfer Music to Failed Recorder Style
National Taiwan University（台湾大学）
本文提出“失败音乐风格迁移”场景，将正常演奏音乐转换为走调竖笛音乐（失败风格竖笛），构建FR109 Dataset，在保持内容不变的同时实现走调风格迁移，拓展了音乐风格迁移的表现力。
2024-11-27 cs.SD eess.AS
Automatic Estimation of Singing Voice Musical Dynamics
Universitat Pompeu Fabra（庞培法布拉大学）；Escuela Superior de Música de Cataluña (ESMUC)（加泰罗尼亚高等音乐学院（ESMUC））
针对歌声音乐力度自动分析缺乏数据与评估框架的问题，本文构建并公开标注数据集，训练多头注意力CNN，证明bark尺度特征优于log-Mel特征。
2024-10-27 cs.IR cs.SD eess.AS
Multi-instrument Music Synthesis with Spectrogram Diffusion
Google Research, Brain Team（谷歌研究院大脑团队）
一个理想的音乐合成器应该是交互式和表现力，生成高保真音频实时任意组合的乐器和音符。最近的神经合成器已经在特定领域模型和原始波形模型之间进行了权衡，前者只提供特定乐器的详细控制，而后者可以对任何音乐进行训练，但控制最少，生成速度很慢。在这项工作中，我们专注于一个中间地带的神经合成器，可以生成音频序列与任意组合的仪器在实时。这使得能够使用单个模型在广泛的转录数据集上进行训练，从而在广泛的乐器上提供对作曲和乐器的音符级控制。我们使用一个简单的两阶段过程：使用编码器-解码器Transformer将频谱图转换为频谱图，然后使用生成对抗网络（GAN）频谱图转换器将频谱图转换为音频。我们比较训练的解码器作为一个自回归模型和作为一个去噪扩散概率模型（DDPM），并发现DDPM方法是优越的质量和音频重建和Fréchet距离度量测量。考虑到这种方法的交互性和普遍性，我们发现这是一个有前途的第一步，交互式和表达神经合成的任意组合的工具和说明。
2022-12-12 cs.LG cs.SD eess.AS
MIDI-VALLE: Improving Expressive Piano Performance Synthesis Through Neural Codec Language Modelling
针对传统音乐演奏合成模型泛化性差的问题，提出改编自VALLE的神经编解码器语言模型MIDI-VALLE，将MIDI和音频统一编码为离散token进行建模，在多项数据集和听音测试中显著优于基线。
2025-07-11 cs.AI cs.SD eess.AS
ViolinDiff: Enhancing Expressive Violin Synthesis with Pitch Bend Conditioning
Sogang University（西江大学）；University of Michigan（密歇根大学）
本文提出ViolinDiff，一个两阶段扩散框架，通过显式建模弯音信息来估计F0轮廓并生成小提琴梅尔频谱图，实验证明其能合成更逼真的小提琴声音。
2025-02-04 cs.AI cs.LG cs.SD
Creating A Multi-track Classical Musical Performance Dataset for Multimodal Music Analysis: Challenges, Insights, and Applications
University of Rochester（罗切斯特大学）；Listent American Corp.（Listent American公司）
我们介绍了一个数据集，以促进音乐表演的视听分析。该数据集包括44个简单的多乐器古典音乐作品，这些作品是由协调但单独录制的单个曲目的表演组装而成的。对于每一首作品，我们都提供了乐谱格式、单个曲目的音频记录、组合混音的音频和视频记录，以及地面实况注释文件，包括帧级和音符级transmittance。我们描述了我们的方法来创建的数据集，特别强调我们的方法来解决所面临的挑战，保持同步和表现力。我们证明了高质量的同步实现与我们提出的方法，通过比较数据集与现有的广泛使用的音乐音频数据集。我们预计，该数据集将是有用的现有的音乐信息检索（MIR）任务的开发和评估，以及新的多模态任务。我们基准测试两个现有的MIR任务（多音高分析和分数通知声源分离）的数据集上，并与其他现有的音乐音频数据集进行比较。此外，我们考虑了两个新的多模态MIR任务（视觉上知情的多音高分析和复调颤音分析），并提供了评估措施和基线系统，以供未来的比较（从我们最近的工作）。最后，我们提出了数据集支持的几个新兴研究方向。
2018-08-08 cs.MM cs.SD
R2-SVC: Towards Real-World Robust and Expressive Zero-shot Singing Voice Conversion
AI Lab, Giant Network（巨量网络人工智能实验室）
R2-SVC提出一种鲁棒且富有表现力的零样本歌声转换框架，通过仿真增强、领域数据丰富表示和神经源-滤波器模型，在干净和噪声条件下均达到最先进性能。
2025-10-23 cs.AI cs.SD eess.AS
A data-driven approach to mid-level perceptual musical feature modeling
Institute of Computational Perception（计算感知研究所）；Swiss Center for Affective Sciences（瑞士情感科学中心）；Johannes Kepler University（约翰内斯·开普勒大学）；Geneva University（日内瓦大学）
音乐特征和描述符可以粗略地分为三个层次的复杂性。底层包含音乐的基本构建块，例如，和弦节拍和音色中层包含的概念，从组合的基本块：音调和节奏的稳定性，和声和节奏的复杂性，等高层次的描述（体裁，情绪，表现风格）通常是使用较低层次的建模。属于中间层的特征既可以提高高级描述符的自动识别，又可以提供新的音乐检索可能性。中级特征是主观的，通常缺乏明确的定义。然而，它们对于人类对音乐的感知非常重要，并且其中一些人可以达成高度一致，即使定义它们，因此为它们设计手工制作的特征提取器可能很困难。在本文中，我们从数据中推导出中级描述符。我们收集并发布了一个数据集\footnote{https://osf.io/5aupt/}的5000首歌曲注释的音乐家与七个中级描述符，即旋律，音调和节奏的稳定性，模态，节奏的复杂性，不和谐和清晰度。然后，我们比较了使用深度学习从谱图预测这些描述符的几种方法。我们还展示了这些中级功能的有用性，使用音乐情感识别作为一个应用程序。
2018-06-13 cs.SD eess.AS
MG-Former: A Transformer-Based Framework for Music-Driven 3D Conducting Gesture Generation
Malou Tech Inc（Malou科技公司）；South-Central Minzu University（西南民族大学）；Beijing Jiaotong University（北京交通大学）；Fudan University（复旦大学）；Renmin University of China（中国人民大学）
本文提出TransConductor框架，通过SMPL参数数据构建流程生成专业指挥动作，结合Transformer编码器和解码器实现音乐驱动的3D指挥动作生成，并引入检索评估模型验证音乐与动作的对应性。
2026-05-02 cs.MM cs.SD
PianoBind: A Multimodal Joint Embedding Model for Pop-piano Music
针对通用模型难捕捉同质性钢琴音乐细粒度语义、现有钢琴专用模型为单模态的问题，提出钢琴专用多模态联合嵌入模型PianoBind，优化后在文本到音乐检索任务上表现优于通用模型，设计思路可复用。
2025-09-04 cs.IR cs.MM cs.SD
Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset
Google Brain（谷歌大脑）；DeepMind（深度思维）
直接用神经网络生成音乐音频是非常困难的，因为它需要在许多不同的时间尺度上连贯地建模结构。幸运的是，大多数音乐也是高度结构化的，可以表示为乐器上演奏的离散音符事件。在这里，我们表明，通过使用笔记作为中间表示，我们可以训练一套模型，能够转录，合成和合成的音频波形与连贯的音乐结构的时间跨度为6个数量级（~0.1毫秒到~100秒），我们称之为波2 Midi 2 Wave的过程。我们发布的新MAESTRO（为同步曲目和组织编辑的音乐和音频）数据集实现了这一最先进技术的巨大进步，该数据集由超过172小时的钢琴演奏组成，在音符标签和音频波形之间精确对齐（约3 ms）。该网络和数据集一起为创建新的表达和可解释的音乐神经模型提供了一种有前途的方法。
2019-01-17 cs.LG cs.SD eess.AS
METEOR: Melody-aware Texture-controllable Symbolic Orchestral Music Generation via Transformer VAE
Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工大学、UMR 9189 CRIStAL）；National Taiwan University（台湾国立台湾大学）
本文提出METEOR模型，基于Transformer VAE实现旋律感知与纹理可控的符号化重新配器，支持小节和音轨级纹理控制，在生成质量与可控性上优于现有模型，并可零样本适应领奏谱配器任务。
2025-06-30 cs.SD eess.AS
A Data-Driven Approach to Smooth Pitch Correction for Singing Voice in Pop Music
Indiana University（印第安纳大学）
在本文中，我们提出了一种机器学习的方法来纠正语音在卡拉OK设置，其中的人声和伴奏是在单独的轨道和时间对齐的音高。该网络将两个音轨的时频表示作为输入，并预测使语音与伴奏一致所需的音高偏移量。它是训练的例子半专业歌唱。所提出的方法不同于现有的实时音高校正方法，通过取代音高跟踪和映射到一组离散的音符-例如，12类的等温和的规模-学习校正，这是连续的频率和时间直接从声乐和伴奏曲目的谐波。递归神经网络（RNN）模型提供了一个考虑上下文的校正，保留了富有表现力的音高弯曲和颤音。这种方法可以扩展到声乐表演的无监督音高校正-通常被称为自动调音。
2018-05-07 cs.SD eess.AS
JAZZVAR: A Dataset of Variations found within Solo Piano Performances of Jazz Standards for Music Overpainting
Queen Mary University of London（伦敦玛丽女王大学）
本文构建了包含502对变奏与原始MIDI片段的JAZZVAR数据集，提出音乐重绘任务并提供基线Transformer模型，为表现力分析和演奏者识别等应用提供支持。
2023-07-18 cs.LG cs.SD eess.AS
ELGAR: Expressive Cello Performance Motion Generation for Audio Rendition
Tsinghua University（清华大学）
本文提出基于扩散模型的大提琴演奏动作生成框架ELGAR，通过手部与琴弓交互接触损失及专用评估指标，仅从音频生成全身细粒度演奏动作，并构建SPD-GEN数据集验证其有效性。
2025-07-01 cs.GR cs.SD eess.AS
Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion
ETH Zürich（苏黎世联邦理工学院）；IIT Kharagpur（印度理工学院克勒格布尔分校）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出Moûsai，一个级联两阶段潜在扩散模型，能根据文本描述生成数分钟高质量48kHz立体声音乐，并在单个消费级GPU上实现实时推理，同时开源相关代码和样本。
2023-10-23 cs.CL cs.LG cs.SD
Rethinking Music Captioning with Music Metadata LLMs
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究）
本文提出基于元数据的音乐描述生成方法，通过训练元数据预测模型和预训练LLMs，实现更灵活的描述生成和元数据填补。
2026-02-03 cs.LG cs.SD
MOSA: Music Motion with Semantic Annotation Dataset for Cross-Modal Music Processing
Reid School of Music, University of Edinburgh（爱丁堡大学里德音乐学院）；Institute for Sport, Physical Education and Health Sciences (ISPEHS), University of Edinburgh（爱丁堡大学体育教育与健康科学研究所）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
本文提出 MOSA 数据集，包含 23 位专业音乐家 742 场表演的超 30 小时 3D 动作捕捉、音频及逐音符语义标注，并展示了节拍检测、表现性内容识别和音乐驱动动作生成等跨模态任务。
2024-06-10 cs.AI cs.SD eess.AS
Expressive Acoustic Guitar Sound Synthesis with an Instrument-Specific Input Representation and Diffusion Outpainting
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
针对原声吉他复调与表现力合成难题，提出专用 guitarroll 输入表示并结合扩散外描生成长期一致音频，利用真实与采样合成器配对数据训练，在音质和音色真实度上超越基线及先前领先方法。
2024-01-24 cs.AI cs.LG cs.SD
