Chord Label Personalization through Deep Learning of Integrated Harmonic Interval-based Representations
Utrecht University(乌得勒支大学);Chordify
自动和弦估计系统的准确性不断提高,大量异构参考注释的可用性以及注释者主观性研究的见解使得和弦标签个性化变得越来越重要。然而,自动和弦估计系统在历史上仅在单个参考注释上进行训练和评估。我们通过对基于和声音程的和弦标签表示进行深度学习来对主观性进行建模,从而引入自动和弦标签个性化的第一种方法。在集成了来自多个注释器的这些表示之后,我们可以从单个模型和注释器的和弦标签词汇表中准确地个性化各个注释器的和弦标签。此外,我们表明,和弦个性化使用多个参考注释优于使用一个单一的参考注释。
2017-06-29 cs.MM cs.NE cs.SD
Automatic Melody Harmonization with Triad Chords: A Comparative Study
Academia Sinica(中央研究院);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);Nihon University(日本大学);Georgia Institute of Technology(佐治亚理工学院);KKBOX Inc.(KKBOX公司)
几个先前的作品已经提出了用于自动旋律协调任务的各种方法,其中模型旨在生成和弦序列以用作给定的多小节旋律序列的和声伴奏。在本文中,我们提出了一个比较研究评估和比较一组规范的方法来完成这项任务,包括基于模板匹配的模型,隐马尔可夫模型,基于遗传算法的模型,和两个基于深度学习的模型的性能。评估是在我们为这项研究新收集的9,226个旋律/和弦对的数据集上进行的,考虑了多达48个三和弦,使用标准化的训练/测试分割。我们报告了使用六种不同指标进行客观评估的结果和一项有202名参与者的主观研究。
2021-04-27 cs.LG cs.SD eess.AS
Enhancing Automatic Chord Recognition through LLM Chain-of-Thought Reasoning
本文提出将大语言模型(LLMs)作为智能协调器,通过5阶段思维链框架整合音乐源分离、调检测等多MIR工具输出,在三个数据集上使和弦识别的MIREX准确率提升1-2.77%,为MIR多工具协调开辟新方向。
2025-09-23 cs.SD eess.AS
Chord Recognition with Deep Learning
Computer Science and Mathematics(计算机科学与数学)
本研究通过深度学习方法改进和弦识别,发现音高增强提升准确率,生成模型特征无帮助,提出节拍检测提升模型可解释性,并探讨合成数据的未来研究方向。
2025-12-27 cs.AI cs.SD
Enhancing Automatic Chord Recognition via Pseudo-Labeling and Knowledge Distillation
California State University, Fullerton, CA, USA(加州州立大学弗里蒙特分校);Microsoft, Redmond, WA, USA(微软公司);Beijing Normal-Hong Kong Baptist University, China(北京师范大学-香港 Baptist大学)
本文提出一种两阶段训练方法,利用预训练模型和未标记音频,通过伪标签和知识蒸馏提升和弦识别性能,实验显示学生模型在多个指标上优于传统监督学习和预训练模型。
2026-07-07 cs.IR cs.LG cs.MM
Serenade: A Model for Human-in-the-loop Automatic Chord Estimation
Universal Music Group(环球音乐集团);Queen Mary University of London(伦敦玛丽女王大学)
针对和声分析中标注不一致导致的性能瓶颈,提出人机协同的自回归模型Serenade,人类稀疏修正低置信度预测,在流行音乐数据集上优于纯模型方法。
2023-10-17 cs.LG cs.SD eess.AS
A Statistical Model for Melody Reduction
Georgia Institute of Technology(佐治亚理工学院)
音乐信息检索(MIR)内的自动和弦估计(ACE)系统性能差的一个常见原因是非和弦音调(即,在支持和声之外的音符)在标记过程中会导致错误。尽管机器学习方法在MIR中流行,但在某些情况下,替代方法提供了更简单的替代方案,同时允许深入了解音乐学实践。在这个项目中,我们提出了一个基于乐理规则的统计模型来预测和弦音调。我们的模型目前专注于预测古典音乐中的和弦音调,因为这种风格的作曲受到高度限制,理论上和弦音调的位置高度可预测。事实上,音乐理论家对每一种非和弦音都有一个标签系统,主要是根据音符的公制位置和接近和离开的音程来分类。使用度量位置,持续时间和旋律间隔作为预测因子,我们使用TAVERN数据集建立了一个用于预测和弦音调的统计模型。虽然我们的概率方法类似于自动谐波分析领域的其他努力,但我们的重点是旋律还原而不是预测和声。然而,我们希望将来继续研究ACE的应用。最后,我们实现了我们的旋律还原模型使用现有的符号可视化工具,以协助计算音乐学研究人员和音乐理论家的旋律还原和非和弦音调识别。
2021-05-12 cs.IR cs.SD eess.AS
Joint Transcription of Acoustic Guitar Strumming Directions and Chords
针对吉他扫弦自动转录数据集受限的挑战,本研究提出基于深度学习的CRNN模型,结合90分钟真实与4小时合成数据,仅用麦克风音频即可联合检测扫弦方向与和弦,准确率显著优于基线。
2025-08-11 cs.CL cs.SD eess.AS
An End-to-End Approach for Chord-Conditioned Song Generation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Kunlun Skywork Technology Co.(昆仑智作科技有限公司);Peng Cheng Lab(鹏城实验室)
针对歌曲生成中音乐表现与控制不足的问题,提出以和弦为条件、结合动态权重交叉注意力的端到端 CSG 模型,提升生成歌曲的音乐性与控制精度。
2024-09-10 cs.AI cs.SD eess.AS
Semi-supervised Neural Chord Estimation Based on a Variational Autoencoder with Latent Chord Labels and Features
Kyoto University(京都大学);IRCAM(法国声学/音乐协调研究所)
本文介绍了一种自动和弦估计(ACE),可以有效地利用音乐信号的和弦注释的可用性,无论原则上的半监督方法。ACE的典型方法是通过仅使用注释的音乐信号以监督的方式训练深度分类模型(神经和弦估计器)。在这种判别方法中,关于和弦标签序列(模型输出)的先验知识几乎没有被考虑在内。相比之下,我们提出了一个统一的生成和歧视性的方法在摊销变分推理的框架。更具体地说,我们制定了一个深度生成模型,该模型表示来自离散标签和连续特征(潜在变量)的色度向量(观察变量)的生成过程,这些特征被假设分别遵循有利于自转换的马尔可夫模型和标准高斯分布。以色度向量作为观测数据,分别利用深度分类模型和识别模型近似计算潜在标签和特征的后验分布。这三个模型形成变分自编码器,并且可以以半监督的方式联合训练。实验结果表明,基于和弦标签马尔可夫先验的正则化分类模型和色度向量生成模型,即使在有监督的情况下,也能提高ACE的性能。使用额外的未标注数据的半监督学习可以进一步提高性能。
2020-09-08 cs.LG cs.SD eess.AS
From Human Narrative to Harmonic Structure: A Human-Centered Investigation of Algorithmic Music Generation through the Chord Wheel Diagram
Faculty of Information Technology, CTU(捷克技术大学信息技术学院);University of South Bohemia in České Budějovice(捷克布杰约维采南波希米亚大学)
本研究通过比较人类作曲家与算法对六首歌曲的和声处理,揭示高旋律-和弦兼容性不保证保留人类和声决策模式,并提出叙事条件化结构作为计算音乐分析的新视角。
2026-09-29 cs.AI cs.SD
DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University(乌得勒支大学)
自动和弦估计(ACE)是音乐信息检索(MIR)中的一项基本任务,在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱,并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年,但ACE尚未成为一个解决的问题,因为性能停滞不前,现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL,一个新的ACE系统,利用广泛可用的标签和标签表示,以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频,使用最先进的音频ACE方法。将音频文件与音频对齐,然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列,然后与音频对齐。接下来,DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明,从异构的符号音乐表示的音乐知识的整合是一个合适的策略,解决具有挑战性的MIR任务,如ACE。
2020-02-22 cs.MM cs.SD eess.AS
BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on Pop and Classical Music
University of California San Diego, USA(加州大学圣地亚哥分校)
BACHI通过掩码迭代解码实现流行与古典音乐的边界感知符号和弦识别,引入增强数据集并提出分解任务的模型,提升识别性能。
2026-02-05 cs.LG cs.SD eess.AS
MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation
Taiwan AI Labs(台湾AI实验室);National Taiwan University(台湾大学)
MusiConGen基于MusicGen框架,通过高效微调机制将节奏与和弦作为条件信号,解决了文本到音乐生成中无法精确控制时序音乐特征的问题,可生成与指定条件高度契合的逼真伴奏音乐。
2024-07-21 cs.AI cs.SD eess.AS
A Computational Study of the Role of Tonal Tension in Expressive Piano Performance
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
节奏和力度的表现性变化是音乐表演的一个重要方面,涉及到多种潜在因素。以前的工作表明,这种表达的变化(特别是表达的节奏)和知觉特征之间的关系,从乐谱,如音乐的期望,和感知的紧张。在这项工作中,我们使用计算方法来研究Herremans和Chew(2016)提出的三种音调张力测量在预测古典钢琴音乐表现力表现中的作用。这些特征捕捉了Chew的螺旋阵列模型中所表示的音乐的音调关系,该螺旋阵列模型是音高类、和弦和键的三维表示,其构造方式使得空间接近度表示紧密的音调关系。我们使用非线性序列模型(递归神经网络)来评估这些功能的贡献,使用专业音乐会钢琴家演奏的莫扎特钢琴奏鸣曲数据集的表达动力学和表达节奏的预测。对使用和不使用音调张力特征训练的模型进行的实验表明,音调张力比绝对速度和动态值更有助于预测速度和动态的变化。此外,动力学的改善比节奏更强。
2018-07-03 cs.SD eess.AS
From Note-Level to Chord-Level Neural Network Models for Voice Separation in Symbolic Music
音乐通常被体验为一系列并行的音符或声音。这种情况发生的程度取决于沿着语音主导连续体的位置,从单声道到谐音,再到复音,这使得自动语音分离模型的设计变得复杂。我们通过将声音分离定义为将音乐分解成流的任务来解决这个连续体,该流表现出与其他流的高度外部感知分离和高度内部感知一致性。所提出的语音分离任务允许语音发散为多个语音,并且还允许多个语音收敛为同一语音。有了这个灵活的任务定义,我们手动注释了一个流行音乐语料库,并用它来训练神经网络,这些神经网络可以为和弦中的每个音符单独分配音符(音符级别),也可以为和弦中的所有音符联合分配音符(和弦级别)。经过训练的神经模型使用不同的感知输入特征集,在输入和弦序列的从左到右遍历中将音符greetly分配给语音。当对语音内连续音符对的提取进行评估时,基于包络提取函数的迭代应用,两个模型都超过了强基线,其中和弦级模型始终边缘化音符级模型。这两种模型在分离巴赫音乐中的声音方面也优于以前的方法。
2020-11-05 cs.AI cs.LG cs.SD
Multi-Step Chord Sequence Prediction Based on Aggregated Multi-Scale Encoder-Decoder Network
IRCAM(法国高等声学与音乐研究学院(IRCAM));CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Kyoto University(京都大学)
研究了基于机器学习模型的爵士乐和弦进行预测。我们研究的动机来自于最近神经网络在自动作曲方面的成功。虽然在单步预测场景中获得了高精度,但大多数模型无法生成准确的多步和弦预测。在本文中,我们假设,这来自音乐信息的多尺度结构,并提出了新的架构的基础上迭代的时间聚合的输入标签。具体来说,输入和地面真值标签合并成越来越大的时间袋,我们训练一个家庭的编码器-解码器网络的每个时间尺度。在第二步中,我们在每个尺度上使用这些预训练的编码器瓶颈特征,以便训练最终的编码器-解码器网络。此外,我们依赖于不同的减少到三个适应和弦字母的初始和弦字母表。我们对几种最先进的模型进行了评估,结果表明,我们的多尺度架构在准确性和复杂性方面优于现有方法,同时需要相对较少的参数。我们分析结果的音乐属性,显示分析窗口内的准确度的重拍位置的影响,并使用音乐通知的距离度量评估错误。
2019-11-12 cs.LG cs.SD eess.AS
Multi-Channel Automatic Music Transcription Using Tensor Algebra
音乐是一种艺术,每个听众都以独特的方式感知,来自声学信号。同时,有乐谱这样的标准来描述它,即使人类能够进行这种转录,在时间和精力方面也是昂贵的,尤其是随着互联网的兴起,信息爆炸。从这个意义上说,研究的方向是自动音乐转录。虽然这一任务在单音符的情况下被认为是解决了,但当音符叠加在一起形成和弦时,它仍然是开放的。本报告的目的是发展一些现有的技术对音乐转录,特别是矩阵分解,并介绍了多通道自动音乐转录的概念。这个概念将通过被称为张量的数学对象来探索。
2021-07-23 cs.IR cs.LG cs.SD
Automatic Analysis and Influence of Hierarchical Structure on Melody, Rhythm and Harmony in Popular Music
Carnegie Mellon University(卡内基梅隆大学)
重复是音乐结构的基本指标。这项研究介绍了新的算法,用于识别基于重复的音乐短语。短语组合形成部分,产生两级层次结构。自动检测的层次重复结构揭示了结构和和弦进行,旋律和节奏之间的显着相互作用。不同层次的相互作用不同,提供证据表明,结构层次在音乐中发挥着重要作用,而不仅仅是简单的重复或相似的概念。我们的工作为音乐生成和音乐评价提供了新的应用。
2020-10-15 cs.SD eess.AS
Roman Numeral Analysis with Graph Neural Networks: Onset-wise Predictions from Note-wise Features
Institute of Computational Perception, Johannes Kepler University Linz(约翰开普勒林茨大学计算感知研究所);LIT AI Lab, Linz Institute of Technology(林茨理工学院LIT人工智能实验室)
提出ChordGNN图神经网络,利用音符级特征与边收缩算法直接处理符号乐谱并输出起音点级罗马数字分析,准确率超过现有最先进模型。
2023-07-12 cs.LG cs.SD
Omnizart: A General Toolbox for Automatic Music Transcription
Academia Sinica(中央研究院);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
我们发布了Omnizart,这是一个新的Python库,为自动音乐转录(AMT)提供了一个简化的解决方案。Omnizart包含构建基于深度学习的AMT的生命周期的模块,并设计为易于使用,具有紧凑的命令行界面。据我们所知,Omnizart是第一个转录工具包,它提供的模型涵盖了广泛的乐器类别,从独奏,乐器合奏,打击乐器到声乐,以及和弦识别和节拍/强拍跟踪模型,这两个音乐信息检索(MIR)任务与AMT高度相关。
2021-06-01 cs.AI cs.SD eess.AS
Structure-Enhanced Pop Music Generation via Harmony-Aware Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Tencent Inc(腾讯公司);Communication University of China(中国传媒大学)
长期以来,流行音乐生成一直是音乐家和科学家都很感兴趣的话题。然而,自动合成具有令人满意的结构的流行音乐仍然是一个具有挑战性的问题。在本文中,我们提出利用和声感知学习结构增强的流行音乐生成。一方面,和声的参与者之一和弦代表着多个音符的和声集合,它与音乐的空间结构织体紧密结合。另一方面,和声的另一个参与者和弦进行往往伴随着音乐的发展,促进了音乐的时间结构,即形式。而且,当和弦演变为和弦进行时,织体与曲式之间可以自然地通过和声进行衔接,这有助于两种结构的共同学习。此外,我们提出了Harmony-Aware Hierarchical Music Transformer(HAT),它可以从音乐中自适应地利用结构,并使音乐令牌分层交互,以增强多层次音乐元素的结构。实验结果表明,与现有的方法相比,HAT方法对音乐结构有更好的理解,能够提高生成音乐的质量,尤其是在形式和纹理方面。
2022-07-12 cs.LG cs.SD eess.AS
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University(纽约大学);University of Florida(佛罗里达大学);Carnegie Mellon University(卡内基梅隆大学)
编曲生成是自动音乐生成的一个子任务,它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式,但它们缺乏更精确的数据,无法实现更好的评估和更实际的结果。在本文中,我们提出了POP909,一个数据集,其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏,这些都是与原始音频文件对齐的。此外,我们还提供了速度,节拍,基调和和弦的注释,其中速度曲线是手工标记的,其他的是通过MIR算法完成的。最后,我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
MorpheuS: generating structured music with constrained patterns and tension
随着云计算的进步使得能够在个人设备上进行诸如深度模型和优化算法之类的大规模复杂计算,自动音乐生成系统已经变得流行和复杂。然而,他们仍然面临着一个重要的挑战,即长期结构,这是传达音乐连贯性的关键。我们提出了Morpheus音乐生成系统,旨在解决这个问题。Morpheus的新框架能够生成具有给定张力配置文件和长期和短期重复模式结构的复调作品。色调张力的数学模型量化了张力曲线,最先进的图案检测算法提取了模板中的重复图案。一个有效的优化元启发式,可变邻域搜索,通过分配最适合规定的张力配置文件的模板节奏,同时通过检测到的模式硬约束长期结构的音高生成音乐。这种产生具有特定张力轮廓和长期结构的情感音乐的能力在游戏或电影音乐背景中特别有用。由Morpheus系统生成的音乐已在音乐会上现场演出。
2018-12-12 cs.SD eess.AS
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对自动音乐转录模型训练计算成本高的问题,提出用软件合成器生成的合成音频训练通用模型,为迁移学习适配多乐器打基础,验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
SongDriver: Real-time Music Accompaniment Generation without Logical Latency nor Exposure Bias
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Jingchu University of Technology(荆楚理工学院);Shandong University(山东大学)
实时的【形】音乐伴奏生成在音乐教育、现场演出等音乐行业有着广泛的应用。然而,自动实时的【形】音乐伴奏生成仍然是研究不足,往往面临着逻辑延迟和曝光偏差之间的权衡。在本文中,我们提出了SongDriver,一个实时的【形】音乐伴奏生成系统,没有逻辑延迟,也没有曝光偏差。具体来说,SongDriver将一个伴奏生成任务分为两个阶段:1)编曲阶段,其中Transformer模型首先实时的【形】为输入旋律编曲,并缓存和弦以供下一阶段使用,而不是播放它们。2)预测阶段,CRF模型根据先前缓存的和弦为即将到来的旋律生成可播放的多音轨音轨。通过这种两阶段策略,SongDriver直接为即将到来的旋律生成伴奏,实现零逻辑延迟。此外,在预测时间步长的和弦时,SongDriver会参考第一阶段缓存的和弦,而不是之前的预测,这避免了曝光偏差问题。由于输入长度通常在实时的【形】条件下受到约束,另一个潜在的问题是长期顺序信息的丢失。为了弥补这一缺陷,我们从当前时间步之前的长期音乐片段中提取四个音乐特征作为全局信息。在实验中,我们训练SongDriver在一些开源的数据集和原始的àiSong数据集建立从中国风格的现代流行音乐的分数。结果表明,SongDriver在客观和主观指标上都优于现有的SOTA(最先进的)模型,同时显著降低了物理延迟。
2022-10-13 cs.LG cs.MM cs.SD
IdolSongsJp Corpus: A Multi-Singer Song Corpus in the Style of Japanese Idol Groups
本文构建了 IdolSongsJp 语料库,包含 15 首日本偶像团体风格的专业创作歌曲及分轨、干声和和弦标注,用于在复杂条件下基准测试歌手分离、音源分离和和弦估计等音乐信息处理技术。
2025-07-02 cs.SD eess.AS
Computational music analysis from first principles
Princeton University(普林斯顿大学);University of Michigan(密歇根大学);Santa Fe Institute(圣塔菲研究所)
本文用耦合隐马尔可夫模型自动标注 371 首巴赫众赞歌,在几乎不使用人工输入的情况下,和弦与调性识别准确率达到 85% 以上,为西方和声理论的客观性争论提供证据。
2024-07-30 cs.LG cs.SD eess.AS
Harmonic Reasoning in Large Language Models
Munich University of Applied Sciences(慕尼黑应用科学大学)
本文评估GPT-3.5和GPT-4o在音程、和弦与音阶等音乐和声推理任务上的表现,发现其擅长音程却难以处理复杂和弦与音阶,并发布自动生成的基准数据集。
2024-09-09 cs.AI cs.CL cs.SD
ViTex: Visual Texture Control for Multi-Track Symbolic Music Generation via Discrete Diffusion Models
School of EECS, Peking University(电子工程系,北京大学);Music X Lab, MBZUAI(音乐X实验室,MBZUAI);Courant Institute of Mathematical Sciences, New York University(数学科学学院,纽约大学)
ViTex通过离散扩散模型实现多轨符号音乐生成的视觉纹理控制,结合乐器选择、音高时间及笔触属性,生成高质量音乐并支持纹理级操控。
2026-03-02 cs.SC cs.SD
Generating Lead Sheets with Affect: A Novel Conditional seq2seq Framework
Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学)
在过去的几年里,自动音乐合成领域取得了巨大的进步,其中很大一部分可以归功于深度神经网络的进步。有许多研究提出了从零开始生成乐谱的不同策略。包括高层次的音乐特征(例如,然而,作为控制发电输出的条件,感知的情感品质)仍然是一个挑战。在本文中,我们提出了一种新的方法来计算价(积极或消极的情绪感知)的和弦进展内的铅表,使用预定义的情绪标签提出的音乐专家。基于这种方法,我们提出了一种新的策略,有条件的铅片生成,使我们能够引导音乐生成的效价,措辞和时间签名。我们的方法类似于神经机器翻译(NMT)问题,因为我们在所使用的序列到序列架构的编码器部分中包括高级条件(即,长短期记忆网络和Transformer网络)。我们进行了实验,彻底分析这两个架构。结果表明,该策略能够以可控的方式生成铅板,从而使音乐属性的分布与训练数据集相似。我们还验证了通过主观听力测试,我们的方法是有效的控制生成的和弦进行的效价。
2021-04-27 cs.LG cs.SD eess.AS
Gaussian Processes for Music Audio Modelling and Content Analysis
Queen Mary University of London(伦敦玛丽女王大学)
真正的音乐信号是高度可变的,但它们具有强大的统计结构。关于声音产生的基本物理机制和构建复杂声音结构的规则(音符,和弦,完整的乐谱)的先验信息可以使用贝叶斯建模技术自然统一。通常,自动音乐转录的算法独立地执行单个任务,例如多个F0检测和节拍跟踪。挑战仍然是执行所有参数的联合估计。我们提出了一种贝叶斯方法来建模音乐音频和内容分析。所提出的方法的基础上高斯过程寻求联合估计的多个音乐概念,通过合并到内核先验信息的非平稳行为,动态,和丰富的频谱内容中存在的建模音乐信号。我们说明了这种方法的好处,通过两个任务:音高估计,并推断丢失的段在复调录音。
2016-06-10 cs.SD stat.ML
ComMU: Dataset for Combinatorial Music Generation
Pozalabs(波扎实验室);Yonsei Univ.(延世大学)
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐(例如,浪漫电影、动作游戏、餐馆等的音乐)。在本文中,我们介绍了组合音乐生成,一个新的任务,创造不同的背景音乐的基础上,给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本,并将其组合以产生完整的音乐。此外,我们介绍了ComMU,第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是:(1)数据集由专业作曲家手动构建,具有诱导规律性的客观指导原则,(2)它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明,我们可以生成不同的高品质的音乐,只有元数据,我们独特的元数据,如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频(https://pozalabs.github.io/ComMU)。
2022-11-17 cs.AI cs.MM cs.SD
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai(上海纽约大学);Tencent PCG(腾讯平台与内容事业群)
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱?这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容,还要有钢琴作曲的先验知识(这样生成的作品听起来像音频,同时保持音乐性)。为此,我们贡献了一个跨模态表示学习模型,该模型1)从音频中提取和弦和旋律信息,2)从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后验被简化为标准的正态分布,并且仅需要音频进行推理。实验表明,我们的模型捕捉主要的音频信息,并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Emotion-driven Piano Music Generation via Two-stage Disentanglement and Functional Representation
UC San Diego(加州大学圣地亚哥分校);National Taiwan University(台湾大学)
本文提出一种两阶段解耦框架,结合新型功能表示,分别对主旋律谱效价和演奏层面唤醒度进行建模,有效解决了钢琴音乐生成中的情感建模不足问题,并展示了广泛的情感控制应用潜力。
2024-07-30 cs.AI cs.SD eess.AS
Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions
UC San Diego(加州大学圣地亚哥分校);NYU Shanghai(上海纽约大学)
自动音乐生成是一个跨学科的研究课题,它结合了计算创造力和音乐的语义分析来创建自动机器即兴创作。这种系统的重要特性是允许用户指定所生成的音乐的条件和期望的特性。在本文中,我们设计了一个模型,为用户指定的象征性的情况下,结合以前的音乐上下文组成的旋律。我们添加手动标记的矢量表示外部音乐质量的和弦功能,提供了一个低维的谐波张力和分辨率的表示。我们的模型能够以8拍音符序列为基本单位生成长旋律,并与另一首特定的歌曲共享一致的节奏模式结构。该模型包含两个阶段,需要单独的训练,其中第一阶段采用条件变分自编码器(C-VAE)来构建音符序列及其潜在表征之间的双射,第二阶段采用具有结构条件的长短期记忆网络(LSTM)来继续编写未来的旋律。我们进一步利用解开技术,通过C-VAE允许旋律生成的基础上,音高轮廓信息独立于调节节奏模式。最后,我们使用节奏的定量分析和主观听力研究评估所提出的模型。结果表明,我们的模型生成的音乐往往具有显着的重复结构,丰富的动机,和稳定的节奏模式。能够生成更长,更结构化的短语从解纠缠表示结合语义场景规范条件显示了我们的模型的广泛应用。
2020-02-05 cs.AI cs.LG cs.SD
The Jazz Transformer on the Front Line: Exploring the Shortcomings of AI-composed Music through Quantitative Measures
National Taiwan University(台湾大学);Taiwan AI Labs(台湾人工智能实验室);Academia Sinica(中央研究院)
本文介绍了爵士乐Transformer,生成模型,利用神经序列模型称为transformer-XL建模的爵士乐的铅表。此外,该模型致力于将结构事件中存在的魏玛爵士乐数据库(WJazzD)诱导生成的音乐结构。虽然我们能够将训练损失降低到一个很低的值,但我们的听力测试表明,生成的平均评分与真实作品之间存在明显的差距。因此,我们更进一步,从不同的角度对生成的组合物进行了一系列的计算分析。这包括分析音高类,开槽和和弦进行的统计数据,在健身景观图的帮助下评估音乐的结构性,并通过类似MIREX的连续预测任务评估模型对爵士音乐的理解。我们的工作以分析的方式提出了为什么迄今为止机器生成的音乐仍然达不到人类的艺术作品,并为未来的自动作曲工作设定了一些目标。
2020-08-04 cs.AI cs.SD eess.AS
What Makes a Good Layer? Assessing the Layer-Wise Intrinsic Properties of Music Foundation Models
该研究分析12个音乐基础模型的逐层固有属性,发现现有指标无法通用追踪所有音乐任务的层质量,提出音高转置等变度指标,该指标可有效用于层选择,性能优于可训练多层融合方法,尤其在数据有限场景
2026-08-18 cs.LG cs.SD eess.AS