Editing Music with Melody and Text: Using ControlNet for Diffusion Transformer
Tsinghua University(清华大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Hong Kong University of Science and Technology(香港科技大学)
针对现有可控音乐生成编辑的质量与时长局限,提出带ControlNet控制分支的DiT方法,结合新型top-k恒Q旋律表示与课程学习,在文本生成和风格迁移任务上性能优于MusicGen基线。
2025-01-16 cs.SD eess.AS
Melody Extraction from Polyphonic Music by Deep Learning Approaches: A Review
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
旋律提取是音乐研究者的一项重要音乐信息检索任务,因为它在教育教学和音乐产业中具有潜在的应用价值。由于背景乐器的存在,旋律提取是一项非常具有挑战性的任务。此外,通常旋律来源表现出类似的特点,其他文书。背景伴奏与人声的干扰使得从混合信号中提取旋律更具挑战性。直到最近,经典的基于信号处理的旋律提取方法在旋律提取研究者中相当流行。深度学习模型对大规模数据进行建模的能力以及模型通过利用空间和时间依赖性来学习自动特征的能力激励了许多研究人员采用深度学习模型进行旋律提取。在本文中,尝试已作出审查的最新数据驱动的深度学习方法从复调音乐的旋律提取。已经基于所使用的神经网络的类型和它们用于预测旋律的输出表示来对可用的深度模型进行分类。此外,简要介绍了25个旋律提取模型的体系结构。用于优化旋律提取模型的模型参数的损失函数大致分为四类,并简要描述了各种旋律提取模型所使用的损失函数。此外,旋律提取模型所采用的各种输入表示和参数设置进行了深入的描述。包括描述块框旋律提取深度神经网络的可解释性的部分。比较了25种旋律提取方法的性能。本文还提出了今后旋律提取方法的探索和改进方向。
2022-02-02 cs.SD eess.AS
MelodyT5: A Unified Score-to-Score Transformer for Symbolic Music Processing
Central Conservatory of Music(中央音乐学院);Tsinghua University(清华大学)
本文提出统一框架MelodyT5,将七项旋律任务建模为乐谱到乐谱转换,并在包含超26.1万条旋律的MelodyHub数据集上通过多任务迁移学习实现卓越性能,尤其提升了数据稀缺任务的效果。
2024-07-03 cs.SD eess.AS
Multi-Stage Music Source Restoration with BandSplit-RoFormer Separation and HiFi++ GAN
Institute of Computational Perception (CP-JKU) Johannes Kepler University Linz, Austria(计算感知研究所(CP-JKU)约翰· Kepler大学林茨,奥地利)
本文提出多阶段音乐源修复方法,结合BandSplit-RoFormer分离与HiFi++ GAN修复,实现高质量音乐声部恢复。
2026-03-04 cs.LG cs.SD eess.AS
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题,本文通过探测AudioLDM 2的注意力图,提出无训练技术Melodia,选择性操作自注意力图并利用注意力存储库,实现了音乐特征的准确修改与结构保留,还提出新评估指标,实验效果优异。
2025-11-18 cs.SD eess.AS
Controllable deep melody generation via hierarchical music structure representation
Carnegie Mellon University(卡内基梅隆大学);Adobe Inc.(Adobe公司)
深度学习的最新进展扩大了生成音乐的可能性,但生成具有一致的长期结构的可定制的完整音乐片段仍然是一个挑战。本文介绍了MusicFrameworks,一个层次化的音乐结构表示和多步生成过程,以创建一个完整的长度旋律指导下,长期重复的结构,和弦,旋律轮廓和节奏的限制。我们首先用小节和乐句层次结构来组织完整的旋律。为了在每个乐句中生成旋律,我们使用两个单独的基于变换器的网络生成节奏和基本旋律,然后以自回归方式生成以基本旋律、节奏和和弦为条件的旋律。通过将音乐生成分解为子问题,我们的方法允许更简单的模型,需要更少的数据。为了自定义或增加多样性,可以在音乐框架中改变和弦,基本旋律和节奏结构,让我们的网络相应地生成旋律。此外,我们引入了新的功能来编码音乐的位置信息,节奏模式和旋律轮廓的基础上音乐领域的知识。听力测试表明,我们的方法生成的旋律在POP909数据集中大约一半的时间被评为与人类创作的音乐一样好或更好。
2021-09-02 cs.AI cs.SD eess.AS
Differential Music: Automated Music Generation Using LSTM Networks with Representation Based on Melodic and Harmonic Intervals
University of Florida(佛罗里达大学)
本文提出了一种使用LSTM网络进行自动音乐合成的生成式人工智能模型,该模型采用了一种新的方法来编码音乐信息,该方法基于音乐中的运动而不是绝对音高。旋律被编码为一系列音程而不是一系列音高,和弦被编码为每个和弦音符在每个时步与旋律一起形成的一组音程。实验结果表明,承诺,因为他们的声音音乐和音调。这种方法也有弱点,主要是成分中的过度调制,但这是从编码的性质预期的。这一问题将在本文件后面讨论,是今后工作的一个潜在专题。
2021-08-23 cs.AI cs.SD eess.AS
Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
在人工智能和音乐领域,从歌词生成旋律是一项有趣但具有挑战性的任务。然而,保持输入歌词和生成的旋律之间的一致性的困难限制了先前作品的生成质量。在我们的建议中,我们展示了我们提出的可解释的歌词旋律生成系统,可以与用户进行交互,以了解生成过程,并重新创建所需的歌曲。为了提高与歌词匹配的旋律生成的可靠性,利用互信息来增强歌词与生成的旋律之间的一致性。利用Gumbel-Softmax解决生成对抗网络(GANs)生成离散音乐属性的不可微性问题。此外,由生成器输出的预测概率被用来推荐音乐属性。通过与我们的歌词到旋律生成系统进行交互,用户可以收听生成的AI歌曲,并通过从推荐的音乐属性中进行选择来重新创建一首新歌。
2022-06-30 cs.SD eess.AS
HumTrans: A Novel Open-Source Dataset for Humming Melody Transcription and Beyond
Tencent PCG(腾讯平台与内容事业群)
本文介绍公开的HumTrans哼唱旋律转录数据集,含500首作品、1000个片段、56.22小时音频,由10名音乐学生录制,支持转录及音乐生成等下游任务。
2023-10-17 cs.SD eess.AS
METEOR: Melody-aware Texture-controllable Symbolic Orchestral Music Generation via Transformer VAE
Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL(里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工大学、UMR 9189 CRIStAL);National Taiwan University(台湾国立台湾大学)
本文提出METEOR模型,基于Transformer VAE实现旋律感知与纹理可控的符号化重新配器,支持小节和音轨级纹理控制,在生成质量与可控性上优于现有模型,并可零样本适应领奏谱配器任务。
2025-06-30 cs.SD eess.AS
MELONS: generating melody with long-term structure using transformers and structure graph
Kuaishou(快手)
长旋律序列的创作需要连贯的音乐结构的有效表达。但是,没有明确的音乐结构。最近关于音乐生成的研究已经提出了各种方法来处理音乐的结构信息,但是生成具有清晰长期结构的完整歌曲旋律仍然是一个挑战。在本文中,我们提出了MELONS,一个旋律生成框架的基础上,由八种类型的酒吧级关系的音乐结构的图形表示。MELONS采用基于transformer网络的多步生成方法,将旋律生成分解为两个子问题:结构生成和结构条件旋律生成。实验结果表明,MELONS能够产生高质量、内容丰富的结构化旋律。
2021-11-03 cs.MM cs.SD eess.AS
Melody Generation for Pop Music via Word Representation of Musical Properties
THE UNIVERSITY OF TOKYO(东京大学);IRCAM(法国声学/音乐研究中心);INNOVATION CREATIVE, INC.(创新创意公司)
流行音乐的自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而,由于许多因素,学习产生悦耳的旋律已经证明是非常具有挑战性的。纸币的多元属性的表示一直是主要的挑战之一。它也很难保持在音乐多样性的允许范围内,在此之外,将被视为一个没有听觉愉悦的简单随机演奏。观察流行音乐的传统结构带来了进一步的挑战。在本文中,我们建议将每个音符及其属性表示为一个唯一的“词”,从而减少属性之间的不对齐的前景,并降低学习的复杂性。我们还对音符的范围实施正则化策略,从而鼓励生成的旋律接近人类容易遵循的旋律。此外,我们生成旋律的歌曲部分信息的条件下,从而复制一个完整的歌曲的整体结构。实验结果表明,我们的模型可以生成令人愉快的歌曲,更难以区分人类写的比以前的模型。
2017-10-31 cs.MM cs.SD eess.AS
MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks
Microsoft Research Asia(微软亚洲研究院);Nanjing University(南京大学);Microsoft Azure Speech(微软Azure语音部门)
人类在创作音乐时,通常是按照音乐的形式组织元素,表达音乐的思想。但是,对于基于神经网络的音乐生成,由于缺乏关于音乐形式的标记数据,很难做到这一点。在本文中,我们开发了MeloForm,一个系统,产生旋律与音乐形式,使用专家系统和神经网络。具体而言,1)我们设计了一个专家系统来生成旋律,根据预先给定的音乐形式将音乐元素从主题发展到短语,然后发展到具有重复和变化的部分; 2)考虑到生成的旋律缺乏音乐丰富性,我们设计了一个基于Transformer的细化模型来改进旋律而不改变其音乐形式。MeloForm具有通过专家系统进行精确的音乐形式控制和通过神经模型进行音乐丰富性学习的优势。主观和客观的实验评估都表明,MeloForm生成的旋律具有精确的曲式控制,准确率为97.79%,并且在结构,主题,丰富性和整体质量方面的主观评价得分优于基线系统0.75,0.50,0.86和0.89,没有任何标记的曲式数据。此外,MeloForm还支持多种曲式,如:诗歌和合唱曲式、回旋曲式、变奏曲曲式、奏鸣曲曲式等。
2022-08-30 cs.CL cs.LG cs.MM
Student-t Networks for Melody Estimation
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
旋律估计或旋律提取是指提取旋律中的主要或基本主频率。所获得的该频率序列表示来自所记录的音乐音频信号的主旋律线的音高。音乐信号可以是单声道的或复音的。当我们开始处理复调音频数据时,从音频信号中提取旋律的问题变得复杂。这是因为在一般化的音频信号中,声音在频域和时域两者上高度相关。许多声音的这种复杂重叠使得识别主要频率具有挑战性。
2021-11-29 cs.SD eess.AS
Melody-Guided Music Generation
School of Business, Guangxi University(广西大学商学院);School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics(西南财经大学计算机与人工智能学院);School of Business Administration, Southwestern University of Finance and Economics(西南财经大学工商管理学院)
本文提出旋律引导的音乐生成模型MG2,通过对比语言-音乐预训练和检索增强扩散,在极少参数和训练数据下超越现有开源文本到音乐生成模型。
2024-12-30 cs.AI cs.SD eess.AS
Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究比较了CNN、VGG16和XGBoost在30秒Mel频谱图与3秒MFCCs特征下的音乐流派分类性能,发现MFCC XGBoost模型表现最佳,且数据分割能显著提升CNN性能。
2024-01-09 cs.AI cs.SD eess.AS
Polyphonic Music Generation with Sequence Generative Adversarial Networks
Seoul National University(首尔国立大学)
我们提出了一个应用程序的序列生成对抗网络(SeqGAN),这是生成对抗网络的离散序列生成,创建复调音乐序列。而不是一个单声道的旋律生成建议在原来的工作中,我们提出了一个有效的表示的一个复调音乐文件,同时捕捉和弦和旋律的动态定时。所提出的方法将旋律和和弦的持续时间,八度音阶和键浓缩为单个词向量表示,并且递归神经网络学习从嵌入的音乐词空间预测序列的分布。我们实验了原始方法和最小二乘法的训练,这是已知的稳定的GANs的训练。该网络可以创建音乐连贯的序列,并显示出改进的定量和定性测量。我们还报告说,仔细优化的强化学习信号的模型是至关重要的模型的一般应用。
2018-07-02 cs.SD eess.AS
Beyond SDR: How Music Source Separation Reshapes Rhythm-Relevant Signal Properties
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
该研究量化四类音乐源分离模型对节奏关键信号特性的影响,发现SDR无法反映起音外的节奏特性,模型选择和输入长度会影响节奏相关信号,需在节奏研究中明确报告这些变量。
2026-09-07 cs.SD eess.AS
Melody Structure Transfer Network: Generating Music with Separable Self-Attention
Shanghai Jiao Tong University(上海交通大学)
符号音乐生成越来越受到人们的关注,而大多数方法都集中在生成短片段(大多数小于8小节,最多32小节)。创作长乐曲需要连贯的音乐结构的有效表达。尽管他们在长序列上取得了成功,但自我注意架构在处理长时间音乐方面仍然存在挑战,因为它需要对微妙的音乐结构进行额外的关注。在本文中,我们提出了新的音乐生成的训练样本的结构转移,并开发了一种新的可分离的自注意模型,使学习和转移的结构嵌入。我们表明,我们的传输模型可以生成音乐序列(高达100条)与可解释的结构,它具有类似的结构和组成技术与模板音乐从训练集。大量的实验表明,该方法能够生成目标结构清晰、多样性好的音乐。生成的3,000套音乐作为补充材料上传。
2021-07-21 cs.MM cs.SD eess.AS
MusicMamba: A Dual-Feature Modeling Approach for Generating Chinese Traditional Music with Modal Precision
School of Computer Science and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机科学与人工智能学院);School of Computer Science, Hubei University of Technology(湖北工业大学计算机学院)
针对中国传统音乐生成中调式特征和情感表达捕捉的难题,提出双特征建模模块结合Mamba与Transformer及双向融合层,并构建FolkDB数据集与REMI-M表示法,有效提升了旋律生成质量。
2025-03-06 cs.SD eess.AS
Controllable Lyrics-to-Melody Generation
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
本文提出 ConL2M 可控歌词到旋律生成网络,通过 Memofu、RSE 和 SeqLoss 提升旋律质量并实现用户指定音乐风格控制。
2023-06-05 cs.AI cs.SD eess.AS
Small Tunes Transformer: Exploring Macro & Micro-Level Hierarchies for Skeleton-Conditioned Melody Generation
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院)
本研究提出Small Tunes Transformer模型,通过宏观乐句分割与微观骨架音符提取,结合乐句级交叉注意力机制,并构建包含10088首传统民歌的Small Tunes Dataset,实现了优于SOTA的骨架条件旋律生成。
2024-10-15 cs.SD eess.AS
MeloTrans: A Text to Symbolic Music Generation Model Following Human Composition Habit
Communication University of China(中国传媒大学)
本文提出MeloTrans文本到符号音乐生成模型,通过构建首个含音乐动机及变体标签的POP909_M数据集,将人类动机发展规则与神经网络学习能力结合,在音乐性和多样性上超越现有模型及ChatGPT-4。
2024-10-17 cs.MM cs.SD eess.AS
Exploring Inherent Properties of the Monophonic Melody of Songs
Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
旋律是音乐中最重要的组成部分之一。与音乐理论中的和声、对位等其他成分不同,旋律的可计算特征是一个迫切需要解决的问题。这些功能是非常需要的数据驱动方法占主导地位的领域,如音乐信息检索和自动音乐合成。为了提高与深度学习相关的音乐任务的性能,我们提出了一组用于计算目的的单声道旋律的可解释特征。这些特征不仅以数学形式定义,而且还考虑到作曲家的直觉。例如,旋律重心可以反映旋律的逐段轮廓,局部/全局旋律动态量化在句子中耦合音高和时间的旋律的动态。我们发现,这些特点被人们普遍认为是在许多体裁的歌曲,甚至是无调性的创作实践。希望这些旋律特征能为未来的研究者提供新的灵感,作为MIR和自动作曲领域的工具。
2020-03-20 cs.AI cs.SD eess.AS
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje(斯科普里圣西里尔与美多德大学);Faculty of Electrical Engineering and Information Technologies(电气工程与信息技术学院)
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者,只是通过搜索来寻找乐谱,还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统,可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法:音符起始检测,速度估计,节拍检测,音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律,与商业上可用的基于神经网络的系统相比,有很好的效果。
2021-08-24 cs.SD eess.AS
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay(印度理工学院孟买分校)
音乐信息检索是当前一个活跃的研究领域,它致力于从音频信号中提取音乐上重要的信息,以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐,或者帮助音乐学研究,甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性,该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别,其中主要乐器是歌声。歌声比许多乐器更多才多艺,因此对信息检索系统提出了有趣的挑战。在本文中,我们提供了一个简短的概述,在声乐处理的相关工作在印度理工学院孟买的描述,导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
On the Complex Network Structure of Musical Pieces: Analysis of Some Use Cases from Different Music Genres
University of Bologna(博洛尼亚大学)
本文主要研究音乐旋律的网络建模。旋律的音符可以被视为网络的节点。每当音符按顺序演奏时,就会产生连接。我们分析了来自不同音乐流派的一些主要曲目,使用不同的乐器演奏的旋律。我们发现,所考虑的网络是,在一般情况下,无标度网络,并表现出小世界性质。我们测量的主要指标,并评估这些网络是否可以被认为是由子社区形成的。结果证实,可以从这种分析方法中提取的轨道的特有功能。这种方法可以在几个多媒体应用,如音乐教学,多媒体娱乐和数字音乐生成的影响。
2017-09-13 cs.MM cs.SD eess.AS
Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs
Georgia Institute of Technology(佐治亚理工学院)
符号音乐的深度生成模型通常被设计为对音乐中的时间依赖性进行建模,以便在给定先前事件的情况下预测下一个音乐事件。在许多情况下,这样的模型被期望从原始音乐数据中学习抽象概念,如和声、节拍和节奏,而不需要任何额外的信息。在这项研究中,我们调查的影响,明确条件反射深生成模型与音乐相关的信息。具体而言,我们研究了四种不同的条件输入的性能上的一个经常性的单声道旋律生成模型的影响。这些调节输入的几种组合用于训练不同的模型变体,然后使用跨两种音乐流派的三个客观评估范例来评估这些模型变体。结果表明,音乐相关的条件反射显着提高学习和性能,并揭示了这些信息如何影响学习的音高和节奏相关的音乐特征。一个非正式的主观评价表明,一代人的审美素质相应提高。
2019-07-10 cs.AI cs.SD eess.AS
MusicLM: Generating Music From Text
Google Research(谷歌研究院);IRCAM - Sorbonne Université(巴黎声学音乐研究协调所-索邦大学)
我们介绍MusicLM,一个从文本描述中生成高保真音乐的模型,例如“由扭曲的吉他即兴重复支持的平静的小提琴旋律”。MusicLM将条件音乐生成的过程转换为分层序列到序列建模任务,并且它生成的音乐在24 kHz下在几分钟内保持一致。我们的实验表明,MusicLM优于以前的系统,无论是在音频质量和坚持的文本描述。此外,我们表明,MusicLM可以同时在文本和旋律的条件,因为它可以转换口哨和哼唱的旋律,根据在文本标题中描述的风格。为了支持未来的研究,我们公开发布MusicCaps,这是一个由5.5k音乐文本对组成的数据集,由人类专家提供富文本描述。
2023-01-26 cs.LG cs.SD eess.AS
Music ControlNet: Multiple Time-varying Controls for Music Generation
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究院)
Music ControlNet提出基于扩散的时变控制音乐生成方法,支持旋律、动态和节奏控制,相比MusicGen在参数少35倍、数据少11倍下旋律忠实度提升49%。
2023-11-13 cs.SD eess.AS
Deep learning for music generation. Four approaches and their comparative evaluation
Faculty of Automatics and Computer Science, University POLITEHNICA of Bucharest(布加勒斯特理工大学自动控制与计算机科学学院);Romanian Academy Research Institute for Artificial Intelligence(罗马尼亚科学院人工智能研究所);Academy of Romanian Scientists(罗马尼亚科学院)
本文提出四种基于深度学习的音乐生成方法,通过比较分析生成旋律的美学质量与应用适用性,发现GPT3生成的旋律最悦耳,新引入的Schillinger方法优于以往声化方法。
2025-04-03 cs.AI cs.SD eess.AS
Emotion-Driven Melody Harmonization via Melodic Variation and Functional Representation
UC San Diego(加州大学圣地亚哥分校);National Taiwan University(国立台湾大学)
本文提出一种考虑调性的符号音乐新型功能表示,结合旋律变奏解决数据稀缺问题,并采用Transformer生成调性可适应的和声,有效传达特定情感效价。
2024-09-25 cs.AI cs.SD eess.AS
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music(中央音乐学院音乐人工智能与信息科技系);School of Computer Science and Technology, Fudan University(复旦大学计算机科学与技术学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学智能信息处理上海重点实验室)
针对情感标注乐谱稀缺问题,提出EMelodyGen系统,通过音乐特征模板构建Rough4Q数据集,预训练模型实现高解析率与情感对齐度,验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms
University of Toronto(多伦多大学)
在机器学习领域分析音乐是一个非常困难的问题,需要考虑许多限制。音频数据的性质,其非常高的维度和广泛变化的结构尺度,是它如此难以建模的主要原因之一。机器学习在音乐中有许多应用,例如对一段音乐的情绪进行分类,有条件的音乐生成或流行预测。该项目的目标是开发一个基于Mel声谱图的音乐体裁条件生成模型,并通过将其与使用基于音符表示的现有生成音乐模型进行比较来评估其性能。我们最初实现了一个自回归的、基于RNN的生成模型,称为MelNet。然而,由于其速度慢且输出保真度低,我们决定创建一种新的全卷积架构,该架构基于Mel GAN [4]和条件GAN架构,称为cMel GAN。
2022-05-15 cs.AI cs.LG cs.SD
A-Muze-Net: Music Generation by Composing the Harmony based on the Generated Melody
Tel-Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
提出了一种生成钢琴音乐MIDI文件的方法。该方法使用两个网络对右手和左手进行建模,其中左手以右手为条件。这样,旋律在和声之前产生。Midi以一种对音阶不变的方式来表示,而旋律则以每个小节的内容来表示,以调节和声,被视为和弦。最后,基于该和弦表示随机添加音符,以便丰富所生成的音频。我们的实验显示了对此类数据集进行训练的最新技术的显着改进,并展示了每个新组件的贡献。
2021-11-25 cs.AI cs.LG cs.SD
GANs & Reels: Creating Irish Music using a Generative Adversarial Network
Memorial University of Newfoundland(纽芬兰纪念大学);University of Waterloo(滑铁卢大学)
在本文中,我们提出了一种算法的旋律生成方法,使用生成对抗网络没有经常性的组件。音乐生成已经成功地使用递归神经网络完成,其中模型学习序列信息,可以帮助创建真实的声音旋律。在这里,我们使用具有扩张卷积和塔的DC-GAN架构来捕获序列信息作为空间图像信息,并学习固定长度旋律形式(如爱尔兰传统卷轴)的长程依赖关系。
2020-10-29 cs.LG cs.SD eess.AS
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design(新加坡科技设计大学)
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换(CQT)的影响。我们的研究结果表明,在不改变神经网络设计(单层全连接)的情况下,通过选择适当的输入表示(具有STFT窗口长度为4,096和2,048频率箱的对数频谱图),可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明,梅尔声谱图是一个紧凑的表示,我们可以减少频率箱的数量只有512,同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Generating High-quality Symbolic Music Using Fine-grained Discriminators
Hangzhou Dianzi University(杭州电子科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Xi’an Jiaotong University(西安交通大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Macquarie University(麦考瑞大学)
本文提出将旋律与节奏解耦,并设计配备音高增强和小节级相对位置编码的细粒度判别器,以提升符号音乐生成质量,在POP909上验证了其有效性。
2024-08-03 cs.AI cs.SD eess.AS
Melody transcription via generative pre-training
Stanford University(斯坦福大学)
尽管旋律在音乐感知中起着中心作用,但在音乐信息检索中可靠地检测任意音乐记录中存在的旋律的音符仍然是一个公开的挑战。旋律转录中的一个关键挑战是构建可以处理包含任何数量的乐器合奏和音乐风格的广泛音频的方法-现有策略对某些旋律乐器或风格工作良好,但不是所有。为了应对这一挑战,我们利用了Juventure(Dhariwal et al. 2020)的表示,这是一种广泛音乐音频的生成模型,从而相对于传统的声谱图特征,将旋律转录的性能提高了$20$ %。旋律转录的另一个障碍是缺乏训练数据-我们从广泛音乐的众包注释中获得了一个新的数据集,其中包含$50$小时的旋律转录。生成预训练和用于该任务的新数据集的组合导致相对于最强可用基线的旋律转录的$77$ %更强的性能。通过将我们新的旋律转录方法与节拍检测、关键估计和和弦识别的解决方案相结合,我们构建了Sheet Sage,这是一个能够直接从音乐音频中转录人类可读的铅表的系统。音频示例可以在https://chrisdonahue.com/sheetsage上找到,代码可以在https://github.com/chrisdonahue/sheetsage上找到。
2022-12-04 cs.AI cs.LG cs.MM
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná(巴拉那联邦理工大学);University of Campinas(坎皮纳斯大学)
在这项工作中,我们分析的随机投影梅尔声谱图作为低级别的功能,音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明,随机投影导致的结果与学习的特征相当,并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识,同时,与其他基于投影的低级特征相比,需要更少的计算能力进行训练。因此,他们可以是一个可行的选择,用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
Qwen-Music Technical Report
Qwen Team(通义团队)
介绍Qwen-音乐,它支持文本到音乐生成和翻唱歌曲生成两个核心任务。集成三个核心组件,通过特定机制建模并渲染。经多语言数据训练及多种训练方式,在多个音乐性和音频质量指标上达领先成果,获专业评估人员青睐。
2026-09-18 cs.SD
Symbolic Music Playing Techniques Generation as a Tagging Problem
Beijing University of Posts and Telecommunications(北京邮电大学)
音乐生成一直是一个热门话题。在讨论象征性音乐时,旋律或和声通常被视为唯一的生成目标。但实际上,演奏技巧也是音乐的一个相当重要的部分。在本文中,我们讨论的演奏技巧生成问题,将其视为一个标记问题。我们提出了一个模型,可以使用当前的数据和外部知识。将该模型应用于中国竹笛乐曲的实验结果表明,该方法能使生成的乐曲更加生动活泼。
2020-10-13 cs.SD eess.AS
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University(东京城市大学)
本研究提出集成多个RNN模型的交互式旋律生成系统,可基于用户反馈适配创作意图,经不同背景作曲家实验验证能促进音乐创造力,为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
ReLyMe: Improving Lyric-to-Melody Generation by Incorporating Lyric-Melody Relationships
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
歌词到旋律生成是自动作曲中最重要的任务之一,它是根据给定的歌词生成旋律。随着深度学习的快速发展,以前的工作使用端到端神经网络模型来解决这个任务。然而,深度学习模型不能很好地捕捉歌词和旋律之间严格但微妙的关系,这损害了歌词和生成的旋律之间的和谐。在本文中,我们提出了ReLyMe,一种方法,结合歌词和旋律之间的关系,从音乐理论,以确保歌词和旋律之间的和谐。具体来说,我们首先介绍了歌词和旋律在音调、节奏和结构关系方面应该遵循的几个原则。这些原则,然后集成到神经网络歌词到旋律模型,通过添加相应的限制,在解码过程中,以改善歌词和旋律之间的和谐。我们使用一系列客观和主观的指标来评估生成的旋律。在英文和中文歌曲数据集上的实验表明了ReLyMe的有效性,证明了将音乐领域的歌词-旋律关系纳入神经歌词-旋律生成的优越性。
2022-07-12 cs.MM cs.SD eess.AS
Melon Playlist Dataset: a public dataset for audio-based playlist generation and music tagging
Universitat Pompeu Fabra(庞培法布拉大学);Kakao Corp(Kakao公司)
音频信号处理领域的主要限制之一是由于受版权保护的商业音乐的限制,缺乏具有音频表示和高质量注释的大型公共数据集。我们提出了Melon Playlist Dataset,这是一个公共数据集,包含649,091首曲目和148,826个由30,652个不同标签注释的相关播放列表。所有的数据都是从Melon收集的,Melon是一个流行的韩国流媒体服务。该数据集适合于音乐信息检索任务,特别是自动标记和自动播放列表延续。尽管后者可以通过协同过滤方法来解决,但音频为研究轨道建议和构建抗冷启动问题的系统提供了机会,为此我们提供了一个基线。此外,Melon Playlist Dataset中包含的播放列表和注释使其适用于度量学习和表示学习。
2021-01-30 cs.IR cs.LG cs.MM
A Statistical Model for Melody Reduction
Georgia Institute of Technology(佐治亚理工学院)
音乐信息检索(MIR)内的自动和弦估计(ACE)系统性能差的一个常见原因是非和弦音调(即,在支持和声之外的音符)在标记过程中会导致错误。尽管机器学习方法在MIR中流行,但在某些情况下,替代方法提供了更简单的替代方案,同时允许深入了解音乐学实践。在这个项目中,我们提出了一个基于乐理规则的统计模型来预测和弦音调。我们的模型目前专注于预测古典音乐中的和弦音调,因为这种风格的作曲受到高度限制,理论上和弦音调的位置高度可预测。事实上,音乐理论家对每一种非和弦音都有一个标签系统,主要是根据音符的公制位置和接近和离开的音程来分类。使用度量位置,持续时间和旋律间隔作为预测因子,我们使用TAVERN数据集建立了一个用于预测和弦音调的统计模型。虽然我们的概率方法类似于自动谐波分析领域的其他努力,但我们的重点是旋律还原而不是预测和声。然而,我们希望将来继续研究ACE的应用。最后,我们实现了我们的旋律还原模型使用现有的符号可视化工具,以协助计算音乐学研究人员和音乐理论家的旋律还原和非和弦音调识别。
2021-05-12 cs.IR cs.SD eess.AS
Melody Generation using an Interactive Evolutionary Algorithm
Iran Broadcasting University(伊朗广播大学)
计算机辅助音乐生成近年来引起了人工智能领域许多科学家的注意。为此目的,深度学习技术已经发展了序列产生方法。然而,一个具有挑战性的问题是如何评估机器生成的音乐。在本文中,已经开发了一种方法的基础上的交互式进化优化方法,其中所产生的旋律的评分主要是由人类的专业知识,在训练过程中。这种音乐质量评分使用Bi-LSTM递归神经网络建模。此外,通过遗传算法创新生成的旋律将使用该Bi-LSTM网络进行评估。该机制的结果清楚地表明,所提出的方法是能够创建愉快的旋律与所需的风格和作品。与最先进的面向数据的进化系统相比,这种方法也相当快。
2019-07-07 cs.NE cs.SD eess.AS
A Controllable Perceptual Feature Generative Model for Melody Harmonization via Conditional Variational Autoencoder
Shanghai Film Academy, Shanghai University(上海大学上海电影学院)
针对现有旋律和声化方法创造性不足的问题,提出基于条件变分自编码器的CPFG-Net及感知特征-和弦映射算法,依托BCPT-220K数据集训练,实现可控的高表现力和声生成。
2025-11-18 cs.SD
WuYun: Exploring hierarchical skeleton-guided melody generation using knowledge-enhanced deep learning
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Innovation Center of Yangtze River Delta(长三角创新中心);Microsoft Research Asia(微软亚洲研究院)
尽管深度学习已经彻底改变了音乐生成,但是用于结构化旋律生成的现有方法遵循端到端、从左到右的逐音符生成范例,并且平等地对待每个音符。在这里,我们提出了WuYun,一个知识增强的深度学习架构,用于改善生成的旋律的结构,它首先生成结构上最重要的音符来构建旋律骨架,然后用动态装饰音符填充到完整的旋律中。具体来说,我们使用音乐领域的知识提取旋律骨架,并采用序列学习来重建它们,作为额外的知识,为旋律生成过程提供辅助指导。我们证明了WuYun可以生成具有更好的长期结构和音乐性的旋律,并且在所有主观评价指标上平均优于其他最先进的方法0.51。我们的研究提供了一个多学科的镜头来设计旋律的层次结构,并弥合数据驱动和基于知识的方法之间的差距,为众多的音乐生成任务。
2023-03-14 cs.HC cs.LG cs.SD
Scaling and compressing melodies using geometric similarity measures
University of Seville(塞维利亚大学)
旋律相似性度量在音乐信息检索中具有重要意义。在本文中,我们使用几何匹配技术来衡量两个旋律之间的相似性。我们表示的点集或水平线段集在欧几里德平面上的音乐,并提出有效的算法优化问题的启发,在两个操作的旋律;线性缩放和音频压缩。在缩放问题中,传入的查询旋律被向前缩放,直到查询和参考旋律之间的相似性度量被最小化。压缩问题要求给定旋律的音符的子集,使得所选音符与参考旋律之间的匹配成本最小化。
2022-09-19 cs.IR cs.SD eess.AS
Music Generation with Temporal Structure Augmentation
在本文中,我们介绍了一种新的功能增强方法生成结构化的音乐作品,包括旋律和和声。所提出的方法增加了一个连接生成模型与倒计时到歌曲的结论和仪表标记作为额外的输入功能,以研究神经网络是否可以学习产生更美观和结构化的音乐输出的结果,增加输入数据的结构特征。采用LSTM细胞的RNN架构在有监督的序列学习设置中对诺丁汉民间音乐数据集进行训练,遵循音乐语言建模方法,然后应用于和声和旋律的生成。我们的实验表明,这两种类型的注释的预测性能有所提高。还使用在线图灵风格收听测试对所生成的音乐进行主观评估,该测试证实了使用时间结构生成的音乐的美学质量和感知结构的实质性改善。
2020-04-21 cs.LG cs.SD eess.AS
MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation
Research Center for IT innovation, Academia Sinica(中央研究院信息技术创新研究中心)
大多数现有的用于音乐生成的神经网络模型使用递归神经网络。不过,DeepMind最近提出的WaveNet模型表明,卷积神经网络(CNN)也可以在音频域生成逼真的音乐波形。根据这一点,我们研究使用CNN在符号域中一个接一个地生成旋律(一系列音符)。除了生成器之外,我们还使用了一个学习器来学习旋律的分布,使其成为一个生成对抗网络(GAN)。此外,我们提出了一种新的条件机制,利用现有的先验知识,使模型可以生成旋律从头开始,通过以下和弦序列,或通过调节以前的酒吧的旋律(例如启动旋律),以及其他可能性。由此产生的模型名为MidiNet,可以扩展为生成具有多个音频通道(即曲目)的音乐。我们进行了一项用户研究,以比较MidiNet和Google的MelodyRNN模型生成的八小节长旋律,每次使用相同的启动旋律。结果表明,MidiNet与MelodyRNN模型在真实和悦耳方面表现出色,但据报道,MidiNet的旋律更有趣。
2017-07-18 cs.AI cs.SD
PiRhDy: Learning Pitch-, Rhythm-, and Dynamics-aware Embeddings for Symbolic Music
Nankai University(南开大学);National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Tsinghua University(清华大学)
在当今的深度学习中,连续嵌入仍然是计算音乐学对符号音乐的一个基本挑战。类似于自然语言,音乐可以被建模为一系列符号。这促使大多数现有解决方案探索利用词嵌入模型来构建音乐嵌入。然而,音乐在两个关键方面不同于自然语言:(1)音乐标记是多方面的-它包括音高,节奏和动态信息;(2)音乐上下文是二维的-每个音乐标记都依赖于旋律和和声上下文。在这项工作中,我们提供了一个全面的解决方案,提出了一个新的框架名为PiRhDy,无缝集成音高,节奏和动态信息。PiRhDy采用分层策略,可以分解为两个步骤:(1)令牌(即,音符事件)建模,其分别表示音高、节奏和动态,并将它们集成到单个标记嵌入中;以及(2)上下文建模,其利用旋律和和声知识来训练标记嵌入。深入研究了PiRhDy的各个组成部分和子策略。我们进一步验证我们的嵌入在三个下游任务-旋律完成,伴奏建议,和流派分类。结果表明,一个显着的进步的神经方法对象征性的音乐,以及PiRhDy的潜力作为一个预先训练的工具,广泛的象征性的音乐应用。
2020-10-16 cs.MM cs.SD eess.AS
Conditional LSTM-GAN for Melody Generation from Lyrics
National Institute of Informatics(国立情报学研究所);Indraprastha Institute of Information Technology Delhi(德里印度信息技术学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
从歌词中生成旋律是人工智能和音乐领域的一个具有挑战性的研究课题,它能够学习和发现有趣的歌词和伴随旋律之间的潜在关系。遗憾的是,歌词-旋律配对数据集与对齐信息的有限可用性阻碍了研究的进展。为了解决这个问题,我们创建了一个由12,197首歌曲组成的大型数据集,每个歌曲都有成对的歌词和旋律对齐,通过利用不同的音乐源,提取音节和音乐属性之间的对齐关系。最重要的是,我们提出了一种新的深度生成模型,条件长短期记忆-生成对抗网络(LSTM-GAN),用于从歌词中生成旋律,其中包含一个深度LSTM生成器和一个深度LSTM生成器,两者都以歌词为条件。特别地,同时生成歌词调节旋律和给定歌词的音节与预测旋律的音符之间的对齐关系。实验结果证明了我们所提出的歌词旋律生成模型的有效性,其中合理和曲调序列可以推断出从歌词。
2021-04-21 cs.AI cs.SD eess.AS