Musical Chords: A Novel Java Algorithm and App Utility to Enumerate Chord-Progressions Adhering to Music Theory Guidelines
本文提出一种新型 Java 算法及配套 App,依据音乐理论枚举全部四和弦与八和弦进行并生成变奏,弥补现有工具预设化、不合规和数据不足的问题。
2024-09-09 cs.SD eess.AS
Come Together: Analyzing Popular Songs Through Statistical Embeddings
Harvard University(哈佛大学);Dalhousie University(达尔豪斯大学)
本文利用逻辑主成分分析构建歌曲嵌入,分析列侬和麦卡特尼1962-1966年歌曲的结构和风格演变,探讨歌曲嵌入如何按专辑聚类及创作风格的收敛或发散。
2026-04-24 cs.SD stat.AP
A Geometric Analysis Of The Harmonic Structure of "In My Life"
Univ. of Wisconsin-Eau Claire(威斯康星大学欧克莱尔分校)
在我们的书-数学与音乐:作曲,感知和表演,第二版,CRC出版社,2020-出版后,我们发现了一个突出的例子,说明了Tonnetz在分析披头士歌曲“In My Life”的和声结构中的重要性。“我们的Tonnetz分析将说明歌曲中众多和弦进行的高度结构化的几何逻辑。声谱图为我们提供了一种可视化和弦谐波及其与语音引导的联系的方法。我们还将描述这首歌的和弦进行有趣的和声节奏。这种和谐的节奏很适合于几何描述。
2020-08-26 cs.SD math.HO
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University(纽约大学);University of Florida(佛罗里达大学);Carnegie Mellon University(卡内基梅隆大学)
编曲生成是自动音乐生成的一个子任务,它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式,但它们缺乏更精确的数据,无法实现更好的评估和更实际的结果。在本文中,我们提出了POP909,一个数据集,其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏,这些都是与原始音频文件对齐的。此外,我们还提供了速度,节拍,基调和和弦的注释,其中速度曲线是手工标记的,其他的是通过MIR算法完成的。最后,我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
Song From PI: A Musically Plausible Network for Pop Music Generation
University of Toronto(多伦多大学)
我们提出了一个新的框架生成流行音乐。我们的模型是一个分层的递归神经网络,其中层次的层和结构编码了我们关于流行音乐是如何组成的先验知识。特别是,底层产生旋律,而更高的层次产生鼓和和弦。我们进行了几项人类研究,显示我们生成的音乐比Google最近的方法产生的音乐更受欢迎。我们还展示了我们的框架的两个应用:神经舞蹈和卡拉OK,以及神经故事唱歌。
2016-11-10 cs.AI cs.SD
MusicGen-Chord: Advancing Music Generation through Chord Progressions and Interactive Web-UI
Sogang University(西江大学);Replicate
针对MusicGen无法利用和弦进行特征的局限,提出MusicGen-Chord模型将旋律色度向量改为多热编码和弦向量,结合和弦与文本生成音乐,还开发混音应用并集成到网络UI,提升音乐生成可控性与可访问性。
2024-11-30 cs.AI cs.LG cs.SD
A Framework for Automated Pop-song Melody Generation with Piano Accompaniment Arrangement
New York University Shanghai(上海纽约大学);Fudan University(复旦大学)
我们贡献了一个流行歌曲自动化框架的主旋律生成和伴奏安排。该框架反映了人类音乐创作的主要程序,通过统一的策略生成主旋律和钢琴伴奏。具体来说,我们以和弦进行为输入,并提出了三种模型来生成一个结构化的旋律与钢琴伴奏纹理。首先,和声交替模型将原始输入和弦进行变换为经改变的和弦进行,以更好地适应指定的音乐风格。第二,旋律生成模型使用季节性ARMA(自回归移动平均)过程生成伴奏的主旋律和其他声音(旋律线)。第三,旋律整合模式将旋律线(人声)整合在一起作为最终的钢琴伴奏。我们使用主观听力测试评估所提出的框架。实验结果表明,生成的旋律评分明显高于双向LSTM生成的旋律,我们的伴奏编排结果与最先进的商业软件Band in a Box相当。
2018-12-28 cs.LG cs.SD stat.ML
PiCoGen: Generate Piano Covers with a Two-stage Approach
National Taiwan University(台湾大学);KKCompany Technologies(KKCompany科技公司)
提出两阶段钢琴翻唱生成方法PiCoGen,通过转录旋律与和弦并以此为条件生成符号域钢琴翻唱,无需配对数据即可展现优异性能。
2024-07-30 cs.SD eess.AS
AccoMontage2: A Complete Harmonization and Accompaniment Arrangement System
NYU Shanghai(上海纽约大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);NUS(新加坡国立大学)
我们提出了AccoMontage 2,一个系统能够做全长的歌曲协调和伴奏安排的基础上,主旋律。本研究在AccoMontage的基础上,针对流行/民歌钢琴改编曲的生成,进行了基于模板的广义检索方法。这项研究的新颖性是双重的。首先,我们发明了一个协调模块(AccoMontage没有)。该模块通过优化和平衡三个损失项来生成结构化和连贯的全长和弦进行:音符不和谐的微观损失,短语模板匹配的中观损失以及完整作品连贯性的宏观损失。其次,我们开发了一个图形化的用户界面,允许用户选择不同风格的和弦进行和钢琴织体。目前,和弦进行风格包括Pop,R&B和Dark,而钢琴织体风格包括几个层次的发声密度和节奏复杂性。实验结果表明,我们的协调和安排的结果显着优于基线。最后,我们将AccoMontage 2作为在线应用程序发布,并将有组织的和弦进行模板作为公共数据集发布。
2022-09-01 cs.IR cs.MM cs.SD
Personalized Popular Music Generation Using Imitation and Structure
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
近年来,音乐生成出现了许多实践。虽然使用深度学习技术的风格音乐生成已成为主流,但这些模型仍难以生成具有高音乐性、不同层次音乐结构和可控性的音乐。此外,音乐治疗等更多应用场景需要从几个给定的音乐示例中模仿出更具体的音乐风格,而不是捕捉大型数据语料库的整体流派风格。为了解决挑战当前深度学习方法的需求,我们提出了一种统计机器学习模型,该模型能够从给定的示例种子歌曲中捕获和模仿结构、旋律、和弦和低音风格。使用10首流行歌曲的评估表明,我们的新表示和方法能够创建高质量的风格音乐,是类似于一个给定的输入歌曲。我们还讨论了我们的方法在音乐评价和音乐治疗的潜在用途。
2021-05-10 cs.AI cs.SD eess.AS
Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);NYU Shanghai(上海纽约大学)
针对高质量结构化全曲音乐生成难题,本文提出基于分层符号语言的级联扩散模型,可生成有清晰主副歌结构的完整流行音乐,质量优于基线且支持多维度灵活可控生成。
2024-05-16 cs.AI cs.LG cs.SD
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University(根特大学);imec(比利时微电子研究中心)
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此,我们提出了一个两阶段的LSTM为基础的模型,铅表生成,其中的谐波和节奏的模板的歌曲产生的第一,之后,在第二阶段,一个序列的旋律音符产生的条件下,这些模板。主观听力测试表明,我们的方法优于基线,并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
Generating lyrics with variational autoencoder and multi-modal artist embeddings
University of Waterloo(滑铁卢大学)
我们提出了一个系统,用于生成一个指定的艺术家的风格为条件的歌词线。该系统使用一个变分自编码器与艺术家嵌入。我们提出了艺术家嵌入的预训练与CNN分类器学习的表示,该分类器被训练为基于他们的歌曲剪辑的MEL频谱图来预测艺术家。这项工作是第一步,结合音频和文本形式的歌曲生成歌词的艺术家的风格。我们的初步结果表明,有一个好处,在初始化艺术家的嵌入与表示学习的声谱图分类。
2018-12-20 cs.CL cs.SD eess.AS
Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering
Alibaba(阿里巴巴)
该研究提出统一歌曲生成框架,支持多项任务,由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成,还研究多种后训练策略,实验表明该框架在评估中性能具有竞争力。
2026-07-30 cs.AI cs.SD eess.AS
Modeling the Rhythm from Lyrics for Melody Generation of Pop Song
ByteDance(字节跳动)
根据预先写好的歌词创作流行歌曲旋律是作曲家的典型做法。歌词如何被设置为旋律的计算模型对于自动作曲系统很重要,但是端到端的歌词到旋律模型将需要大量的配对训练数据。为了减轻数据的限制,我们采用了两个阶段的方法,分为歌词到节奏和节奏到旋律模块的任务。然而,歌词到节奏的任务仍然是具有挑战性的,由于其多模态。在本文中,我们提出了一个新的歌词节奏框架,包括部分的语音标签,以实现更好的文本设置,和一个Transformer架构,旨在模拟长期的音节到音符的关联。对于节奏到旋律的任务,我们采用了经过验证的和弦调节旋律Transformer,它已经取得了最先进的结果。中文歌词到旋律生成的实验表明,所提出的框架是能够模拟数据集中的节奏和音高分布的关键特征,并在主观评价,我们的系统生成的旋律被评为类似或优于那些国家的最先进的替代品。
2023-01-03 cs.SD eess.AS
DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University(乌得勒支大学)
自动和弦估计(ACE)是音乐信息检索(MIR)中的一项基本任务,在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱,并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年,但ACE尚未成为一个解决的问题,因为性能停滞不前,现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL,一个新的ACE系统,利用广泛可用的标签和标签表示,以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频,使用最先进的音频ACE方法。将音频文件与音频对齐,然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列,然后与音频对齐。接下来,DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明,从异构的符号音乐表示的音乐知识的整合是一个合适的策略,解决具有挑战性的MIR任务,如ACE。
2020-02-22 cs.MM cs.SD eess.AS
Guitar Chord Diagram Suggestion for Western Popular Music
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立综合理工学院);Arobas Music(Arobas音乐公司)
本文提出一种考虑前一个和弦图的上下文感知工具,用于推荐西方流行音乐中的吉他和弦图,基于DadaGP和mySongBook数据集分析,该方法将F1分数提升27%并改善纹理一致性。
2024-07-15 cs.AI cs.IR cs.LG
Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
复调音乐的歌词转录是具有挑战性的,这不仅是因为演唱的声音被背景音乐破坏,而且还因为背景音乐和演唱风格在不同的音乐流派中不同,例如流行音乐,金属和嘻哈,这以不同的方式影响歌曲的歌词可理解性。在这项工作中,我们建议使用一种新的体裁条件网络来转录复调音乐的歌词。所提出的网络采用预先训练的模型参数,并在层之间结合体裁适配器,以捕获歌词体裁对的不同体裁特性,从而只需要轻量级的体裁特定参数进行训练。我们的实验表明,建议的体裁条件网络优于现有的歌词转录系统。
2022-04-07 cs.AI cs.SD eess.AS
SongEcho: Towards Cover Song Generation via Instance-Adaptive Element-wise Linear Modulation
MAIS, Institute of Automation, Chinese Academy of Sciences(自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);ISRC, Institute of Software, Chinese Academy of Sciences(软件研究所,中国科学院);University of Konstanz(康斯坦茨大学);National Cheng-Kung University(国立成功大学)
SongEcho通过实例自适应元素线性调制实现覆盖歌曲生成,生成高质量歌曲并减少参数使用。
2026-02-23 cs.SD
From Human Narrative to Harmonic Structure: A Human-Centered Investigation of Algorithmic Music Generation through the Chord Wheel Diagram
Faculty of Information Technology, CTU(捷克技术大学信息技术学院);University of South Bohemia in České Budějovice(捷克布杰约维采南波希米亚大学)
本研究通过比较人类作曲家与算法对六首歌曲的和声处理,揭示高旋律-和弦兼容性不保证保留人类和声决策模式,并提出叙事条件化结构作为计算音乐分析的新视角。
2026-09-29 cs.AI cs.SD
MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation
Taiwan AI Labs(台湾AI实验室);National Taiwan University(台湾大学)
MusiConGen基于MusicGen框架,通过高效微调机制将节奏与和弦作为条件信号,解决了文本到音乐生成中无法精确控制时序音乐特征的问题,可生成与指定条件高度契合的逼真伴奏音乐。
2024-07-21 cs.AI cs.SD eess.AS
Machine learning and chord based feature engineering for genre prediction in popular Brazilian music
Maynooth University(梅努斯大学);Paraná Federal University(巴拉那联邦大学)
音乐类型很难描述:涉及许多因素,如风格,音乐技巧和历史背景。有些类型甚至有重叠的特征。为了更好地了解音乐类型与音乐和声结构的关系,我们收集了数千首巴西流行歌曲的音乐和弦数据。在这里,“流行”不仅指MPB(巴西流行音乐),而且指九种不同的音乐类型,这些音乐类型被认为是巴西特有的。本工作的主要目标是提取和工程师和谐相关的和弦数据的功能,并使用它来分类流行的巴西音乐流派建立和谐的关系和巴西流派之间的连接。我们还强调了获得数据的方法的一般化,允许复制和直接扩展这项工作。我们的最终模型是多个分类树的组合,也称为随机森林模型。我们发现,从谐波元素中提取的特征可以令人满意地预测巴西的音乐类型,以及从Spotify API中获得的特征。在这项工作中考虑的变量也给出了一个关于它们如何与体裁相关的直觉。
2019-02-08 cs.IR cs.LG cs.SD
SurpriseNet: Melody Harmonization Conditioning on User-controlled Surprise Contours
Academia Sinica(中央研究院)
歌曲的重复性是决定听众是否喜欢它的一个基本的主观因素,在信息论的帮助下,它可以被描述为一个马尔可夫链模型的音乐序列的转移概率。在这项研究中,我们引入的概念,推导熵随时间的变化,使每个和弦序列的惊喜轮廓可以提取。在此基础上,我们提出了一个用户可控的框架,使用条件变分自编码器(CVAE)协调的旋律的基础上给定的和弦惊喜指示。通过显式条件,该模型可以随机生成各种和声和弦进行旋律,斯皮尔曼的相关性和p值的显着性表明,所得到的和弦进行匹配给定的惊喜轮廓相当好。香草CVAE模型进行了评估,在一个基本的旋律协调任务(无惊喜控制)的六个客观指标。在Hooktheory Lead Sheet数据集上的实验结果表明,我们的模型达到了与最先进的旋律协调模型相当的性能。
2021-08-24 cs.MM cs.SD eess.AS
Generating Nontrivial Melodies for Music as a Service
U. of Illinois, Dept. of ECE(伊利诺伊大学电气与计算机工程系);U. of Illinois, Beckman Inst.(伊利诺伊大学贝克曼研究所)
我们提出了一个混合神经网络和基于规则的系统,产生流行音乐。由纯粹基于规则的系统产生的音乐通常听起来很机械。由机器学习产生的音乐听起来更好,但仍然缺乏分层的时间结构。我们通过用时间产生语法增强机器学习来恢复时间层次,该语法生成音乐的整体结构和和弦进行。一个兼容的旋律,然后产生的条件变分递归自动编码器。自动编码器使用来自10,000个MP3文件的语料库的八小节段进行训练,每个文件都有其旋律轨道和和弦进行识别。自动编码器将旋律映射到多维特征空间,由基础和弦进行调节。然后,通过将来自该空间的随机样本馈送到自动编码器的解码器来生成旋律,以及由语法生成的和弦进行。自动编码器可以在现有旋律上做出音乐上合理的变化,适合于重复出现的主题。它也可以重新协调旋律到一个新的和弦进行,保持节奏和轮廓。生成的音乐与其他为音乐即服务行业设计的学术和商业软件生成的音乐相比毫不逊色。
2017-10-06 cs.AI cs.SD eess.AS
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology(快手科技)
SingDance是统一视频扩散框架,将语音表达设为语义角色,通过硬紧凑路由等技术实现组合式零样本歌舞视频生成,参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
Small Tunes Transformer: Exploring Macro & Micro-Level Hierarchies for Skeleton-Conditioned Melody Generation
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院)
本研究提出Small Tunes Transformer模型,通过宏观乐句分割与微观骨架音符提取,结合乐句级交叉注意力机制,并构建包含10088首传统民歌的Small Tunes Dataset,实现了优于SOTA的骨架条件旋律生成。
2024-10-15 cs.SD eess.AS
Emotion-Conditioned Melody Harmonization with Hierarchical Variational Autoencoder
Xi’an Jiaotong University(西安交通大学)
针对现有旋律和声模型忽略情感、生成和声多样性不足的问题,提出基于LSTM的分层变分自编码器LHVAE,结合层级情感条件与注意力机制,在生成质量和多样性上优于同类模型,且验证了和弦类型对音乐整体情感影响微弱。
2023-07-20 cs.LG cs.MM cs.SD
SketchSong: Hierarchical Song Generation with Sketch Planning and Fine-Grained Multi-Track Modeling
Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯人工智能研究院)
提出分层歌曲生成框架SketchSong,通过歌曲级草图规划和细粒度多轨建模解决歌曲编排不连贯及声部建模粗糙问题,在客观指标和人工听测上优于基线。
2026-06-02 cs.LG cs.MM cs.SD
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology(中国矿业大学);Kuaishou Technology(快手科技)
AudioGen-Omni提出统一多模态扩散Transformer,通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成,在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
Controllable deep melody generation via hierarchical music structure representation
Carnegie Mellon University(卡内基梅隆大学);Adobe Inc.(Adobe公司)
深度学习的最新进展扩大了生成音乐的可能性,但生成具有一致的长期结构的可定制的完整音乐片段仍然是一个挑战。本文介绍了MusicFrameworks,一个层次化的音乐结构表示和多步生成过程,以创建一个完整的长度旋律指导下,长期重复的结构,和弦,旋律轮廓和节奏的限制。我们首先用小节和乐句层次结构来组织完整的旋律。为了在每个乐句中生成旋律,我们使用两个单独的基于变换器的网络生成节奏和基本旋律,然后以自回归方式生成以基本旋律、节奏和和弦为条件的旋律。通过将音乐生成分解为子问题,我们的方法允许更简单的模型,需要更少的数据。为了自定义或增加多样性,可以在音乐框架中改变和弦,基本旋律和节奏结构,让我们的网络相应地生成旋律。此外,我们引入了新的功能来编码音乐的位置信息,节奏模式和旋律轮廓的基础上音乐领域的知识。听力测试表明,我们的方法生成的旋律在POP909数据集中大约一半的时间被评为与人类创作的音乐一样好或更好。
2021-09-02 cs.AI cs.SD eess.AS
MuseCritic: Learning Multi-Aspect Song Rewards through Natural-Language Aesthetic Critiques
Fudan University(复旦大学)
本研究提出MUSECRITIC半标量奖励模型,通过两阶段训练生成多维度自然语言评论预测歌曲奖励,在SongEval、Music Arena等数据集上效果优于现有方法,结合GRPO还提升了Muse-0.6B的多项审美指标。
2026-10-02 cs.CL cs.SD
AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer
NYU Shanghai(纽约大学上海校区)
伴奏编曲是一项困难的音乐生成任务,涉及旋律、和声、织体和音乐结构的交织约束。现有的模型还不能有效地捕捉所有这些限制,特别是对于长期的音乐生成。为了解决这个问题,我们提出了AccoMontage,一个通过统一的乐句选择和神经风格转移的整首音乐的伴奏安排系统。我们专注于基于一个铅表(即,旋律与和弦进行)。具体来说,AccoMontage首先从数据库中检索短语蒙太奇,同时使用动态规划在结构上重新组合它们。其次,检索到的短语的和弦被操纵,以匹配铅表通过风格转移。最后,系统提供对生成过程的控制。与纯粹的基于学习的方法相比,AccoMontage引入了一种新的混合途径,其中基于规则的优化和深度学习都可以相互补充,以实现高质量的生成。实验表明,我们的模型生成结构良好的伴奏与细腻的纹理,显着优于基线。
2021-08-25 cs.IR cs.MM cs.SD
A-Muze-Net: Music Generation by Composing the Harmony based on the Generated Melody
Tel-Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
提出了一种生成钢琴音乐MIDI文件的方法。该方法使用两个网络对右手和左手进行建模,其中左手以右手为条件。这样,旋律在和声之前产生。Midi以一种对音阶不变的方式来表示,而旋律则以每个小节的内容来表示,以调节和声,被视为和弦。最后,基于该和弦表示随机添加音符,以便丰富所生成的音频。我们的实验显示了对此类数据集进行训练的最新技术的显着改进,并展示了每个新组件的贡献。
2021-11-25 cs.AI cs.LG cs.SD
LargeSHS: A large-scale dataset of music adaptation
LargeSHS是一个大规模音乐改编数据集,包含170万条元数据和90万条音频链接,通过结构化改编关系支持翻唱歌曲生成和适应感知的音乐信息检索研究。
2025-11-19 cs.SD
Content-based Controls For Music Large Language Modeling
New York University Shanghai(上海纽约大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Queen Mary University of London(伦敦玛丽女王大学)
针对文本对音乐生成控制能力有限的问题,提出基于内容的音乐大模型控制方法Coco-Mulla,采用适配的PEFT方法,在低资源下实现高质量生成与灵活的音乐调控。
2024-10-06 cs.AI cs.SD eess.AS
BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine
Snap Inc.(Snap公司);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一种基于递归神经网络(RNN)的音乐创作机器,它能够从现有的披头士歌曲中学习音乐知识,并在几乎没有人为干预的情况下生成披头士风格的音乐。在学习阶段,一系列风格统一的多声道音乐样本由RNN建模。在作曲阶段,随机生成的音乐的短片段被用作RNN的种子,以开始乐谱预测。为了形成结构化音乐,来自不同种子的生成音乐片段被连接在一起。为了改善生成的音乐的质量和结构,我们将音乐理论知识集成到模型中,例如控制声乐旋律中的间隙间距,规范和弦变化的时间,并要求音符与歌曲的基调(例如C大调)相关。经过专业作曲家的验证,这种集成提高了所生成音乐的质量。我们还进行了主观听力测试,显示我们生成的音乐在风格相似性,专业质量和趣味性方面接近披头士的原创音乐。生成的音乐样本在https://goo.gl/uaLXoB上。
2018-12-18 cs.MM cs.SD eess.AS
SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Transcribing Rhythmic Patterns of the Guitar Track in Polyphonic Music
本研究提出一个三步框架,利用音源分离、MERT模型检测扫弦和模式解码,实现多声音乐中吉他节奏型的自动转写,并生成含小节线和拍号的可读表示。
2025-10-07 cs.LG cs.SD eess.AS
Melody Generation for Pop Music via Word Representation of Musical Properties
THE UNIVERSITY OF TOKYO(东京大学);IRCAM(法国声学/音乐研究中心);INNOVATION CREATIVE, INC.(创新创意公司)
流行音乐的自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而,由于许多因素,学习产生悦耳的旋律已经证明是非常具有挑战性的。纸币的多元属性的表示一直是主要的挑战之一。它也很难保持在音乐多样性的允许范围内,在此之外,将被视为一个没有听觉愉悦的简单随机演奏。观察流行音乐的传统结构带来了进一步的挑战。在本文中,我们建议将每个音符及其属性表示为一个唯一的“词”,从而减少属性之间的不对齐的前景,并降低学习的复杂性。我们还对音符的范围实施正则化策略,从而鼓励生成的旋律接近人类容易遵循的旋律。此外,我们生成旋律的歌曲部分信息的条件下,从而复制一个完整的歌曲的整体结构。实验结果表明,我们的模型可以生成令人愉快的歌曲,更难以区分人类写的比以前的模型。
2017-10-31 cs.MM cs.SD eess.AS
Versatile Symbolic Music-for-Music Modeling via Function Alignment
本文提出音乐到音乐建模范式,用预训练LM与轻量适配器对齐参考和目标符号音乐序列,在和弦识别、旋律及鼓轨生成上取得优异性能。
2025-09-28 cs.SD
Drop the beat! Freestyler for Accompaniment Conditioned Rapping Voice Generation
Northwestern Polytechnical University(西北工业大学);Microsoft(微软);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出首个直接从歌词和伴奏生成说唱人声的系统Freestyler,结合语言模型、条件流匹配和神经声码器实现零样本音色控制,并构建了RapBank数据集,实验证明其生成质量高且节奏对齐强。
2024-08-28 cs.SD eess.AS
MoodLoopGP: Generating Emotion-Conditioned Loop Tablature Music with Multi-Granular Features
Queen Mary University of London(伦敦玛丽女王大学)
本文在 LooperGP 基础上提出 MoodLoopGP,通过融合歌曲级与小节级多粒度音乐特征控制情感表达,并经算法、人工评估及消融研究验证其生成快乐与悲伤循环六线谱音乐的有效性。
2024-01-25 cs.SD eess.AS
Conditional LSTM-GAN for Melody Generation from Lyrics
National Institute of Informatics(国立情报学研究所);Indraprastha Institute of Information Technology Delhi(德里印度信息技术学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
从歌词中生成旋律是人工智能和音乐领域的一个具有挑战性的研究课题,它能够学习和发现有趣的歌词和伴随旋律之间的潜在关系。遗憾的是,歌词-旋律配对数据集与对齐信息的有限可用性阻碍了研究的进展。为了解决这个问题,我们创建了一个由12,197首歌曲组成的大型数据集,每个歌曲都有成对的歌词和旋律对齐,通过利用不同的音乐源,提取音节和音乐属性之间的对齐关系。最重要的是,我们提出了一种新的深度生成模型,条件长短期记忆-生成对抗网络(LSTM-GAN),用于从歌词中生成旋律,其中包含一个深度LSTM生成器和一个深度LSTM生成器,两者都以歌词为条件。特别地,同时生成歌词调节旋律和给定歌词的音节与预测旋律的音符之间的对齐关系。实验结果证明了我们所提出的歌词旋律生成模型的有效性,其中合理和曲调序列可以推断出从歌词。
2021-04-21 cs.AI cs.SD eess.AS
Accompanied Singing Voice Synthesis with Fully Text-controlled Melody
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出 MelodyLM,首个以文本完全控制旋律的 TTSong 模型,通过 MIDI 中间建模、语言模型生成人声及潜在扩散模型合成伴奏,在客观与主观评测中均表现优异。
2024-07-02 cs.CL cs.SD eess.AS
LooPy: A Research-Friendly Mix Framework for Music Information Retrieval on Electronic Dance Music
New York University(纽约大学)
提出LooPy,一个面向电子舞曲的Python包,通过专业模板和概率旋律生成器自动生成高质量EDM音频,解决标注数据稀缺问题,实验证明混音质量媲美知名艺术家作品。
2023-05-01 cs.IR cs.LG cs.MM
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai(上海纽约大学);Tencent PCG(腾讯平台与内容事业群)
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱?这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容,还要有钢琴作曲的先验知识(这样生成的作品听起来像音频,同时保持音乐性)。为此,我们贡献了一个跨模态表示学习模型,该模型1)从音频中提取和弦和旋律信息,2)从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后验被简化为标准的正态分布,并且仅需要音频进行推理。实验表明,我们的模型捕捉主要的音频信息,并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Data-Driven Analysis of Text-Conditioned AI-Generated Music: A Case Study with Suno and Udio
KTH Royal Institute of Technology(皇家理工学院)
本文利用文本嵌入、降维与聚类方法,分析了2024年5至10月Suno和Udio平台用户生成的大量歌曲,揭示了歌词主题、语言偏好、提示策略及元标签引导模型的奇特尝试,并公开代码与资源以促进AI音乐文化研究。
2025-09-15 cs.AI cs.IR cs.LG
GTR-CTRL: Instrument and Genre Conditioning for Guitar-Focused Music Generation with Transformers
Queen Mary University of London(伦敦玛丽女王大学);Indian Institute of Technology Kharagpur(印度理工学院哈拉格布尔分校);National Taiwan University(国立台湾大学);Dadabots(达达机器人)
最近,使用深度学习技术的符号音乐生成已经取得了稳步的进步。大多数关于这个主题的作品都集中在吉他的表现上,但是很少有人关注使用吉他制表符(tab)来编码多个乐器的符号音乐生成。标签包括信息的表达技术和指法为烦恼弦乐器除了节奏和音高。在这项工作中,我们使用DadaGP数据集进行吉他标签音乐生成,这是一个包含超过26 k首GuitarPro和令牌格式歌曲的语料库。我们介绍了基于所需乐器(inst-CTRL)和流派(genre-CTRL)来调节Transformer-XL深度学习模型以生成吉他标签(GTR-CTRL)的方法。在训练语料库中,在每首歌曲的开头附加特殊的控制标记。我们评估的模型的性能和无条件。我们提出了仪器存在的指标来评估的inst-CTRL模型的响应给定的仪器提示。我们训练了一个用于下游体裁分类的BERT模型,并使用它来评估用体裁-CTRL模型获得的结果。统计学分析表明,有条件和无条件模型之间存在显着差异。总体而言,结果表明,GTR-CTRL方法提供了更多的灵活性和控制吉他为重点的符号音乐生成比无条件模型。
2023-02-10 cs.AI cs.MM cs.SD
DiffSynth-Music: Audio-Conditioned KV-Cache Adapters for Controllable Music Generation
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
针对文本歌词对音乐节奏、旋律控制不足的问题,提出DiffSynth-Music框架,通过音频条件KV缓存注入支持五种控制类型,提升可控性与歌词保真度。
2026-09-14 cs.SD
Joint Audio and Symbolic Conditioning for Temporally Controlled Text-to-Music Generation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Meta, FAIR Team(Meta 公平团队)
本文提出 JASCO,一个基于 Flow Matching 的文本到音乐生成模型,通过信息瓶颈层与时间模糊处理联合融入符号条件和音频条件,在保持生成质量的同时实现更精细、更多样的时间可控音乐生成。
2024-06-16 cs.SD eess.AS
Generating Coherent Drum Accompaniment With Fills And Improvisations
Indian Institute of Technology Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学)
创作像音乐这样复杂的艺术作品需要深刻的创造力。随着深度学习和变形金刚等强大模型的最新进展,自动音乐生成取得了巨大进展。在伴奏生成上下文中,即使对于有经验的鼓手来说,在歌曲中的适当位置处创建具有适当填充和即兴的连贯鼓模式也是一项具有挑战性的任务。鼓点往往遵循一个重复的模式,通过节与填充或即兴在部分边界。在这项工作中,我们解决的任务,鼓模式生成条件的伴奏音乐由四个旋律乐器:钢琴,吉他,低音提琴,弦乐。我们使用Transformer序列到序列模型来生成以旋律伴奏为条件的基本鼓模式,以发现即兴演奏在很大程度上是不存在的,这可能归因于其在训练数据中的相对较低的表示。我们提出了一个新颖的函数来捕捉酒吧相对于邻近酒吧的即兴创作程度。我们训练一个模型来从旋律伴奏音轨中预测即兴演奏的位置。最后,我们使用一种新颖的BERT启发的填充架构,学习鼓和旋律的结构,以填充即兴音乐的元素。
2022-09-01 cs.LG cs.MM cs.SD
ViTex: Visual Texture Control for Multi-Track Symbolic Music Generation via Discrete Diffusion Models
School of EECS, Peking University(电子工程系,北京大学);Music X Lab, MBZUAI(音乐X实验室,MBZUAI);Courant Institute of Mathematical Sciences, New York University(数学科学学院,纽约大学)
ViTex通过离散扩散模型实现多轨符号音乐生成的视觉纹理控制,结合乐器选择、音高时间及笔触属性,生成高质量音乐并支持纹理级操控。
2026-03-02 cs.SC cs.SD
Can LLMs "Reason" in Music? An Evaluation of LLMs' Capability of Music Understanding and Generation
The Hong Kong University of Science and Technology(香港科技大学);Multimodal Art Projection(多模态艺术投影);Shenzhen University(深圳大学);Queen Mary University of London(伦敦玛丽女王大学)
本文系统评估了GPT-4、Llama2等大语言模型在符号音乐理解与生成中的多步推理能力,发现其在歌曲级复杂音乐推理上表现不足且难以运用已有音乐知识,并指出未来需弥合音乐知识与推理之间的差距以提升人机共同创作体验。
2024-07-31 cs.CL cs.MM cs.SD
High-Level Control of Drum Track Generation Using Learned Patterns of Rhythmic Interaction
Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室(CSL))
在深度学习潜力的推动下,计算音乐生成重新引起了学术界的兴趣。音乐生成中的一个关键问题是用户控制,特别是在音乐生成过程以现有音乐材料为条件的情况下。在这里,我们提出了一个有条件的踢鼓轨道生成模型,以现有的音乐材料作为输入,除了低维代码,编码现有的材料和要生成的新材料之间的所需关系。这些关系代码是以无监督的方式从音乐数据集中学习的。我们表明,代码可以被采样,以创建各种音乐上合理的踢鼓轨道,该模型可以用来转移踢鼓模式从一首歌到另一个。最后,我们证明了学习的代码在很大程度上是不变的节奏和时移。
2019-08-02 cs.HC cs.LG cs.SD