Bach in 2014: Music Composition with Recurrent Neural Network
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个使用弹性传播(RProp)和长短期记忆(LSTM)循环神经网络的计算机音乐创作框架。在本文中,我们展示了LSTM网络通过展示其重新创建音乐的能力来正确学习音乐作品的结构和特征。我们还表明,预测现有的音乐使用RProp优于反向传播通过时间(BPTT)。
2014-12-14 cs.AI cs.NE
A Novel Bi-LSTM And Transformer Architecture For Generating Tabla Music
PES University(PES大学);Great Learning(伟大学院);Northwestern University(西北大学)
针对印度古典塔布拉鼓乐数据稀缺问题,提出结合注意力机制的 Bi-LSTM 与 Transformer 架构,基于 librosa 特征训练并预测后续音乐序列。
2024-04-06 cs.AI cs.SD eess.AS
Bach Style Music Authoring System based on Deep Learning
Informatics college, Zhejiang Sci-Tech University(浙江理工大学信息学院)
随着人工智能领域各方面的不断完善,具备深度学习能力的人工智能进入音乐领域的势头正在到来。本文的研究目的是设计一个基于深度学习的巴赫风格音乐创作系统。我们使用LSTM神经网络来训练序列化和标准化的音乐特征数据。通过反复的实验,我们找到了最优的LSTM模型,可以生成巴赫音乐的模仿。最后通过在线试听和图灵测试的形式对生成的音乐进行综合评价。本文中的音乐生成系统构建的曲目非常接近巴赫原创音乐的风格,普通人比较难区分巴赫创作的音乐和AI创作的音乐。
2021-10-06 cs.AI
Composing Music with Grammar Argumented Neural Networks and Note-Level Encoding
Sun Yat-sen University(中山大学);China University of Political Science and Law(中国政法大学);Institute of High Performance Computing(高性能计算研究所)
创造包括音乐在内的具有美感的艺术作品一直是人工智能研究的长期目标。尽管最近长短期记忆(LSTM)循环神经网络(RNN)在顺序学习中取得了成功,但LSTM神经网络本身还无法生成符合音乐理论的听起来自然的音乐。为了克服这一不足,我们提出了一种新的音乐创作方法,将LSTM与音乐理论激发的语法相结合。音乐理论的主要原则被编码为训练数据上的语法论证(GA)过滤器,使得机器可以被训练为生成音乐,该音乐继承来自原始数据集的人类创作作品的自然性,同时遵守音乐理论的规则。与以前的方法不同,音高和音长被编码为一个语义实体,我们称之为音符级编码。这允许轻松实现音乐理论语法,以及更接近模拟音乐家的思维模式。虽然GA规则应用于训练数据,但从未直接应用于LSTM音乐生成,但我们的机器仍然根据音乐理论创作出具有高自然音阶音符、小音高间隔和和弦发生率的音乐。
2016-12-07 cs.AI cs.LG cs.SD
Fusing Memory and Attention: A study on LSTM, Transformer and Hybrid Architectures for Symbolic Music Generation
Kalinga Institute of Industrial Technology (KIIT)(凯林加工业技术学院(KIIT));IMC University of Applied Sciences Krems(应用科学克雷姆斯大学)
本文比较LSTM与Transformer在符号音乐生成中的表现,发现LSTM擅长局部模式但缺乏长距离依赖,Transformer能保持全局结构但易产生不规则节奏,提出混合架构结合两者优势,实验显示混合方法在局部和全局连续性上表现更优。
2026-03-22 cs.AI cs.LG cs.SD
Conditional LSTM-GAN for Melody Generation from Lyrics
National Institute of Informatics(国立情报学研究所);Indraprastha Institute of Information Technology Delhi(德里印度信息技术学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
从歌词中生成旋律是人工智能和音乐领域的一个具有挑战性的研究课题,它能够学习和发现有趣的歌词和伴随旋律之间的潜在关系。遗憾的是,歌词-旋律配对数据集与对齐信息的有限可用性阻碍了研究的进展。为了解决这个问题,我们创建了一个由12,197首歌曲组成的大型数据集,每个歌曲都有成对的歌词和旋律对齐,通过利用不同的音乐源,提取音节和音乐属性之间的对齐关系。最重要的是,我们提出了一种新的深度生成模型,条件长短期记忆-生成对抗网络(LSTM-GAN),用于从歌词中生成旋律,其中包含一个深度LSTM生成器和一个深度LSTM生成器,两者都以歌词为条件。特别地,同时生成歌词调节旋律和给定歌词的音节与预测旋律的音符之间的对齐关系。实验结果证明了我们所提出的歌词旋律生成模型的有效性,其中合理和曲调序列可以推断出从歌词。
2021-04-21 cs.AI cs.SD eess.AS
A Unit Selection Methodology for Music Generation Using Deep Neural Networks
Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院)
计算机基于数据生成音乐的方法有几种,包括马尔可夫链、递归神经网络、重组和语法。我们探索使用单位选择和串联作为一种手段,使用基于排名的程序生成音乐,其中,我们认为一个单位是一个可变长度的音乐措施。我们首先研究是否是一个单位的选择方法,这是限制在一个有限大小的单元库,可以足以涵盖广泛的音乐。我们通过开发一个深度自动编码器来实现这一点,该编码器对音乐输入进行编码,并通过从库中选择来重建输入。然后,我们描述了一个生成模型,该模型将深度结构化语义模型(DSSM)与LSTM相结合,以预测下一个单元,其中单元由四个,两个和一个音乐措施组成。我们评估生成模型使用客观指标,包括平均排名和准确性,并与主观的听力测试中,专家音乐家被要求完成一个被迫选择的排名任务。我们将我们的模型与音符级生成基线进行比较,该基线由经过训练的堆叠LSTM组成,以向前预测一个音符。
2016-12-12 cs.AI cs.LG cs.SD
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR(比萨大学,CNR区域);Scuola Superiore Sant’Anna, Area CNR(圣安娜高等学院,CNR区域)
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线,将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
CompLex: Music Theory Lexicon Constructed by Autonomous Agents for Automatic Music Generation
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所)
本文提出由自主智能体从极少量人工输入自动构建含37,432条目的音乐理论词典CompLex,并通过多智能体算法抑制幻觉,在多个文本到音乐生成模型上显著提升性能。
2025-08-27 cs.AI cs.SD
Inter Genre Similarity Modelling For Automatic Music Genre Classification
The University of Nottingham(诺丁汉大学);Koç University(科奇大学)
音乐类型分类是音乐信息检索系统的重要工具,在各种媒体平台上得到了广泛的应用。音乐类型自动分类的两个重要问题是特征提取和分类器设计。本文研究了体裁间相似性建模(IGS),以提高性能的自动音乐体裁分类。跨流派的相似性信息被提取的错误分类的特征人口。一旦体裁间相似性被建模,消除体裁间相似性减少体裁间混淆,提高识别率。通过迭代IGS建模(IIGS)和IGS消除评分建模(SMIGS)进一步改进了体裁间相似性建模。实验结果与有前途的分类改进。
2009-07-18 cs.AI cs.SD stat.ML
Automatic Fado Music Classification
INESC-ID Lisboa(里斯本INESC-ID研究所)
2011年底,法多被联合国教科文组织提升为人类口头和非物质遗产。本研究旨在开发一种基于音频信号的法朵音乐自动检测工具。为此,从音频信号中捕获频谱相关特征:除了梅尔倒谱系数(MFCC)和信号能量之外,还在两个频率范围内进一步分析信号,提供更多信息。在10倍交叉验证设置(97.6%准确度)和传统训练/测试设置(95.8%准确度)中运行测试。良好的效果反映了法多是一种非常独特的音乐风格。
2014-06-17 cs.AI cs.SD
Dialogue in Resonance: An Interactive Music Piece for Piano and Real-Time Automatic Transcription System
Graduate School of Culture Technology, KAIST(文化科技研究生院,韩国科学技术院)
本文提出交互式音乐作品《共鸣中的对话》,将实时自动音乐转录整合到基于乐谱的框架中,实现人类钢琴家与计算机控制钢琴之间的动态对话,并介绍了从作曲到首演的开发过程。
2025-05-22 cs.AI cs.SD eess.AS
Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
复调音乐的歌词转录是具有挑战性的,这不仅是因为演唱的声音被背景音乐破坏,而且还因为背景音乐和演唱风格在不同的音乐流派中不同,例如流行音乐,金属和嘻哈,这以不同的方式影响歌曲的歌词可理解性。在这项工作中,我们建议使用一种新的体裁条件网络来转录复调音乐的歌词。所提出的网络采用预先训练的模型参数,并在层之间结合体裁适配器,以捕获歌词体裁对的不同体裁特性,从而只需要轻量级的体裁特定参数进行训练。我们的实验表明,建议的体裁条件网络优于现有的歌词转录系统。
2022-04-07 cs.AI cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院)
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题,研究者结合频谱图掩码、深度神经网络与MuseScore API,构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Omnizart: A General Toolbox for Automatic Music Transcription
Academia Sinica(中央研究院);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
我们发布了Omnizart,这是一个新的Python库,为自动音乐转录(AMT)提供了一个简化的解决方案。Omnizart包含构建基于深度学习的AMT的生命周期的模块,并设计为易于使用,具有紧凑的命令行界面。据我们所知,Omnizart是第一个转录工具包,它提供的模型涵盖了广泛的乐器类别,从独奏,乐器合奏,打击乐器到声乐,以及和弦识别和节拍/强拍跟踪模型,这两个音乐信息检索(MIR)任务与AMT高度相关。
2021-06-01 cs.AI cs.SD eess.AS
ComMU: Dataset for Combinatorial Music Generation
Pozalabs(波扎实验室);Yonsei Univ.(延世大学)
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐(例如,浪漫电影、动作游戏、餐馆等的音乐)。在本文中,我们介绍了组合音乐生成,一个新的任务,创造不同的背景音乐的基础上,给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本,并将其组合以产生完整的音乐。此外,我们介绍了ComMU,第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是:(1)数据集由专业作曲家手动构建,具有诱导规律性的客观指导原则,(2)它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明,我们可以生成不同的高品质的音乐,只有元数据,我们独特的元数据,如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频(https://pozalabs.github.io/ComMU)。
2022-11-17 cs.AI cs.MM cs.SD
Machine Learning Techniques in Automatic Music Transcription: A Systematic Survey
Auburn University(奥本大学)
本系统性综述梳理了自动音乐转录领域的机器学习技术,评估了各类系统的进展与局限,指出了当前与人类准确率的差距,提出了改进方向与研究路线图。
2024-06-20 cs.AI cs.LG cs.SD
Automatic Bug Detection in Games using LSTM Networks
Ontario Tech University(安大略理工大学)
本研究提出一种基于LSTM网络的游戏感知缺陷检测框架,通过异常检测识别游戏缺陷并聚类分类,经两款FPS游戏验证有效。
2023-12-13 cs.AI cs.LG cs.SE
A Study on Broadcast Networks for Music Genre Classification
Egypt-Japan University of Science and Technology(埃及-日本科学技术大学);Waseda University(早稻田大学)
由于音乐流媒体/推荐服务需求的增加和音乐信息检索框架的最新发展,音乐类型分类(MGC)引起了社会的关注。然而,已知基于卷积的方法缺乏有效编码和定位时间特征的能力。在本文中,我们研究了基于广播的神经网络,旨在提高在一个小的参数集(约180 k)下的局部化和泛化能力,并研究了广播网络的12种变体,讨论了块配置,池化方法,激活函数,归一化机制,标签平滑,通道相互依赖性,LSTM块包含和初始方案的变体的影响。我们的计算实验使用相关的数据集,如GTZAN,扩展舞厅,HOMBURG,和免费音乐档案(FMA)显示国家的最先进的分类精度在音乐流派分类。我们的方法提供了见解和潜力,使紧凑和概括的广播网络的音乐和音频分类。
2022-08-25 cs.AI cs.MM cs.SD
Towards Automatic Instrumentation by Learning to Separate Parts in Symbolic Multitrack Music
University of California San Diego(加州大学圣迭戈分校);Stanford University(斯坦福大学)
现代键盘允许音乐家通过将区域(键盘的固定音高范围)分配给不同的乐器来同时演奏多种乐器。在本文中,我们的目标是进一步扩展这一想法,并检查自动仪器的可行性-动态分配乐器独奏音乐中的音符在表演过程中。除了用于执行性用例的在线实时设置之外,自动插装还可以在离线设置中的辅助撰写工具中找到应用。由于缺乏原始独奏音乐及其完整安排的配对数据,我们通过学习分离部分(例如,声音、乐器和音轨)从它们在象征性的多音轨音乐中的混合物中分离,假设该混合物将在键盘上演奏。我们将零件分离的任务视为一个连续的多类分类问题,并采用机器学习将笔记序列映射为零件标签序列。为了检验我们提出的模型的有效性,我们对不同流派和合奏的四个不同数据集进行了全面的实证评估-巴赫合唱团,弦乐四重奏,游戏音乐和流行音乐。我们的实验表明,所提出的模型优于各种基线。我们还展示了我们提出的模型的潜力,以产生替代令人信服的仪器为现有的安排,将其混合物分成几部分。所有源代码和音频样本都可以在https://salu133445.github.io/arranger/上找到。
2021-10-21 cs.AI cs.LG cs.SD
Pitchclass2vec: Symbolic Music Structure Segmentation with Chord Embeddings
University of Bologna(博洛尼亚大学)
结构知觉是人类音乐认知的一个基本方面。从历史上看,音乐的结构层次组织作为一种叙事手段,用于传达意义,创造期望,唤起听众的情感。因此,音乐结构在音乐创作中起着至关重要的作用,因为它们塑造了作曲家组织思想的音乐话语。在本文中,我们提出了一种新的音乐分割方法,pitchclass2vec,基于符号和弦注释,这是嵌入到连续矢量表示使用自然语言处理技术和定制的编码。我们的算法基于长短期记忆(LSTM)神经网络,并且优于该领域中基于符号和弦注释的最先进技术。
2023-03-24 cs.AI cs.LG cs.SD
Automatic Music Composition using Answer Set Programming
University of Glamorgan(格拉摩根大学);University of Bath(巴斯大学)
音乐创作曾经是笔和纸的活动。这些天来,音乐往往是由计算机软件的帮助下,甚至到了计算机自动组成部分的分数。大多数音乐风格的创作都有规则可循。我们表明,通过接近的自动化,分析和验证的组成作为一个知识表示的任务,并正式这些规则在一个合适的逻辑语言,功能强大,表达智能组合工具,可以很容易地建立。本文介绍了使用答案集编程来构建一个自动化系统,名为ANTON,它可以组成旋律,和声和节奏的音乐,诊断错误的人类组成,并作为一个计算机辅助作曲工具。在一个框架中结合了和声、节奏和旋律作曲,使ANTON在不断发展的算法作曲领域独树一帜。凭借近乎实时的合成,ANTON不仅可以用作交互式合成工具中的组件,而且还具有现场表演和音乐会的潜力,或者在各种应用中自动生成背景音乐。通过使用完全声明式语言和“现成”的推理引擎,ANTON为人类作曲家提供了一个比其他现有系统更简单,更紧凑,更通用的工具。本文已被接受出版在逻辑编程理论与实践(TPLP)。
2010-06-25 cs.AI cs.LO
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University(特拉维夫大学)
多乐器自动音乐转录(AMT),或将音乐记录解码成语义音乐内容,是音乐信息检索的圣杯之一。由于数据汇集困难,目前的AMT方法仅限于钢琴和(一些)吉他录音。为了克服数据汇集障碍,先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM,这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案,辅之以伪标签和音高偏移增强,我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督,我们报告了MAPS数据集的SOTA音符级准确性,以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果,并且我们提出了MusicNet数据集的替代标签,我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
Automatic Music Sample Identification with Multi-Track Contrastive Learning
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
本文提出一种基于多轨对比学习的自监督方法,用于自动识别音乐采样并检索其来源,显著优于现有基线,且对流派和数据库规模具有鲁棒性。
2025-10-27 cs.AI cs.LG cs.SD
Annotation-free Automatic Music Transcription with Scalable Synthetic Data and Adversarial Domain Confusion
Sony Computer Science Laboratories(索尼计算机科学实验室)
本文提出一种无需 MIDI-音频配对数据的自动音乐转谱方法,通过可扩展合成音频预训练和未标注真实音频的对抗域混淆,在低资源场景下取得与基线方法相当的竞争性能。
2024-07-03 cs.AI cs.SD eess.AS
Exploiting Synchronized Lyrics And Vocal Features For Music Emotion Detection
Musixmatch AI Labs(Musixmatch人工智能实验室)
音乐推荐的关键点之一是根据情感和情绪创作引人入胜的播放列表。虽然以前的作品主要是基于音频的音乐发现和播放列表生成,我们利用我们的同步歌词数据集,以一种新颖的方式结合文本表示和音乐功能;因此,我们引入同步歌词情感数据集。与随机利用音频样本和整个文本的其他方法不同,我们的数据根据歌词和音频之间同步提供的时间信息进行分割。这项工作展示了基于文本和基于音频的深度学习分类模型之间的比较,这些模型使用了来自自然语言处理和音乐信息检索领域的不同技术。从音频上的实验中,我们得出结论,只使用人声,而不是整个音频数据,提高了音频分类器的整体性能。在歌词实验中,我们利用了应用于文献中主要深度学习架构的最先进的单词表示。在我们的基准测试中,结果显示了基于fastText词嵌入的Bilinear LSTM分类器如何比应用于音频的CNN表现更好。
2019-01-15 cs.AI cs.CL
Automatic Generation of Product Concepts from Positive Examples, with an Application to Music Streaming
KU Leuven(鲁汶大学);Tunify
基于互联网的业务和产品(例如电子商务,音乐流媒体)每天都变得越来越复杂,越来越注重提高客户满意度。他们实现这一目标的一个核心方法是通过使用导航栏将产品结构化并提供推荐,从而为客户提供轻松访问产品的机会。我们将这些目录称为产品概念,例如电子商务网站上的产品类别,音乐流媒体平台上的公共播放列表。这些产品概念通常包含通过一些共同特征(例如同一艺术家的歌曲播放列表)相互链接的产品。对于不同的产品,它们在系统后端的定义方式可能不同。在这项工作中,我们表示使用数据库查询的产品概念,并解决两个学习问题。首先,给定所有属于同一未知产品概念的产品集合,我们学习表示该产品概念的数据库查询。第二,当给定的产品集与多个产品概念相关联时,我们学习产品概念及其相应的查询。为了实现这些目标,我们提出了两种方法,结合PU学习的概念与决策树和聚类。我们的实验表明,通过一个音乐流媒体服务的模拟设置,我们的方法是有效的,在解决这些问题。
2023-01-15 cs.AI cs.IR cs.LG
Music Proofreading with RefinPaint: Where and How to Modify Compositions given Context
Sony Computer Science Laboratories(索尼计算机科学实验室)
提出迭代技术 RefinPaint,通过反馈模型识别音乐弱项并指导修复模型重采样,实现自动修复与校对,有效提升人机音乐创作质量。
2024-11-10 cs.AI cs.SD eess.AS
Automatic Rule Extraction from Long Short Term Memory Networks
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
虽然深度学习模型已被证明在解决自然语言处理中的问题方面是有效的,但它们得出结论的机制往往不清楚。因此,这些模型通常被视为黑箱,无法洞察潜在的学习模式。在本文中,我们考虑了长短期记忆网络(LSTM),并展示了一种新的方法,用于跟踪给定输出的LSTM输入的重要性。通过识别一致的重要模式的话,我们能够提炼出最先进的LSTM的情感分析和问答到一组代表性的短语。然后,通过使用提取的短语来构建一个简单的、基于规则的分类器来定量验证这种表示,该分类器近似于LSTM的输出。
2017-02-24 cs.AI cs.CL cs.NE
MuSpike: A Benchmark and Evaluation Framework for Symbolic Music Generation with Spiking Neural Networks
MuSpike提出首个面向脉冲神经网络符号音乐生成的统一基准与评估框架,系统评估五种SNN架构在五个数据集上的表现,并结合客观指标与大规模主观听感研究,揭示主客观评估不一致等问题。
2025-08-08 cs.AI cs.SD eess.AS
The Effect of Explicit Structure Encoding of Deep Neural Networks for Symbolic Music Generation
Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加利福尼亚大学圣地亚哥分校);NYU Shanghai(上海纽约大学)
随着最近人工神经网络的突破,深度生成模型已经成为计算创造力的主要技术之一。尽管在图像和短序列生成方面取得了很大的进展,但由于作品的结构通常很复杂,符号音乐生成仍然是一个具有挑战性的问题。在本研究中,我们试图解决由给定的和弦进行约束的旋律生成问题。这个音乐元创作问题也可以整合到具有用户输入和预测结构输出的计划识别系统中。特别是,我们通过比较两种顺序生成模型来探索音乐结构的显式架构编码的效果:LSTM(一种RNN)和WaveNet(扩张的时间CNN)。据我们所知,这是第一次将WaveNet应用于符号音乐生成的研究,也是第一次将时间CNN和RNN用于音乐生成的系统比较。我们进行了一项调查,评价在我们的世代,并实现了可变马尔可夫Oracle的音乐模式发现。实验结果表明,使用膨胀卷积层堆栈更显式地编码结构显着提高了性能,并且将底层和弦进行全局编码到生成过程中获得更多。
2019-01-24 cs.AI cs.LG cs.SD
Automatic driving lane change safety prediction model based on LSTM
Trine University(特莱恩大学);Yantai University(烟台大学);University of Electronic Science and Technology of China(电子科技大学);Northern Arizona University(北亚利桑那大学);University of Aberdeen(阿伯丁大学)
针对自动驾驶换道的轨迹预测与安全需求,提出基于LSTM的安全敏感型深度学习模型,结合交互信息意图识别与单元状态仿真,在长时域轨迹预测精度、换道安全性与效率上优于传统模型方法。
2024-02-28 cs.AI cs.LG cs.RO