Towards a Deep Improviser: a prototype deep learning post-tonal free music generator
MARCS Institute for Brain, Behaviour and Development, Western Sydney University(西悉尼大学MARCS脑、行为与发展研究所);austraLYSIS;Department of Computing, Goldsmiths, University of London(伦敦大学金史密斯学院计算机系)
两个中等规模的符号语料库后音调和后公制键盘音乐已经建成,一个算法,其他即兴。每一个的深度学习模型都经过了训练,并在很大程度上得到了优化。我们的目的是获得一个模型,具有足够的泛化能力,在响应少量的单独的新鲜输入种子材料,它可以产生的输出是独特的,而不是再生的学习语料库或种子材料。这一目标已首先进行了统计评估,并通过k样本Anderson-Darling和Cramer检验判断,已经实现。音乐是使用这种方法生成的,非正式的判断将其与相关形式的算法音乐和作曲音乐大致等同。未来的工作将致力于增强该模型,使其可以在实时性能的表达,意义和效用方面进行评估。
2017-12-21 cs.LG cs.SD eess.AS
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater(威斯康星大学白水分校)
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题,我们可以更好地理解生成的作品所需的参数,这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
An adaptive music generation architecture for games based on the deep learning Transformer mode
PUC-Rio(里约热内卢天主教大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出了一种基于Transformer深度学习模型的视频游戏音乐生成架构。我们的动机是能够根据玩家的口味定制生成,玩家可以选择与他喜欢的音乐风格相对应的训练样本语料库。该系统生成各种音乐层,遵循当前设计视频游戏音乐的作曲家使用的标准分层策略。为了使生成的音乐适应游戏和玩家的情况,我们使用情绪的唤醒-效价模型,以控制音乐层的选择。我们讨论了当前的局限性和未来的前景,如音乐组件的协作和交互式控制。
2022-09-10 cs.LG cs.MM cs.SD
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.(格雷斯诺特公司)
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题,例如,流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换,尽管创建这样的数据是耗时的或昂贵的,并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源,但可用的音乐音频量要大得多。在语义音频的邻近领域,无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中,使用卷积神经网络(CNN)对深度特征嵌入进行无监督训练,以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法,不仅显着提高了该算法的性能,但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
Deep Generative Models of Music Expectation
本研究针对现有音乐概率模型表征复杂音乐分布的局限,提出用扩散模型计算音乐序列近似似然,验证了其生成的惊奇值与听众喜爱度的负二次关系,效果媲美现有最优方法,为音乐期望相关深度生成模型研究提供了初步基础。
2023-10-05 cs.LG cs.SD eess.AS
Off the Beaten Track: Using Deep Learning to Interpolate Between Music Genres
Eindhoven University of Technology(埃因霍温理工大学);University of Florence(佛罗伦萨大学);University of Basel(巴塞尔大学);Conservatorio G.F. Ghedini di Cuneo(库尼奥G.F.盖迪尼音乐学院);Musica Combinatoria(组合音乐机构)
我们描述了一个基于深度学习的系统,该系统在电子舞曲领域生成鼓模式。实验结果表明,生成的模式可以用来产生不同类型之间的音乐声音和创造性的过渡,并在该领域的从业者感兴趣的生成过程。
2018-05-02 cs.LG cs.MM cs.SD
Music Transcription by Deep Learning with Data and "Artificial Semantic" Augmentation
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"(乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”);University Paris 8(巴黎第八大学)
在这篇进展论文中,介绍了通过深度学习进行单音符识别的先前结果。提出了几种数据增强和“人工语义”增强的方法,通过增加训练数据的维度及其无损和有损变换,来提高用于单音和复调音符识别的深度学习方法的效率。
2017-12-08 cs.LG cs.SD eess.AS
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego(加州大学圣地亚哥分校)
音乐中的情感是一个复杂的概念,即使使用微调的特征工程也很难捕捉。在本文中,我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别(MER)任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明,深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是,深音频嵌入代表音乐情感语义的MER任务,没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
Deep Learning for Music
Stanford University(斯坦福大学)
我们的目标是能够从深层神经网络架构中构建生成模型,以尝试创建既有和声又有旋律的音乐,并且可以作为人类创作的音乐。以前的音乐生成工作主要集中在创造一个单一的旋律。最近关于复调音乐建模的工作,以时间序列概率密度估计为中心,已经取得了一些部分成功。特别是,已经有很多基于递归神经网络结合受限玻尔兹曼机(RNN-RBM)和其他类似的基于递归能量的模型的工作。然而,我们的方法是单独使用深度神经网络进行端到端学习和生成。
2016-06-15 cs.LG cs.SD
Everybody Compose: Deep Beats To Music
Stanford University(斯坦福大学)
该研究提出三种深度学习方法(全注意力LSTM、局部注意力LSTM和相对位置表示Transformer),从输入节拍生成单音旋律,使普通人也能通过敲击键盘或改编现有节拍来创作音乐。
2023-06-09 cs.LG cs.MM cs.SD
Revisiting Meter Tracking in Carnatic Music using Deep Learning Approaches
MTG
本研究评估TCN和Beat This!两种深度学习模型在卡纳提克音乐节拍追踪中的表现,发现通过迁移学习可显著提升性能并超越DBN基线,证明SOTA模型能有效适应代表性不足的音乐传统。
2025-09-14 cs.LG cs.SD eess.AS
Automatic Live Music Song Identification Using Multi-level Deep Sequence Similarity Learning
Tampere University(坦佩雷大学);Utopia Music(乌托邦音乐);Future Lab(未来实验室)
针对现场音乐歌曲识别新问题,提出基于相似性学习与孪生卷积神经网络、利用多级深度序列交叉相似性矩阵的系统,在自制数据集上实现87.4%的识别准确率。
2025-01-14 cs.SD eess.AS
Towards democratizing music production with AI-Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin
Keio University(庆应义塾大学)
利用深度学习的音乐生成技术已经取得了重大进展。然而,音乐家和艺术家在日常音乐创作实践中仍然很难使用这些技术。本文提出了一种基于变分自动编码器\cite{Kingma2014}(VAE)的节奏生成系统,音乐家只需选择目标文件即可训练深度学习模型,然后使用该模型生成各种节奏。作者已经实现了该系统作为一个插件软件的数字音频工作站,即一个最大的现场设备Ableton现场。一些专业/半专业音乐家和音乐制作人使用了这个插件,他们证明了这个插件是一个创造性地制作音乐的有用工具。插件、源代码和演示视频可在线获取。
2020-04-01 cs.LG cs.SD eess.AS
Conditioning Deep Generative Raw Audio Models for Structured Automatic Music
Boston University(波士顿大学)
现有的以深度学习为特征的自动音乐生成方法可以大致分为两种类型:原始音频模型和符号模型。符号模型在音符级别进行训练和生成,目前是更流行的方法;这些模型可以捕获旋律结构的长范围依赖性,但无法掌握原始音频生成的细微差别和丰富性。原始音频模型,如DeepMind的WaveNet,直接在采样的音频波形上进行训练,使它们能够产生听起来真实的,尽管是非结构化的音乐。在本文中,我们提出了一个自动的音乐生成方法结合这两种方法来创建结构化的,逼真的声音组成。我们考虑一个长短期记忆网络来学习不同风格的音乐的旋律结构,然后使用这个模型的独特符号代作为基于WaveNet的原始音频生成器的条件输入,创建一个自动的,新颖的音乐模型。然后,我们通过展示这项工作的结果来评估这种方法。
2018-06-26 cs.LG cs.SD eess.AS
Music Composition with Deep Learning: A Review
Universidad de Zaragoza(萨拉戈萨大学)
创作一件复杂的艺术作品,如音乐作品,需要展现出真正的创造力,而创造力取决于与音乐语言层次相关的各种因素。音乐生成一直面临着数学方法,最近,深度学习模型被用于其他领域,如计算机视觉。在本文中,我们希望将基于人工智能的音乐创作模型与人类音乐创作和创造力过程之间的现有关系置于上下文中。我们概述了最近用于音乐创作的深度学习模型,并从理论角度将这些模型与音乐创作过程进行了比较。我们试图通过分析当前深度学习模型生成具有创造力的音乐的能力或人工智能与人类作曲过程之间的相似性等来回答一些与此任务最相关的开放性问题。
2021-09-07 cs.AI cs.SD eess.AS
Receptive-Field Regularized CNNs for Music Classification and Tagging
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
卷积神经网络(CNN)已成功用于各种音乐信息检索(MIR)任务,既作为端到端模型,也作为更复杂系统的特征提取器。然而,MIR领域仍然由经典的基于VGG的CNN架构变体主导,通常与更复杂的模块(如注意力)和/或技术(如在大型数据集上进行预训练)相结合。更深层次的模型,如ResNet,在其他领域远远超过了VGG,但很少在MIR中使用。正如我们将展示的那样,其中一个主要原因是在音乐领域缺乏更深层次的CNN的泛化。在本文中,我们提出了一种基于精心设计的正则化策略的原则性方法,使ResNet等深度架构在音乐相关任务中具有竞争力。特别是,我们分析了最近引入的接收场正则化和Shake-Shake,并表明它们显着提高了深度CNN在音乐相关任务上的泛化能力,并且由此产生的深度CNN可以优于当前更复杂的模型,例如通过预训练和注意力增强的CNN。我们在两个不同的MIR任务和两个相应的数据集上证明了这一点,从而为这些数据集提供了我们的深度正则化CNN作为新的基线,它也可以在未来更复杂的方法中用作特征提取模块。
2020-07-27 cs.LG cs.SD eess.AS
A Methodology for Exploring Deep Convolutional Features in Relation to Hand-Crafted Features with an Application to Music Audio Modeling
Duke University(杜克大学)
从模型信任的角度来看,理解深度模型所学习到的特性非常重要,特别是当深度系统部署在现实世界中时。用于深度特征理解或模型解释的最新方法集中于突出与分类决策相关的输入数据特征。在这项工作中,我们反而采取了将深度特征与对感兴趣的应用有意义的精心研究的手工制作的特征相关联的观点。我们提出了一种方法和一套系统的实验,探索在这种情况下,深度特征理解的输入特征重要性方法不适用的深层功能。我们的实验专注于理解哪些手工制作的和深层的特征对感兴趣的分类任务有用,这些特征对相关任务的鲁棒性如何,以及深层特征与有意义的手工制作的特征有多相似。我们提出的方法是一般的许多应用领域,我们证明了其实用程序的管弦乐音频数据。
2021-10-09 cs.LG cs.SD eess.AS
What is missing in deep music generation? A study of repetition and structure in popular music
Carnegie Mellon University(卡内基梅隆大学)
结构是音乐最基本的方面之一,而音乐结构通常通过重复来表示。然而,音乐中的重复和结构的本质仍然没有得到很好的理解,特别是在音乐生成的背景下,并且还有很多东西需要利用音乐信息检索(MIR)技术进行探索。两个流行音乐数据集的分析(中国和美国)说明重要的音乐建设原则:(1)结构存在于多个层次,(2)歌曲使用重复和有限的词汇,使得单个歌曲不遵循歌曲集合的一般统计,(3)结构与节奏、旋律、和声和可预测性相互作用,以及(4)在歌曲的过程中,重复不是随机的,而是遵循交叉熵所揭示的一般趋势。这些和其他研究结果为深度学习音乐生成提供了挑战和机遇,并提出了新的正式音乐标准和评估方法。我们分析了最近音乐生成系统中的音乐,并将其与我们数据集中的人类创作的音乐进行了比较,通常从结构的角度揭示了显着的差异。
2022-09-01 cs.IR cs.SD eess.AS
Multi-Level and Multi-Scale Feature Aggregation Using Sample-level Deep Convolutional Neural Networks for Music Classification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
音乐标记词是以文本形式描述音乐音频的词,具有不同的抽象层次。考虑到这个问题,我们提出了一种音乐分类方法,使用预先训练的特征提取器聚合多层次和多尺度特征。特别地,使用原始波形在样本级深度卷积神经网络中训练特征提取器。我们证明了这种方法在几个音乐分类数据集上取得了最先进的结果。
2017-06-21 cs.LG cs.MM cs.SD
DeepSRGM -- Sequence Classification and Ranking in Indian Classical Music with Deep Learning
University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出基于LSTM-RNN的深度学习方法DeepSRGM,通过预处理和短序列训练实现印度古典音乐的Raga识别,在CompMusic Carnatic数据集上达到88.1%和97%的准确率,并支持旋律模式检索。
2024-02-15 cs.AI cs.IR cs.LG
Deep Karaoke: Extracting Vocals from Musical Mixtures Using a Convolutional Deep Neural Network
University of Surrey(萨里大学)
从混合音乐中识别和提取歌唱声是声源分离和机器听觉中的一个关键挑战。最近,深度神经网络(DNN)已被用于估计“理想的”二进制掩码,以仔细控制鸡尾酒会语音分离问题。然而,目前还不知道这些方法是否能够推广到语音和非语音的音乐混合物的上下文中的歧视。在这里,我们训练了一个卷积DNN(大约有10亿个参数),以提供理想二进制掩码的概率估计,用于从真实世界的音乐混合物中分离人声。我们将DNN结果与更传统的线性方法进行了对比。我们的方法可能是有用的自动删除声乐的声音从音乐混合物的“卡拉OK”类型的应用程序。
2015-04-17 cs.LG cs.NE cs.SD
Reverb Conversion of Mixed Vocal Tracks Using an End-to-end Convolutional Deep Neural Network
Seoul National University(首尔大学)
混响在音乐制作中起着关键作用,它为听众提供了音乐的空间意识,音色和纹理。然而,即使是熟练的工程师也难以再现参考音轨的音乐混响。作为回应,我们提出了一个端到端系统,能够切换两个不同混合声乐曲目的音乐混响因子。此方法使我们能够将参考轨道的混响应用于需要效果的源轨道。此外,我们的模型可以执行去混响时,参考轨道被用作干声源。所提出的模型与对抗性目标相结合进行训练,这使得处理高分辨率音频样本成为可能。感知评估证实,该模型可以转换混响因子的首选率为64.8%。据我们所知,这是首次尝试将深度神经网络应用于转换声乐曲目的音乐混响。
2021-03-03 cs.LG cs.SD eess.AS
Music transcription modelling and composition using deep learning
Queen Mary University of London(伦敦玛丽女王大学);INRS-EMT(加拿大国家科学研究院-能源材料电信研究所);Kingston University(金斯顿大学);Ghent University(根特大学)
我们将深度学习方法,特别是长短期记忆(LSTM)网络应用于音乐转录建模和作曲。我们使用大约23,000个用高级词汇表(ABC符号)表示的音乐transanks来构建和训练LSTM网络,并使用它们来生成新的transanks。我们的实际目标是创建音乐转录模型在特定的音乐创作环境中有用。我们从三个角度呈现结果:1)在群体水平上,比较训练转录集和生成转录集的描述性统计; 2)在个体水平上,检查生成转录如何反映训练转录(凯尔特民间)中的音乐实践惯例; 3)在应用水平上,使用该系统进行音乐创作中的想法生成。我们将我们的数据集、软件和声音示例开放和可用:\url{https://github.com/IraKorshunova/folk-rnn}。
2016-04-29 cs.LG cs.SD
Sound and Music Biases in Deep Music Transcription Models: A Systematic Analysis
本文分析了深度音乐转录模型在不同音乐风格和声音条件下的性能差异,发现音乐风格和声音质量对转录效果有显著影响。
2025-12-16 cs.LG cs.SD
A Deep Learning Approach for Low-Latency Packet Loss Concealment of Audio Signals in Networked Music Performance Applications
Stanford University(斯坦福大学);Politecnico di Milano(米兰理工大学);Politecnico di Torino(都灵理工大学)
网络音乐表演(NMP)被认为是互联网应用中潜在的游戏规则改变者:它旨在通过使远程音乐家能够通过电信网络进行交互和表演,从而彻底改变传统的音乐交互概念。然而,由于在音频质量和最重要的网络延迟方面的极其严格的要求,确保音乐表演的真实条件构成了重大的工程挑战。为了最小化音乐家经历的端到端延迟,NMP应用程序的典型实现使用未压缩的双向音频流,并利用UDP作为传输协议。由于连接较少且不可靠,通过UDP传输的音频数据包在传输过程中丢失后不会重新传输,从而导致接收器音频播放出现故障。本文描述了一种使用深度学习方法实时预测丢失数据包内容的技术。实时的隐藏错误的能力可以帮助减轻由数据包丢失引起的音频损害,从而提高真实场景中的音频播放质量。
2020-07-14 cs.LG cs.NI cs.SD
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay(印度理工学院孟买分校)
音乐信息检索是当前一个活跃的研究领域,它致力于从音频信号中提取音乐上重要的信息,以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐,或者帮助音乐学研究,甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性,该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别,其中主要乐器是歌声。歌声比许多乐器更多才多艺,因此对信息检索系统提出了有趣的挑战。在本文中,我们提供了一个简短的概述,在声乐处理的相关工作在印度理工学院孟买的描述,导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
Proceedings of the First International Workshop on Deep Learning and Music
第一届深度学习和音乐国际研讨会论文集,与IJCNN联合,美国安克雷奇,2017年5月17日至18日
2017-06-27 cs.LG cs.MM cs.NE
Concept-Based Techniques for "Musicologist-friendly" Explanations in a Deep Music Classifier
Johannes Kepler University Linz(林茨约翰·开普勒大学);Linz Institute of Technology(林茨理工学院)
用于解释应用于音乐数据的深度学习系统的当前方法提供了低级特征空间中的结果,例如,通过突出显示频谱图中潜在相关的时间-频率仓或钢琴卷中的时间-音高仓。这可能很难理解,特别是对于没有技术知识的音乐学家来说。为了解决这个问题,我们专注于基于高层次音乐概念的更人性化的解释。我们的研究目标是训练系统(事后解释),并探讨了两种方法:一种是监督的方法,用户可以定义一个音乐概念,并测试它是否与系统相关;一种是无监督的方法,自动选择包含相关概念的音乐摘录,并提供给用户进行解释。我们展示了现有的符号作曲家分类系统的技术,展示他们的潜力,并强调其内在的局限性。
2022-08-29 cs.AI cs.SD eess.AS
Deep Learning Approach for Singer Voice Classification of Vietnamese Popular Music
Sun* Inc(太阳星公司);Le Quy Don Technical University(黎贵敦技术大学)
在数字化时代,对歌手的语音进行分类是一项有意义的工作。在歌曲数量庞大的今天,歌手的识别对于音乐信息检索、音乐属性索引等都有很大的帮助。我们采用的声乐段检测和歌声分离的预处理步骤。这些步骤的目的是从混合声音中提取歌手的声音。为了建立一个歌手分类器,我们提出了一个神经网络架构,工作与梅尔频率倒谱系数作为输入特征提取的声乐。为了验证我们的方法的准确性,我们评估了来自18位著名歌手的300首越南歌曲的数据集。我们实现了92.84%的准确性与5倍分层交叉验证,最好的结果相比,其他方法在相同的数据集。
2021-02-24 cs.LG cs.SD eess.AS
Towards Cross-Cultural Analysis using Music Information Dynamics
UCSD(加州大学圣迭戈分校);Smule(Smule公司)
音乐作品既有层次的理解,从声音事件到旋律,又有顺序的理解,以重复和变化的形式。不同文化的音乐在这两个方面有着不同的风格规约,从而确立了不同的审美观。我们提出了一个框架,可以用来定量比较音乐从不同的文化,从这两个方面来看。该框架是基于音乐信息动力学模型,一个可变马尔可夫预言机(VMO),并扩展与音频的变分表示学习。训练变分自编码器(VAE)以将音频片段映射到潜在表示中。潜在表示被馈送到VMO中。然后,VMO通过一个阈值来学习潜在表示的聚类,该阈值使量化的潜在表示序列的信息率最大化。这个阈值有效地控制了预测步骤对声学变化的敏感性,这决定了框架在更长时间尺度上跟踪重复的能力。这种方法允许在每个声学灵敏度水平上表征音乐信号的整体信息内容。我们的研究结果表明,在这个框架下,微妙的声学变化的敏感性是较高的东亚音乐传统,而西方的作品表现出更长的动机结构在更高的阈值的差异,在潜在的空间。这表明,作为声学细节水平的函数分析的信息内容的概况可以作为一种可能的文化特征。
2021-11-24 cs.LG cs.SD eess.AS
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology(伊利诺伊理工学院)
将音频场景(如鸡尾酒会)分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练,以便知道分离的基础事实。然而,绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法,而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络,以将人声与伴奏分离,而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
End-to-end music source separation: is it possible in the waveform domain?
Universitat Pompeu Fabra(庞培法布拉大学)
目前大多数成功的声源分离技术使用幅度谱图作为输入,因此默认省略了信号的一部分:相位。为了避免遗漏潜在的有用信息,我们研究了使用端到端模型进行音乐声源分离的可行性--它考虑了原始音频信号中的所有可用信息,包括相位。虽然在过去的几十年里,端到端音乐声源分离被认为几乎是不可实现的,但我们的研究结果证实,基于波形的模型可以比基于频谱的深度学习模型表现得相似(如果不是更好的话)。也就是说:我们提出的基于Wavenet的模型和Wave-U-Net可以优于DeepConvSep,DeepConvSep是最近基于频谱的深度学习模型。
2019-06-28 cs.LG cs.SD eess.AS
From Artificial Neural Networks to Deep Learning for Music Generation -- History, Concepts and Trends
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机科学实验室);UNIRIO(里约热内卢联邦大学)
当前的深度学习浪潮(人工神经网络的超维生素回归)不仅适用于传统的统计机器学习任务:预测和分类(例如,天气预报和模式识别),但已经征服了其他领域,如翻译。一个不断增长的应用领域是创造性内容的生成,特别是音乐的情况下,本文的主题。其动机是利用现代深度学习技术的能力,从任意音乐语料库中自动学习音乐风格,然后从估计的分布中生成音乐样本,并对生成过程进行一定程度的控制。本文提供了一个基于深度学习技术的音乐生成教程。在对最近的一个例子所说明的主题进行了简短的介绍之后,本文分析了20世纪80年代末使用人工神经网络进行音乐生成的一些早期作品,以及他们的开创性贡献如何预示了当前的技术。然后,我们引入一些概念框架来分析所涉及的各种概念和维度。最近的系统的各种例子进行了介绍和分析,以说明各种关注和技术。
2020-10-05 cs.LG cs.MM cs.SD
Impact of time and note duration tokenizations on deep learning symbolic music modeling
Sorbonne University(索邦大学);Aubay(欧贝公司);University of Angers(昂热大学);ESEO-TECH / ERIS
本文研究时间和音符时长标记化对深度学习符号音乐建模的影响,通过实验比较不同表示在多个任务上的性能,证明显式信息能根据任务带来更好结果。
2023-10-12 cs.AI cs.LG cs.SD
Graph-based Polyphonic Multitrack Music Generation
University of Pisa(比萨大学)
本文提出一种新颖的音乐图表示和深度变分自编码器,分层分离生成音乐的结构与内容,支持指定乐器条件控制,实验证明其能生成调性节奏一致的音乐序列并有效组织潜在空间。
2023-07-27 cs.LG cs.SD eess.AS
Dual-track Music Generation using Deep Learning
Carnegie Mellon University(卡内基梅隆大学)
音乐生成在某种意义上总是有趣的,没有正式的食谱。在这项工作中,我们提出了一种新的双轨架构产生古典钢琴音乐,这是能够模拟左手和右手钢琴音乐的相互依赖。特别是,我们实验了很多不同的神经网络模型以及不同的音乐表示,结果表明,我们提出的模型优于所有其他测试方法。此外,我们部署了一些特殊的政策,模型的训练和生成,这有助于模型的性能显着。最后,在两种评估方法下,我们将我们的模型与MuseGAN项目和真正的音乐进行了比较。
2020-05-09 cs.LG cs.SD stat.ML
Detecting Musical Deepfakes
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文基于 FakeMusicCap 数据集,在节奏拉伸和音高偏移的对抗条件下用 Mel 频谱图训练 CNN,以区分 AI 生成音乐与人类音乐,并讨论检测系统的伦理与产业意义。
2025-05-03 cs.LG cs.SD
Automatic music mixing with deep learning and out-of-domain data
Sony Group Corporation(索尼集团公司);Sony Europe B.V.(索尼欧洲有限公司)
音乐混音传统上涉及以干净的单独音轨的形式记录乐器,并使用音频效果和专业知识(例如,混合工程师)。近年来,音乐制作任务的自动化已成为一个新兴领域,其中基于规则的方法和机器学习方法已被探索。然而,缺乏干燥或干净的乐器录音限制了这些模型的性能,这与专业的人工混音还有很大的距离。我们探索是否可以使用域外数据,如湿或处理过的多轨音乐录音,并将其重新用于训练监督式深度学习模型,以弥补当前自动混音质量方面的差距。为了实现这一目标,我们提出了一种新的数据预处理方法,允许模型执行自动音乐混合。我们还重新设计了一种用于评估音乐混合系统的听力测试方法。我们使用经验丰富的混音工程师作为参与者,通过这种主观测试来验证我们的结果。
2022-08-29 cs.LG cs.SD eess.AS
Deep Performer: Score-to-Audio Music Performance Synthesis
Dolby Laboratories(杜比实验室);University of California San Diego(加利福尼亚大学圣地亚哥分校)
音乐演奏合成的目的是将乐谱合成为自然的演奏。在本文中,我们借用了文本到语音合成的最新进展,并提出了深度表演者-一种新的系统,用于乐谱到音频的音乐表演合成。与演讲不同,音乐通常包含复调和长音符。因此,我们提出了两种新的技术,用于处理复调输入,并提供了一个细粒度的条件下的Transformer编码器-解码器模型。为了训练我们提出的系统,我们提出了一个新的小提琴数据集,包括成对的录音和分数以及它们之间的估计对齐。我们表明,我们提出的模型可以合成清晰的复调和谐波结构的音乐。在听力测试中,我们实现了与基线模型(一种条件生成音频模型)在音高准确性、音色和噪声水平方面具有竞争力的质量。此外,我们提出的模型在整体质量上显着优于现有钢琴数据集的基线。
2022-02-21 cs.LG cs.MM cs.SD
ProGress: Structured Music Generation via Graph Diffusion and Hierarchical Music Analysis
Duke University(杜克大学)
本文提出ProGress框架,结合申克分析与DiGress离散扩散模型,解决现有音乐生成模型缺乏结构连贯性和可解释性的问题,支持用户控制生成过程,并在人类实验中表现优于现有方法。
2025-10-11 cs.LG cs.SD eess.AS
The Effect of Explicit Structure Encoding of Deep Neural Networks for Symbolic Music Generation
Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加利福尼亚大学圣地亚哥分校);NYU Shanghai(上海纽约大学)
随着最近人工神经网络的突破,深度生成模型已经成为计算创造力的主要技术之一。尽管在图像和短序列生成方面取得了很大的进展,但由于作品的结构通常很复杂,符号音乐生成仍然是一个具有挑战性的问题。在本研究中,我们试图解决由给定的和弦进行约束的旋律生成问题。这个音乐元创作问题也可以整合到具有用户输入和预测结构输出的计划识别系统中。特别是,我们通过比较两种顺序生成模型来探索音乐结构的显式架构编码的效果:LSTM(一种RNN)和WaveNet(扩张的时间CNN)。据我们所知,这是第一次将WaveNet应用于符号音乐生成的研究,也是第一次将时间CNN和RNN用于音乐生成的系统比较。我们进行了一项调查,评价在我们的世代,并实现了可变马尔可夫Oracle的音乐模式发现。实验结果表明,使用膨胀卷积层堆栈更显式地编码结构显着提高了性能,并且将底层和弦进行全局编码到生成过程中获得更多。
2019-01-24 cs.AI cs.LG cs.SD
Iranian Modal Music (Dastgah) detection using deep neural networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
音乐分类和音乐类型检测是音乐信息检索中的一个重要研究课题。然而,这种贡献在非西方音乐中是不够的,如伊朗的调式音乐。在这项工作中,我们已经实现了几个深度神经网络,以识别七个高度相关的类别中的伊朗调式音乐。最好的模型BiLGNet达到了92%的整体准确率,它使用了受自动编码器启发的架构,包括双向LSTM和GRU层。我们使用Nava数据集训练模型,其中包括1786张唱片和长达55小时的Kamanche,Tar,Setar,Reed和Santoor(Dulcimer)独奏音乐。我们考虑了MFCC、色度CENS和Mel频谱图等多个特征作为输入。结果表明,MFCC进行检测伊朗模态音乐(Dastgah)比其他声音表示更有价值的信息。此外,受自动编码器启发的架构在区分像Dastgahs这样高度相关的数据方面是鲁棒的。它还表明,由于伊朗Dastgah音乐的精确顺序,双向递归网络比本研究中实现的任何其他网络都更有效。
2022-10-19 cs.IR cs.SD eess.AS
A Unit Selection Methodology for Music Generation Using Deep Neural Networks
Georgia Tech(佐治亚理工学院);Google Research(谷歌研究院)
计算机基于数据生成音乐的方法有几种,包括马尔可夫链、递归神经网络、重组和语法。我们探索使用单位选择和串联作为一种手段,使用基于排名的程序生成音乐,其中,我们认为一个单位是一个可变长度的音乐措施。我们首先研究是否是一个单位的选择方法,这是限制在一个有限大小的单元库,可以足以涵盖广泛的音乐。我们通过开发一个深度自动编码器来实现这一点,该编码器对音乐输入进行编码,并通过从库中选择来重建输入。然后,我们描述了一个生成模型,该模型将深度结构化语义模型(DSSM)与LSTM相结合,以预测下一个单元,其中单元由四个,两个和一个音乐措施组成。我们评估生成模型使用客观指标,包括平均排名和准确性,并与主观的听力测试中,专家音乐家被要求完成一个被迫选择的排名任务。我们将我们的模型与音符级生成基线进行比较,该基线由经过训练的堆叠LSTM组成,以向前预测一个音符。
2016-12-12 cs.AI cs.LG cs.SD
BachProp: Learning to Compose Music in Multiple Styles
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
与深度学习的进步携手并进,音乐创作算法的性能得到了提高。然而,大多数成功的模型都是为特定的音乐结构设计的。在这里,我们提出了BachProp,算法作曲家,可以生成任何风格的乐谱给予足够的训练数据。为了使BachProp适应广泛的音乐风格,我们提出了一种新的音乐规范化表示,并训练深度网络来预测给定音乐语料库的音符转换概率。在本文中,新的音乐样本BachProp通过众包与原始语料库进行比较。该评估表明,由BachProp生成的乐谱的优先级不低于该算法提供的原始音乐语料库。
2018-02-20 cs.SD eess.AS
Learning to Generate Music With Sentiment
University of California, Santa Cruz(加州大学圣克鲁兹分校)
深度学习模型在自动合成复调音乐作品方面显示出非常有前途的结果。然而,这是很难控制这样的模型,以引导组合物朝着预期的目标。我们感兴趣的是控制一个模型来自动生成具有给定情感的音乐。本文提出了一种生成式深度学习模型,可以指导它根据给定的情感创作音乐。除了音乐生成之外,相同的模型可以用于符号音乐的情感分析。我们使用一个新的视频游戏配乐数据集来评估该模型对符号音乐情感进行分类的准确性。结果表明,我们的模型是能够获得良好的预测精度。一项用户研究表明,人类受试者同意生成的音乐具有预期的情感,但负面的片段可能是模糊的。
2021-03-09 cs.IR cs.LG cs.SD
Emotion Manipulation Through Music -- A Deep Learning Interactive Visual Approach
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Central Washington University(中华盛顿大学);Transilvania University of Braşov(布拉索夫特兰西瓦尼亚大学)
本文提出一种基于AI的交互式音乐情绪操控流水线,可在保留旋律的同时反转歌曲情绪并用Circumplex模型可视化,且深度学习评估模型在4Q Emotion数据集上达到现有先进水平。
2024-06-12 cs.AI cs.CY cs.LG
Deep Predictive Models in Interactive Music
University of Oslo(奥斯陆大学)
音乐表演需要预测来操作乐器,在团体中表演和即兴表演。在本文中,我们研究了一些数字乐器(DMIs),包括我们自己的两个,如何应用预测机器学习模型,帮助用户预测未知状态的音乐过程。我们将这些预测集中在乐器内部,在个人表演者的水平上,以及合奏成员之间。这些模型可以连接到现有的音乐设计框架,并在人类音乐家的认知预测中有相似之处。我们讨论了深度学习的最新进展如何突出预测在DMIs中的作用,允许数据驱动的预测模型具有对过去状态的长期记忆。我们回顾的系统用于激励音乐用例,其中预测是一个必要的组成部分,并强调了一些挑战,以寻求在未来的交互式音乐系统中应用深度预测模型的音乐设计师。
2018-12-19 cs.AI cs.HC cs.NE
Are Nearby Neighbors Relatives?: Testing Deep Music Embeddings
Delft University of Technology(代尔夫特理工大学)
深度神经网络经常用于从原始输入数据直接学习对给定任务有用的表示。在整体性能指标方面,据报道,经常采用深度表示的机器学习解决方案大大优于使用手工制作的特征表示的解决方案。同时,他们可能会注意到数据中占主导地位的方面,但实际上没有意义或不可解释。因此,在本文中,我们提出了一种系统的方法来测试的可信度深音乐表示,考虑音乐语义。潜在的假设是,在要信任深度表示的情况下,应该在输入音频空间和对应的潜在深度空间两者中保持已知相关点之间的距离一致性。我们通过语义上有意义的变换生成已知的相关点,同时考虑到不可察觉和严重的变换。然后,我们研究了空间内和空间间的距离,既考虑了音频空间,也考虑了潜在的嵌入空间,后者是传统特征提取器或深度编码器的结果。我们说明了我们的方法,作为特定任务的性能的补充,提供了可解释的洞察网络可能已经从训练数据信号中捕获。
2019-10-17 cs.LG cs.SD eess.AS
Are Words Enough? On the semantic conditioning of affective music generation
ITI;LARSyS;INESC TEC
该范围综述梳理自动音乐生成的规则与机器学习两大范式,聚焦文本驱动的深度学习音乐生成模型,探讨语言表征音乐情感的可行性,指出深度学习结合自然语言的应用有望赋能创意产业的音乐创作。
2023-11-07 cs.LG cs.MM cs.SD
Controllable deep melody generation via hierarchical music structure representation
Carnegie Mellon University(卡内基梅隆大学);Adobe Inc.(Adobe公司)
深度学习的最新进展扩大了生成音乐的可能性,但生成具有一致的长期结构的可定制的完整音乐片段仍然是一个挑战。本文介绍了MusicFrameworks,一个层次化的音乐结构表示和多步生成过程,以创建一个完整的长度旋律指导下,长期重复的结构,和弦,旋律轮廓和节奏的限制。我们首先用小节和乐句层次结构来组织完整的旋律。为了在每个乐句中生成旋律,我们使用两个单独的基于变换器的网络生成节奏和基本旋律,然后以自回归方式生成以基本旋律、节奏和和弦为条件的旋律。通过将音乐生成分解为子问题,我们的方法允许更简单的模型,需要更少的数据。为了自定义或增加多样性,可以在音乐框架中改变和弦,基本旋律和节奏结构,让我们的网络相应地生成旋律。此外,我们引入了新的功能来编码音乐的位置信息,节奏模式和旋律轮廓的基础上音乐领域的知识。听力测试表明,我们的方法生成的旋律在POP909数据集中大约一半的时间被评为与人类创作的音乐一样好或更好。
2021-09-02 cs.AI cs.SD eess.AS
Deep Neural Network for Musical Instrument Recognition using MFCCs
Department of Electronics and Communication Engineering, National Institute of Technology, Silchar, Assam, India(电子与通信工程系,国家理工学院,西拉char,阿萨姆,印度)
本文提出一种基于MFCCs的深度神经网络模型,用于对二十种不同类别的音乐乐器进行分类,利用伦敦爱乐乐团数据集实现高精度识别。
2026-05-19 cs.AI cs.LG cs.SD
Learning to Generate Music with BachProp
School of Computer Science(计算机科学学院);School of Life Sciences(生命科学学院)
随着深度学习的发展,音乐合成算法的性能也在提高。然而,大多数成功的模型都是为特定的音乐结构设计的。在这里,我们提出了BachProp,算法作曲家,可以生成乐谱在许多风格的充分的训练数据。为了使BachProp适应广泛的音乐风格,我们提出了一种新的音乐表示方法,并训练一个深度网络来预测给定音乐语料库的音符转换概率。本文将BachProp生成的新乐谱与原始语料库以及不同的网络架构和其他相关模型进行了比较。我们表明,BachProp捕获的重要功能的原始数据集比其他模型更好,并邀请读者的定性比较生成的歌曲的大集合。
2019-06-12 cs.LG cs.SD eess.AS
Deep Music Analogy Via Latent Representation Disentanglement
NYU Shanghai(纽约大学上海分校);Carnegie Mellon University(卡内基梅隆大学)
类比生成是计算机算法生成自然和创造性音乐作品的关键方法。通常,通过部分地转移音乐抽象来进行类比,即,从一个作品到另一个作品的高级表示及其关系;然而,该过程需要解开音乐表示,这对于音乐家来说通常花费很少的努力,但对于计算机来说却不是微不足道的。出现了三个子问题:从所述观察中提取潜在的表示,解开所述表示,使得每个部分具有唯一的语义解释,并且将所述潜在的表示映射回实际的音乐。在本文中,我们贡献了一个显式约束变分自编码器(EC $^2$ -VAE)作为一个统一的解决方案,所有三个子问题。我们专注于解开的音高和节奏表示的8拍音乐剪辑条件和弦。在制作音乐类比时,这个模型帮助我们实现“如果”一个作品是通过借用其他作品的表示来使用不同的音高轮廓、节奏模式或和弦进行来创作的想象情况。最后,我们使用客观的测量结果来验证所提出的解缠方法,并通过主观的研究来评估类比实例。
2019-10-20 cs.IR cs.LG cs.SD
Demucs: Deep Extractor for Music Sources with extra unlabeled data remixed
Facebook AI Research(Facebook人工智能研究院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们使用深度学习来研究音乐的声源分离问题,其中包括四个已知的声源:鼓、低音、人声和其他乐器。最先进的方法预测混合物光谱图上的软掩模,而在标准MusDB基准上测量的波形上工作的方法落后。我们的贡献是双重的。(i)我们引入了一个简单的卷积和递归模型,它在波形上的性能优于最先进的模型,即Wave-U-Net,SDR(信号失真比)为1.6个点。(ii)我们提出了一个新的计划,利用未标记的音乐。我们训练第一模型来提取在未标记的音轨中具有至少一个静音源的部分,例如没有低音。我们将此提取与从监督数据集中提取的低音线重新混合,以形成新的弱监督训练样本。结合我们的架构和方案,我们表明,波形方法可以发挥在同一球场的频谱图。
2019-09-03 cs.LG cs.SD eess.AS