Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器,通过自回归方式解码复合令牌,提升符号音乐和音频生成的性能,降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
MusicTM-Dataset for Joint Representation Learning among Sheet Music, Lyrics, and Musical Audio
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
本文提出了一个音乐数据集MusicTM-Dataset,用于提高不同类型的跨模态检索(CMR)的表示学习能力。包括三种模态的小型大型音乐数据集可用于学习CMR的表示。为了收集音乐数据集,我们扩展了原始的乐谱来合成音频和生成的乐谱图像,并建立基于乐谱的乐谱图像,音频剪辑和音节表示文本作为细粒度对齐,这样的MusicTM数据集可以被利用来接收多模态数据点的共享表示。MusicTM-Dataset提供了三种模态,包括乐谱图像、歌词文本和合成音频,它们的表示是通过一些先进的模型提取的。本文首先介绍了音乐数据集的背景,然后阐述了我们的数据汇集过程。基于我们的数据集,我们实现了CMR任务的一些基本方法。MusicTM数据集可通过https://github.com/dddzeng/MusicTM-Dataset访问。
2021-05-07 cs.DB cs.IR cs.MM
Audio Content Analysis
Georgia Institute of Technology(佐治亚理工学院)
介绍音频内容分析的书籍章节的预印本。本章以音乐信息检索系统为重点,定义了音乐音频内容,介绍了音频内容分析的一般过程,并概述了音频内容分析的基本方法。音频内容分析中的各种任务分为三类:音乐转录,音乐演奏分析,音乐识别和分类。音乐转录系统的示例包括音乐键检测、基频检测和音乐结构检测。音乐表现分析系统概述了节拍和节奏检测方法以及音乐表现评估。涵盖的音乐分类系统包括音频指纹、音乐流派分类和音乐情感识别。本章最后讨论了该领域目前面临的挑战,并对未来前景进行了推测。
2021-01-01 cs.SD eess.AS eess.SP
Generative AI for Music and Audio
University of California San Diego(加州大学圣地亚哥分校)
本论文围绕面向音乐与音频的生成式人工智能,研究多轨音乐生成、辅助创作工具和多模态学习,旨在降低音乐创作门槛并推动音频内容创作大众化。
2024-11-21 cs.AI cs.LG cs.MM
Audio inpainting of music by means of neural networks
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);Swiss Data Science Center, ETH Zürich(苏黎世联邦理工学院瑞士数据科学中心)
我们研究了深度神经网络(DNN)基于上下文恢复丢失的音频内容的能力,这一过程通常被称为音频修复。我们专注于几十毫秒范围内的间隙。提出的DNN结构分别在包含音乐和乐器的音频信号上进行训练,间隔为64 ms。DNN的输入是上下文,即,所述间隙周围的信号被变换为时间-频率(TF)系数。我们的结果进行了比较,从参考方法的基础上线性预测编码(LPC)。对于音乐,我们的DNN显著优于参考方法,证明了所提出的DNN结构对于修复音乐等复杂音频信号的良好可用性。
2022-02-18 cs.LG cs.SD eess.AS
Unsupervised Musical Object Discovery from Audio
The Swiss AI Lab, IDSIA, USI & SUPSI(瑞士人工智能实验室,IDSIA,卢加诺大学与瑞士南部应用科学与艺术大学);Institute of Neuroinformatics, ETH Zurich(苏黎世联邦理工学院神经信息学研究所);AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能计划)
MusicSlots将SlotAttention适配到音频,实现无监督音乐分解,在音符发现和属性预测上优于基线。
2023-11-14 cs.LG cs.SD eess.AS
MusCaps: Generating Captions for Music Audio
Queen Mary University of London(伦敦玛丽女王大学);Universal Music Group(环球音乐集团)
随着深度学习的采用,基于内容的音乐信息检索取得了快速发展。目前的高级音乐描述方法通常使用分类模型,例如自动标记或流派和情绪分类。在这项工作中,我们建议通过音频字幕来解决音乐描述,定义为以类似人类的方式生成音乐音频内容的自然语言描述的任务。为此,我们提出了第一个音乐音频字幕模型,MusCaps,由一个编码器-解码器与时间的注意。我们的方法结合了卷积和递归神经网络架构,通过多模式编码器联合处理音频文本输入,并利用音频数据的预训练来获得有效捕获和总结输入中音乐特征的表示。通过自动度量生成的字幕的评估表明,我们的方法优于非音乐音频字幕设计的基线。通过消融研究,我们发现这种性能提升主要归功于音频编码器的预训练,而其他设计选择-模态融合,解码策略和注意力的使用-贡献很小。我们的模型代表了从基于分类的音乐描述的转变,并结合了需要听觉和语言理解的任务,以弥合音乐信息检索的语义差距。
2021-04-24 cs.CL cs.LG cs.SD
Learning Transposition-Invariant Interval Features from Symbolic Music and Audio
Institute of Computational Perception, JKU Linz(林茨约翰·开普勒大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室)
许多音乐理论结构(如音阶类型,调式,节奏和和弦类型)都是根据音高间隔-音高之间的相对距离来定义的。因此,当计算机模型用于音乐任务时,在音程表示上操作而不是在原始音乐表面上操作可能是有用的。此外,区间表示是转置不变的,对于音频对齐,翻唱歌曲检测和音乐结构分析等任务很有价值。我们采用门控自动编码器学习固定长度,可逆和换位不变的间隔表示从复调音乐中的符号域和音频。提出了一种无监督的训练方法,在音乐上合理的表示空间中产生间隔的组织。基于表示,转置不变的自相似矩阵的构建和使用,以确定重复的部分在符号音乐和音频,产生竞争力的结果在MIREX任务“发现重复的主题和部分”。
2019-02-04 cs.LG cs.SD eess.AS
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中,我们提出了一种无监督的生成对抗对齐表示(UGAAR)模型来学习三种主要音乐形式共享的深度判别表示:乐谱,歌词和音频,其中基于三个分支的深度神经网络架构被联合训练。特别是,该模型可以通过学习潜在共享子空间中的相关性,将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成(G)模型学习两对转移对的相关性,以针对固定歌词生成新的音频片对来挑战判别(D)模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练,以增强深度对齐表示学习的能力。我们的实验结果表明,我们提出的UGAAR对齐表示学习之间的乐谱,音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego(加州大学圣地亚哥分校)
音乐中的情感是一个复杂的概念,即使使用微调的特征工程也很难捕捉。在本文中,我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别(MER)任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明,深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是,深音频嵌入代表音乐情感语义的MER任务,没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound(流行病声音公司)
我们已经建立了一个音乐相似性搜索引擎,让视频制作人搜索的音乐摘录,作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络,在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明,我们可以成功地打动专业视频制作人的搜索体验的质量,并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验,更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Music2Latent2: Audio Compression with Summary Embeddings and Autoregressive Decoding
Queen Mary University London(伦敦玛丽女王大学);Sony Computer Science Laboratories Paris(索尼计算机科学实验室巴黎分部)
提出Music2Latent2音频自编码器,利用一致性模型和摘要嵌入实现高压缩比与高保真度,并通过自回归解码处理任意长度音频,在质量和下游任务上优于现有方法。
2025-01-29 cs.AI cs.LG cs.SD
Evaluating Fake Music Detection Performance Under Audio Augmentations
本研究探讨了虚假音乐检测模型在音频增强下的鲁棒性,通过构建真实与合成音乐数据集并应用多种音频变换,发现即使引入轻度增强,最先进检测模型的分类准确率也显著下降。
2025-07-07 cs.AI cs.LG cs.SD
Music Augmentation and Denoising For Peak-Based Audio Fingerprinting
Deezer(迪泽公司)
本文针对噪声环境下音频指纹识别失效问题,提出并发布逼真音乐噪声增强流程及频谱图去噪深度学习模型,实验证明该模型能提升常用峰值指纹系统在噪声条件下的识别性能。
2023-10-29 cs.IR cs.LG cs.SD
Conditioning Deep Generative Raw Audio Models for Structured Automatic Music
Boston University(波士顿大学)
现有的以深度学习为特征的自动音乐生成方法可以大致分为两种类型:原始音频模型和符号模型。符号模型在音符级别进行训练和生成,目前是更流行的方法;这些模型可以捕获旋律结构的长范围依赖性,但无法掌握原始音频生成的细微差别和丰富性。原始音频模型,如DeepMind的WaveNet,直接在采样的音频波形上进行训练,使它们能够产生听起来真实的,尽管是非结构化的音乐。在本文中,我们提出了一个自动的音乐生成方法结合这两种方法来创建结构化的,逼真的声音组成。我们考虑一个长短期记忆网络来学习不同风格的音乐的旋律结构,然后使用这个模型的独特符号代作为基于WaveNet的原始音频生成器的条件输入,创建一个自动的,新颖的音乐模型。然后,我们通过展示这项工作的结果来评估这种方法。
2018-06-26 cs.LG cs.SD eess.AS
Learning Music Audio Representations With Limited Data
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院)
本文研究多种音乐音频表示模型在5至8000分钟有限数据下的表现,发现特定条件下有限数据甚至随机模型的表示可与大数据集模型媲美,但部分任务中手工特征仍更优。
2025-05-09 cs.LG cs.SD eess.AS
musicnn: Pre-trained convolutional neural networks for music audio tagging
Universitat Pompeu Fabra(庞培法布拉大学);Music Technology Group(音乐技术集团)
发音为“musicnn”,musicnn库包含一组用于音乐音频标记的预先训练的音乐动机卷积神经网络:https://github.com/jordipons/musicnn。这个存储库还包括一些预训练的类似vgg的基线。这些模型可以用作开箱即用的音乐音频标记器、音乐特征提取器或用于迁移学习的预训练模型。我们还提供代码来训练上述模型:https://github.com/jordipons/musicnn-training。该框架还允许实现新的模型。例如,具有基于注意力的输出层(而不是时间池化层)的音乐动机卷积神经网络可以实现音乐音频标记的最先进结果:MagnaTagATune数据集上的90.77 ROC-AUC / 38.61 PR-AUC和百万歌曲数据集上的88.81 ROC-AUC / 31.51 PR-AUC。
2019-09-14 cs.CL cs.SD eess.AS
Learning Audio - Sheet Music Correspondences for Score Identification and Offline Alignment
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);The Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所)
这项工作解决的问题,匹配短摘录的音频与他们各自的对应物在乐谱图像。我们展示了如何采用基于神经网络的跨模态嵌入空间来解决以下两个与乐谱相关的任务:当给定音乐音频作为搜索查询时,从数据库中检索正确的乐谱;以及将乐谱的音频记录与相应的乐谱图像对齐。我们证明了这一点的可行性,在实验中的古典钢琴音乐由五个不同的作曲家(巴赫,海顿,莫扎特,贝多芬和肖邦),并提供了一个讨论,为什么我们希望多模态神经网络是一个富有成效的范例,同时处理乐谱和音频。
2017-07-31 cs.IR cs.SD
A Deep Learning Approach for Low-Latency Packet Loss Concealment of Audio Signals in Networked Music Performance Applications
Stanford University(斯坦福大学);Politecnico di Milano(米兰理工大学);Politecnico di Torino(都灵理工大学)
网络音乐表演(NMP)被认为是互联网应用中潜在的游戏规则改变者:它旨在通过使远程音乐家能够通过电信网络进行交互和表演,从而彻底改变传统的音乐交互概念。然而,由于在音频质量和最重要的网络延迟方面的极其严格的要求,确保音乐表演的真实条件构成了重大的工程挑战。为了最小化音乐家经历的端到端延迟,NMP应用程序的典型实现使用未压缩的双向音频流,并利用UDP作为传输协议。由于连接较少且不可靠,通过UDP传输的音频数据包在传输过程中丢失后不会重新传输,从而导致接收器音频播放出现故障。本文描述了一种使用深度学习方法实时预测丢失数据包内容的技术。实时的隐藏错误的能力可以帮助减轻由数据包丢失引起的音频损害,从而提高真实场景中的音频播放质量。
2020-07-14 cs.LG cs.NI cs.SD
Demonstration of PerformanceNet: A Convolutional Neural Network Model for Score-to-Audio Music Generation
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
我们在本文中提出的PerformacnceNet,我们最近提出的神经网络模型,以实现分数到音频的音乐生成。该模型学习将音乐作品从符号域转换到音频域,自动为音乐分配性能级别的属性,例如速度的变化,然后合成音频。因此,该模型不仅仅是一个神经音频合成器,而是一个学习以自己的方式解释乐谱的人工智能表演者。该模型的代码和示例输出可以在https://github.com/bwang514/PerformanceNet上找到。
2019-05-28 cs.SD eess.AS
Exploiting Time-Frequency Conformers for Music Audio Enhancement
Seoul National University(首尔国立大学)
针对移动设备录制的音乐存在噪声、混响等退化问题,提出基于Conformer架构的音乐增强系统,在单声部任务上达最优,还可处理多轨混音通用增强。
2023-08-24 cs.LG cs.SD eess.AS
The challenge of realistic music generation: modelling raw audio at scale
DeepMind(深度思维)
现实的音乐生成是一项具有挑战性的任务。当构建从数据中学习的音乐生成模型时,通常使用诸如乐谱或乐谱之类的高级表示来抽象特定表演的特质。但这些细微差别对于我们对音乐性和现实主义的感知非常重要,因此在这项工作中,我们开始在原始音频领域对音乐进行建模。已经表明,自回归模型擅长生成语音的原始音频波形,但当应用于音乐时,我们发现它们偏向于捕获本地信号结构,而牺牲了对远程相关性的建模。这是有问题的,因为音乐在许多不同的时间尺度上表现出结构。在这项工作中,我们探索自回归离散自编码器(ADA)作为一种手段,使自回归模型捕捉波形中的长程相关性。我们发现,它们允许我们无条件地直接在原始音频域中生成钢琴音乐,这在几十秒内显示出风格的一致性。
2018-06-26 cs.LG cs.SD eess.AS
Do Foundational Audio Encoders Understand Music Structure?
Sony Group Corporation, Japan(日本索尼集团公司);Sony AI, USA(美国索尼人工智能)
本研究探讨了基础音频编码器在音乐结构分析中的有效性,发现自监督学习方法在该任务中表现优异。
2026-01-29 cs.LG cs.SD eess.AS
Digital Audio Processing Tools for Music Corpus Studies
数字音频处理工具为音乐研究人员提供了研究非音符音乐和音乐表演的机会。本章总结了可以从音频中提取的信息类型以及目前可用的音频工具用于音乐语料库研究。提取方法的综述包括信号处理的入门和音频特征提取的背景理论。对音频工具的调查侧重于广泛使用的工具,包括具有图形用户界面的工具,即Audacity和Sonic Visualiser,以及用C/C++、Java、MATLAB和Python计算机程序设计语言编写的基于代码的工具。
2021-11-09 cs.SD eess.AS
Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文提出用自监督对比学习对音频与乐谱图像片段进行预训练,以缓解标注数据稀缺问题,实验表明该方法可显著提升跨模态片段检索精度,并使曲目识别检索质量从30%提升至100%。
2023-09-21 cs.IR cs.LG cs.SD
Audio Prompt Adapter: Unleashing Music Editing Abilities for Text-to-Music with Lightweight Finetuning
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
本文提出轻量级模块AP-Adapter,利用AudioMAE提取特征并结合注意力适配器注入AudioLDM2,仅用2200万参数实现基于音频和文本提示的音乐全局与局部编辑,在音色、流派转换等任务上表现优异且具良好泛化能力。
2024-07-24 cs.AI cs.SD eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai(上海纽约大学);Tencent PCG(腾讯平台与内容事业群)
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱?这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容,还要有钢琴作曲的先验知识(这样生成的作品听起来像音频,同时保持音乐性)。为此,我们贡献了一个跨模态表示学习模型,该模型1)从音频中提取和弦和旋律信息,2)从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后验被简化为标准的正态分布,并且仅需要音频进行推理。实验表明,我们的模型捕捉主要的音频信息,并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University(西北大学);Descript, Inc.(Descript公司)
我们展示了一种无监督的方法,该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离,而无需任何重新训练。音频生成模型以输入混合为条件,产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器,创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的(不变的)潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重,并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型,并将其与四种预训练的音乐标记器(两种架构和两种标记数据集)相结合。在两个声源分离数据集上的实验结果表明,该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务(如声源分离)中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
Contrastive Audio-Language Learning for Music
Queen Mary University of London(伦敦玛丽女王大学);Universal Music Group(环球音乐集团)
作为人类所知的最直观的界面之一,自然语言有潜力调解许多涉及人机交互的任务,特别是在以应用为中心的领域,如音乐信息检索。在这项工作中,我们探索跨模态学习,试图在音乐领域的音频和语言的桥梁。为此,我们提出了MusCALL,一个音乐对比音频语言学习的框架。我们的方法包括一个双编码器架构,学习音乐音频和描述性句子对之间的对齐,产生多模态嵌入,可用于文本到音频和音频到文本检索的开箱即用。由于这个属性,MusCALL可以被转移到几乎任何可以被转换为基于文本的检索的任务。我们的实验表明,我们的方法在检索与文本描述相匹配的音频时的性能明显优于基线,相反,检索与音频查询相匹配的文本。我们还证明了我们的模型的多模态对齐能力可以成功地扩展到zero-shot传输场景,用于两个公共数据集上的体裁分类和自动标记。
2022-08-25 cs.CL cs.LG cs.SD
Boundary Regression for Leitmotif Detection in Music Audio
Sogang University(西江大学)
本文提出将音乐音频中的主导动机检测建模为边界回归任务,以整体捕获动机结构而非逐帧预测,从而保持音乐完整性并提升检测结果实用性。
2025-03-11 cs.LG cs.SD eess.AS
ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
University of Bologna(博洛尼亚大学);Universitat Pompeu Fabra(庞培法布拉大学);Universidad de la República(共和国大学)
本文提出基于Conformer的ChordSync模型,无需弱对齐即可将和弦标注与音频精确对齐,并配套预训练模型和易用库,为音频和弦估计等MIR任务及音乐教育提供支持。
2024-08-01 cs.LG cs.MM cs.SD
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.(格雷斯诺特公司)
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题,例如,流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换,尽管创建这样的数据是耗时的或昂贵的,并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源,但可用的音乐音频量要大得多。在语义音频的邻近领域,无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中,使用卷积神经网络(CNN)对深度特征嵌入进行无监督训练,以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法,不仅显着提高了该算法的性能,但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
Codified audio language modeling learns useful representations for music information retrieval
Stanford University(斯坦福大学)
我们证明了语言模型在编码(离散编码)的音乐音频学习表示上进行了预训练,这对下游MIR任务很有用。具体来说,我们探索了Juventure(Dhariwal et al. 2020)的表示:一个音乐生成系统,包含一个语言模型,它是在100万首歌曲的编码音频上训练的。为了确定Juan的表示是否包含MIR的有用信息,我们使用它们作为输入功能,在几个MIR任务上训练浅模型。相对于传统的MIR模型,这些模型是预先训练的标记,我们发现,使用来自Jupiter的表示作为输入特征,在四个MIR任务中平均产生30%的性能增强:标记,流派分类,情感识别和关键检测。对于关键检测,我们观察到来自Juventure的表示比来自标记预训练的模型的表示要强得多,这表明通过编码的音频语言建模进行预训练可以解决传统方法中的盲点。我们解释的力量Jujanos的陈述证据,建模音频,而不是标签提供了更丰富的表示MIR。
2021-07-12 cs.IR cs.LG cs.MM
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University(首尔大学)
随着数字音乐制作成为主流,选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器,使一个人想要的声音,音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合,这是费时和低效的。在本文中,我们称之为乐器检索这项任务,并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类,并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估,我们还提出了一个名为Nlakh的新数据集。实验结果表明,单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射,而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得:https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony(索尼)
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统,以自监督方式从湿多轨数据中解耦音频效果信息,并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
LiLAC: A Lightweight Latent ControlNet for Musical Audio Generation
针对现有文本到音频扩散SOTA模型缺乏细粒度时变控制、传统ControlNet内存占用大且控制集固定的问题,提出轻量级模块化架构LiLAC,在保证音频质量与条件遵循度的同时大幅减参,提升了灵活性与部署效率。
2025-06-13 cs.LG cs.SD eess.AS
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学);The Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所(OFAI))
长期以来,将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来,基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而,音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中,我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明,这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞,我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
COCOLA: Coherence-Oriented Contrastive Learning of Musical Audio Representations
Sapienza University of Rome(罗马智慧大学);Sony Europe B.V.(索尼欧洲有限公司)
本文提出 COCOLA 对比学习方法,利用分轨及 HPS 特征建模音乐片段间的和声与节奏连贯性,为音乐伴奏生成模型提供客观评估基准,并公开多数据集训练检查点。
2025-01-09 cs.LG cs.SD eess.AS
Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation
University of California San Diego(加利福尼亚大学圣地亚哥分校);Tencent Music Entertainment(腾讯音乐娱乐)
在音乐产业中,对新发行的曲目进行个性化推荐一直是一个具有挑战性的问题。为了解决这个问题,我们首先探索用户的收听历史和人口统计数据,构建一个用户嵌入代表用户的音乐偏好。通过用户嵌入和来自用户喜欢和不喜欢的音轨的音频数据,可以使用具有Siamese网络的度量学习来获得针对每个音轨的音频嵌入。对于一个新的音轨,我们可以通过计算音轨的音频嵌入和不同用户嵌入之间的相似度来决定推荐的最佳用户组。建议的系统产生国家的最先进的性能,基于内容的音乐推荐测试与数百万用户和曲目。此外,我们提取音频嵌入的音乐流派分类任务的功能。实验结果表明了我们的音频嵌入的泛化能力。
2020-10-29 cs.SD eess.AS
A Comparison of Audio Signal Preprocessing Methods for Deep Neural Networks on Music Tagging
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心);EECS(电子工程与计算机科学学院);New York University(纽约大学);Center for Data Science(数据科学中心)
在本文中,我们实证研究了音频预处理对深度神经网络音乐标记的影响。我们进行全面的实验,涉及音频预处理使用不同的时间-频率表示,对数幅度压缩,频率加权和缩放。我们发现,许多常用的输入预处理技术是多余的,除了幅度压缩。
2021-02-22 cs.CV cs.IR cs.LG
A Modulation Front-End for Music Audio Tagging
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
卷积神经网络在自动音乐标注任务中得到了广泛的研究。这个问题可以通过使用工程时频特征或原始音频作为输入来解决。作为音色感知的基础,调制滤波器组表示已被积极研究,有可能促进感知显著特征的提取。我们探索端到端的学习前端音频表示学习,ModNet和SincModNet,其中包括一个时间调制处理块。该结构实际上类似于调制滤波器组,其中FIR滤波器中心频率以数据驱动的方式学习。期望的是,感知动机的滤波器组可以提供用于识别音乐特征的有用表示。我们的实验结果提供了一个完全可视化和可解释的前端时间调制分解的原始音频。我们评估了我们的模型对MagnaTagATune数据集上最先进的音乐标记的性能。我们分析了特定标签的性能的影响时,时间-频率带的调制滤波器在一个逐步降低的速率进行二次采样。我们证明,调制滤波提供了有前途的结果,音乐标记和特征表示,而不使用广泛的音乐领域的知识,在这个前端的设计。
2021-05-25 cs.LG cs.SD eess.AS
Supervised and Unsupervised Learning of Audio Representations for Music Understanding
SiriusXM(天狼星卫星广播公司)
在这项工作中,我们提供了一个广泛的比较分析的策略预训练音频理解模型的几个任务在音乐领域,包括标记流派,时代,起源,情绪,乐器,关键,音高,声乐特点,节奏和响亮。具体来说,我们探讨了预训练数据集(音乐或通用音频)和预训练方法(监督或无监督)如何影响下游任务所产生的音频嵌入的充分性。我们发现,通过监督学习在大规模专家注释的音乐数据集上训练的模型在各种音乐标签任务中实现了最先进的性能,每个任务都有新的内容和词汇。这可以通过包含少于1亿个参数的模型以有效的方式完成,这些参数不需要对下游任务进行微调或重新参数化,使得这种方法对于行业规模的音频目录是实用的。在无监督学习策略类中,我们证明了训练数据集的域可以显着影响模型学习的表示性能。我们发现,将预训练数据集的域限制在音乐上,可以使用较小的批量进行训练,同时在无监督学习中实现最先进的技术-在某些情况下,监督学习-用于音乐理解。我们还证实,虽然在许多任务上实现了最先进的性能,但监督学习可能会导致模型专门针对所提供的监督信息,这在一定程度上损害了模型的通用性。
2022-10-07 cs.AI cs.IR cs.LG
A Music Classification Model based on Metric Learning and Feature Extraction from MP3 Audio Files
用于从音频媒体文件学习音乐相似性和特征提取的模型的开发对于娱乐行业来说是越来越重要的任务。提出了一种基于度量学习和特征提取的MP3音频文件音乐分类模型。度量学习过程考虑采用结构化预测方法从包含若干音乐流派的MP3音频文件的集合学习参数化距离的集合。这项工作的主要目标是使学习每个客户的个性化指标成为可能。为了提取声学信息,我们使用梅尔频率倒谱系数(MFCC),并使用主成分分析进行降维。我们证明了模型的有效性,进行了一系列的实验,并比较训练和测试结果与基线算法,如K-均值和软间隔线性支持向量机(SVM)。实验表明,有希望的结果,并鼓励未来的在线版本的学习模型的发展。
2019-09-17 cs.IR cs.LG cs.SD
Melon Playlist Dataset: a public dataset for audio-based playlist generation and music tagging
Universitat Pompeu Fabra(庞培法布拉大学);Kakao Corp(Kakao公司)
音频信号处理领域的主要限制之一是由于受版权保护的商业音乐的限制,缺乏具有音频表示和高质量注释的大型公共数据集。我们提出了Melon Playlist Dataset,这是一个公共数据集,包含649,091首曲目和148,826个由30,652个不同标签注释的相关播放列表。所有的数据都是从Melon收集的,Melon是一个流行的韩国流媒体服务。该数据集适合于音乐信息检索任务,特别是自动标记和自动播放列表延续。尽管后者可以通过协同过滤方法来解决,但音频为研究轨道建议和构建抗冷启动问题的系统提供了机会,为此我们提供了一个基线。此外,Melon Playlist Dataset中包含的播放列表和注释使其适用于度量学习和表示学习。
2021-01-30 cs.IR cs.LG cs.MM
Sori: Streamable and Controllable Model for Non-musical Audio to Symbolic Music Transformation
Seoul National University(首尔大学)
本研究提出NASMT任务,构建Sori模型,结合DAT与带γ的CFG实现非音乐音频到符号化音乐的可控转换,支持实时流式处理且性能优于相关模型。
2026-10-14 cs.SD
MuLan: A Joint Embedding of Music Audio and Natural Language
Google Research(谷歌研究院);Seoul National University(首尔大学)
传统上,音乐标记和基于内容的检索系统是使用预定义的本体构建的,所述本体覆盖一组严格的音乐属性或文本查询。本文介绍木兰:第一次尝试新一代的声学模型,将音乐音频直接链接到不受约束的自然语言音乐描述。MuLan采用双塔联合音频文本嵌入模型的形式,使用4400万音乐录音(370K小时)和弱关联的自由文本注释进行训练。通过其与广泛的音乐流派和文本风格(包括传统的音乐标签)的兼容性,所得到的音频文本表示包含现有的本体,同时逐渐成为真正的zero-shot功能。我们通过一系列实验展示了MuLan嵌入的多功能性,包括迁移学习,zero-shot音乐标记,音乐领域的语言理解和跨模态检索应用。
2022-08-26 cs.CL cs.SD eess.AS
Artificially Synthesising Data for Audio Classification and Segmentation to Improve Speech and Music Detection in Radio Broadcast
University of Plymouth(普利茅斯大学);University of Glasgow(格拉斯哥大学);Anglia Ruskin University(安格利亚鲁斯金大学);Brighton and Sussex Medical School(布莱顿与苏塞克斯医学院)
将音频分割成音乐和语音等同质部分有助于我们理解音频的内容。它是一个有用的预处理步骤,索引,存储和修改录音,无线电广播和电视节目。用于分割的深度学习模型通常在受版权保护的材料上进行训练,这些材料不能共享。注释这些数据集既耗时又昂贵,因此会大大减缓研究进度。在这项研究中,我们提出了一种新的程序,人工合成类似于无线电信号的数据。我们复制了电台DJ在混音中的工作流程,并研究了淡入淡出曲线和音频回避等参数。我们在这些合成数据上训练了卷积递归神经网络(CRNN),并在音乐语音检测方面优于最先进的算法。本文展示了数据合成过程作为一种高效的技术来生成大型数据集,以训练深度神经网络进行音频分割。
2021-02-19 cs.LG cs.SD eess.AS
Audio Defect Detection in Music with Deep Networks
Analysis-Synthesis Team, UMR 9912 STMS - IRCAM, CNRS, Sorbonne Université(分析与合成团队,UMR 9912 STMS - IRCAM,法国国家科学研究中心,索邦大学)
随着越来越多的音乐被数字化地从制作转移到发行,需要确定媒体质量的自动手段。数字音频处理工具中的保护机制没有消除位于分发链下游的制作实体评估音频质量并检测进一步插入上游的缺陷的需要。这种分析通常仅依赖于接收到的音频和稀缺的元数据。故意使用流行音乐中的点击等伪像以及现代音频编码中的腐败所导致的最近的缺陷需要以数据为中心和上下文敏感的检测解决方案。我们提出了一个卷积网络架构,端到端的编码器解码器配置开发检测器的两个示例性的音频缺陷。一个点击检测器的训练和比较传统的信号处理方法,与上下文敏感性的讨论。额外的后处理用于数据增强和工作流模拟。我们的模型捕捉方差的能力,探索在检测器中的文物从损坏的MP3压缩音频的解压缩。对于这两个任务,我们描述了人工制品的合成生成控制检测器的训练和评估。我们在大型开源免费音乐档案(FMA)和特定类型的数据集上评估我们的检测器。
2022-02-11 cs.LG cs.SD eess.AS
Audio Conditioning for Music Generation via Discrete Bottleneck Features
FAIR Meta(Meta FAIR);IRCAM - Sorbonne Université(IRCAM-索邦大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Kyutai
提出用音频输入条件化语言模型音乐生成系统,采用文本反转和从头联合训练模型两种策略,并通过双重 classifier free guidance 平衡混合条件,自动与人类研究验证了其有效性。
2024-07-30 cs.SD eess.AS
Drive-to-Music: Context-Aware Generative Audio for In-Vehicle Experiences
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰北美研发中心)
本研究提出Drive-to-Music系统,利用行车记录仪图像与车辆遥测数据,结合感知与生成组件实现低延迟实时上下文感知车载音乐生成,为个性化自适应车载音频体验奠定基础。
2026-08-14 cs.LG cs.SD
Music2Video: Automatic Generation of Music Video with fusion of audio and text
KAIST(韩国科学技术院)
随着在大型语料库上预训练的多模态表示模型的出现,使用生成对抗网络创建图像已被广泛应用于多模态机制。可以利用共享公共表示空间的各种模态来引导生成模型从文本甚至从音频源创建图像。不同于以往的方法,只依赖于文本或音频,我们利用这两种形式的表现力。基于文本和音频的融合,我们创建了视频,其内容与所提供的不同形式一致。一个简单的方法,自动分割成可变长度的视频间隔,并保持时间的一致性生成的视频是我们的方法的一部分。我们提出的框架生成音乐视频显示出可喜的成果,在应用程序级别,用户可以交互式地在音乐源和文本源,以创建艺术音乐视频。我们的代码可在https://github.com/joeljang/music2video上获得。
2022-06-09 cs.GR cs.MM cs.SD
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université(巴黎声学/音乐研究与协调研究所 - 索邦大学);Google Research(谷歌研究院)
我们提出了SingSong,一个系统,生成器乐伴奏输入人声,可能提供音乐家和非音乐家一样,一个直观的新方法来创建音乐特色自己的声音。为了实现这一点,我们建立在音乐声源分离和音频生成的最新发展。具体来说,我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频,以产生对齐的对人声和乐器的来源。然后,我们调整AudioLM(Borsos等人,2022)--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务,并在源分离的(声乐、乐器)对上对其进行训练。在成对比较相同的声乐输入,听众表示出显着的偏好相比,从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Randomly weighted CNNs for (music) audio classification
计算机视觉文献表明,随机加权的神经网络作为特征提取器表现合理。遵循这个想法,我们研究了未经训练的(随机加权的)卷积神经网络如何作为(音乐)音频分类任务的特征提取器。我们使用从深度架构的嵌入中提取的特征作为分类器的输入-目标是在使用不同的随机加权架构时比较分类精度。通过遵循这种方法,我们对当前用于音频分类的深度架构进行了全面评估,并提供了证据,证明这些架构本身是使用深度神经网络解决(音乐)音频问题的重要组成部分。
2019-02-14 cs.SD eess.AS