A Lightweight Music Texture Transfer System
Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算高精尖创新中心);Beihang University(北京航空航天大学)
针对图像和文本转换问题的深度学习研究引起了人们的极大关注。然而,目前使用神经网络进行音乐特征传递的方法离实际应用还很远。在本文中,我们提出了一种新的系统,用于传输音乐的纹理,并将其作为一个开源项目发布。其核心算法由一个将声音表示为纹理谱的转换器、一个相应的重构器和一个前馈传输网络组成。我们从多个角度对该系统进行了评估,实验结果表明,它在声音效果和计算性能方面都取得了令人信服的结果。
2021-08-04 cs.LG cs.MM cs.SD
Melody Structure Transfer Network: Generating Music with Separable Self-Attention
Shanghai Jiao Tong University(上海交通大学)
符号音乐生成越来越受到人们的关注,而大多数方法都集中在生成短片段(大多数小于8小节,最多32小节)。创作长乐曲需要连贯的音乐结构的有效表达。尽管他们在长序列上取得了成功,但自我注意架构在处理长时间音乐方面仍然存在挑战,因为它需要对微妙的音乐结构进行额外的关注。在本文中,我们提出了新的音乐生成的训练样本的结构转移,并开发了一种新的可分离的自注意模型,使学习和转移的结构嵌入。我们表明,我们的传输模型可以生成音乐序列(高达100条)与可解释的结构,它具有类似的结构和组成技术与模板音乐从训练集。大量的实验表明,该方法能够生成目标结构清晰、多样性好的音乐。生成的3,000套音乐作为补充材料上传。
2021-07-21 cs.MM cs.SD eess.AS
Transfer Learning for Underrepresented Music Generation
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
本文提出组合创造力迁移学习方法,将大型音乐生成模型 MusicVAE 高效适配伊朗民间音乐这一 OOD 流派,为生成代表性不足音乐提供可行路径。
2023-06-01 cs.LG cs.SD eess.AS
Can Machines Generate Personalized Music? A Hybrid Favorite-aware Method for User Preference Music Transfer
用户偏好音乐迁移(UPMT)是音乐风格迁移中的一个新问题,可以应用于许多场景,但仍然缺乏研究。
2022-01-21 cs.AI cs.SD eess.AS
MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE
Taiwan AI Labs(台湾人工智能实验室);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
Transformers和变分自编码器(VAE)已被广泛用于符号(例如,域音乐生成。虽然前者在建模长序列方面拥有令人印象深刻的能力,但后者允许用户自愿地对不同部分进行控制(例如,小节)的音乐。在本文中,我们有兴趣将两者结合起来,构建一个单一的模型,表现出这两个优势。任务分为两个步骤。首先,我们为Transformer解码器配备了在序列生成期间接受段级时变条件的能力。随后,我们将开发和测试的注意力解码器与Transformer编码器相结合,并使用VAE目标训练产生的MuseMorphose模型,以实现长流行钢琴作品的风格转移,其中用户可以指定音乐属性,包括节奏强度和复调(即,他们所渴望的,是一种境界,一种境界,一种境界。实验表明,MuseMorphose在风格转换任务的许多广泛使用的指标上优于基于递归神经网络(RNN)的基线。
2022-12-19 cs.LG cs.MM cs.SD
Music2Fail: Transfer Music to Failed Recorder Style
National Taiwan University(台湾大学)
本文提出“失败音乐风格迁移”场景,将正常演奏音乐转换为走调竖笛音乐(失败风格竖笛),构建FR109 Dataset,在保持内容不变的同时实现走调风格迁移,拓展了音乐风格迁移的表现力。
2024-11-27 cs.SD eess.AS
Symbolic Music Genre Transfer with CycleGAN
ETH Zürich(苏黎世联邦理工学院)
深度生成模型,如变分自编码器(VAE)和生成对抗网络(GANs),最近已被应用于图像的风格和域转移,在VAE的情况下,音乐。基于GAN的模型采用多个生成器和某种形式的周期一致性损失,是图像域传输中最成功的模型之一。在本文中,我们应用这样一个模型,象征性的音乐,并显示我们的方法的可行性,音乐体裁转移。使用单独的体裁分类器的评估表明,风格转移效果良好。为了提高转换后的音乐的保真度,我们添加了额外的鉴别器,使生成器保持原始音乐的结构基本不变,同时仍然实现了强大的流派转移。视觉和听觉结果进一步显示了我们方法的潜力。据我们所知,本文代表了GANs在符号音乐域转移中的首次应用。
2018-09-20 cs.LG cs.SD eess.AS
Actions Speak Louder than Listening: Evaluating Music Style Transfer based on Editing Experience
Academia Sinica(中央研究院);KKBOX, Inc.(KKBOX公司)
对音乐生成技术的主观评价主要是基于听觉测试的,而忽略了从音乐创作、编曲和配乐编辑的角度。在本文中,我们提出了一个编辑测试,以评估用户的编辑体验的音乐生成模型在一个系统的方式。为此,我们设计了一个新的音乐风格迁移模型结合非时序推理架构,自回归模型和Transformer,这是一个改进的基线模型相同的风格迁移任务。然后,我们将这两个模型的性能与传统的听力测试和建议的编辑测试进行比较,在编辑测试中,生成的样本的质量通过努力量(例如,所需的键盘和鼠标动作的数量)。对两种目标样式的测试结果表明,编辑测试可以定量地反映相对于基线模型的改进。此外,编辑测试提供了深刻的见解,这是无法从通常的听力测试。本文的主要贡献是系统地介绍了编辑测试和相应的见解,而提出的音乐风格转移模型的基础上,国家的最先进的神经网络代表另一个贡献。
2021-10-25 cs.HC cs.LG cs.MM
MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
ETH Zurich(苏黎世联邦理工学院)
我们介绍MIDI-VAE,一个基于变分自编码器的神经网络模型,它能够处理具有多个乐器音轨的复调音乐,以及通过结合音符持续时间和速度来建模音乐的动态。我们表明,MIDI-VAE可以通过自动改变音乐作品的音高,动态和乐器来对符号音乐进行风格转移,例如,从古典音乐到爵士音乐我们通过训练单独的风格验证分类器来评估风格转移的有效性。我们的模型还可以在短的音乐片段之间插入,产生混合泳和创建整首歌曲的混合。插值平滑地改变音高、力度和乐器,在两首音乐作品之间建立和谐的桥梁。据我们所知,这项工作是第一次成功地尝试将神经风格转移到完整的音乐作品。
2018-09-20 cs.LG cs.SD eess.AS
Music Style Transfer: A Position Paper
Peking University(北京大学);New York University Shanghai(上海纽约大学)
在视觉艺术神经风格迁移成功的带动下,近年来音乐风格迁移的研究有上升的趋势。然而,从科学的角度来看,“音乐风格”还不是一个定义明确的概念。难点在于音乐表征的多层次性和多模态性(这与图像表征有很大的不同)。因此,目前在“音乐风格迁移”范畴下的研究,实际上是在解决属于计算机音乐各个子领域的完全不同的问题,这取决于他们对“音乐风格”的解释。此外,一个香草端到端的方法,其目的是处理所有级别的音乐表示一次直接采用图像风格转移的方法,导致效果不佳。因此,我们提出了一个更科学可行的音乐风格转移的定义,打破了它的音色风格转移,表演风格转移和作曲风格转移的精确概念,以及连接不同方面的音乐风格转移与现有的成熟的计算机音乐研究的子领域。此外,我们讨论了音乐风格建模的当前局限性及其未来的发展方向,从一些深生成模型,特别是那些使用无监督学习和解开技术的精神。
2018-07-19 cs.SD eess.AS
Tune It Up: Music Genre Transfer and Prediction
University of Hacettepe(哈杰泰佩大学)
本研究改进CycleGAN模型实现爵士乐与古典乐的风格迁移,并训练分类器评估,最佳准确率分别为69.4%和39.3%,同时保留旋律。
2025-03-27 cs.LG cs.SD eess.AS
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony(索尼)
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统,以自监督方式从湿多轨数据中解耦音频效果信息,并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
Abusive music and song transformation using GenAI and LLMs
Transitional Artificial Intelligence Research Group, School of Mathematics and Statistics, UNSW Sydney, Australia(过渡人工智能研究组,数学与统计学学院);Centre for Artificial Intelligence and Innovation, Pingla Institute, Sydney, Australia(人工智能与创新中心,Pingla研究所)
本研究利用生成式人工智能和大语言模型转换音乐中的虐待性内容,降低攻击性并保持音乐连贯性,提供更安全的听觉体验。
2026-01-21 cs.AI cs.CL cs.SD
Parameter-Efficient Transfer Learning for Music Foundation Models
University of Würzburg(维尔茨堡大学);Georgia Institute of Technology(佐治亚理工学院)
针对音乐基础模型适配下游任务时探测性能次优、微调计算成本高且易过拟合的问题,提出三种参数高效迁移学习(PETL)方法,在音乐自动标记任务中表现更优,在调检测和tempo估计任务中以更低成本取得与微调相似结果。
2024-11-28 cs.LG cs.SD eess.AS
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对自动音乐转录模型训练计算成本高的问题,提出用软件合成器生成的合成音频训练通用模型,为迁移学习适配多乐器打基础,验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Upmixing via style transfer: a variational autoencoder for disentangling spatial images and musical content
Amazon(亚马逊)
在音乐的立体声到多声道上混问题中,主要任务之一是在多声道渲染结果中设置乐器源的方向性。在本文中,我们提出了一种改进的变分自动编码器模型,学习一个潜在的空间来描述多通道音乐中的空间图像。我们试图解开空间图像和音乐内容,因此学习的潜变量对音乐是不变的。在测试时,我们使用潜变量来控制源的平移。我们提出了两个上混用例:将空间图像从一首歌曲转移到另一首歌曲和基于生成模型的盲平移。我们报告的客观和主观的评价结果,经验表明,我们的模型捕捉空间图像分别从音乐内容,并实现基于传输的交互式平移。
2022-03-22 cs.SD eess.AS
Transfer Learning with Jukebox for Music Source Separation
Bielefeld University(比勒费尔德大学)
在这项工作中,我们演示了如何公开可用的,预训练的Juventure模型可以适应从一个单一的混合音频通道的音频源分离的问题。我们的神经网络架构使用迁移学习,可以快速进行训练,结果表明其性能与其他需要更多计算资源、训练数据和时间的最先进方法相当。我们提供了我们架构的开源代码实现(https://github.com/wzaielamri/unmix)
2022-09-21 cs.LG cs.SD eess.AS
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
Inria/ENS(法国国家信息与自动化研究所/巴黎高等师范学院)
神经风格转移允许将一个图像的艺术风格应用于另一个图像,在其引入后不久就成为最广泛展示的计算机视觉应用之一。相比之下,音乐音频领域的相关任务直到最近才在很大程度上得到解决。虽然已经提出了几种针对音乐信号的风格转换方法,但大多数都缺乏经典图像风格转换算法的“一次性”能力。另一方面,现有的单次音频风格转移方法对音乐输入的结果并不那么令人信服。在这项工作中,我们特别感兴趣的问题,一次性音色转移。我们提出了一种新的方法,这项任务的基础上扩展的矢量量化变分自编码器(VQ-VAE),以及一个简单的自监督学习策略,旨在获得解开表示的音色和音高。我们使用一组客观的指标来评估该方法,并表明它能够优于选定的基线。
2021-06-10 cs.LG cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University(西北大学);Descript, Inc(Descript公司)
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统,如摇滚和流行音乐,但许多音乐领域没有,如古典音乐,合唱音乐和非西方音乐传统。众所周知,从相关领域转移学习可以提高深度学习系统的性能,但如何最好地进行预训练并不总是很清楚。在这项工作中,我们研究了预训练期间数据增强的有效性,预训练和下游数据集具有相似内容域对性能的影响,并探讨了一旦预训练,模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
Transfer learning for music classification and regression tasks
在本文中,我们提出了一个迁移学习方法的音乐分类和回归任务。我们建议使用预先训练的convnet特征,这是一个级联的特征向量,它使用训练的卷积网络中多层特征图的激活。我们展示了如何这个convnet功能可以作为通用的音乐表示。在实验中,一个convnet训练音乐标记,然后转移到其他音乐相关的分类和回归任务。convnet功能在所有考虑的任务和聚合MFCC以及低级和高级音乐功能的几种以前的方法中优于基线MFCC功能。
2017-09-13 cs.AI cs.CV cs.MM
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia(微软亚洲研究院)
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器,在帧级标记有人声或非人声标签的大数据集是必不可少的。然而,帧级标记是耗时和劳动力昂贵的,导致很少有良好的标记数据集可用于歌唱语音检测(S-VD)。因此,我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中,干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起,以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同,用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配,使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集,即,演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据,所提出的迁移学习数据增强方法可以提高S-VD的性能,F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
Deconstruct and Reconstruct Dizi Music of the Northern School and the Southern School
Beijing University of Posts and Telecommunications(北京邮电大学)
当今对中国音乐技术的研究主要集中在三个方面:数据汇集、音乐解构、音乐重构。本文提出了一种以简谱形式采集中国音乐的通用方法,并利用该方法采集了一个笛子数据集。以收集到的笛子数据为基础,对北派和南派笛子音乐风格进行了研究。对两种不同音乐风格的旋律和演奏技法特征进行了解构。最后给出了一个音乐风格转换的重构实例,包括旋律转换和演奏技巧转换,并对重构结果进行了观众评价。
2020-12-02 cs.SD eess.AS
Music Style Transfer with Time-Varying Inversion of Diffusion Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Kuaishou Technology(快手科技)
本文提出基于扩散模型时变文本反演的音乐风格迁移方法,以极少数据捕捉梅尔频谱特征,并通过偏置减少风格化技术实现稳定迁移,可迁移乐器风格并融入自然声音创作旋律。
2024-02-21 cs.SD eess.AS
Enhancing Music Features by Knowledge Transfer from User-item Log Data
Seoul National University(首尔国立大学)
在本文中,我们提出了一种新的方法,利用音乐收听日志数据的通用音乐特征提取。尽管用户-项目交互的日志数据中有丰富的信息,但它主要用于协同过滤以查找类似的项目或用户,而对于基于内容的音乐应用程序则没有进行充分的研究。我们通过将域内知识蒸馏扩展到跨域来解决这个问题:即,通过将从用户项域获得的知识转移到音乐内容域。该系统首先训练从音频内容中估计日志信息的模型,然后使用该模型来改进其他特定于任务的模型。在不同的音乐分类和回归任务上的实验表明,该方法成功地提高了特定于任务的模型的性能。
2019-03-07 cs.SD eess.AS
Play as You Like: Timbre-enhanced Multi-modal Music Style Transfer
National Tsing-Hua University(国立清华大学);Academia Sinica(中央研究院)
复调音乐作品的风格转换是一个具有挑战性的任务,需要考虑到不同的风格,富有想象力的,合理的音乐作品的造型不同于他们的原始之一。为了实现这一点,学习域变量(即,风格)和域不变(即,内容)信息是至关重要的。在本文中,我们提出了一个无监督的音乐风格转移方法,而不需要并行数据。此外,为了表征音乐作品的多模态分布,我们在所提出的系统中采用了多模态无监督图像到图像翻译(MUNIT)框架。这允许从表示内容和风格的学习的潜在分布生成不同的输出。此外,为了更好地捕捉声音的粒度,例如音色的感知维度和乐器特定性能中的细微差别,包括梅尔频率倒谱系数(MFCC)、频谱差和频谱包络的认知上合理的特征与广泛使用的梅尔频谱图组合成木材增强的多声道输入表示。相对论平均生成对抗网络(RaGAN)也被用来实现快速收敛和高稳定性。我们进行了实验的双边风格迁移任务之间的三个不同的体裁,即钢琴独奏,吉他独奏,弦乐四重奏。结果表明,所提出的方法在音乐风格转换、改善音质以及允许用户操纵输出方面具有优势。
2018-11-28 cs.SD eess.AS
Musical Composition Style Transfer via Disentangled Timbre Representations
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);KKBOX Inc.(KKBOX公司)
音乐创作不仅包括创作不同的部分(例如,旋律,和弦)的音乐作品,但也安排/选择乐器发挥不同的部分。虽然前者越来越受到关注,但后者却没有得到太多的研究。据我们所知,本文提出了第一个用于重新排列任意流派音乐的深度学习模型。具体来说,我们构建编码器和解码器,将一段复调音乐音频作为输入,并预测其乐谱作为输出。我们调查解纠缠技术,如对抗性训练,以分离与作品不同部分的音乐内容(音高)相关的潜在因素,以及与每个短时间段的部分的乐器(音色)相关的潜在因素。通过解开音高和音色,我们的模特们对每首曲子的组成和编排都有了一个概念。此外,该模型可以实现“作曲风格转移”,通过重新安排一个音乐作品,而不会影响其音高内容。我们通过乐器活动检测和作曲风格迁移的实验验证了模型的有效性。为了便于后续研究,我们在https://github.com/biboamy/instrument-disentangle上开源了我们的代码。
2019-05-30 cs.SD eess.AS
Towards Explaining Expressive Qualities in Piano Recordings: Transfer of Explanatory Features via Acoustic Domain Adaptation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
音乐中的情感和表现力一直是音乐信息检索领域的研究热点。近年来,中级感知特征被认为是解释音乐情感的计算预测的手段。我们发现,用于学习这些特征的可用数据集中音乐风格和流派的多样性不足以使模型很好地推广到专业的声学领域,如钢琴独奏音乐。在这项工作中,我们表明,通过利用无监督的领域自适应与感受场正则化的深度神经网络,有可能显着提高推广到这个领域。此外,我们证明了我们的域适应模型可以更好地预测和解释古典钢琴演奏中的表达质量,正如人类听众所感知和描述的那样。
2021-02-26 cs.LG cs.SD eess.AS
Multimodal Sentiment Analysis with Missing Modality: A Knowledge-Transfer Approach
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机与数据科学学院);Singapore University of Social Sciences, Singapore(新加坡社会科学研究大学)
本文提出知识迁移网络以重建缺失音频特征,并开发跨模态注意力机制以提升情感预测,实验表明在三个公开数据集上优于基线方法。
2026-04-19 cs.AI cs.CL cs.LG
Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms
Seoul National University(首尔国立大学);Michigan State University(密歇根州立大学);Rutgers University(罗格斯大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出Stylus框架,利用预训练图像扩散模型实现无训练的音乐风格迁移,通过引入风格键值和相位保持重建策略提升音质,实验表明其在内容保留和感知质量上优于现有方法。
2026-05-13 cs.AI cs.LG cs.SD
Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration
School of Future Technology, South China University of Technology, Guangzhou, China.(未来技术学院,华南理工大学,广州,中国)
本文提出Polyphonia框架,通过声学感知注意力校准实现多声部音乐中精确的零样本音色迁移,提升目标音色对齐精度的同时保持音乐保真度和非目标音色完整性。
2026-05-11 cs.SD eess.AS
Modulated Variational auto-Encoders for many-to-many musical timbre transfer
Institut de Recherche et Coordination Acoustique-Musique (IRCAM)(声学与音乐研究协调研究所(IRCAM));CNRS(法国国家科学研究中心);UPMC - Sorbonne Universite(索邦大学(原皮埃尔和玛丽·居里大学));Laboratorio d’Informatica Musicale - Universita degli Studi di Milano(米兰大学音乐信息学实验室)
生成模型已经成功地应用于图像风格转换和领域翻译。然而,在音乐音频上学习这些任务时,结果的质量仍然存在很大的差距。此外,大多数翻译模型仅通过依赖于单独的编码器或解码器以及复杂的、计算量大的模型来实现一对一或一对多的传输。在本文中,我们介绍了调制变分自动编码器(MoVE)执行音乐音色转移。我们将音色转移定义为将乐器的部分听觉特性应用到另一种乐器上。首先,我们表明,我们可以实现这一任务,通过调节现有的域转换技术与智能线性调制(FILM)。然后,我们通过用最大平均离散度(MMD)目标取代通常的转换标准来减轻对额外对抗网络的需求。这允许更快和更稳定的训练以及可控的潜在空间编码器。通过在几种不同的仪器上进一步调节我们的系统,我们可以推广到能够执行多域传输的单个变分架构内的多对多传输。我们的模型将输入映射到三维表示,成功地将音色从一种乐器转换到另一种乐器,并从一组减少的控制参数中支持声音合成。我们评估我们的方法在重建和生成任务,同时分析跨传输域的听觉描述符分布。我们表明,这种架构允许生成控制多域传输,但仍然轻,快速训练和有效的小数据集。
2018-09-29 cs.SD eess.AS
A Hands-on Comparison of DNNs for Dialog Separation Using Transfer Learning from Music Source Separation
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文描述了在用于将广播音频中的语音内容与非语音内容分离的任务特定微调之前和之后使用最先进的音乐源分离深度神经网络(DNN)的实际比较(即,对话分隔)。选择音乐分离模型,因为它们与所考虑的广播内容共享通道的数量(2)和采样率(44.1kHz或更高),并且音乐中的人声分离被认为是目标应用领域中的对话分离的并行。这些相似性被认为是为了实现任务之间的迁移学习。在实验中考虑了三个在音乐上预先训练的模型(Open-Unmix,Spleeter和Conv-TasNet),并使用真实的广播数据进行了微调。在使用计算评估度量(SI-SIRi、SI-SDRi、2f-模型)进行微调之前和之后,以及使用模拟非语音信号被部分衰减的应用的收听测试来评估模型的性能,以获得更好的语音清晰度。评估包括两个专门为对话分离开发的参考系统。结果表明,预先训练的音乐源分离模型可以在一定程度上用于对话分离,并且它们受益于微调,达到接近特定任务解决方案的性能。
2021-06-22 cs.SD eess.AS
Analyzing and reducing the synthetic-to-real transfer gap in Music Information Retrieval: the task of automatic drum transcription
Umeå university(于默奥大学);Universidad EAFIT(EAFIT大学)
本文研究自动鼓点转录中合成到真实的迁移差距问题,提出并评估了三种提高合成数据真实性的策略,构建了新数据集并验证其能有效降低迁移差距,同时揭示了无限数据训练的局限性及克服方法。
2024-07-29 cs.IR cs.LG cs.SD
Music Style Transfer With Diffusion Model
Hunan University of Technology(湖南工业大学);CRRC Zhuzhou Institute(中车株洲研究所)
本研究提出一种基于扩散模型(DM)的音乐风格迁移框架,利用基于频谱图的方法实现多对多风格转换,并通过 GuideDiff 恢复高保真音频,有效降低了计算成本与噪声,在消费级 GPU 上实现实时高质量音频生成。
2024-04-23 cs.AI cs.SD
From West to East: Who can understand the music of the others better?
National Technical University of Athens(雅典国立技术大学);School of ECE, National Technical University of Athens(雅典国立技术大学电子与计算机工程学院);Queen Mary University of London(伦敦大学玛丽皇后学院);Centre for Digital Music, Queen Mary University of London(伦敦大学玛丽皇后学院数字音乐中心)
针对现有MIR基准模型多基于西方音乐训练的局限,本研究通过迁移学习在西方、东地中海传统、印度艺术音乐三类数据集上跨域训练音频嵌入模型,验证了迁移学习的有效性并公开了代码与模型。
2023-07-19 cs.CV cs.LG cs.SD
AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer
NYU Shanghai(纽约大学上海校区)
伴奏编曲是一项困难的音乐生成任务,涉及旋律、和声、织体和音乐结构的交织约束。现有的模型还不能有效地捕捉所有这些限制,特别是对于长期的音乐生成。为了解决这个问题,我们提出了AccoMontage,一个通过统一的乐句选择和神经风格转移的整首音乐的伴奏安排系统。我们专注于基于一个铅表(即,旋律与和弦进行)。具体来说,AccoMontage首先从数据库中检索短语蒙太奇,同时使用动态规划在结构上重新组合它们。其次,检索到的短语的和弦被操纵,以匹配铅表通过风格转移。最后,系统提供对生成过程的控制。与纯粹的基于学习的方法相比,AccoMontage引入了一种新的混合途径,其中基于规则的优化和深度学习都可以相互补充,以实现高质量的生成。实验表明,我们的模型生成结构良好的伴奏与细腻的纹理,显着优于基线。
2021-08-25 cs.IR cs.MM cs.SD
MuseTimbre: Zero-Shot Timbre Transfer by Controlling a Frozen Music Generator
Georgia Institute of Technology(佐治亚理工学院);University of Rochester(罗切斯特大学)
MuseTimbre是首个通过调节预训练音乐生成器,从音频参考向复音声源迁移音色的零样本系统,利用多音高估计和微调CLAP编码器,在四个数据集上实现与基线相当的音高对齐和更紧密的音色匹配。
2026-09-28 cs.SD eess.AS
Dance Generation with Style Embedding: Learning and Transferring Latent Representations of Dance Styles
Fudan University(复旦大学);Bilibili(哔哩哔哩)
舞蹈编排是指根据人的潜意识知识创造舞蹈的舞步和动作,创造出的舞蹈动作一般具有风格特异性和连贯性。到目前为止,这种潜在的风格特定的知识,舞蹈风格不能明确地表示在人类语言中,还没有在以前的作品中学习的音乐到舞蹈生成任务。在本文中,我们提出了一个新的音乐舞蹈合成框架与可控的风格嵌入。这些嵌入是学习表示风格一致的运动学抽象的参考舞蹈剪辑,作为可控因素施加风格约束的舞蹈生成的潜在方式。因此,仅通过修改风格嵌入就可以将舞蹈风格转换为舞蹈动作。为了支持这项研究,我们建立了一个大型的音乐舞蹈数据集。定性和定量的评价表明,我们提出的框架的优势,以及通过风格嵌入从相同的音乐合成不同风格的舞蹈的能力。
2021-04-30 cs.GR cs.MM cs.SD
Device-Guided Music Transfer
Singapore Management University(新加坡管理大学);University of Melbourne(墨尔本大学)
DeMT通过提取扬声器频率响应曲线生成设备嵌入,实现跨设备的音乐风格迁移与鲁棒适应。
2025-11-21 cs.AI cs.SD
Vis2Mus: Exploring Multimodal Representation Mapping for Controllable Music Generation
NYU Shanghai(上海纽约大学);Queen Mary University of London(伦敦玛丽女王大学);Tencent Inc.(腾讯公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究探讨视觉艺术领域到音乐领域的表征映射,并以此作为控制音乐生成的有效抓手。与大多数纯数据驱动的多模态表示学习研究不同,我们采用了一种综合分析的方法,将深度音乐表示学习与用户研究相结合。这种方法使我们能够发现\textit{interpretable}表示映射,而无需大量的配对数据。特别地,我们发现视觉到音乐映射具有类似于等变的良好性质。换句话说,我们可以使用各种图像变换,比如改变亮度,改变对比度,风格转移,来控制音乐域中的相应变换。此外,我们还发布了Vis2Mus系统,作为符号音乐生成的可控接口。
2022-11-10 cs.LG cs.SD eess.AS
WaveTransfer: A Flexible End-to-end Multi-instrument Timbre Transfer with Diffusion
IP Paris(巴黎理工学院)
本文提出WaveTransfer,一种基于双边去噪扩散模型(BDDM)的端到端音色转换模型,能在单一模型中实现多乐器对之间的音色转换,并支持44.1 kHz等高采样率训练。
2024-09-06 cs.SD eess.AS
ImprovNet -- Generating Controllable Musical Improvisations with Iterative Corruption Refinement
Electronic Engineering and Computer Science Department, Queen Mary University of London, UK(伦敦大学女王学院电子工程与计算机科学系);Information Systems, Technology, and Design, Singapore University of Technology and Design, Singapore(新加坡科技设计大学信息系统、科技与设计系)
针对音乐风格迁移数据集有限、缺乏统一多任务模型的问题,提出基于Transformer的ImprovNet,通过自监督损坏-精修策略实现可控的多类型音乐即兴生成,效果优于现有模型且流派转换辨识度高。
2025-05-16 cs.AI cs.SD eess.AS
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research(Neutune研究中心);KAIST(韩国科学技术院)
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题,通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后,在师生框架下,通过自我训练进一步提高标签质量。为了验证该方法,我们进行了各种实验设置,通过调查两个音高估计模型作为伪标签生成器,两个设置的师生框架,以及自我训练的迭代次数。实验结果表明,该方法能有效利用大规模未标记音频数据,并通过带噪学生模型进行自训练,提高了性能。最后,我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能,并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
Combining audio control and style transfer using latent diffusion
Ircam(IRCAM声学音乐研究中心);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出一种基于潜空间扩散的音频生成模型,通过分离局部结构信息与全局音色信息,在单一框架中统一显式控制与风格迁移,并在音色迁移和MIDI到音频任务上优于现有基线。
2024-07-31 cs.LG cs.SD eess.AS
MelodyT5: A Unified Score-to-Score Transformer for Symbolic Music Processing
Central Conservatory of Music(中央音乐学院);Tsinghua University(清华大学)
本文提出统一框架MelodyT5,将七项旋律任务建模为乐谱到乐谱转换,并在包含超26.1万条旋律的MelodyHub数据集上通过多任务迁移学习实现卓越性能,尤其提升了数据稀缺任务的效果。
2024-07-03 cs.SD eess.AS
ITO-Master: Inference-Time Optimization for Audio Effects Modeling of Music Mastering Processors
本文提出ITO-Master框架,通过在推理时优化参考嵌入实现用户可控的音乐母带风格迁移,实验证明其能提升风格相似性与适应性。
2025-07-03 cs.SD eess.AS
ChoreoMuse: Robust Music-to-Dance Video Generation with Style Transfer and Beat-Adherent Motion
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
本文提出基于扩散的 ChoreoMuse 框架,以 SMPL 参数为中介并结合 MotionTune 编码器,实现跨音乐风格与舞者特征、贴合节拍且风格可控的高保真舞蹈视频生成。
2025-07-26 cs.AI cs.CV cs.GR
Language Models are Drummers: Drum Composition with Natural Language Pre-Training
University of Pennsylvania(宾夕法尼亚大学)
使用人工智能自动音乐生成通常需要大量数据,对于许多不太常见的流派和乐器来说,这是很难获得的。为了解决这个问题,我们提出了正在进行的工作和初步发现,即通过微调在仅数百个MIDI文件的海量文本语料库上预训练的大语言模型,深度模型将知识从语言转移到音乐的可能性。鼓表演。我们证明,通过这样做,最大的,最先进的模型之一(GPT3)能够生成合理的鼓槽,而没有预先训练的模型(Transformer)除了天真的重复之外没有显示出这种能力。评估生成的音乐是一项具有挑战性的任务,更是评估鼓槽在文献中很少有先例。因此,我们提出了一种量身定制的结构评估方法,并分析了GPT3产生的鼓槽与人类专业人士演奏的鼓槽相比,揭示了语言到音乐转换的优势和劣势。我们的研究结果表明,语言到音乐迁移学习与大语言模型是可行的,有前途的。
2023-01-03 cs.CL cs.SD eess.AS
Transfer Learning for Rhythm Game Chart Generation from Music Transcription and Across Games
Sogang University(西江大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对节奏游戏谱面生成问题,采用冻结预训练AMT音频编码器并训练线性投影与Transformer解码器的迁移学习方法,在MuScriptor数据集上提升了osu!少样本模式的事件F1值,验证了跨游戏迁移受谱面风格与音乐类型影响。
2026-10-14 cs.SD