Let the Model Learn to Feel: Mode-Guided Tonality Injection for Symbolic Music Emotion Recognition
本文提出模式引导的音调注入方法,通过引入心理模式见解提升符号音乐情感识别的准确率。
2025-12-15 cs.AI cs.MM cs.SD
Can Machines Generate Personalized Music? A Hybrid Favorite-aware Method for User Preference Music Transfer
用户偏好音乐迁移(UPMT)是音乐风格迁移中的一个新问题,可以应用于许多场景,但仍然缺乏研究。
2022-01-21 cs.AI cs.SD eess.AS
InstructME: An Instruction Guided Music Edit And Remix Framework with Latent Diffusion Models
ByteDance(字节跳动)
针对现有方法直接用于音乐编辑易破坏音乐和谐连贯的问题,提出基于潜在扩散模型的指令引导框架InstructME,通过多尺度聚合、和弦条件及分块Transformer提升效果,在多项任务上优于现有系统。
2023-12-12 cs.AI cs.SD eess.AS
Melody-Guided Music Generation
School of Business, Guangxi University(广西大学商学院);School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics(西南财经大学计算机与人工智能学院);School of Business Administration, Southwestern University of Finance and Economics(西南财经大学工商管理学院)
本文提出旋律引导的音乐生成模型MG2,通过对比语言-音乐预训练和检索增强扩散,在极少参数和训练数据下超越现有开源文本到音乐生成模型。
2024-12-30 cs.AI cs.SD eess.AS
JEN-1: Text-Guided Universal Music Generation with Omnidirectional Diffusion Models
Futureverse AI Research(未来视AI研究)
本文提出JEN-1,一个结合自回归与非自回归训练的扩散模型,通过上下文学习实现文本引导音乐生成、修复与续写,在文本-音乐对齐和音乐质量上优于现有方法并保持计算效率。
2025-05-07 cs.AI cs.LG cs.MM
Music Style Transfer With Diffusion Model
Hunan University of Technology(湖南工业大学);CRRC Zhuzhou Institute(中车株洲研究所)
本研究提出一种基于扩散模型(DM)的音乐风格迁移框架,利用基于频谱图的方法实现多对多风格转换,并通过 GuideDiff 恢复高保真音频,有效降低了计算成本与噪声,在消费级 GPU 上实现实时高质量音频生成。
2024-04-23 cs.AI cs.SD
Controllable Embedding Transformation for Mood-Guided Music Retrieval
SiriusXM-Pandora, USA(SiriusXM-Pandora,美国);New York University, New York, USA(纽约大学,纽约,美国)
本文提出一种可控音乐嵌入变换框架,通过情绪标签引导种子音频嵌入到目标嵌入,保留其他音乐属性,实验表明在保持流派和乐器方面优于无训练基线。
2026-10-05 cs.SD
SteerMusic: Enhanced Musical Consistency for Zero-shot Text-guided and Personalized Music Editing
Sony AI(索尼人工智能)
SteerMusic通过delta去噪分数和概念令牌实现零射文本引导和个性化音乐编辑,提升音乐一致性与编辑保真度。
2025-12-06 cs.MM cs.SD eess.AS
Instrument Separation of Symbolic Music by Explicitly Guided Diffusion Model
LG AI Research(LG人工智能研究院);University of Ulsan(蔚山大学)
与计算机视觉中的彩色化类似,乐器分离是分配乐器标签(例如钢琴,吉他.)到来自仅包含性能信息的未标记混合物的音符。为了解决这个问题,我们采用扩散模型,并明确指导他们保持混合和音乐之间的一致性。定量结果表明,我们提出的模型可以产生高保真的多轨符号音乐的创造性样本。
2022-09-05 cs.MM cs.SD eess.AS
Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion
California Institute of Technology(加州理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);NVIDIA(英伟达公司);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究所)
针对符号音乐生成中非可微规则引导的挑战,提出仅需前向评估的免训练引导方法SCG及高时间分辨率潜在扩散架构,显著提升了音乐质量与规则可控性。
2024-09-25 cs.LG cs.SD eess.AS
Emotion-Guided Music Accompaniment Generation Based on Variational Autoencoder
China University of Geosciences(Wuhan)(中国地质大学(武汉))
本文提出基于Valence/Arousal曲线与变分自编码器的情感引导伴奏生成方法,并结合相对自注意力与乐理规则提升伴奏的结构性与丰富性。
2023-07-08 cs.MM cs.SD eess.AS
Temporally Guided Music-to-Body-Movement Generation
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
本文提出了一个神经网络模型,从音乐音频中生成虚拟小提琴手的三维骨骼动作。改进传统的递归神经网络模型产生的2-D骨架数据在以前的作品中,该模型结合了编码器-解码器架构,以及自我注意力机制来模拟身体运动序列中的复杂动力学。为了便于自注意模型的优化,节拍跟踪被用来确定有效的训练样本的大小和边界。解码器配有一个精炼网络和一个鞠躬攻击推理机制,以强调右手行为和鞠躬攻击时机。客观和主观评价表明,该模型优于国家的最先进的方法。据我们所知,这项工作代表了第一次尝试生成3-D小提琴家的身体动作,考虑到音乐身体动作的关键特征。
2020-09-17 cs.AI cs.MM cs.SD
Emotion-Guided Image to Music Generation
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Samsung R&D Institute Noida(三星诺伊达研发中心);Chubu University(中部大学)
针对图像到音乐生成的情感匹配需求,提出基于VA情感空间、整合VA损失函数的CNN-Transformer框架,在自建情感配对数据集上多项指标优于现有模型。
2024-10-29 cs.CV cs.LG cs.SD
Attention-guided Spectrogram Sequence Modeling with CNNs for Music Genre Classification
IIT Hyderabad(印度理工学院海得拉巴分校)
本文提出利用CNN与多头注意力对频谱图序列建模,捕捉音乐中时序关键片段形成流派签名,以提升音乐流派分类准确率并支撑个性化推荐。
2024-11-18 cs.CV cs.LG cs.SD
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题,本文通过探测AudioLDM 2的注意力图,提出无训练技术Melodia,选择性操作自注意力图并利用注意力存储库,实现了音乐特征的准确修改与结构保留,还提出新评估指标,实验效果优异。
2025-11-18 cs.SD eess.AS
Generation of Musical Timbres using a Text-Guided Diffusion Model
TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对文本转音频系统限制音乐创作中人类创造力的问题,本研究提出结合潜在扩散模型和多模态对比学习的系统,以文本描述为条件生成单个音符音频,支持用户指定音色特征,且无需后续相位检索算法。
2025-04-12 cs.SD eess.AS
High Fidelity Text-Guided Music Editing via Single-Stage Flow Matching
AI at Meta(Meta人工智能部门)
提出MelodyFlow,一种基于48kHz立体声变分自编码器与流匹配训练的扩散Transformer音乐编辑模型,通过适配ReNoise潜在反演方法,在零样本文本引导编辑的客观与主观评价中均显著超越现有技术。
2024-10-16 cs.SD eess.AS
Transfer learning for music classification and regression tasks
在本文中,我们提出了一个迁移学习方法的音乐分类和回归任务。我们建议使用预先训练的convnet特征,这是一个级联的特征向量,它使用训练的卷积网络中多层特征图的激活。我们展示了如何这个convnet功能可以作为通用的音乐表示。在实验中,一个convnet训练音乐标记,然后转移到其他音乐相关的分类和回归任务。convnet功能在所有考虑的任务和聚合MFCC以及低级和高级音乐功能的几种以前的方法中优于基线MFCC功能。
2017-09-13 cs.AI cs.CV cs.MM
Similarity-Guided Diffusion for Long-Gap Music Inpainting
Acoustics Lab, Dept. Information(信息学院声学实验室);Communications Engineering, Aalto University, Espoo, Finland(通讯工程,阿alto大学,埃斯波,芬兰)
本文提出SimDPS方法,将相似性搜索与扩散后验采样结合,通过检索上下文相似的候选片段引导扩散过程,有效提升了长时隙音乐修复的感知合理性。
2025-09-19 cs.LG cs.SD eess.AS
Music2Fail: Transfer Music to Failed Recorder Style
National Taiwan University(台湾大学)
本文提出“失败音乐风格迁移”场景,将正常演奏音乐转换为走调竖笛音乐(失败风格竖笛),构建FR109 Dataset,在保持内容不变的同时实现走调风格迁移,拓展了音乐风格迁移的表现力。
2024-11-27 cs.SD eess.AS
DanceChat: Large Language Model-Guided Music-to-Dance Generation
本文提出DanceChat,一种由大型语言模型引导的音乐到舞蹈生成方法,通过LLM作为编舞者提供文本动作指令,结合多模态特征融合与扩散模型,在AIST++数据集上实现更优的舞蹈多样性与音乐风格对齐。
2025-08-11 cs.CV cs.MM cs.SD
Music Style Transfer: A Position Paper
Peking University(北京大学);New York University Shanghai(上海纽约大学)
在视觉艺术神经风格迁移成功的带动下,近年来音乐风格迁移的研究有上升的趋势。然而,从科学的角度来看,“音乐风格”还不是一个定义明确的概念。难点在于音乐表征的多层次性和多模态性(这与图像表征有很大的不同)。因此,目前在“音乐风格迁移”范畴下的研究,实际上是在解决属于计算机音乐各个子领域的完全不同的问题,这取决于他们对“音乐风格”的解释。此外,一个香草端到端的方法,其目的是处理所有级别的音乐表示一次直接采用图像风格转移的方法,导致效果不佳。因此,我们提出了一个更科学可行的音乐风格转移的定义,打破了它的音色风格转移,表演风格转移和作曲风格转移的精确概念,以及连接不同方面的音乐风格转移与现有的成熟的计算机音乐研究的子领域。此外,我们讨论了音乐风格建模的当前局限性及其未来的发展方向,从一些深生成模型,特别是那些使用无监督学习和解开技术的精神。
2018-07-19 cs.SD eess.AS
TimberAgent: Gram-Guided Retrieval for Executable Music Effect Control
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院)
TimberAgent通过纹理共振检索实现可编辑的音频效果控制,利用Gram矩阵构建音频表示,降低参数误差,提供更精确的效果控制方案。
2026-03-10 cs.AI cs.SD
Melody Structure Transfer Network: Generating Music with Separable Self-Attention
Shanghai Jiao Tong University(上海交通大学)
符号音乐生成越来越受到人们的关注,而大多数方法都集中在生成短片段(大多数小于8小节,最多32小节)。创作长乐曲需要连贯的音乐结构的有效表达。尽管他们在长序列上取得了成功,但自我注意架构在处理长时间音乐方面仍然存在挑战,因为它需要对微妙的音乐结构进行额外的关注。在本文中,我们提出了新的音乐生成的训练样本的结构转移,并开发了一种新的可分离的自注意模型,使学习和转移的结构嵌入。我们表明,我们的传输模型可以生成音乐序列(高达100条)与可解释的结构,它具有类似的结构和组成技术与模板音乐从训练集。大量的实验表明,该方法能够生成目标结构清晰、多样性好的音乐。生成的3,000套音乐作为补充材料上传。
2021-07-21 cs.MM cs.SD eess.AS
Transfer Learning for Underrepresented Music Generation
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
本文提出组合创造力迁移学习方法,将大型音乐生成模型 MusicVAE 高效适配伊朗民间音乐这一 OOD 流派,为生成代表性不足音乐提供可行路径。
2023-06-01 cs.LG cs.SD eess.AS
Music Sentiment Transfer
Rice University(莱斯大学);Cornell University(康奈尔大学);University of Rochester(罗切斯特大学)
音乐情感传递是一个全新的任务。情感转移是大量研究的风格转移任务的自然演变,因为情感转移植根于将源的情感应用于目标媒体的新情感;然而与风格转移相比,情感转移在图像上的研究很少。音乐情感迁移试图将情感迁移的高层次目标应用于音乐领域。我们提出CycleGAN来桥接不同的域。为了使用网络,我们选择使用符号,数字,数据作为音乐格式。通过使用循环一致性丢失,我们能够创建一对一映射,以保留源数据的内容和真实性。结果和文献表明,由于音乐的时间特征和缺乏现有数据集,音乐情感传递的任务比图像情感传递更困难。
2021-10-12 cs.LG cs.MM cs.SD
Video-Guided Text-to-Music Generation Using Public Domain Movie Collections
为解决音乐生成系统难以捕捉真实电影制作细微差别的问题,研究引入了公有领域电影数据集 OSSL,并提出一种视频适配器,通过添加视频条件增强自回归 transformer 文本到音乐模型,有效提升了 MusicGen-Medium 的生成保真度与主观兼容性。
2025-06-27 cs.MM cs.SD eess.AS
Upmixing via style transfer: a variational autoencoder for disentangling spatial images and musical content
Amazon(亚马逊)
在音乐的立体声到多声道上混问题中,主要任务之一是在多声道渲染结果中设置乐器源的方向性。在本文中,我们提出了一种改进的变分自动编码器模型,学习一个潜在的空间来描述多通道音乐中的空间图像。我们试图解开空间图像和音乐内容,因此学习的潜变量对音乐是不变的。在测试时,我们使用潜变量来控制源的平移。我们提出了两个上混用例:将空间图像从一首歌曲转移到另一首歌曲和基于生成模型的盲平移。我们报告的客观和主观的评价结果,经验表明,我们的模型捕捉空间图像分别从音乐内容,并实现基于传输的交互式平移。
2022-03-22 cs.SD eess.AS
Symbolic Music Genre Transfer with CycleGAN
ETH Zürich(苏黎世联邦理工学院)
深度生成模型,如变分自编码器(VAE)和生成对抗网络(GANs),最近已被应用于图像的风格和域转移,在VAE的情况下,音乐。基于GAN的模型采用多个生成器和某种形式的周期一致性损失,是图像域传输中最成功的模型之一。在本文中,我们应用这样一个模型,象征性的音乐,并显示我们的方法的可行性,音乐体裁转移。使用单独的体裁分类器的评估表明,风格转移效果良好。为了提高转换后的音乐的保真度,我们添加了额外的鉴别器,使生成器保持原始音乐的结构基本不变,同时仍然实现了强大的流派转移。视觉和听觉结果进一步显示了我们方法的潜力。据我们所知,本文代表了GANs在符号音乐域转移中的首次应用。
2018-09-20 cs.LG cs.SD eess.AS
MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
ETH Zurich(苏黎世联邦理工学院)
我们介绍MIDI-VAE,一个基于变分自编码器的神经网络模型,它能够处理具有多个乐器音轨的复调音乐,以及通过结合音符持续时间和速度来建模音乐的动态。我们表明,MIDI-VAE可以通过自动改变音乐作品的音高,动态和乐器来对符号音乐进行风格转移,例如,从古典音乐到爵士音乐我们通过训练单独的风格验证分类器来评估风格转移的有效性。我们的模型还可以在短的音乐片段之间插入,产生混合泳和创建整首歌曲的混合。插值平滑地改变音高、力度和乐器,在两首音乐作品之间建立和谐的桥梁。据我们所知,这项工作是第一次成功地尝试将神经风格转移到完整的音乐作品。
2018-09-20 cs.LG cs.SD eess.AS
A Study of Transfer Learning in Music Source Separation
Northwestern University(西北大学);Descript, Inc(Descript公司)
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统,如摇滚和流行音乐,但许多音乐领域没有,如古典音乐,合唱音乐和非西方音乐传统。众所周知,从相关领域转移学习可以提高深度学习系统的性能,但如何最好地进行预训练并不总是很清楚。在这项工作中,我们研究了预训练期间数据增强的有效性,预训练和下游数据集具有相似内容域对性能的影响,并探讨了一旦预训练,模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia(微软亚洲研究院)
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器,在帧级标记有人声或非人声标签的大数据集是必不可少的。然而,帧级标记是耗时和劳动力昂贵的,导致很少有良好的标记数据集可用于歌唱语音检测(S-VD)。因此,我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中,干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起,以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同,用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配,使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集,即,演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据,所提出的迁移学习数据增强方法可以提高S-VD的性能,F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
Deconstruct and Reconstruct Dizi Music of the Northern School and the Southern School
Beijing University of Posts and Telecommunications(北京邮电大学)
当今对中国音乐技术的研究主要集中在三个方面:数据汇集、音乐解构、音乐重构。本文提出了一种以简谱形式采集中国音乐的通用方法,并利用该方法采集了一个笛子数据集。以收集到的笛子数据为基础,对北派和南派笛子音乐风格进行了研究。对两种不同音乐风格的旋律和演奏技法特征进行了解构。最后给出了一个音乐风格转换的重构实例,包括旋律转换和演奏技巧转换,并对重构结果进行了观众评价。
2020-12-02 cs.SD eess.AS
Music Style Transfer with Time-Varying Inversion of Diffusion Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Kuaishou Technology(快手科技)
本文提出基于扩散模型时变文本反演的音乐风格迁移方法,以极少数据捕捉梅尔频谱特征,并通过偏置减少风格化技术实现稳定迁移,可迁移乐器风格并融入自然声音创作旋律。
2024-02-21 cs.SD eess.AS
Enhancing Music Features by Knowledge Transfer from User-item Log Data
Seoul National University(首尔国立大学)
在本文中,我们提出了一种新的方法,利用音乐收听日志数据的通用音乐特征提取。尽管用户-项目交互的日志数据中有丰富的信息,但它主要用于协同过滤以查找类似的项目或用户,而对于基于内容的音乐应用程序则没有进行充分的研究。我们通过将域内知识蒸馏扩展到跨域来解决这个问题:即,通过将从用户项域获得的知识转移到音乐内容域。该系统首先训练从音频内容中估计日志信息的模型,然后使用该模型来改进其他特定于任务的模型。在不同的音乐分类和回归任务上的实验表明,该方法成功地提高了特定于任务的模型的性能。
2019-03-07 cs.SD eess.AS
Play as You Like: Timbre-enhanced Multi-modal Music Style Transfer
National Tsing-Hua University(国立清华大学);Academia Sinica(中央研究院)
复调音乐作品的风格转换是一个具有挑战性的任务,需要考虑到不同的风格,富有想象力的,合理的音乐作品的造型不同于他们的原始之一。为了实现这一点,学习域变量(即,风格)和域不变(即,内容)信息是至关重要的。在本文中,我们提出了一个无监督的音乐风格转移方法,而不需要并行数据。此外,为了表征音乐作品的多模态分布,我们在所提出的系统中采用了多模态无监督图像到图像翻译(MUNIT)框架。这允许从表示内容和风格的学习的潜在分布生成不同的输出。此外,为了更好地捕捉声音的粒度,例如音色的感知维度和乐器特定性能中的细微差别,包括梅尔频率倒谱系数(MFCC)、频谱差和频谱包络的认知上合理的特征与广泛使用的梅尔频谱图组合成木材增强的多声道输入表示。相对论平均生成对抗网络(RaGAN)也被用来实现快速收敛和高稳定性。我们进行了实验的双边风格迁移任务之间的三个不同的体裁,即钢琴独奏,吉他独奏,弦乐四重奏。结果表明,所提出的方法在音乐风格转换、改善音质以及允许用户操纵输出方面具有优势。
2018-11-28 cs.SD eess.AS
Musical Composition Style Transfer via Disentangled Timbre Representations
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);KKBOX Inc.(KKBOX公司)
音乐创作不仅包括创作不同的部分(例如,旋律,和弦)的音乐作品,但也安排/选择乐器发挥不同的部分。虽然前者越来越受到关注,但后者却没有得到太多的研究。据我们所知,本文提出了第一个用于重新排列任意流派音乐的深度学习模型。具体来说,我们构建编码器和解码器,将一段复调音乐音频作为输入,并预测其乐谱作为输出。我们调查解纠缠技术,如对抗性训练,以分离与作品不同部分的音乐内容(音高)相关的潜在因素,以及与每个短时间段的部分的乐器(音色)相关的潜在因素。通过解开音高和音色,我们的模特们对每首曲子的组成和编排都有了一个概念。此外,该模型可以实现“作曲风格转移”,通过重新安排一个音乐作品,而不会影响其音高内容。我们通过乐器活动检测和作曲风格迁移的实验验证了模型的有效性。为了便于后续研究,我们在https://github.com/biboamy/instrument-disentangle上开源了我们的代码。
2019-05-30 cs.SD eess.AS
Tune It Up: Music Genre Transfer and Prediction
University of Hacettepe(哈杰泰佩大学)
本研究改进CycleGAN模型实现爵士乐与古典乐的风格迁移,并训练分类器评估,最佳准确率分别为69.4%和39.3%,同时保留旋律。
2025-03-27 cs.LG cs.SD eess.AS
ImprovNet -- Generating Controllable Musical Improvisations with Iterative Corruption Refinement
Electronic Engineering and Computer Science Department, Queen Mary University of London, UK(伦敦大学女王学院电子工程与计算机科学系);Information Systems, Technology, and Design, Singapore University of Technology and Design, Singapore(新加坡科技设计大学信息系统、科技与设计系)
针对音乐风格迁移数据集有限、缺乏统一多任务模型的问题,提出基于Transformer的ImprovNet,通过自监督损坏-精修策略实现可控的多类型音乐即兴生成,效果优于现有模型且流派转换辨识度高。
2025-05-16 cs.AI cs.SD eess.AS
Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms
Seoul National University(首尔国立大学);Michigan State University(密歇根州立大学);Rutgers University(罗格斯大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出Stylus框架,利用预训练图像扩散模型实现无训练的音乐风格迁移,通过引入风格键值和相位保持重建策略提升音质,实验表明其在内容保留和感知质量上优于现有方法。
2026-05-13 cs.AI cs.LG cs.SD
A Lightweight Music Texture Transfer System
Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算高精尖创新中心);Beihang University(北京航空航天大学)
针对图像和文本转换问题的深度学习研究引起了人们的极大关注。然而,目前使用神经网络进行音乐特征传递的方法离实际应用还很远。在本文中,我们提出了一种新的系统,用于传输音乐的纹理,并将其作为一个开源项目发布。其核心算法由一个将声音表示为纹理谱的转换器、一个相应的重构器和一个前馈传输网络组成。我们从多个角度对该系统进行了评估,实验结果表明,它在声音效果和计算性能方面都取得了令人信服的结果。
2021-08-04 cs.LG cs.MM cs.SD
Improving AI-generated music with user-guided training
Institut für Statistik, Ludwig-Maximilians-Universität München(统计研究所,路德维希-马克西米利安大学慕尼黑);Institut für Informatik, Ludwig-Maximilians-Universität München(计算机科学研究所,路德维希-马克西米利安大学慕尼黑)
本文提出一种基于人机计算与遗传算法的方法,通过聚合用户评分作为损失函数微调AI音乐生成模型,实验表明用户评分随迭代逐步提升。
2025-06-05 cs.HC cs.LG cs.SD
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony(索尼)
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统,以自监督方式从湿多轨数据中解耦音频效果信息,并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
Actions Speak Louder than Listening: Evaluating Music Style Transfer based on Editing Experience
Academia Sinica(中央研究院);KKBOX, Inc.(KKBOX公司)
对音乐生成技术的主观评价主要是基于听觉测试的,而忽略了从音乐创作、编曲和配乐编辑的角度。在本文中,我们提出了一个编辑测试,以评估用户的编辑体验的音乐生成模型在一个系统的方式。为此,我们设计了一个新的音乐风格迁移模型结合非时序推理架构,自回归模型和Transformer,这是一个改进的基线模型相同的风格迁移任务。然后,我们将这两个模型的性能与传统的听力测试和建议的编辑测试进行比较,在编辑测试中,生成的样本的质量通过努力量(例如,所需的键盘和鼠标动作的数量)。对两种目标样式的测试结果表明,编辑测试可以定量地反映相对于基线模型的改进。此外,编辑测试提供了深刻的见解,这是无法从通常的听力测试。本文的主要贡献是系统地介绍了编辑测试和相应的见解,而提出的音乐风格转移模型的基础上,国家的最先进的神经网络代表另一个贡献。
2021-10-25 cs.HC cs.LG cs.MM
Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration
School of Future Technology, South China University of Technology, Guangzhou, China.(未来技术学院,华南理工大学,广州,中国)
本文提出Polyphonia框架,通过声学感知注意力校准实现多声部音乐中精确的零样本音色迁移,提升目标音色对齐精度的同时保持音乐保真度和非目标音色完整性。
2026-05-11 cs.SD eess.AS
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
Inria/ENS(法国国家信息与自动化研究所/巴黎高等师范学院)
神经风格转移允许将一个图像的艺术风格应用于另一个图像,在其引入后不久就成为最广泛展示的计算机视觉应用之一。相比之下,音乐音频领域的相关任务直到最近才在很大程度上得到解决。虽然已经提出了几种针对音乐信号的风格转换方法,但大多数都缺乏经典图像风格转换算法的“一次性”能力。另一方面,现有的单次音频风格转移方法对音乐输入的结果并不那么令人信服。在这项工作中,我们特别感兴趣的问题,一次性音色转移。我们提出了一种新的方法,这项任务的基础上扩展的矢量量化变分自编码器(VQ-VAE),以及一个简单的自监督学习策略,旨在获得解开表示的音色和音高。我们使用一组客观的指标来评估该方法,并表明它能够优于选定的基线。
2021-06-10 cs.LG cs.SD eess.AS
Parameter-Efficient Transfer Learning for Music Foundation Models
University of Würzburg(维尔茨堡大学);Georgia Institute of Technology(佐治亚理工学院)
针对音乐基础模型适配下游任务时探测性能次优、微调计算成本高且易过拟合的问题,提出三种参数高效迁移学习(PETL)方法,在音乐自动标记任务中表现更优,在调检测和tempo估计任务中以更低成本取得与微调相似结果。
2024-11-28 cs.LG cs.SD eess.AS
A Hands-on Comparison of DNNs for Dialog Separation Using Transfer Learning from Music Source Separation
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文描述了在用于将广播音频中的语音内容与非语音内容分离的任务特定微调之前和之后使用最先进的音乐源分离深度神经网络(DNN)的实际比较(即,对话分隔)。选择音乐分离模型,因为它们与所考虑的广播内容共享通道的数量(2)和采样率(44.1kHz或更高),并且音乐中的人声分离被认为是目标应用领域中的对话分离的并行。这些相似性被认为是为了实现任务之间的迁移学习。在实验中考虑了三个在音乐上预先训练的模型(Open-Unmix,Spleeter和Conv-TasNet),并使用真实的广播数据进行了微调。在使用计算评估度量(SI-SIRi、SI-SDRi、2f-模型)进行微调之前和之后,以及使用模拟非语音信号被部分衰减的应用的收听测试来评估模型的性能,以获得更好的语音清晰度。评估包括两个专门为对话分离开发的参考系统。结果表明,预先训练的音乐源分离模型可以在一定程度上用于对话分离,并且它们受益于微调,达到接近特定任务解决方案的性能。
2021-06-22 cs.SD eess.AS
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对自动音乐转录模型训练计算成本高的问题,提出用软件合成器生成的合成音频训练通用模型,为迁移学习适配多乐器打基础,验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Transfer Learning for Rhythm Game Chart Generation from Music Transcription and Across Games
Sogang University(西江大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对节奏游戏谱面生成问题,采用冻结预训练AMT音频编码器并训练线性投影与Transformer解码器的迁移学习方法,在MuScriptor数据集上提升了osu!少样本模式的事件F1值,验证了跨游戏迁移受谱面风格与音乐类型影响。
2026-10-14 cs.SD
WuYun: Exploring hierarchical skeleton-guided melody generation using knowledge-enhanced deep learning
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Innovation Center of Yangtze River Delta(长三角创新中心);Microsoft Research Asia(微软亚洲研究院)
尽管深度学习已经彻底改变了音乐生成,但是用于结构化旋律生成的现有方法遵循端到端、从左到右的逐音符生成范例,并且平等地对待每个音符。在这里,我们提出了WuYun,一个知识增强的深度学习架构,用于改善生成的旋律的结构,它首先生成结构上最重要的音符来构建旋律骨架,然后用动态装饰音符填充到完整的旋律中。具体来说,我们使用音乐领域的知识提取旋律骨架,并采用序列学习来重建它们,作为额外的知识,为旋律生成过程提供辅助指导。我们证明了WuYun可以生成具有更好的长期结构和音乐性的旋律,并且在所有主观评价指标上平均优于其他最先进的方法0.51。我们的研究提供了一个多学科的镜头来设计旋律的层次结构,并弥合数据驱动和基于知识的方法之间的差距,为众多的音乐生成任务。
2023-03-14 cs.HC cs.LG cs.SD
Controllable Dance Generation with Style-Guided Motion Diffusion
本文提出Style-Guided Motion Diffusion方法,通过整合Transformer架构与风格调制模块,实现风格引导的舞蹈生成,提升舞蹈生成的可控性和风格一致性。
2026-02-10 cs.CV cs.MM cs.SD
Transfer Learning with Jukebox for Music Source Separation
Bielefeld University(比勒费尔德大学)
在这项工作中,我们演示了如何公开可用的,预训练的Juventure模型可以适应从一个单一的混合音频通道的音频源分离的问题。我们的神经网络架构使用迁移学习,可以快速进行训练,结果表明其性能与其他需要更多计算资源、训练数据和时间的最先进方法相当。我们提供了我们架构的开源代码实现(https://github.com/wzaielamri/unmix)
2022-09-21 cs.LG cs.SD eess.AS
MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE
Taiwan AI Labs(台湾人工智能实验室);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
Transformers和变分自编码器(VAE)已被广泛用于符号(例如,域音乐生成。虽然前者在建模长序列方面拥有令人印象深刻的能力,但后者允许用户自愿地对不同部分进行控制(例如,小节)的音乐。在本文中,我们有兴趣将两者结合起来,构建一个单一的模型,表现出这两个优势。任务分为两个步骤。首先,我们为Transformer解码器配备了在序列生成期间接受段级时变条件的能力。随后,我们将开发和测试的注意力解码器与Transformer编码器相结合,并使用VAE目标训练产生的MuseMorphose模型,以实现长流行钢琴作品的风格转移,其中用户可以指定音乐属性,包括节奏强度和复调(即,他们所渴望的,是一种境界,一种境界,一种境界。实验表明,MuseMorphose在风格转换任务的许多广泛使用的指标上优于基于递归神经网络(RNN)的基线。
2022-12-19 cs.LG cs.MM cs.SD