MEDIC: Zero-shot Music Editing with Disentangled Inversion Control
HKUST(香港科技大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);ByteDance Inc.(字节跳动公司)
针对零样本音乐编辑中DDIM反转累积误差及复杂编辑难以兼顾保真度与内容完整性的问题,提出MEDIC系统。其核心方法DIC通过三分支解耦反转纠正路径偏差,并结合调和注意力控制生成所需和声与旋律,同时引入ZoME-Bench基准,在编辑保真度和内容保留上优于现有技术。
2025-11-05 cs.SD eess.AS
Musical Composition Style Transfer via Disentangled Timbre Representations
Research Center for IT Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);KKBOX Inc.(KKBOX公司)
音乐创作不仅包括创作不同的部分(例如,旋律,和弦)的音乐作品,但也安排/选择乐器发挥不同的部分。虽然前者越来越受到关注,但后者却没有得到太多的研究。据我们所知,本文提出了第一个用于重新排列任意流派音乐的深度学习模型。具体来说,我们构建编码器和解码器,将一段复调音乐音频作为输入,并预测其乐谱作为输出。我们调查解纠缠技术,如对抗性训练,以分离与作品不同部分的音乐内容(音高)相关的潜在因素,以及与每个短时间段的部分的乐器(音色)相关的潜在因素。通过解开音高和音色,我们的模特们对每首曲子的组成和编排都有了一个概念。此外,该模型可以实现“作曲风格转移”,通过重新安排一个音乐作品,而不会影响其音高内容。我们通过乐器活动检测和作曲风格迁移的实验验证了模型的有效性。为了便于后续研究,我们在https://github.com/biboamy/instrument-disentangle上开源了我们的代码。
2019-05-30 cs.SD eess.AS
Upmixing via style transfer: a variational autoencoder for disentangling spatial images and musical content
Amazon(亚马逊)
在音乐的立体声到多声道上混问题中,主要任务之一是在多声道渲染结果中设置乐器源的方向性。在本文中,我们提出了一种改进的变分自动编码器模型,学习一个潜在的空间来描述多通道音乐中的空间图像。我们试图解开空间图像和音乐内容,因此学习的潜变量对音乐是不变的。在测试时,我们使用潜变量来控制源的平移。我们提出了两个上混用例:将空间图像从一首歌曲转移到另一首歌曲和基于生成模型的盲平移。我们报告的客观和主观的评价结果,经验表明,我们的模型捕捉空间图像分别从音乐内容,并实现基于传输的交互式平移。
2022-03-22 cs.SD eess.AS
Deconstruct and Reconstruct Dizi Music of the Northern School and the Southern School
Beijing University of Posts and Telecommunications(北京邮电大学)
当今对中国音乐技术的研究主要集中在三个方面:数据汇集、音乐解构、音乐重构。本文提出了一种以简谱形式采集中国音乐的通用方法,并利用该方法采集了一个笛子数据集。以收集到的笛子数据为基础,对北派和南派笛子音乐风格进行了研究。对两种不同音乐风格的旋律和演奏技法特征进行了解构。最后给出了一个音乐风格转换的重构实例,包括旋律转换和演奏技巧转换,并对重构结果进行了观众评价。
2020-12-02 cs.SD eess.AS
BandNet: A Neural Network-based, Multi-Instrument Beatles-Style MIDI Music Composition Machine
Snap Inc.(Snap公司);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一种基于递归神经网络(RNN)的音乐创作机器,它能够从现有的披头士歌曲中学习音乐知识,并在几乎没有人为干预的情况下生成披头士风格的音乐。在学习阶段,一系列风格统一的多声道音乐样本由RNN建模。在作曲阶段,随机生成的音乐的短片段被用作RNN的种子,以开始乐谱预测。为了形成结构化音乐,来自不同种子的生成音乐片段被连接在一起。为了改善生成的音乐的质量和结构,我们将音乐理论知识集成到模型中,例如控制声乐旋律中的间隙间距,规范和弦变化的时间,并要求音符与歌曲的基调(例如C大调)相关。经过专业作曲家的验证,这种集成提高了所生成音乐的质量。我们还进行了主观听力测试,显示我们生成的音乐在风格相似性,专业质量和趣味性方面接近披头士的原创音乐。生成的音乐样本在https://goo.gl/uaLXoB上。
2018-12-18 cs.MM cs.SD eess.AS
MIDI-VAE: Modeling Dynamics and Instrumentation of Music with Applications to Style Transfer
ETH Zurich(苏黎世联邦理工学院)
我们介绍MIDI-VAE,一个基于变分自编码器的神经网络模型,它能够处理具有多个乐器音轨的复调音乐,以及通过结合音符持续时间和速度来建模音乐的动态。我们表明,MIDI-VAE可以通过自动改变音乐作品的音高,动态和乐器来对符号音乐进行风格转移,例如,从古典音乐到爵士音乐我们通过训练单独的风格验证分类器来评估风格转移的有效性。我们的模型还可以在短的音乐片段之间插入,产生混合泳和创建整首歌曲的混合。插值平滑地改变音高、力度和乐器,在两首音乐作品之间建立和谐的桥梁。据我们所知,这项工作是第一次成功地尝试将神经风格转移到完整的音乐作品。
2018-09-20 cs.LG cs.SD eess.AS
Music De-limiter Networks via Sample-wise Gain Inversion
Seoul National University(首尔大学)
针对音乐行业响度战争导致音乐动态范围受损的问题,提出基于逐样本增益反转的音乐去限制器网络,搭配构建的musdb-XL-train数据集训练,在重建任务中取得24.0 dB的SI-SDR优异性能。
2024-06-23 cs.SD eess.AS
Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping
本文提出跨模态框架,受BLIP-2启发用Q-Former从预训练音频LM提取风格表示,经两阶段训练实现可控风格钢琴编曲,在多项任务中提升了风格对齐与音乐质量。
2026-08-05 cs.AI cs.MM cs.SD
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony(索尼)
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统,以自监督方式从湿多轨数据中解耦音频效果信息,并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
Understanding and Classifying Cultural Music Using Melodic Features Case Of Hindustani, Carnatic And Turkish Music
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
我们提出了一个基于旋律的音乐风格的分类,通过利用音高和能量为基础的特征来自音频信号。三个突出的音乐风格被选中,其中有即兴创作作为不可分割的一部分,具有相似的旋律原则,主题和音乐会的结构,即印度斯坦音乐,卡尔纳蒂克音乐和土耳其音乐。一个或多个这些流派的听众可以区分这些基于旋律轮廓单独。听力测试进行了单独使用旋律属性,在类似的旋律片相对于拉加/makam,并删除任何仪器提示,以验证我们的假设,风格的区别是显而易见的旋律。我们的方法是基于找到一组高度歧视性的功能,来自音乐学,捕捉不同的特点的旋律轮廓。在音高轮廓的过渡方面的行为,微音调音符的存在和在声乐能量的变化的性质被利用。自动分类的风格标签被发现与主观听力判断相关。这是通过使用统计检验来比较主观和客观判断的标签来验证的。旋律为基础的功能,结合音色为基础的功能,被认为是提高分类性能。
2019-06-21 cs.SD eess.AS
MDSC: Towards Evaluating the Style Consistency Between Music and Dance
本文提出首个音乐-舞蹈风格一致性评价指标MDSC,通过聚类建模对齐音乐与动作嵌入,以簇内簇间距离及其比率衡量风格匹配度,实验结合用户研究验证其稳健性。
2023-11-30 cs.CV cs.SD eess.AS
Supervised Symbolic Music Style Translation Using Synthetic Data
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
对风格转移和领域翻译的研究已经清楚地证明了基于深度学习的算法在艺术风格方面操纵图像的能力。最近,已经进行了几次尝试来将这种方法扩展到音乐(符号和音频两者),以便能够以类似的方式转换音乐风格。在这项研究中,我们专注于象征性音乐,目的是改变作品的“风格”,同时保持其原有的“内容”。与目前的方法相反,由于缺乏“对齐”数据(即以多种风格演奏的同一音乐作品),这些方法本质上被限制为无监督的,我们为此任务开发了第一个完全监督的算法。我们的方法的核心在于一个合成数据生成方案,它允许我们产生几乎无限数量的对齐数据,从而避免了上述问题。鉴于这种数据生成方案,我们提出了一种编码器-解码器模型,用于在许多不同风格之间翻译符号音乐符号。我们的实验表明,尽管我们的模型完全基于合成数据进行训练,但即使对于真实的(非合成的)录音,也能够产生具有音乐意义的声音。
2019-07-04 cs.LG cs.SD eess.AS
From Generality to Mastery: Composer-Style Symbolic Music Generation via Large-Scale Pre-training
Department of Mathematics University of California, San Diego(数学系加州大学圣地亚哥分校);Department of Computer Science and Engineering University of California, San Diego(计算机科学与工程系加州大学圣地亚哥分校)
本文提出两阶段训练范式,先在大规模语料上预训练REMI模型,再用轻量适配器在四位作曲家的小数据集上微调,实现更精确的作曲家风格钢琴曲生成,优于基线和消融方法。
2025-06-20 cs.AI cs.LG cs.SD
Optimizing musical chord inversions using the cartesian coordinate system
Vellore Institute of Technology(韦洛尔理工学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在古典音乐和任何当代音乐流派中,用于演奏的音调元素或音符都是相同的。在一个作品中,一个给定的例子有许多可能的和弦,这使得演奏通常非常复杂和先进。这个理论听起来相当琐碎,但应用程序有大量的选择,每一个都导致无可争议的不同结果,其特点是科学和音乐原则。和弦及其重要性不言而喻。和弦是一串音符一起演奏。就科学家而言,它是一组音调频率一起响起,导致协和/不协和的声音。众所周知,和弦的音符可以重新排列以产生相同和弦的各种和弦(1),这使得作曲家/演奏者能够选择最佳的和弦来传达他们希望传达的情感。虽然有许多可能性,但科学地认为,对于音调运动的特定情况,只有一种适当的发声。在本研究中,我们试图通过将和弦视为三维笛卡尔坐标系中的点来找到最佳的和弦,并进一步加深对音乐理论中数学的基本理解。
2022-06-10 cs.SD eess.AS
Composer Style-specific Symbolic Music Generation Using Vector Quantized Discrete Diffusion Models
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
本文提出结合VQ-VAE与离散扩散模型生成目标作曲家风格的符号音乐,将音乐编码为码本索引序列并在离散潜在空间中建模,实验达到72.36%的风格符合准确率。
2024-09-03 cs.AI cs.SD eess.AS
Music Style Transfer With Diffusion Model
Hunan University of Technology(湖南工业大学);CRRC Zhuzhou Institute(中车株洲研究所)
本研究提出一种基于扩散模型(DM)的音乐风格迁移框架,利用基于频谱图的方法实现多对多风格转换,并通过 GuideDiff 恢复高保真音频,有效降低了计算成本与噪声,在消费级 GPU 上实现实时高质量音频生成。
2024-04-23 cs.AI cs.SD
ITO-Master: Inference-Time Optimization for Audio Effects Modeling of Music Mastering Processors
本文提出ITO-Master框架,通过在推理时优化参考嵌入实现用户可控的音乐母带风格迁移,实验证明其能提升风格相似性与适应性。
2025-07-03 cs.SD eess.AS
Self-Supervised VQ-VAE for One-Shot Music Style Transfer
Inria/ENS(法国国家信息与自动化研究所/巴黎高等师范学院)
神经风格转移允许将一个图像的艺术风格应用于另一个图像,在其引入后不久就成为最广泛展示的计算机视觉应用之一。相比之下,音乐音频领域的相关任务直到最近才在很大程度上得到解决。虽然已经提出了几种针对音乐信号的风格转换方法,但大多数都缺乏经典图像风格转换算法的“一次性”能力。另一方面,现有的单次音频风格转移方法对音乐输入的结果并不那么令人信服。在这项工作中,我们特别感兴趣的问题,一次性音色转移。我们提出了一种新的方法,这项任务的基础上扩展的矢量量化变分自编码器(VQ-VAE),以及一个简单的自监督学习策略,旨在获得解开表示的音色和音高。我们使用一组客观的指标来评估该方法,并表明它能够优于选定的基线。
2021-06-10 cs.LG cs.SD eess.AS
MG-VAE: Deep Chinese Folk Songs Generation with Specific Regional Style
Xi'an Jiaotong University(西安交通大学)
中国民歌中的地域风格是民族音乐创作和民间文化研究的宝贵财富。在本文中,我们提出了MG-VAE,音乐生成模型的基础上VAE(变分自动编码器),能够捕捉特定的音乐风格,并产生新的曲调为中国民歌(民歌)在一个可操纵的方式。具体来说,我们以对抗性训练的方式将VAE的潜在空间分解为四个部分,以控制音高和节奏序列以及音乐风格和内容的信息。具体而言,使用两个分类器来分离风格和内容潜在空间,并利用时间监督来解开音高和节奏序列。实验结果表明,解纠缠是成功的,我们的模型能够创造新的民歌与可控的区域风格。据我们所知,这是第一个将深度生成模型和对抗训练应用于中国音乐生成的研究。
2019-09-29 cs.MM cs.SD eess.AS
Personalized Popular Music Generation Using Imitation and Structure
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
近年来,音乐生成出现了许多实践。虽然使用深度学习技术的风格音乐生成已成为主流,但这些模型仍难以生成具有高音乐性、不同层次音乐结构和可控性的音乐。此外,音乐治疗等更多应用场景需要从几个给定的音乐示例中模仿出更具体的音乐风格,而不是捕捉大型数据语料库的整体流派风格。为了解决挑战当前深度学习方法的需求,我们提出了一种统计机器学习模型,该模型能够从给定的示例种子歌曲中捕获和模仿结构、旋律、和弦和低音风格。使用10首流行歌曲的评估表明,我们的新表示和方法能够创建高质量的风格音乐,是类似于一个给定的输入歌曲。我们还讨论了我们的方法在音乐评价和音乐治疗的潜在用途。
2021-05-10 cs.AI cs.SD eess.AS
Encoding Musical Style with Transformer Autoencoders
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
我们考虑的问题,学习高层次的控制生成的序列的全局结构,特别是在符号音乐生成与复杂的语言模型的背景下。在这项工作中,我们提出了Transformer自动编码器,它聚合了跨时间的输入数据的编码,以获得一个全局表示的风格从一个给定的性能。我们表明,它是可能的,以结合其他时间分布的嵌入这种全球性的表示,使改进的控制性能风格和旋律的单独方面。从经验上讲,我们证明了我们的方法在MAESTRO数据集和YouTube数据集上的各种音乐生成任务上的有效性,该数据集具有10,000多小时的钢琴演奏,与基线相比,我们在对数似然和平均听力分数方面取得了改进。
2020-06-30 cs.LG cs.SD eess.AS
Variation of singing styles within a particular Gharana of Hindustani classical music A nonlinear multifractal study
Jadavpur University(贾达普大学);Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
印度斯坦古典音乐完全基于“Raga”结构。在印度斯坦音乐中,“Gharana”或学校指的是一群音乐家对特定音乐风格的坚持。Gharanas以传统的音乐培训和教育模式为基础。每个Gharana都有自己独特的特征;虽然在特定的Gharana中,几代表演者之间的演唱风格存在显着差异,这可以归因于该歌手的个人创造力。这部作品旨在研究Patiala Gharana连续四代的四位艺术家的演唱风格的演变。为此,运用非线性多重分形分析(MFDFA)技术,对这四位艺术家演唱的两首不同风格的《拉格斯》的高音部分和低音部分进行了分析。从MFDFA方法获得的多重分形谱宽度给出了信号的复杂性的估计。从光谱宽度的变化的观察给出了对Guru-Shisya Parampara(师生传统)的科学认识的线索-这是一个迄今为止经常听到的哲学术语。从定量的方法,本研究成功地分析了在一个特定的Gharana几代艺术家的演唱风格的演变,以及在古典音乐领域的全球化的影响。
2021-05-26 cs.SD
Neural Translation of Musical Style
University of Bristol(布里斯托大学)
音乐是一种表达形式的沟通,经常用来传达情感的情况下,“文字是不够的”。这些信息的一部分存在于音乐作品中,其中存在定义明确的语言。然而,在演奏过程中,当音乐家解释作品时,会添加大量的信息。表演者通过不同的音乐属性,如动态和节奏的变化注入表现力的书面分数。在本文中,我们描述了一个可以学习演奏乐谱的模型。我们的研究得出结论,生成的表演与人类表演无法区分,从而通过了“音乐图灵测试”的精神测试。
2017-08-11 cs.NE cs.SD
Actions Speak Louder than Listening: Evaluating Music Style Transfer based on Editing Experience
Academia Sinica(中央研究院);KKBOX, Inc.(KKBOX公司)
对音乐生成技术的主观评价主要是基于听觉测试的,而忽略了从音乐创作、编曲和配乐编辑的角度。在本文中,我们提出了一个编辑测试,以评估用户的编辑体验的音乐生成模型在一个系统的方式。为此,我们设计了一个新的音乐风格迁移模型结合非时序推理架构,自回归模型和Transformer,这是一个改进的基线模型相同的风格迁移任务。然后,我们将这两个模型的性能与传统的听力测试和建议的编辑测试进行比较,在编辑测试中,生成的样本的质量通过努力量(例如,所需的键盘和鼠标动作的数量)。对两种目标样式的测试结果表明,编辑测试可以定量地反映相对于基线模型的改进。此外,编辑测试提供了深刻的见解,这是无法从通常的听力测试。本文的主要贡献是系统地介绍了编辑测试和相应的见解,而提出的音乐风格转移模型的基础上,国家的最先进的神经网络代表另一个贡献。
2021-10-25 cs.HC cs.LG cs.MM
High Fidelity Text-Guided Music Editing via Single-Stage Flow Matching
AI at Meta(Meta人工智能部门)
提出MelodyFlow,一种基于48kHz立体声变分自编码器与流匹配训练的扩散Transformer音乐编辑模型,通过适配ReNoise潜在反演方法,在零样本文本引导编辑的客观与主观评价中均显著超越现有技术。
2024-10-16 cs.SD eess.AS
Dance-to-Music Generation with Encoder-based Textual Inversion
Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院);University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);University of Konstanz(康斯坦茨大学);National Cheng-Kung University(成功大学)
针对现有文本转音乐方法难以精细化匹配舞蹈节奏的问题,提出基于编码器的双路径节奏-风格文本反转技术,结合新收集的InDV数据集,实现视觉控制的个性化舞蹈配乐生成,性能优于现有最优方法。
2024-09-13 cs.MM cs.SD eess.AS
Dance Generation with Style Embedding: Learning and Transferring Latent Representations of Dance Styles
Fudan University(复旦大学);Bilibili(哔哩哔哩)
舞蹈编排是指根据人的潜意识知识创造舞蹈的舞步和动作,创造出的舞蹈动作一般具有风格特异性和连贯性。到目前为止,这种潜在的风格特定的知识,舞蹈风格不能明确地表示在人类语言中,还没有在以前的作品中学习的音乐到舞蹈生成任务。在本文中,我们提出了一个新的音乐舞蹈合成框架与可控的风格嵌入。这些嵌入是学习表示风格一致的运动学抽象的参考舞蹈剪辑,作为可控因素施加风格约束的舞蹈生成的潜在方式。因此,仅通过修改风格嵌入就可以将舞蹈风格转换为舞蹈动作。为了支持这项研究,我们建立了一个大型的音乐舞蹈数据集。定性和定量的评价表明,我们提出的框架的优势,以及通过风格嵌入从相同的音乐合成不同风格的舞蹈的能力。
2021-04-30 cs.GR cs.MM cs.SD
IdolSongsJp Corpus: A Multi-Singer Song Corpus in the Style of Japanese Idol Groups
本文构建了 IdolSongsJp 语料库,包含 15 首日本偶像团体风格的专业创作歌曲及分轨、干声和和弦标注,用于在复杂条件下基准测试歌手分离、音源分离和和弦估计等音乐信息处理技术。
2025-07-02 cs.SD eess.AS
Apollo: An Interactive Environment for Generating Symbolic Musical Phrases using Corpus-based Style Imitation
Simon Fraser University(西蒙菲莎大学)
Apollo是一个交互式桌面应用,利用基于语料库的风格模仿技术生成西方音乐符号短语,支持语料库构建与管理,并可导出MIDI格式音乐材料。
2025-04-18 cs.HC cs.LG cs.SD
Can Machines Generate Personalized Music? A Hybrid Favorite-aware Method for User Preference Music Transfer
用户偏好音乐迁移(UPMT)是音乐风格迁移中的一个新问题,可以应用于许多场景,但仍然缺乏研究。
2022-01-21 cs.AI cs.SD eess.AS
ImprovNet -- Generating Controllable Musical Improvisations with Iterative Corruption Refinement
Electronic Engineering and Computer Science Department, Queen Mary University of London, UK(伦敦大学女王学院电子工程与计算机科学系);Information Systems, Technology, and Design, Singapore University of Technology and Design, Singapore(新加坡科技设计大学信息系统、科技与设计系)
针对音乐风格迁移数据集有限、缺乏统一多任务模型的问题,提出基于Transformer的ImprovNet,通过自监督损坏-精修策略实现可控的多类型音乐即兴生成,效果优于现有模型且流派转换辨识度高。
2025-05-16 cs.AI cs.SD eess.AS
Seed-Music: A Unified Framework for High Quality and Controlled Music Generation
ByteDance(字节跳动);Seed Team(Seed团队)
Seed-Music提出统一框架,结合自回归语言建模与扩散方法,实现可控音乐生成与后期编辑,支持多模态输入和细粒度风格控制。
2024-09-19 cs.SD eess.AS
Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms
Seoul National University(首尔国立大学);Michigan State University(密歇根州立大学);Rutgers University(罗格斯大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出Stylus框架,利用预训练图像扩散模型实现无训练的音乐风格迁移,通过引入风格键值和相位保持重建策略提升音质,实验表明其在内容保留和感知质量上优于现有方法。
2026-05-13 cs.AI cs.LG cs.SD
Enhancing Expressiveness in Dance Generation via Integrating Frequency and Music Style Information
XVerse Inc.(XVerse公司)
针对现有舞蹈生成方法未综合考量风格匹配、节拍对齐与动态性导致表现力不足的问题,提出ExpressiveBailando方法,通过在VQ-VAE中引入频率信息优化动态性,结合预训练音乐模型提取风格节拍特征,实现多维度表现力提升,效果优于现有方法。
2024-03-09 cs.MM cs.SD eess.AS
Bach or Mock? A Grading Function for Chorales in the Style of J.S. Bach
Northwestern University(西北大学)
与传统的基于规则的系统相比,从现有音乐语料库中学习概率模型的深度生成系统不会显式编码音乐风格的知识。因此,在没有专家评估的情况下,很难确定深度模型是否生成风格正确的输出,但这是昂贵且耗时的。因此,需要自动的,可解释的,和音乐动机的生成的音乐的评价措施。在本文中,我们引入了一个分级功能,评估四部分合唱风格的J. S.巴赫的重要音乐特征。我们使用分级函数来评估Transformer模型的输出,并表明该函数是可解释的,并且在区分巴赫合唱曲与模型生成的合唱曲方面优于人类专家。
2020-07-17 cs.LG cs.SD eess.AS
Diff2Mix: Controllable Music Mixing via Diffusion Models and Differentiable Audio Effects
Queen Mary University of London(伦敦玛丽女王大学)
本文提出Diff2Mix系统,结合扩散模型与可微分音频效果,实现兼具高质量与可控风格的自动音乐混音,通过多维度评估验证其性能。
2026-08-07 cs.SD eess.AS
MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE
Taiwan AI Labs(台湾人工智能实验室);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
Transformers和变分自编码器(VAE)已被广泛用于符号(例如,域音乐生成。虽然前者在建模长序列方面拥有令人印象深刻的能力,但后者允许用户自愿地对不同部分进行控制(例如,小节)的音乐。在本文中,我们有兴趣将两者结合起来,构建一个单一的模型,表现出这两个优势。任务分为两个步骤。首先,我们为Transformer解码器配备了在序列生成期间接受段级时变条件的能力。随后,我们将开发和测试的注意力解码器与Transformer编码器相结合,并使用VAE目标训练产生的MuseMorphose模型,以实现长流行钢琴作品的风格转移,其中用户可以指定音乐属性,包括节奏强度和复调(即,他们所渴望的,是一种境界,一种境界,一种境界。实验表明,MuseMorphose在风格转换任务的许多广泛使用的指标上优于基于递归神经网络(RNN)的基线。
2022-12-19 cs.LG cs.MM cs.SD
Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches
Stanford University(斯坦福大学)
比较自回归LSTM、潜变量模型和生成对抗网络在巴赫风格钢琴音乐生成中的表现,发现带注意力的自回归LSTM生成音乐最连贯,向量量化缓解后验塌陷,对抗方法捕捉局部音高但训练困难。
2026-06-15 cs.LG cs.SD
Composer Vector: Style-steering Symbolic Music Generation in a Latent Space
University of California, San Diego(加州大学圣迭戈分校)
本文提出Composer Vector,一种在模型潜在空间中直接控制作曲风格的推理方法,无需重新训练,通过连续控制系数实现流畅可解释的风格引导,并实现多种风格的无缝融合。
2026-04-03 cs.AI cs.SD
Music2Dance: DanceNet for Music-driven Dance Generation
Southeast University(东南大学);Xmov;Texas A&M University(得克萨斯农工大学)
从音乐中合成人体动作,即,近年来,音乐舞蹈的研究引起了人们的广泛关注。这不仅是因为舞蹈对人体动作的真实性和复杂性的要求,更重要的是,合成的动作要与音乐的风格、节奏和旋律相一致。本文提出了一种新的自回归生成模型DanceNet,以音乐的风格、节奏和旋律为控制信号,生成具有高度真实感和多样性的三维舞蹈动作。为了提高我们提出的模型的性能,我们捕获了几个同步的音乐舞蹈对专业舞者,并建立了一个高质量的音乐舞蹈对数据集。实验表明,该方法可以达到最先进的结果。
2020-03-10 cs.CV cs.SD eess.AS
Q&A: Query-Based Representation Learning for Multi-Track Symbolic Music re-Arrangement
Institute of Data Science, NUS(新加坡国立大学数据科学研究所);Integrative Sciences and Engineering Programme, NUS Graduate School(新加坡国立大学研究生院综合科学与工程项目);Music X Lab, NYU Shanghai(上海纽约大学Music X实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学);School of Computing, NUS(新加坡国立大学计算学院)
针对多轨符号音乐重编曲,论文提出自监督、基于查询的 Q&A 算法,通过解耦内容与风格表示实现四类可控重编曲,并显著优于基线。
2023-06-02 cs.SD eess.AS
Unrolled Creative Adversarial Network For Generating Novel Musical Pieces
KAUST(卡塔尔科技大学)
本文提出基于对抗网络的音乐生成系统,通过扩展CAN框架解决模式崩溃问题,提升音乐创作的创新性和多样性。
2025-12-28 cs.LG cs.SD eess.AS
Deconstructing Jazz Piano Style Using Machine Learning
Centre for Music and Science, University of Cambridge(音乐与科学研究中心,剑桥大学)
本文通过监督学习与多输入架构,在84小时爵士钢琴录音中识别20位音乐家,并从旋律、和声、节奏和力度维度解释风格,达到94%准确率且开源工具。
2025-05-14 cs.IR cs.LG cs.SD
Performance Conditioning for Diffusion-Based Multi-Instrument Music Synthesis
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS)
本文提出演奏条件化方法,将扩散音乐生成模型条件化于特定演奏和录音环境,以增强多乐器合成的音色与风格控制,并在FAD真实感指标上达到最先进水平。
2023-09-21 cs.LG cs.SD eess.AS
Style Imitation and Chord Invention in Polyphonic Music with Exponential Families
Sony Computer Science Laboratories, Paris(索尼计算机科学实验室(巴黎));LIP6, Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学LIP6实验室)
由于旋律与和声之间错综复杂的相互作用,对复调音乐进行建模是一项特别具有挑战性的任务。一个好的模型应该满足三个要求:统计准确性(忠实地捕捉各种范围内的相关性统计数据,水平和垂直),灵活性(应对任意用户约束)和泛化能力(发明新材料,同时保持训练语料库的风格)。到目前为止提出的模型至少在这些要求中的一个上失败。我们提出了一个统计模型的复调音乐,基于最大熵原理。该模型能够学习和再现给定语料库中相邻音符事件之间的成对统计。该模型还能够发明新的和弦和协调未知的旋律。我们评估的发明能力的模型,通过评估的引用量,重新发现,并发明了巴赫合唱团的语料库和弦。我们讨论了如何使用户能够指定和执行用户定义的约束,这使得它有用的风格为基础的,互动的音乐生成的模型。
2016-09-16 cs.AI cs.SD
Learning Style-Aware Symbolic Music Representations by Adversarial Autoencoders
Università di Pisa(比萨大学)
我们解决了具有挑战性的开放性问题,学习一个有效的潜在空间的符号音乐数据生成音乐建模。我们专注于利用对抗正则化作为一种灵活而自然的手段,将有关音乐流派和风格的上下文信息注入变分自编码器。通过本文,我们展示了如何将考虑音乐元数据信息的高斯混合物用作自动编码器潜在空间的有效先验,介绍了第一个音乐对抗自动编码器(MusAE)。在大规模基准上的实验分析表明,该模型比基于标准变分自编码器的最新模型具有更高的重建精度。它还能够在两个音乐序列之间创建逼真的插值,平滑地改变不同曲目的动态。实验表明,该模型可以组织其潜在的空间,相应的低层次属性的音乐作品,以及嵌入到潜变量的高级体裁信息注入先验分布,以提高其整体性能。这允许我们以原则性的方式对生成的片段进行更改。
2020-02-20 cs.LG cs.SD stat.ML
Controllable Lyrics-to-Melody Generation
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
本文提出 ConL2M 可控歌词到旋律生成网络,通过 Memofu、RSE 和 SeqLoss 提升旋律质量并实现用户指定音乐风格控制。
2023-06-05 cs.AI cs.SD eess.AS
ChoreoMuse: Robust Music-to-Dance Video Generation with Style Transfer and Beat-Adherent Motion
School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
本文提出基于扩散的 ChoreoMuse 框架,以 SMPL 参数为中介并结合 MotionTune 编码器,实现跨音乐风格与舞者特征、贴合节拍且风格可控的高保真舞蹈视频生成。
2025-07-26 cs.AI cs.CV cs.GR
Measuring Cross-Cultural Style Diffusion Through Era Classification: US and Korean Popular Music
本研究提出时代分类框架,通过CNN分类器量化美韩流行音乐的跨文化风格传播,发现1960-80年代韩流滞后美流4-5年,90年代后偏差缩小,该框架可推广至其他榜单文化对。
2026-08-12 cs.SD
ShredGP: Guitarist Style-Conditioned Tablature Generation
Queen Mary University of London(伦敦玛丽女王大学);Indian Institute of Technology Kharaghpur(印度理工学院卡拉格普尔分校);Dadabots
ShredGP 是一个基于 Transformer 的 GuitarPro 指法谱生成模型,通过条件化模仿四位电吉他手风格,并利用 BERT 分类器验证其生成内容与目标风格的一致性。
2023-07-11 cs.SD eess.AS
End-to-end Music Remastering System Using Self-supervised and Adversarial Training
Graduate School of AI, Seoul National University(首尔国立大学人工智能研究生院)
掌握是音乐制作中必不可少的一步,但它也是一项具有挑战性的任务,必须经过经验丰富的音频工程师的手,他们调整歌曲的音调,空间和音量。重制遵循同样的技术过程,其中的背景在于掌握一首适合时代的歌曲。由于这些任务具有很高的进入门槛,我们的目标是通过提出一个端到端的音乐重制系统,将输入音频的母带风格转换为目标的母带风格,从而降低门槛。该系统以自我监督的方式进行训练,其中发布的流行歌曲用于训练。我们还期望模型通过应用预训练的编码器和投影映射器来生成反映参考的母带风格的逼真音频。我们验证了我们的结果与定量指标和主观听力测试,并表明该模型生成的样本掌握风格类似的目标。
2022-02-17 cs.LG cs.SD eess.AS
FlowSonic: Stable Zero-Shot Music Editing via High-Order Trajectory Integration
研究针对真实音乐录音零样本编辑难题,提出FlowSonic框架,基于预训练扩散变压器,通过重用交叉注意力表示保留结构,引入高阶ODE求解器,实验表明其在多方面优于现有方法,能提高潜在轨迹稳定性实现可靠编辑。
2026-07-21 cs.LG cs.NA cs.SD
AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer
NYU Shanghai(纽约大学上海校区)
伴奏编曲是一项困难的音乐生成任务,涉及旋律、和声、织体和音乐结构的交织约束。现有的模型还不能有效地捕捉所有这些限制,特别是对于长期的音乐生成。为了解决这个问题,我们提出了AccoMontage,一个通过统一的乐句选择和神经风格转移的整首音乐的伴奏安排系统。我们专注于基于一个铅表(即,旋律与和弦进行)。具体来说,AccoMontage首先从数据库中检索短语蒙太奇,同时使用动态规划在结构上重新组合它们。其次,检索到的短语的和弦被操纵,以匹配铅表通过风格转移。最后,系统提供对生成过程的控制。与纯粹的基于学习的方法相比,AccoMontage引入了一种新的混合途径,其中基于规则的优化和深度学习都可以相互补充,以实现高质量的生成。实验表明,我们的模型生成结构良好的伴奏与细腻的纹理,显着优于基线。
2021-08-25 cs.IR cs.MM cs.SD
Tune It Up: Music Genre Transfer and Prediction
University of Hacettepe(哈杰泰佩大学)
本研究改进CycleGAN模型实现爵士乐与古典乐的风格迁移,并训练分类器评估,最佳准确率分别为69.4%和39.3%,同时保留旋律。
2025-03-27 cs.LG cs.SD eess.AS