Sub-band and Full-band Interactive U-Net with DPRNN for Demixing Cross-talk Stereo Music
Northwestern Polytechnical University(西北工业大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Nanyang Technological University(南洋理工大学)
该研究面向 ICASSP 2024 Cadenza Challenge,提出结合 DPRNN 的子带与全带交互式 U-Net,用于串扰立体声音乐分离,并在实验中优于官方基线。
2024-01-11 cs.SD eess.AS
The Sound Demixing Challenge 2023 $\unicode{x2013}$ Music Demixing Track
AudioShake;Meta AI;Tencent AI Lab(腾讯AI实验室);AIcrowd;Institute for Design Problems in Microelectronics of Russian Academy of Sciences(俄罗斯科学院微电子设计问题研究所);The University of Tokyo(东京大学);RIKEN(理化学研究所);Korea University(高丽大学);Central Conservatory of Music(中央音乐学院);Sony Europe B.V.(索尼欧洲有限公司);Sony Group Corporation(索尼集团公司)
本文总结了声音分离挑战赛2023音乐分离赛道,提出训练数据错误的形式化定义及两个新数据集,最佳系统在MDXDB21上较上届提升超1.6dB,并进行了听音测试。
2024-04-19 cs.SD eess.AS
Music Source Separation with Band-split RNN
近年来,由于新型神经网络架构和训练管道的发展,音乐源分离(MSS)模型的性能得到了很大的提高。然而,最近的MSS模型设计主要是由其他音频处理任务或其他研究领域的动机,而音乐信号的内在特征和模式没有被完全发现。在本文中,我们提出了带分裂RNN(BSRNN),这是一种频域模型,它将混合物的频谱图显式地拆分为子带,并执行交织的带级和序列级建模。子带的带宽的选择可以通过关于目标源的特性的先验知识或专家知识来确定,以便优化特定类型的目标乐器上的性能。为了更好地利用未标记数据,我们还描述了一个半监督模型微调管道,可以进一步提高模型的性能。实验结果表明,仅在MUSDB 18-HQ数据集上训练的BSRNN在2021年音乐分层(MDX)挑战赛中的表现明显优于几个排名靠前的模型,并且半监督微调阶段进一步提高了所有四种乐器曲目的性能。
2022-09-30 cs.LG cs.SD eess.AS
Music Source Separation with Band-Split RoPE Transformer
ByteDance(字节跳动)
本文提出基于频带分割 RoPE Transformer (BS-RoFormer) 的音乐源分离频域方法,利用子带表示与分层 Transformer 建模带内外序列,在 MUSDB18HQ 上以 9.80 dB SDR 达到最先进水平并获 SDX23 第一。
2023-09-10 cs.SD eess.AS
MaD TwinNet: Masker-Denoiser Architecture with Twin Networks for Monaural Sound Source Separation
Tampere University of Technology(坦佩雷理工大学);Fraunhofer IDMT – Technical University of Ilmenau(弗劳恩霍夫数字媒体技术研究所-伊尔梅瑙工业大学);MILA, Université de Montréal(蒙特利尔大学米拉研究所)
单声道歌唱声分离任务的重点是从单声道音乐混合信号中预测歌唱声。利用基于深度学习的方法获得单声道歌唱声音分离的当前技术水平(SOTA)结果。在这项工作中,我们提出了一种基于深度学习的新方法,该方法可以学习音乐作品的长期时间模式和结构。我们以最近提出的掩蔽-去噪(MaD)架构为基础,并通过双网络对其进行增强,双网络是一种使用网络的向后运行副本来规则化循环生成网络的技术。我们评估我们的方法,使用分混秘密数据集,我们得到了一个增量信号失真比(SDR)为0.37 dB和信号干扰比(SIR)为0.23 dB,相比以前的SOTA结果。
2018-02-01 cs.SD eess.AS
CWS-PResUNet: Music Source Separation with Channel-wise Subband Phase-aware ResUNet
Sound, Audio, and Music Intelligence (SAMI) Group, ByteDance(字节跳动声音、音频与音乐智能(SAMI)团队);The Ohio State University(俄亥俄州立大学)
音乐声源分离(MSS)近年来在深度学习模型方面取得了积极进展。许多MSS模型通过估计有界比率掩模和重用混合物的相位来对谱图进行分离。当使用卷积神经网络(CNN)时,权重通常在卷积期间在频谱图内共享,而不管频带之间的不同模式。在这项研究中,我们提出了一个新的MSS模型,通道的子带相位感知ResUNet(CWS-PResUNet),信号分解成子带,并估计一个未绑定的复杂的理想比率掩模(crescent)为每个源。CWS-PRESUNet利用信道子带(CWS)特征来限制频谱图上不必要的全局权重共享并减少计算资源消耗。节省的计算成本和存储器可以反过来允许更大的架构。在MUSDB 18 HQ测试集上,我们提出了一个276层的CWS-PRESNet,并以8.92的信号失真比(SDR)得分在人声上实现了最先进的(SoTA)性能。通过结合CWS-PRESUNet和Demucs,我们的ByteMSS系统在2021年ISMIR音乐分层(MDX)挑战赛有限训练数据赛道(排行榜A)中获得人声评分第2名和平均评分第5名。我们的代码和预训练模型可在以下网址公开获取:https://github.com/haoheliu/2021-ISMIR-MSS-Challenge-CWS-PResUNet
2021-12-09 cs.AI cs.SD eess.AS
Aligning Generative Music AI with Human Preferences: Methods and Challenges
本文针对现有生成式音乐AI难以匹配人类细微偏好的问题,梳理现有偏好对齐技术路径与音乐领域特有挑战,展望相关应用方向并呼吁跨学科研究打造适配人类需求的音乐AI。
2025-11-19 cs.AI cs.SD eess.AS
Maths, Computation and Flamenco: overview and challenges
University of Seville(塞维利亚大学)
弗拉门戈是西班牙南部一种丰富的以表演为导向的艺术音乐流派,吸引了全球越来越多的爱好者。由于其即兴和表现力的性质,其独特的音乐特征,以及该流派在很大程度上没有记录的事实,弗拉门戈提出了一些有趣的数学和计算挑战。音乐信息检索(MIR)中的大多数现有方法都是在流行或古典音乐的背景下开发的,并且通常不能很好地推广到非西方音乐传统,特别是当基本的音乐理论假设不适用于这些流派时。在最近的十年中,已经定义了一些与弗拉门戈音乐的自动分析相关的计算问题,并提出了几种解决各种音乐方面的方法。本文概述了在弗拉门戈音乐的计算分析的背景下出现的挑战,并概述了现有的方法。
2022-09-22 cs.CG cs.SD eess.AS
The ICASSP SP Cadenza Challenge: Music Demixing/Remixing for Hearing Aids
University of Salford(萨尔福德大学);University of Nottingham(诺丁汉大学);University of Leeds(利兹大学);University of Sheffield(谢菲尔德大学)
本研究介绍2024年ICASSP SP Cadenza助听器音乐分离/重混挑战赛的设计与结果,该赛要求分解并重混音乐,17个参赛系统中9个超基线,最优方案为模型集成。
2024-01-29 cs.LG eess.AS eess.SP
Improving Controllability and Editability for Pretrained Text-to-Music Generation Models
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary University of London(伦敦玛丽女王大学)
本论文针对文本到音乐生成模型可控性与可编辑性不足的问题,提出Loop Copilot和MusicMagus两个递进式系统,分别实现基于大语言模型的迭代式音乐创作与零样本音乐属性编辑。
2024-11-21 cs.SD eess.AS
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay(印度理工学院孟买分校)
音乐信息检索是当前一个活跃的研究领域,它致力于从音频信号中提取音乐上重要的信息,以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐,或者帮助音乐学研究,甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性,该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别,其中主要乐器是歌声。歌声比许多乐器更多才多艺,因此对信息检索系统提出了有趣的挑战。在本文中,我们提供了一个简短的概述,在声乐处理的相关工作在印度理工学院孟买的描述,导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
Multimodal music information processing and retrieval: survey and future challenges
LIM – Music Informatics Laboratory Department of Computer Science University of Milan(米兰大学计算机科学系LIM - 音乐信息学实验室)
为了提高在各种音乐信息处理任务中的表现,最近的研究利用能够捕获音乐的不同方面的不同模态。这些形式包括音频记录,符号乐谱,中级表示,运动和手势数据,视频记录,编辑或文化标签,歌词和专辑封面艺术。本文批判性地回顾了音乐信息处理和检索中采用的各种方法,并强调了多模态算法如何帮助音乐计算应用程序。首先,我们根据它们所涉及的应用对相关文献进行分类。随后,我们分析了现有的信息融合方法,我们得出结论,音乐信息检索和声音和音乐计算研究社区应该在未来几年集中的挑战。
2019-02-14 cs.IR cs.MM cs.SD
MorpheuS: generating structured music with constrained patterns and tension
随着云计算的进步使得能够在个人设备上进行诸如深度模型和优化算法之类的大规模复杂计算,自动音乐生成系统已经变得流行和复杂。然而,他们仍然面临着一个重要的挑战,即长期结构,这是传达音乐连贯性的关键。我们提出了Morpheus音乐生成系统,旨在解决这个问题。Morpheus的新框架能够生成具有给定张力配置文件和长期和短期重复模式结构的复调作品。色调张力的数学模型量化了张力曲线,最先进的图案检测算法提取了模板中的重复图案。一个有效的优化元启发式,可变邻域搜索,通过分配最适合规定的张力配置文件的模板节奏,同时通过检测到的模式硬约束长期结构的音高生成音乐。这种产生具有特定张力轮廓和长期结构的情感音乐的能力在游戏或电影音乐背景中特别有用。由Morpheus系统生成的音乐已在音乐会上现场演出。
2018-12-12 cs.SD eess.AS
Multi-Genre Music Transformer -- Composing Full Length Musical Piece
Purdue University(普渡大学)
在生成音乐的任务中,艺术因素起着很大的作用,对AI来说是一个巨大的挑战。以前的工作涉及对抗性训练,以产生新的音乐作品,并对音乐中的各种兼容性(节拍,节奏,音乐干)进行建模,展示了学习这项任务的很好的例子。尽管这仅限于生成mashup或从节奏和键分布中学习特征以生成类似的模式。复合词Transformer能够将音乐生成任务表示为涉及由复合词定义的音乐事件的序列生成挑战。这些音乐事件对音符的进展、和弦的变化、和声和艺术因素给予了更准确的描述。该项目的目标是实现一个多流派的Transformer,它通过更适应的学习过程来学习制作音乐作品,包括更具有挑战性的任务,其中还考虑了作曲的流派或形式。我们建立了一个多体裁的复合词数据集,实现了一个线性Transformer,它是在这个数据集上训练的。我们称之为多流派Transformer,它能够产生全长新的音乐作品,这是多样化的,可与原始轨道。该模型的训练速度比其他模型快2-5倍。
2023-01-06 cs.LG cs.SD eess.AS
Tuning Music Education: AI-Powered Personalization in Learning Music
本文展示两个案例研究,利用自动和弦识别和自动音乐转录技术生成个性化音乐练习,推动音乐教育个性化并促进高质量教育的普及。
2024-12-18 cs.AI cs.SD eess.AS
Music Generation by Deep Learning - Challenges and Directions
Sorbonne Universités(索邦大学);UPMC Univ Paris 06(巴黎第六大学);CNRS(法国国家科学研究中心);LIP6(LIP6实验室);Spotify Creator Technology Research Lab(Spotify创作者技术研究实验室)
除了预测、分类和翻译等传统任务外,深度学习作为音乐生成的一种方法正受到越来越多的关注,最近的研究小组如Google的Magenta和Spotify的CTRL(创作者技术研究实验室)就见证了这一点。其动机是利用深度学习架构和训练技术的能力,从任意音乐语料库中自动学习音乐风格,然后从估计的分布中生成样本。然而,直接应用深度学习来生成内容会很快达到极限,因为生成的内容往往会模仿训练集,而不会表现出真正的创造力。此外,深度学习架构不提供用于控制生成的直接方式(例如,施加一些音调或其它任意约束)。此外,单独的深度学习架构是自闭症自动机,其在没有人类用户交互的情况下自主地生成音乐,远离交互地帮助音乐家创作和精炼音乐的目标。控制、结构、创造性和互动性等问题是我们分析的重点。在本文中,我们选择了深度学习直接应用于音乐生成的一些局限性,分析了为什么这些问题没有得到解决,以及如何通过可能的方法来解决这些问题。最近的系统的各种例子被引用作为有前途的方向的例子。
2018-09-30 cs.LG cs.SD eess.AS
Conditioned Source Separation for Music Instrument Performances
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
在音乐声源分离中,每个作品的声源数量可能不同,并且某些声源可能属于同一乐器家族,从而共享音色特征并使声源更加相关。这导致了声源分离问题中的额外挑战。本文提出了一种多乐器同时发声的声源分离方法,并探讨了在音频流之外增加多少附加信息可以提高声源分离的质量。我们探索在不同层次的主要声源分离网络的条件技术,并利用两个额外的数据形式,即存在或不存在的混合物中的仪器,以及相应的视频流数据。
2021-07-07 cs.SD eess.AS
The challenge of realistic music generation: modelling raw audio at scale
DeepMind(深度思维)
现实的音乐生成是一项具有挑战性的任务。当构建从数据中学习的音乐生成模型时,通常使用诸如乐谱或乐谱之类的高级表示来抽象特定表演的特质。但这些细微差别对于我们对音乐性和现实主义的感知非常重要,因此在这项工作中,我们开始在原始音频领域对音乐进行建模。已经表明,自回归模型擅长生成语音的原始音频波形,但当应用于音乐时,我们发现它们偏向于捕获本地信号结构,而牺牲了对远程相关性的建模。这是有问题的,因为音乐在许多不同的时间尺度上表现出结构。在这项工作中,我们探索自回归离散自编码器(ADA)作为一种手段,使自回归模型捕捉波形中的长程相关性。我们发现,它们允许我们无条件地直接在原始音频域中生成钢琴音乐,这在几十秒内显示出风格的一致性。
2018-06-26 cs.LG cs.SD eess.AS
MusicMamba: A Dual-Feature Modeling Approach for Generating Chinese Traditional Music with Modal Precision
School of Computer Science and Artificial Intelligence, Wuhan University of Technology(武汉理工大学计算机科学与人工智能学院);School of Computer Science, Hubei University of Technology(湖北工业大学计算机学院)
针对中国传统音乐生成中调式特征和情感表达捕捉的难题,提出双特征建模模块结合Mamba与Transformer及双向融合层,并构建FolkDB数据集与REMI-M表示法,有效提升了旋律生成质量。
2025-03-06 cs.SD eess.AS
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题,本文通过探测AudioLDM 2的注意力图,提出无训练技术Melodia,选择性操作自注意力图并利用注意力存储库,实现了音乐特征的准确修改与结构保留,还提出新评估指标,实验效果优异。
2025-11-18 cs.SD eess.AS
Benchmarks and leaderboards for sound demixing tasks
Institute for Design Problems in Microelectronics of Russian Academy of Sciences(俄罗斯科学院微电子设计问题研究所)
本文提出两个新的音源分离基准及排行榜,并开发了一种基于多模型集成、按音轨成分择优分配的新方法,在 Music Demixing Challenge 2023 中取得顶尖成绩。
2024-05-07 cs.LG cs.SD eess.AS
M2M-Gen: A Multimodal Framework for Automated Background Music Generation in Japanese Manga Using Large Language Models
The University of Tokyo(东京大学);MBZUAI(Mohamed bin Zayed 人工智能大学)
本文提出M2M Gen多模态框架,通过对话检测和情感分类提取场景信息,并利用GPT4o生成音乐指令指导文本到音乐模型,为日本漫画自动生成高质量且契合叙事的背景音乐。
2024-10-13 cs.AI cs.SD eess.AS
Melody Generation for Pop Music via Word Representation of Musical Properties
THE UNIVERSITY OF TOKYO(东京大学);IRCAM(法国声学/音乐研究中心);INNOVATION CREATIVE, INC.(创新创意公司)
流行音乐的自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而,由于许多因素,学习产生悦耳的旋律已经证明是非常具有挑战性的。纸币的多元属性的表示一直是主要的挑战之一。它也很难保持在音乐多样性的允许范围内,在此之外,将被视为一个没有听觉愉悦的简单随机演奏。观察流行音乐的传统结构带来了进一步的挑战。在本文中,我们建议将每个音符及其属性表示为一个唯一的“词”,从而减少属性之间的不对齐的前景,并降低学习的复杂性。我们还对音符的范围实施正则化策略,从而鼓励生成的旋律接近人类容易遵循的旋律。此外,我们生成旋律的歌曲部分信息的条件下,从而复制一个完整的歌曲的整体结构。实验结果表明,我们的模型可以生成令人愉快的歌曲,更难以区分人类写的比以前的模型。
2017-10-31 cs.MM cs.SD eess.AS
Music Genre Classification with ResNet and Bi-GRU Using Visual Spectrograms
The University of Melbourne(墨尔本大学)
针对音乐流派分类中传统方法依赖人工特征、CNN难捕捉时间动态的问题,提出以视觉频谱图为输入、融合ResNet与GRU的混合模型,可更全面分析音乐数据,助力提升音乐推荐系统性能。
2023-07-20 cs.LG cs.SD eess.AS
Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对现有Transformer类音乐生成方法上下文窗口短、长时音乐缺乏结构的问题,提出整合文本转音乐模型与大语言模型的方案,可生成2.5分钟长的高结构化连贯音乐。
2024-10-05 cs.LG cs.SD eess.AS
Audio Content Analysis
Georgia Institute of Technology(佐治亚理工学院)
介绍音频内容分析的书籍章节的预印本。本章以音乐信息检索系统为重点,定义了音乐音频内容,介绍了音频内容分析的一般过程,并概述了音频内容分析的基本方法。音频内容分析中的各种任务分为三类:音乐转录,音乐演奏分析,音乐识别和分类。音乐转录系统的示例包括音乐键检测、基频检测和音乐结构检测。音乐表现分析系统概述了节拍和节奏检测方法以及音乐表现评估。涵盖的音乐分类系统包括音频指纹、音乐流派分类和音乐情感识别。本章最后讨论了该领域目前面临的挑战,并对未来前景进行了推测。
2021-01-01 cs.SD eess.AS eess.SP
UT-AISTimprt submission for ICME 2026 Grand Challenge on Academic Text-to-Music Generation
UT-AIST
本研究针对低数据和小模型设置下的文本到音乐生成,提出基于文本或音频嵌入的聚类批量采样策略,分析模态和聚类粒度的影响,发现文本嵌入聚类在客观指标上更优,中等聚类数在客观指标最佳而大聚类数在听觉测试中结构更连贯。
2026-07-03 cs.SD
The Interpretation Gap in Text-to-Music Generation Models
Queen Mary University of London(伦敦玛丽女王大学)
针对文本到音乐生成模型与人类音乐家协作能力有限的问题,提出含表达、解释、执行的音乐交互框架,指出核心差距在解释阶段,给出两种解决策略并呼吁学界攻关以提升人机音乐协作水平。
2024-07-14 cs.AI cs.SD eess.AS
Not that Groove: Zero-Shot Symbolic Music Editing
Drexel University(德雷塞尔大学)
本文研究仅基于文本指令的符号音乐编辑,提出用创造性格式连接LLM与音乐,实现零样本鼓点律动编辑,并构建与音乐家判断高度一致的单元测试评估数据集。
2025-05-13 cs.CL cs.SD eess.AS
Personalized Popular Music Generation Using Imitation and Structure
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
近年来,音乐生成出现了许多实践。虽然使用深度学习技术的风格音乐生成已成为主流,但这些模型仍难以生成具有高音乐性、不同层次音乐结构和可控性的音乐。此外,音乐治疗等更多应用场景需要从几个给定的音乐示例中模仿出更具体的音乐风格,而不是捕捉大型数据语料库的整体流派风格。为了解决挑战当前深度学习方法的需求,我们提出了一种统计机器学习模型,该模型能够从给定的示例种子歌曲中捕获和模仿结构、旋律、和弦和低音风格。使用10首流行歌曲的评估表明,我们的新表示和方法能够创建高质量的风格音乐,是类似于一个给定的输入歌曲。我们还讨论了我们的方法在音乐评价和音乐治疗的潜在用途。
2021-05-10 cs.AI cs.SD eess.AS
Melody Structure Transfer Network: Generating Music with Separable Self-Attention
Shanghai Jiao Tong University(上海交通大学)
符号音乐生成越来越受到人们的关注,而大多数方法都集中在生成短片段(大多数小于8小节,最多32小节)。创作长乐曲需要连贯的音乐结构的有效表达。尽管他们在长序列上取得了成功,但自我注意架构在处理长时间音乐方面仍然存在挑战,因为它需要对微妙的音乐结构进行额外的关注。在本文中,我们提出了新的音乐生成的训练样本的结构转移,并开发了一种新的可分离的自注意模型,使学习和转移的结构嵌入。我们表明,我们的传输模型可以生成音乐序列(高达100条)与可解释的结构,它具有类似的结构和组成技术与模板音乐从训练集。大量的实验表明,该方法能够生成目标结构清晰、多样性好的音乐。生成的3,000套音乐作为补充材料上传。
2021-07-21 cs.MM cs.SD eess.AS
What is missing in deep music generation? A study of repetition and structure in popular music
Carnegie Mellon University(卡内基梅隆大学)
结构是音乐最基本的方面之一,而音乐结构通常通过重复来表示。然而,音乐中的重复和结构的本质仍然没有得到很好的理解,特别是在音乐生成的背景下,并且还有很多东西需要利用音乐信息检索(MIR)技术进行探索。两个流行音乐数据集的分析(中国和美国)说明重要的音乐建设原则:(1)结构存在于多个层次,(2)歌曲使用重复和有限的词汇,使得单个歌曲不遵循歌曲集合的一般统计,(3)结构与节奏、旋律、和声和可预测性相互作用,以及(4)在歌曲的过程中,重复不是随机的,而是遵循交叉熵所揭示的一般趋势。这些和其他研究结果为深度学习音乐生成提供了挑战和机遇,并提出了新的正式音乐标准和评估方法。我们分析了最近音乐生成系统中的音乐,并将其与我们数据集中的人类创作的音乐进行了比较,通常从结构的角度揭示了显着的差异。
2022-09-01 cs.IR cs.SD eess.AS
MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT
Hokkaido University(北海道大学)
本文提出MMT-BERT框架,结合MusicLang和弦分析的新型符号音乐表示与微调MusicBERT判别器,解决多轨符号音乐生成中和弦信息缺失与架构适配问题,提升生成音乐的协和性与人性化。
2024-09-02 cs.AI cs.SD eess.AS
Advancing Multi-Instrument Music Transcription: Results from the 2025 AMT Challenge
本文报告了2025年自动音乐转录挑战赛的结果,展示了多乐器转录的进展与挑战,强调了转录准确性的提升及多声部和音色变化的难点。
2026-03-29 cs.IR cs.SD
Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文系统梳理了基于深度学习的音频-乐谱跨模态检索的现状,明确真实场景中的主要挑战,总结已有改进,并提出后续解决思路,以推动稳健且大规模的统一检索方法。
2023-09-21 cs.IR cs.LG cs.SD
SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge Evaluation Plan
University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学);Nagoya University(名古屋大学);Renmin University of China(中国人民大学)
针对AI生成歌声带来的伪造风险,论文介绍首个歌声深度伪造检测挑战赛SVDD Challenge的评估计划,并说明其数据范围及与SLT 2024合办。
2024-05-08 cs.AI cs.MM cs.SD
MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation
Taiwan AI Labs(台湾AI实验室);National Taiwan University(台湾大学)
MusiConGen基于MusicGen框架,通过高效微调机制将节奏与和弦作为条件信号,解决了文本到音乐生成中无法精确控制时序音乐特征的问题,可生成与指定条件高度契合的逼真伴奏音乐。
2024-07-21 cs.AI cs.SD eess.AS
Choir Transformer: Generating Polyphonic Music with Relative Attention on Transformer
School of Automation and Information Engineering, Xi’an University of Technology(西安理工大学自动化与信息工程学院)
本文提出Choir Transformer,利用相对位置注意力与专用音乐表示生成复调音乐,准确率超越此前最优结果,和声指标接近巴赫作品,并支持多种风格的可控生成。
2023-08-01 cs.AI cs.SD eess.AS
DAIRHuM: A Platform for Directly Aligning AI Representations with Human Musical Judgments applied to Carnatic Music
Goldsmiths, University of London(伦敦大学金史密斯学院)
本文提出DAIRHuM平台,用于将AI音乐表示与人类音乐判断直接对齐,并在卡纳提克音乐节奏二重奏上验证了模型对齐效果,揭示了该音乐类型特有的节奏感知差异,推动了印度音乐MIR研究。
2024-11-22 cs.AI cs.SD eess.AS
Dance2MIDI: Dance-driven multi-instruments music generation
Zhejiang University(浙江大学);National University Singapore(新加坡国立大学);Bytedance AI Lab(字节跳动人工智能实验室);Beijing Film Academy(北京电影学院)
本文针对舞蹈驱动的多乐器MIDI生成问题,构建首个舞蹈-MIDI配对数据集D2MIDI,并提出Dance2MIDI框架,通过图卷积编码舞蹈动作、Transformer生成鼓轨及BERT式模型补全其余音轨,取得最先进性能。
2024-02-27 cs.MM cs.SD eess.AS
Machine learning for music genre: multifaceted review and experimentation with audioset
UCLM(卡斯蒂利亚-拉曼恰大学)
音乐类型分类是音乐信息检索的一个分支,由于其存在的问题,越来越受到研究者的关注。虽然研究已经在出版的作品数量方面多产,但该主题仍然存在一个基础问题:没有明确和正式的定义是什么类型。音乐分类模糊不清,受人的主观性和缺乏一致性的影响。在第一部分,本文提供了一个调查,试图涵盖这个问题的许多不同方面。它的主要目标是让读者概述历史和当前的最新技术水平,探索迄今为止使用的技术和数据集,以及确定当前的挑战,例如体裁定义的模糊性或以人为本的方法的引入。本文特别关注机器学习应用于音乐标注问题的新趋势。最后,我们还包括一个音乐流派分类实验,使用Audioset比较不同的机器学习模型。
2019-11-28 cs.IR cs.LG cs.SD
MusicAOG: an Energy-Based Model for Learning and Sampling a Hierarchical Representation of Symbolic Music
Central Conservatory of Music(中央音乐学院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Alibaba Group(阿里巴巴集团)
本文提出MusicAOG,一种基于层次化与或图和能量模型的符号音乐表示与生成方法,利用极小极大熵原则和Metropolis-Hastings采样实现细粒度控制,显著提升了可解释性与可控性。
2024-01-05 cs.MM cs.SD eess.AS
Segment Transformer: AI-Generated Music Detection via Music Structural Analysis
MIPPIA Inc.(MIPPIA公司)
针对AI生成音乐检测难题,提出基于Transformer的分段结构分析方法,集成预训练模型提取片段特征并学习片段间关系,在FakeMusicCaps和SONICS数据集上取得高准确率,提升检测性能与鲁棒性。
2025-09-10 cs.AI cs.SD eess.AS
Efficient Fine-Grained Guidance for Diffusion Model Based Symbolic Music Generation
Tingyu Zhu(丁宇 Zhu);Haoyu Liu(刘浩宇 Liu);Ziyu Wang(王子宇 Wang);Zhimin Jiang(江志敏 Jiang);Zeyu Zheng(郑泽宇 Zheng)
本文提出扩散模型中的高效细粒度引导方法FGG,通过更贴合作曲家意图的引导提升符号音乐生成的准确性、可听性与质量,并支持即兴与实时交互式创作。
2025-06-06 cs.AI cs.LG cs.MM
BeatFM: Improving Beat Tracking with Pre-trained Music Foundation Model
School of Computer Science, Fudan University, Shanghai, China(复旦大学计算机科学学院);Naval Medical Center, PLA, China(中国人民解放军海军医疗中心);Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息科学研究生院);Graduate School of Advanced Science and Engineering, Hiroshima University, Hiroshima, Japan(广岛大学先进科学与工程研究生院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University, Shanghai, China(上海智能信息处理重点实验室)
针对节拍跟踪中标注数据稀缺的问题,提出BeatFM范式,利用预训练音乐基础模型及多维语义聚合模块,在多个基准上实现最先进的节拍与下拍跟踪性能。
2025-09-09 cs.SD
WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
WildScore是首个用于评估多模态大语言模型在现实世界中符号音乐推理能力的基准测试,通过真实音乐作品和用户生成问题,系统性评估模型在音乐学分析中的表现。
2026-01-23 cs.CL cs.SD eess.AS
A Comprehensive Survey on Deep Music Generation: Multi-level Representations, Algorithms, Evaluations, and Future Directions
Xi’an Jiaotong University(西安交通大学)
利用深度学习技术生成各种内容(如图像、文本等)已经成为一种趋势。尤其是音乐,本文的选题,引起了无数研究者的广泛关注,音乐产生的整个过程可以分为三个阶段,对应着音乐生成的三个层次:分数生成产生分数,性能生成将性能特征添加到分数,音频生成通过指定音色将具有演奏特征的乐谱转换成音频或直接生成音频格式的音乐。以前的调查已经探讨了在自动音乐生成领域采用的网络模型。然而,同一音乐生成任务的发展历史、模式演变以及利弊却没有得到清晰的说明。本文试图对不同音乐生成水平下的各种作曲任务进行概述,涵盖了目前流行的大部分使用深度学习的音乐生成任务。此外,我们总结了适合不同任务的数据集,讨论了音乐表示,评估方法以及在不同水平下的挑战,最后指出了几个未来的发展方向。
2020-11-13 cs.LG cs.SD eess.AS
A Functional Taxonomy of Music Generation Systems
Singapore University of Technology and Design(新加坡科技设计大学)
自计算机诞生以来,数字技术的进步已经改变了自动音乐生成的面貌。尽管有许多突破,但不同机器针对的音乐任务以及它们成功的程度等问题仍然是悬而未决的问题。我们提出了一个功能分类的音乐生成系统参考现有的系统。分类法根据系统的设计目的来组织系统。它还揭示了系统之间的相互关系。这种以设计为中心的方法与主流的基于方法的调查形成对比,有助于识别重大挑战,为新的突破奠定基础。
2018-12-11 cs.LG cs.SD eess.AS
BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on Pop and Classical Music
University of California San Diego, USA(加州大学圣地亚哥分校)
BACHI通过掩码迭代解码实现流行与古典音乐的边界感知符号和弦识别,引入增强数据集并提出分解任务的模型,提升识别性能。
2026-02-05 cs.LG cs.SD eess.AS
CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models
针对音乐信息检索中语言多样性和模态整合的挑战,提出CLaMP 2,利用大语言模型和对比学习,在101种语言及ABC/MIDI模态上实现最先进的语义搜索与分类。
2025-01-23 cs.CL cs.SD eess.AS
Music Source Restoration with Ensemble Separation and Targeted Reconstruction
本文提出双阶段系统,通过预训练分离模型和基于BSRNN的修复模型,实现音乐源修复,优于基线方法,排名第二。
2026-03-13 cs.AI cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院)
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题,研究者结合频谱图掩码、深度神经网络与MuseScore API,构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Learning Music Audio Representations With Limited Data
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院)
本文研究多种音乐音频表示模型在5至8000分钟有限数据下的表现,发现特定条件下有限数据甚至随机模型的表示可与大数据集模型媲美,但部分任务中手工特征仍更优。
2025-05-09 cs.LG cs.SD eess.AS
Controllable deep melody generation via hierarchical music structure representation
Carnegie Mellon University(卡内基梅隆大学);Adobe Inc.(Adobe公司)
深度学习的最新进展扩大了生成音乐的可能性,但生成具有一致的长期结构的可定制的完整音乐片段仍然是一个挑战。本文介绍了MusicFrameworks,一个层次化的音乐结构表示和多步生成过程,以创建一个完整的长度旋律指导下,长期重复的结构,和弦,旋律轮廓和节奏的限制。我们首先用小节和乐句层次结构来组织完整的旋律。为了在每个乐句中生成旋律,我们使用两个单独的基于变换器的网络生成节奏和基本旋律,然后以自回归方式生成以基本旋律、节奏和和弦为条件的旋律。通过将音乐生成分解为子问题,我们的方法允许更简单的模型,需要更少的数据。为了自定义或增加多样性,可以在音乐框架中改变和弦,基本旋律和节奏结构,让我们的网络相应地生成旋律。此外,我们引入了新的功能来编码音乐的位置信息,节奏模式和旋律轮廓的基础上音乐领域的知识。听力测试表明,我们的方法生成的旋律在POP909数据集中大约一半的时间被评为与人类创作的音乐一样好或更好。
2021-09-02 cs.AI cs.SD eess.AS