Audio Prompt Adapter: Unleashing Music Editing Abilities for Text-to-Music with Lightweight Finetuning
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
本文提出轻量级模块AP-Adapter,利用AudioMAE提取特征并结合注意力适配器注入AudioLDM2,仅用2200万参数实现基于音频和文本提示的音乐全局与局部编辑,在音色、流派转换等任务上表现优异且具良好泛化能力。
2024-07-24 cs.AI cs.SD eess.AS
ViTex: Visual Texture Control for Multi-Track Symbolic Music Generation via Discrete Diffusion Models
School of EECS, Peking University(电子工程系,北京大学);Music X Lab, MBZUAI(音乐X实验室,MBZUAI);Courant Institute of Mathematical Sciences, New York University(数学科学学院,纽约大学)
ViTex通过离散扩散模型实现多轨符号音乐生成的视觉纹理控制,结合乐器选择、音高时间及笔触属性,生成高质量音乐并支持纹理级操控。
2026-03-02 cs.SC cs.SD
Music Source Separation Based on a Lightweight Deep Learning Framework (DTTNET: DUAL-PATH TFC-TDF UNET)
Imperial College London(帝国理工学院);Amrita Vishwa Vidyapeetham(阿姆里塔维什瓦维迪亚皮塔姆大学);Amrita School of Engineering(阿姆里塔工程学院)
提出轻量级DTTNet架构,基于双路径模块和TFC-TDF UNet,在音乐源分离中达到10.12 dB cSDR,优于BSRNN且参数减少86.7%,并评估了复杂音频模式的泛化性能。
2024-03-19 cs.SD eess.AS
MuseControlLite: Multifunctional Music Generation with Lightweight Conditioners
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出轻量级微调机制MuseControlLite,通过在解耦交叉注意力层引入旋转位置嵌入,以极低参数量实现高精度的多功能音乐生成控制。
2025-06-24 cs.AI cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
音乐创作通常由两个部分组成:创作乐谱,然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展,但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果,因为乐谱不包含性能级别的信息,例如定时和动态的细微变化。此外,虽然该任务可能听起来像文本到语音合成问题,但由于音乐音频具有丰富的复调声音,因此存在根本差异。为了构建这样的AI表演者,我们在本文中提出了一个深度卷积模型,该模型以端到端的方式学习音乐的符号表示(称为钢琴卷)和音乐的音频表示(称为频谱图)之间的分数到音频映射。该模型由两个子模型组成:ContourNet,它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系,并给出初始结果;以及TextureNet,它进一步使用多波段残差网络,通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型,以生成小提琴、大提琴和长笛的音乐片段,数据集大小适中。我们还提出了一个用户研究的结果,表明我们的模型实现了更高的平均意见得分(MOS)的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
Mozart's Touch: A Lightweight Multi-modal Music Generation Framework Based on Pre-Trained Large Models
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出Mozart's Touch框架,利用预训练大语言模型解读图像、视频和文本等多模态输入并生成匹配音乐,无需训练音乐生成模型,并通过LLM-Bridge方法解决跨模态表示异构问题,实验表明其性能优于现有最先进模型。
2024-11-25 cs.AI cs.SD eess.AS
Moises-Light: Resource-efficient Band-split U-Net For Music Source Separation
本文提出Moises-Light,一种资源高效的频带分割U-Net轻量级音乐源分离模型,通过精心设计在MUSDB-HQ上以少13倍参数达到可比SDR,并展现良好可扩展性。
2025-10-08 cs.SD eess.AS
Lightweight Self-Supervised Detection of Fundamental Frequency and Accurate Probability of Voicing in Monophonic Music
Dept. of Computer Science, Columbia University, New York, US(计算机科学系,哥伦比亚大学,纽约,美国);Dept. of Mechanical Engineering and Dept. of Electrical Engineering, Columbia University(机械工程系和电气工程系,哥伦比亚大学);Recognition Technologies, Inc., New York, US(识别技术公司,纽约,美国)
本文提出了一种轻量级自监督框架,用于单音音乐中基频和发声概率的准确估计,通过转置等价学习和EM风格的迭代加权方案实现无需标注的高效训练。
2026-01-16 cs.AI cs.LG cs.SD
SAMUeL: Efficient Vocal-Conditioned Music Generation via Soft Alignment Attention and Latent Diffusion
Division of Engineering Science University of Toronto(工程科学系 马尼托瓦大学);Innovative Cognitive Computing Center King Mongkut's University of Technology Thonburi(创新认知计算中心 王后大学技术吞武里)
SAMUeL通过软对齐注意力和潜在扩散技术,实现高效的语音条件音乐生成,参数减少220倍,推理速度提升52倍,性能优于OpenAI Jukebox。
2026-01-04 cs.LG cs.SD
Harmonica: Accurate and Lightweight Instrument-Agnostic Music Transcription
BandLab Technologies(BandLab科技公司)
本文提出基于多深度谐波卷积的乐器无关音乐转录模型Harmonica,不同规模变体在准确率或推理效率上表现优异,纳米变体帧F1值优于Basic Pitch,多深度谐波卷积可有效提升转录性能。
2026-09-07 cs.SD
AccoMontage: Accompaniment Arrangement via Phrase Selection and Style Transfer
NYU Shanghai(纽约大学上海校区)
伴奏编曲是一项困难的音乐生成任务,涉及旋律、和声、织体和音乐结构的交织约束。现有的模型还不能有效地捕捉所有这些限制,特别是对于长期的音乐生成。为了解决这个问题,我们提出了AccoMontage,一个通过统一的乐句选择和神经风格转移的整首音乐的伴奏安排系统。我们专注于基于一个铅表(即,旋律与和弦进行)。具体来说,AccoMontage首先从数据库中检索短语蒙太奇,同时使用动态规划在结构上重新组合它们。其次,检索到的短语的和弦被操纵,以匹配铅表通过风格转移。最后,系统提供对生成过程的控制。与纯粹的基于学习的方法相比,AccoMontage引入了一种新的混合途径,其中基于规则的优化和深度学习都可以相互补充,以实现高质量的生成。实验表明,我们的模型生成结构良好的伴奏与细腻的纹理,显着优于基线。
2021-08-25 cs.IR cs.MM cs.SD
Reverb Conversion of Mixed Vocal Tracks Using an End-to-end Convolutional Deep Neural Network
Seoul National University(首尔大学)
混响在音乐制作中起着关键作用,它为听众提供了音乐的空间意识,音色和纹理。然而,即使是熟练的工程师也难以再现参考音轨的音乐混响。作为回应,我们提出了一个端到端系统,能够切换两个不同混合声乐曲目的音乐混响因子。此方法使我们能够将参考轨道的混响应用于需要效果的源轨道。此外,我们的模型可以执行去混响时,参考轨道被用作干声源。所提出的模型与对抗性目标相结合进行训练,这使得处理高分辨率音频样本成为可能。感知评估证实,该模型可以转换混响因子的首选率为64.8%。据我们所知,这是首次尝试将深度神经网络应用于转换声乐曲目的音乐混响。
2021-03-03 cs.LG cs.SD eess.AS
Explaining Deep Convolutional Neural Networks on Music Classification
Queen Mary University of London(伦敦玛丽女王大学)
深度卷积神经网络(CNN)已经被积极地应用于音乐信息检索领域,例如流派分类、情绪检测和和弦识别。然而,学习和预测的过程很少被理解,特别是当它被应用于频谱图时。我们引入CNN的可听化以理解其潜在机制,其基于[2]中引入的去卷积过程。CNN的可听化是将从去卷积获得的学习卷积特征转换为音频信号。在实验和讨论中,我们解释了基于去卷积频谱图和可听化信号的5层CNN的训练特征。还研究了具有不同音乐属性的每层的成对相关性,以了解学习特征的演变。结果表明,在深层,功能是学习捕捉纹理,连续分布的模式,而不是线条的形状。
2016-07-08 cs.AI cs.LG cs.MM
Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
复调音乐的歌词转录是具有挑战性的,这不仅是因为演唱的声音被背景音乐破坏,而且还因为背景音乐和演唱风格在不同的音乐流派中不同,例如流行音乐,金属和嘻哈,这以不同的方式影响歌曲的歌词可理解性。在这项工作中,我们建议使用一种新的体裁条件网络来转录复调音乐的歌词。所提出的网络采用预先训练的模型参数,并在层之间结合体裁适配器,以捕获歌词体裁对的不同体裁特性,从而只需要轻量级的体裁特定参数进行训练。我们的实验表明,建议的体裁条件网络优于现有的歌词转录系统。
2022-04-07 cs.AI cs.SD eess.AS
Mel Spectrogram Inversion with Stable Pitch
Apple(苹果公司)
声码器是能够将音频信号的低维频谱表示(通常为梅尔频谱图)变换为波形的模型。现代语音生成管道使用声码器作为其最终组件。最近为语音开发的声码器模型实现了高度的真实性,使得人们自然想知道它们在音乐信号上的表现如何。与语音相比,音乐声音纹理的异质性和结构性提出了新的挑战。在这项工作中,我们专注于一个特定的人工制品,一些声码器模型设计的语音往往表现出当应用于音乐:合成持续的音符时,音高的感知不稳定性。我们认为,这种人工制品的特征声音是由于缺乏水平相位相干性,这通常是使用时域目标空间与时移不变的模型,如卷积神经网络的结果。我们提出了一个新的声码器模型,是专门为音乐设计的。提高俯仰稳定性的关键是选择由幅度谱和相位梯度组成的平移不变目标空间。我们讨论了启发我们重新制定声码器任务的原因,概述了一个工作示例,并对音乐信号进行了评估。我们的方法的结果在60%和10%的改善重建持续的注意到和弦相对于现有的模型,使用一种新的谐波误差度量。
2022-08-26 cs.LG cs.MM cs.SD
TimberAgent: Gram-Guided Retrieval for Executable Music Effect Control
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院)
TimberAgent通过纹理共振检索实现可编辑的音频效果控制,利用Gram矩阵构建音频表示,降低参数误差,提供更精确的效果控制方案。
2026-03-10 cs.AI cs.SD
MuSLCAT: Multi-Scale Multi-Level Convolutional Attention Transformer for Discriminative Music Modeling on Raw Waveforms
University of San Francisco(旧金山大学)
在这项工作中,我们的目标是通过在一个有效的端到端架构中建模顺序(时间)和层次信息来提高基于波形的歧视性音乐网络的表达能力。我们提出了MuSLCAT,或多尺度和多级卷积注意力Transformer,一种新的架构,用于直接从原始波形记录中学习复杂音乐标签的鲁棒表示。我们还介绍了MuSLCAT的一个轻量级变体MuSLCAN,即Multi-scale and Multi-level Convolutional Attention Network的缩写。MuSLCAT和MuSLCAN都通过集成前端-后端架构从多个尺度和级别建模功能。前端针对不同的频率范围,同时通过使用两个具有注意力增强卷积(AAC)块的卷积注意力网络来建模远程依赖性和多级交互。后端动态地重新校准多尺度和水平的功能,从前端提取的结合自我注意。MuSLCAT和MuSLCAN之间的区别在于它们的后端组件。MuSLCAT的后端是BERT的修改版本。而MuSLCAN是一个简单的AAC块。我们验证了建议MuSLCAT和MuSLCAN架构进行比较,以最先进的网络上的四个基准数据集的音乐标记和流派识别。我们的实验表明,MuSLCAT和MuSLCAN始终产生竞争力的结果相比,国家的最先进的波形为基础的模型,但需要少得多的参数。
2021-04-06 cs.LG cs.SD eess.AS
Representations of Sound in Deep Learning of Audio Features from Music
Cold Spring Harbor Laboratory(冷泉港实验室)
一个音乐家、一个乐队或一个作曲家的作品在音乐风格上可以有很大的不同。事实上,不同的风格元素,从表演媒介和节奏到和谐和纹理,通常是在艺术家的一生中开发和发展的。然而,例如,在感知层面上,单个作曲家的作品通常具有可辨别的特征-有经验的听众通常可以从音乐中找到微妙的线索来识别作曲家或表演者。在这里,我们建议卷积网络可以学习这些微妙的线索或特征,给出音乐的适当表示。在本文中,我们将深度卷积神经网络应用于大型音频数据集,并根据经验评估其在音频分类任务上的性能。我们训练的网络在这样的分类任务上表现出准确的性能,当呈现通过原始音频波形的简单变换获得的5秒音乐示例时。一个特别有趣的例子是音乐的频谱表示,通过应用一个空间间隔的滤波器组,反映了哺乳动物听觉信号转导的早期阶段。最成功的音乐表示,以促进歧视是通过随机矩阵变换(RMT)。基于对数滤波器组和RMT的网络能够分别在68%和84%的情况下正确地猜测出31种可能性中的一个作曲家。
2017-12-08 cs.CV cs.SD eess.AS
Revisiting Meter Tracking in Carnatic Music using Deep Learning Approaches
MTG
本研究评估TCN和Beat This!两种深度学习模型在卡纳提克音乐节拍追踪中的表现,发现通过迁移学习可显著提升性能并超越DBN基线,证明SOTA模型能有效适应代表性不足的音乐传统。
2025-09-14 cs.LG cs.SD eess.AS
Expressive MIDI-format Piano Performance Generation
University of California San Diego(加利福尼亚大学圣迭戈分校)
该工作提出一种生成MIDI格式表现力丰富钢琴演奏的神经网络,通过微时序、复调、力度和踏板效果实现表现力,克服符号音乐局限,生成效果可与音频生成媲美。
2024-12-13 cs.AI cs.SD eess.AS
SwishNet: A Fast Convolutional Neural Network for Speech, Music and Noise Classification and Segmentation
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
语音、音乐和噪声分类/分割是音频处理/索引的重要预处理步骤。为此,我们提出了一种新的一维卷积神经网络(CNN)- SwishNet。它是一种基于MFCC功能的快速轻量级架构,适合添加到音频处理管道的前端。我们表明,通过从ImageNet上预训练的2D CNN中提取知识,可以提高网络的性能。我们研究了我们的网络在MUSAN语料库上的性能-MUSAN语料库是一个开放的噪声,音乐和语音样本的综合集合,适用于深度学习。所提出的网络在片段(长度为0.5-2s)分类(>97%准确率)和逐帧分割(>93%准确率)任务中实现了高的整体准确率,在语音/非语音区分任务中具有更高的准确率(>99%)。为了验证我们模型的鲁棒性,我们在MUSAN上进行了训练,并在不同的语料库GTZAN上进行了评估,发现精确度很高,微调很少。我们还证明了我们的模型在CPU和GPU上都是快速的,消耗少量的内存,适合在嵌入式系统中实现。
2018-12-01 cs.LG cs.SD eess.AS
LiteCASS: A Lightweight End-to-End Network for Real-Time Stereo Cinematic Audio Source Separation
Southwestern University of Finance and Economics(西南财经大学);Xiaomi Automobile Co., Ltd.(小米汽车有限公司);Wuhan University(武汉大学)
针对现有电影音频源分离方法参数多、依赖GPU且仅支持单声道的问题,提出轻量级端到端网络LiteCASS,结合STFT子带重排与双U-Net实现实时立体声分离,以1.06M参数和0.72G MACs在DnR v3立体声扩展上取得最高平均SI-SDR。
2026-09-22 cs.SD
Controllable Embedding Transformation for Mood-Guided Music Retrieval
SiriusXM-Pandora, USA(SiriusXM-Pandora,美国);New York University, New York, USA(纽约大学,纽约,美国)
本文提出一种可控音乐嵌入变换框架,通过情绪标签引导种子音频嵌入到目标嵌入,保留其他音乐属性,实验表明在保持流派和乐器方面优于无训练基线。
2026-10-05 cs.SD
Signal Representations for Synthesizing Audio Textures with Generative Adversarial Networks
National University of Singapore(新加坡国立大学)
生成对抗网络(GANs)目前使用由对数幅度和瞬时频率组成的2通道频谱图表示(“IF频谱图”)来实现音调乐器的最先进的声音合成质量。许多其他合成系统使用从幅度谱导出的表示,然后依赖于后端组件来反转输出幅度谱图,这通常导致与反转过程相关联的可听伪像。然而,对于具有紧密间隔的频率分量的信号,例如非音调和其他噪声声音,在2通道IF频谱图表示上训练GAN与基于幅度频谱的表示相比没有优势。在本文中,我们提出在单通道幅度谱上训练GANs,并使用相位梯度堆积分(PGHI)反演算法是一种更好的综合方法,用于包括音调,非音调和动态复杂声音的各种信号的音频合成建模。我们表明,这种方法产生更高质量的输出宽带和嘈杂的声音,如持久性有机污染物和啁啾,相比使用IFSpectrogram。此外,音调的声音质量与使用IFSpectrogram相当,即使使用更简单的表示方法,只需一半的内存需求。
2021-03-12 cs.MM cs.SD eess.AS
UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions
Tianjin University(天津大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
UniSonate通过统一的文本指令接口生成语音、音乐和音效,采用动态令牌注入机制和多阶段课程学习策略,提升跨模态生成性能,实现指令驱动的TTS和TTM的SOTA表现。
2026-04-24 cs.AI cs.CL cs.SD
A Statistics-Driven Differentiable Approach for Sound Texture Synthesis and Analysis
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出统计驱动的TexStat损失函数及TexEnv合成器和TexDSP生成模型,用于纹理声音的分析与合成,并通过实验证明TexStat具有感知意义、时间不变性和噪声鲁棒性,可同时作为生成任务损失函数和验证指标。
2025-06-04 cs.SD eess.AS
Refining music sample identification with a self-supervised graph neural network
针对音乐样本识别对常见制作变换鲁棒性不足的问题,提出一种基于图神经网络和对比学习的轻量级编码架构,仅用9%参数达到44.2% mAP,并引入两阶段检索与交叉注意力分类器提升质量,同时发布短查询细粒度标注。
2025-06-20 cs.AI cs.IR cs.SD
PitchBench: Measuring Pitch Hearing in Audio-Language Models
University of California, Berkeley(加州大学伯克利分校);Thoughtful Lab
提出PitchBench评估套件,通过28个实验系统测量音频-语言模型在绝对和相对音高感知上的表现,发现当前模型在不同声源、音长和格式下音高感知不可靠。
2026-11-10 cs.AI cs.SD