An Exploratory Study on Perceptual Spaces of the Singing Voice
Queen Mary University of London（伦敦玛丽女王大学）
60名参与者提供了不同的评级之间的各种歌唱技术。多维尺度，类平均和聚类技术被用来分析音色空间，以及它们如何在不同的歌手，性别和寄存器之间的变化。聚类分析表明，地面实况相似性和轮廓分数，性别或注册条件之间没有显着差异，而相似性分数与参与者的工具能力和任务理解呈正相关。参与者的反馈显示了修改后的研究设计如何减轻我们数据中的噪音，从而获得更详细的统计结果。音色图和类距离分析显示，我们的歌唱技术仍然是类似的，在性别和注册条件。这项研究提供了如何唱歌的音色空间在不同的条件下变化的洞察力，突出了参与者之间的感知的主观性，并提供了一般化的音色地图规则化机器学习。
2021-11-16 cs.SD eess.AS
Everyone-Can-Sing: Zero-Shot Singing Voice Synthesis and Conversion with Speech Reference
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
提出统一框架，利用预训练内容嵌入和扩散生成器，通过语音参考实现零样本歌声合成与转换，提升音色相似性和音乐性。
2025-01-23 cs.SD eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Singing Voice Data Scaling-up: An Introduction to ACE-Opencpop and ACE-KiSing
Carnegie Mellon University（卡内基梅隆大学）；Duke Kunshan University（昆山杜克大学）；Cornell University（康奈尔大学）；Multimodal Art Projection Community（多模态艺术投影社区）；Renmin University of China（中国人民大学）；Georgia Institute of Technology（佐治亚理工学院）
针对歌声合成数据稀缺问题，本文提出用现有合成器结合人工调校进行数据增广，构建ACE-Opencpop和ACE-KiSing两个大规模数据集，并验证其可作为新基准且能提升其他数据集上的SVS性能。
2024-06-12 cs.SD eess.AS
Interactive singing melody extraction based on active adaptation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
提出基于主动适应的交互式歌唱旋律提取方法，利用归一化真实类别概率置信度准则选择需人工标注的区域，并通过处理类别不平衡的元学习使模型适应目标域，同时发布了HAR数据集。
2024-02-12 cs.SD eess.AS
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research（Neutune研究中心）；KAIST（韩国科学技术院）
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题，通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后，在师生框架下，通过自我训练进一步提高标签质量。为了验证该方法，我们进行了各种实验设置，通过调查两个音高估计模型作为伪标签生成器，两个设置的师生框架，以及自我训练的迭代次数。实验结果表明，该方法能有效利用大规模未标记音频数据，并通过带噪学生模型进行自训练，提高了性能。最后，我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能，并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
Informed Group-Sparse Representation for Singing Voice Separation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）
人声分离是指将音乐录音中的人声部分和乐器部分分离出来，这是音乐信息检索中的一个基本问题。最近的研究表明，低秩表示和知情分离方法都能够提高分离质量。然而，由于使用奇异值分解，低秩优化在计算上是低效的。因此，在本文中，我们提出了一个新的线性时间算法称为知情组稀疏表示，并使用它来分离声乐音乐使用音高注释作为边信息。在iKala数据集上的实验结果证实了我们方法的有效性，表明在预先训练的乐器词典下，音乐伴奏遵循组稀疏结构。我们还展示了如何使用DSD 100数据集轻松扩展我们的工作以适应多个词典。
2018-01-09 cs.IR cs.SD eess.AS
Resource-constrained stereo singing voice cancellation
Apple（苹果公司）
本文面向资源受限与低延迟场景，将实时单声道语音分离模型改造为立体声歌声消除模型，并通过参数调优、数据扩充及声道一致性指标提升质量。
2024-01-22 cs.LG cs.SD eess.AS
Automatic Lyrics Alignment and Transcription in Polyphonic Music: Does Background Music Help?
Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
背景音乐影响歌曲中演唱者的歌词可懂度。在复调音乐中，歌词的自动对齐和自动转写是一项具有挑战性的任务，因为演唱的声音会被背景音乐所破坏。在这项工作中，我们提出了学习音乐流派的具体特点，训练复调声学模型。我们首先比较了几个自动语音识别管道的歌词转录的应用。然后，我们提出了歌词对齐和转录性能的音乐知情的声学模型的最佳性能管道，并系统地研究了音乐流派和语言模型的性能的影响。通过这种基于流派的方法，我们显式地对音乐进行建模，而不会在声学建模期间将其删除。在几个著名的复调测试数据集上，所提出的方法在歌词对齐和转录任务中优于所有竞争系统。
2019-10-22 cs.SD eess.AS
MuSE-SVS: Multi-Singer Emotional Singing Voice Synthesizer that Controls Emotional Intensity
Handong Global University（韩东全球大学）
提出多歌手情感歌声合成器MuSE-SVS，通过联合嵌入控制情感强度，并引入统计音高预测器、上下文感知残差时长预测器和ASPP-Transformer，显著提升了合成歌声的保真度、表现力与伴奏同步性。
2023-03-20 cs.SD eess.AS
Music-robust Automatic Lyrics Transcription of Polyphonic Music
复调音乐的歌词改编是一项具有挑战性的工作，因为声乐演唱会受到背景音乐的影响。为了提高歌词转录的背景音乐的鲁棒性，我们提出了一种策略相结合的功能，强调歌唱的声音，即音乐去除功能，代表歌唱的声音提取的功能，和功能，捕捉歌唱的声音，以及背景音乐，即音乐存在的功能。我们表明，这两组功能相辅相成，它们的组合比单独使用时表现得更好，从而提高了声学模型对背景音乐的鲁棒性。此外，通用语言模型和域内歌词专用语言模型之间的语言模型插值提供了转录结果的进一步改进。我们的实验表明，我们提出的策略优于现有的歌词转录系统的复调音乐。此外，我们发现，我们提出的音乐稳健的功能，特别是提高歌词转录性能的金属风格的歌曲，其中背景音乐是响亮的和占主导地位的。
2022-04-22 eess.AS
Deep Learning Based Source Separation Applied To Choir Ensembles
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术集团）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）
合唱是一种广泛使用的合唱形式，其中一群人在复调和声中同时演唱。合唱团最常见的设置由四个部分组成;女高音，女低音，男高音和低音（SATB），每个部分都有自己的基频范围（F $0$ s）。在这种合唱环境中，源分离的任务需要将SATB混合物分离成组成部分。音乐混合的源分离已经得到了很好的研究，并且已经提出了许多基于深度学习的方法。然而，大多数研究都集中在一个典型的情况下，其中包括分离声乐，打击乐和低音源的混合，其中每一个都有一个独特的频谱结构。相比之下，合奏歌唱的同时和谐波性质导致合唱混合物中源的光谱分量之间的高度结构相似性和重叠，使得合唱团的源分离比典型情况更难。这一点，加上缺乏适当的综合数据集，导致迄今为止该领域缺乏研究。在本文中，我们首先评估如何以及最近开发的音乐源分离的方法执行的情况下，SATB合唱团。然后，我们提出了一种新的特定于域的适应条件最近提出的U-Net架构的音乐源分离使用的基本频率轮廓的每个歌唱组，并证明我们提出的方法超越域不可知的架构的结果。
2020-08-17 cs.LG cs.SD eess.AS
Rapping-Singing Voice Synthesis based on Phoneme-level Prosody Control
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务）
本文介绍了一个文本到说唱/唱歌系统，它可以适应任何说话人的声音。它利用了一个基于Tacotron的多扬声器声学模型训练的只读语音数据，并提供在音素级的韵律控制。基于传统的DSP算法的数据集增强和额外的韵律操纵也进行了研究。神经TTS模型被微调到一个看不见的扬声器的有限录音，允许说唱/唱歌与目标的扬声器的声音合成。该系统的详细流水线进行了描述，其中包括提取的目标音高和持续时间值从一个无伴奏合唱歌曲和它们的转换成目标扬声器的有效范围的音符合成之前。通过WSOLA输出的韵律操纵的一个额外的阶段也被调查，以更好地匹配目标持续时间值。合成的话语可以与乐器伴奏音轨混合以产生完整的歌曲。所提出的系统进行评估，通过主观听力测试，以及在一个可用的替代系统，其目的也是从只读训练数据产生合成歌声比较。实验结果表明，该方法可以产生高质量的说唱/唱歌的声音与增加的自然度。
2021-11-17 cs.CL cs.LG cs.SD
Genre-conditioned Acoustic Models for Automatic Lyrics Transcription of Polyphonic Music
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
复调音乐的歌词转录是具有挑战性的，这不仅是因为演唱的声音被背景音乐破坏，而且还因为背景音乐和演唱风格在不同的音乐流派中不同，例如流行音乐，金属和嘻哈，这以不同的方式影响歌曲的歌词可理解性。在这项工作中，我们建议使用一种新的体裁条件网络来转录复调音乐的歌词。所提出的网络采用预先训练的模型参数，并在层之间结合体裁适配器，以捕获歌词体裁对的不同体裁特性，从而只需要轻量级的体裁特定参数进行训练。我们的实验表明，建议的体裁条件网络优于现有的歌词转录系统。
2022-04-07 cs.AI cs.SD eess.AS
How Does Instrumental Music Help SingFake Detection?
National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Rochester（罗切斯特大学）；NVIDIA（NVIDIA公司）；Independent Researcher（独立研究者）
本研究探讨了乐器音乐对SingFake检测的影响，发现伴奏主要作为数据增强，微调会增强对说话人特征的依赖并降低对内容信息的敏感性。
2026-01-20 cs.SD eess.AS eess.SP
MambaVoice: Lightweight Audiovisual Singing Voice Separation Via A Hybrid Mamba-Transformer Model
提出轻量级视听歌声分离模型MambaVoice，采用混合Mamba-Transformer架构融合音频与视觉特征，在Acappella和URSing数据集上以1620万参数达到与大型模型相当的性能。
2026-09-23 cs.SD
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.（奈飞公司）；Georgia Institute of Technology（佐治亚理工学院）
本研究针对电影音频源分离中歌声难以归类的问题，将Bandit和Banquet模型扩展为四音轨分离，发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；ByteDance Seed（字节跳动种子）；Shenzhen Loop Area Institute（深圳河套学院）；City University of Macau（澳门城市大学）；Amphion Technology Co., Ltd.（Amphion科技有限公司）
Vevo2通过统一建模和可控框架实现语音与歌唱语音的生成，结合语调学习策略和多目标训练提升可控性和泛化能力。
2026-03-05 cs.AI cs.CL cs.SD
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Audio segmentation based on melodic style with hand-crafted features and with convolutional neural networks
Indian Institute of Technology, Bombay（孟买印度理工学院）
我们调查的自动标记的taan部分，一个突出的结构组成部分的印度斯坦Khayal声乐演唱会的方法。该taan包含即兴拉嘎为基础的旋律呈现在快速音高和声音的能量调制的高度独特的风格。我们提出的计算功能，捕捉这些特定的高层次的特点，在复调背景下的歌声。提取的局部特征用于通过训练的多层感知器（MLP）网络实现帧级分类，然后基于新颖性检测进行分组和分割。我们报告的高精度与音乐家注释TAAN部分跨艺术家和音乐会。我们还比较了通过紧凑的专门功能与帧级分类获得的性能，通过卷积神经网络（CNN）直接对音频频谱图补丁进行相同的任务。虽然我们实验的相对简单的架构并不能完全达到手工特征的分类准确性，但它提供了一个远远高于机会的性能，并对网络从标记数据中有效学习区分特征的能力有了有趣的见解。
2018-07-30 cs.SD eess.AS
PoLyScriber: Integrated Fine-tuning of Extractor and Lyrics Transcriber for Polyphonic Music
National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对复调音乐歌词转录两步流水线存在的人声提取不完善和前后端不匹配问题，提出端到端集成微调框架PoLyScriber，全局优化提取器与转录器，在公开测试集上较现有方法实现大幅性能提升。
2023-05-05 cs.SD eess.AS eess.SP
Neural Vocoder Feature Estimation for Dry Singing Voice Separation
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
歌唱声分离是将歌唱声从乐器声中分离出来的任务。以前的SVS研究主要采用了声谱图掩蔽方法，该方法在预测二进制掩码时需要很大的维数。此外，他们还专注于提取一个保留了混响效果的湿声的声干。这一结果可能会阻碍孤立的歌声的可重用性。本文通过预测混合音频中的干歌声的梅尔谱图作为神经声码器特征，并从神经声码器合成歌声波形来解决这个问题。我们尝试了两种分离方法。一种是在梅尔频谱图域中预测二进制掩码，另一种是直接预测梅尔频谱图。此外，我们增加了一个歌声检测器，以确定随着时间的推移更明确的歌声段。我们从音频、去混响、分离和整体质量方面测量了模型的性能。实验结果表明，该模型在客观和主观评价上均优于现有的歌唱声分离模型，但在音质评价上有较大的改进。
2022-11-29 cs.SD eess.AS
Towards an efficient deep learning model for musical onset detection
Universitat Pompeu Fabra（庞培法布拉大学）
在本文中，我们提出了一个有效的和可重复的深度学习模型的音乐开始检测（MOD）。我们首先回顾了MOD的最新深度学习模型，并确定了它们的缺点和挑战：（i）缺乏超参数调优细节，（ii）在其他数据集上训练模型的代码不可用，以及（iii）在比较不同架构时忽略了网络功能。考虑到上述问题，我们尝试了七种深度学习架构。最有效的一个实现了相当于我们的国家的最先进的架构实现的性能。然而，它只有28.3%的可训练参数的总数相比，国家的最先进的。我们的实验是使用两个不同的数据集进行的：一个主要由器乐摘录，另一个由我们自己开发的只包括独唱的声音摘录。此外，进行了数据集间迁移学习实验。结果表明，在一个数据集上预训练的模型无法检测到另一个数据集上的起始点，这表明提供实现代码以针对不同数据集重新训练模型的重要性。数据集、代码和运行在Google Colab上的一个字节笔记本都是公开的，以使这项研究易于理解和复制。
2018-06-19 cs.IR cs.SD eess.AS
Adapting pretrained speech model for Mandarin lyrics transcription and alignment
National Taiwan University（国立台湾大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
本文在低资源环境下，通过适配预训练Whisper模型并在中文演唱数据集上微调，结合数据增强与源分离技术，解决了多音轨中文流行音乐的歌词转录与对齐问题，取得了优异性能。
2023-11-21 cs.SD eess.AS
SongCreator: Lyrics-based Universal Song Generation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）
针对现有模型难以根据歌词同时生成人声与伴奏歌曲的难题，研究团队提出SongCreator系统，通过双序列语言模型与注意力掩码策略实现多任务歌曲生成，在8项任务中表现优异且支持独立调控人声乐件声学条件。
2024-10-30 cs.AI cs.SD eess.AS
FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft（微软）
针对现有自回归歌唱伴奏生成方法速度慢无法实时应用的问题，提出基于非自回归扩散的FastSAG框架，直接生成梅尔频谱图，搭配投影模块与损失函数保证连贯性，质量优于SingSong且速度至少提升30倍。
2024-05-13 cs.AI cs.CL cs.MM
ViolinDiff: Enhancing Expressive Violin Synthesis with Pitch Bend Conditioning
Sogang University（西江大学）；University of Michigan（密歇根大学）
本文提出ViolinDiff，一个两阶段扩散框架，通过显式建模弯音信息来估计F0轮廓并生成小提琴梅尔频谱图，实验证明其能合成更逼真的小提琴声音。
2025-02-04 cs.AI cs.LG cs.SD
Change your singer: a transfer learning generative adversarial framework for song to song conversion
American University of Beirut（贝鲁特美国大学）
你有没有想过一首歌如果由不同的艺术家演唱会是什么样的？在这项工作中，我们提出了SCM-GAN，这是一个端到端的非并行歌曲转换系统，由生成对抗和迁移学习提供支持，允许用户收听选定的目标歌手演唱任何歌曲。SCM-GAN首先使用U-Net网络将歌曲分为人声和器乐，然后使用先进的CycleGAN-VC将人声片段转换为目标歌手，然后将转换后的人声与相应的背景音乐合并。SCM-GAN首先使用从最先进的语音到语音转换中学习的特征表示进行初始化，然后在非并行歌曲的数据集上进行训练。此外，SCM-GAN评估对一组度量，包括全球方差GV和调制谱MS上的24梅尔倒谱系数（MCEP）。迁移学习平均提高了35%的GV和13%的MS。进行主观比较以测试用户对转换的质量和自然度的满意度。实验结果表明，SCM-GAN的输出与目标歌曲的相似度平均为70%，转换后的歌曲具有很高的自然度。
2020-01-30 cs.LG cs.SD eess.AS
SONICS: Synthetic Or Not -- Identifying Counterfeit Songs
UC Santa Barbara（加州大学圣巴巴拉分校）；Virginia Tech（弗吉尼亚理工大学）；Santa Clara University（圣克拉拉大学）；BUET（孟加拉工程技术大学）
针对现有伪造歌曲检测仅覆盖歌唱声部且缺乏长时歌曲数据的局限，提出SONICS数据集（超9.7万首歌曲）与SpecTTTra架构，在长歌曲真实性检测中显著提升效率与性能。
2025-02-25 cs.AI cs.CV cs.LG
