Content based singing voice source separation via strong conditioning using aligned phonemes
STMS UMR9912, Ircam/CNRS/SU（STMS UMR9912，Ircam/CNRS/SU）；LTCI, Institut Polytechnique de Paris（巴黎理工学院 LTCI）
最近，随着神经网络的引入和包含混合源和分离源的大型多轨数据集的可用性，信息源分离获得了新的兴趣。这些方法使用关于目标源的先验信息来改进分离。从历史上看，音乐信息检索的研究人员主要集中在乐谱知情的源分离，但最近的方法探索歌词知情的源分离。然而，由于缺乏具有时间对齐歌词的多轨道数据集，模型使用非对齐歌词的弱条件反射。在本文中，我们提出了一个多模态的多轨数据集与歌词对齐的时间在单词级的语音信息，以及探索强条件反射使用对齐的音素。我们的模型遵循U-Net架构，并将音乐混合物的幅度谱图和具有对齐语音信息的矩阵作为输入。音素矩阵被嵌入以获得控制逐行线性调制（FilM）层的参数。这些层调节U-Net特征映射，以通过仿射变换使分离过程适应不同音素的存在。我们表明，音素条件反射可以成功地应用于提高歌唱声源分离。
2020-08-05 cs.LG cs.SD eess.AS
Recognizing Ornaments in Vocal Indian Art Music with Active Annotation
Indian Institute of Technology, Kanpur（印度理工学院，坎浦尔）
本文提出Rāga装饰音检测数据集ROD，并开发基于深度时间序列分析的装饰音检测模型，在长音频切块时保留装饰音边界，实验证明其性能优于基线CRNN。
2025-05-07 cs.AI cs.LG cs.SD
A cappella: Audio-visual Singing Voice Separation
在音乐视频中分离目标歌唱声音的任务具有有用的应用。在这项工作中，我们探讨了单通道歌唱声音分离问题，从多模态的角度来看，从音频和视觉形态共同学习。为此，我们提出了Acappella，这是一个来自YouTube的约46小时的无伴奏合唱独唱视频数据集。我们还提出了一个基于图的视听卷积网络，它在我们的数据集上实现了最先进的歌声分离结果，并将其与纯音频对应物U-Net和最先进的视听语音分离模型进行了比较。我们在以下具有挑战性的设置中评估模型：i）音频混合中存在重叠的声音，ii）混合中目标声音设置为较低的音量水平，iii）i）和ii）的组合。第三个是最具挑战性的评估设置。我们证明，我们的模型优于基线模型在歌唱的声音分离任务中最具挑战性的评估设置。代码、预训练模型和数据集可在www.example.com上公开获取，网址为https：//ipcv.github.io/Acappella/
2021-10-18 cs.LG cs.SD eess.AS
MedleyVox: An Evaluation Dataset for Multiple Singing Voices Separation
Gaudio Lab, Inc.（Gaudio实验室公司）
针对多人声分离研究缺乏基准数据集的问题，本文发布了MedleyVox评估数据集并定义四类分离任务，提出利用单人声数据集构建训练混合数据的策略和改进型超分辨率网络iSRNet，在该数据集子集上取得了与理想时频掩膜相当的分离性能。
2023-05-04 cs.LG cs.SD eess.AS
IdolSongsJp Corpus: A Multi-Singer Song Corpus in the Style of Japanese Idol Groups
本文构建了 IdolSongsJp 语料库，包含 15 首日本偶像团体风格的专业创作歌曲及分轨、干声和和弦标注，用于在复杂条件下基准测试歌手分离、音源分离和和弦估计等音乐信息处理技术。
2025-07-02 cs.SD eess.AS
RMSSinger: Realistic-Music-Score based Singing Voice Synthesis
Zhejiang University（浙江大学）；ByteDance（字节跳动）
提出首个基于真实乐谱的歌声合成方法RMSSinger，通过词级建模和基于扩散的音高建模，消除了繁琐的手动音素标注并提升了音高自然度。
2023-05-18 cs.CL cs.SD eess.AS
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University（复旦大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；National Institute of Informatics（国立信息学研究所）
歌声检测（SVD）是音乐信息检索（MIR）中的一项重要任务，用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起，特别是对于一些复杂的复调音乐，如合唱音乐录音，这项任务仍然具有挑战性。为了解决这个问题，我们研究歌声检测，同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤：i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性，使用长期递归卷积网络（LRCN）来学习成分特征。此外，为了消除离群值，我们选择使用中值滤波器进行时域平滑。实验结果表明，该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS
Gugak-VocalSet: A Multi-Genre Studio-Quality Dataset of Korean Traditional Singing with Sigimsae Annotations
National Gugak Center（国立国乐中心）；Neutune（纽 Tune（音译））
该研究发布首个带Sigimsae标注的韩国传统声乐数据集Gugak-VocalSet，经实验验证其标注与F0表示可用于Sigimsae分类和事件检测，性能优于通用音乐基础模型的冻结探测。
2026-10-14 cs.AI cs.DB cs.DL
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音乐信息检索是当前一个活跃的研究领域，它致力于从音频信号中提取音乐上重要的信息，以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐，或者帮助音乐学研究，甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性，该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别，其中主要乐器是歌声。歌声比许多乐器更多才多艺，因此对信息检索系统提出了有趣的挑战。在本文中，我们提供了一个简短的概述，在声乐处理的相关工作在印度理工学院孟买的描述，导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
Generative Multi-modal Feedback for Singing Voice Synthesis Evaluation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Columbia University（哥伦比亚大学）；Dalian University of Technology（大连理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出生成式多模态反馈框架，通过音频-语言模型生成多维语言和音频反馈，提升歌唱语音合成评估的准确性和可解释性。
2025-12-02 cs.LG cs.SD
JVS-MuSiC: Japanese multispeaker singing-voice corpus
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
由于机器学习技术的发展，合成单个歌手的高质量歌声已经成为可能。开放的多说话人歌唱语音语料库将进一步促进歌唱语音合成的研究。然而，传统的歌唱声音语料库只包括单个歌手的歌唱声音。我们设计了一个日本多说话人唱歌的声音语料库称为“JVS-MuSiC”的目的是分析和合成各种声音。该语料库由100名歌手录制的同一首歌曲Katatsumuri组成，这是一首日本儿童歌曲。它还包括另一首歌，这是不同的每个歌手。在本文中，我们描述了语料库的设计和实验分析使用JVS-MuSiC。本文探讨了歌唱声音的相似性与合唱声音知觉统一性的关系以及歌唱声音与语音相似性的关系。结果表明：（1）歌唱声相似度与一致性之间存在中等程度的正相关;（2）歌唱声相似度与语音相似度之间的相关性较弱。该语料库可在网上免费获取。
2020-01-20 cs.SD eess.AS
Listen, Read, and Identify: Multimodal Singing Language Identification of Music
ByteDance（字节跳动）
我们提出了一个多模态歌唱语言分类模型，同时使用音频内容和文本元数据。LRID-Net是一个基于元数据的语言概率估计模型，它以音频信号和语言概率向量为基础，输出目标语言的概率。可选地，LRID-Net通过模态退出来处理缺失的模态。在实验中，我们训练了几个具有不同模态丢弃配置的LRID-Net，并使用各种输入模态组合对其进行测试。实验结果表明，使用多模态输入提高了性能。研究结果还表明，采用模态丢弃不会降低模型的性能时，有完整的模态输入，同时使模型能够处理丢失的模态情况下，在一定程度上。
2021-07-27 cs.CL cs.SD eess.AS
Transfer Learning for Improving Singing-voice Detection in Polyphonic Instrumental Music
Microsoft Research Asia（微软亚洲研究院）
复调器乐中的演唱声检测是音乐信息检索的关键。为了训练鲁棒的人声检测器，在帧级标记有人声或非人声标签的大数据集是必不可少的。然而，帧级标记是耗时和劳动力昂贵的，导致很少有良好的标记数据集可用于歌唱语音检测（S-VD）。因此，我们提出了一种通过迁移学习的S-VD数据增强方法。在这项研究中，干净的语音片段与语音活动端点和单独的器乐片段被人工添加在一起，以模拟复调人声训练一个声乐/非声乐检测器。由于说话和唱歌之间的发音和发声不同，用人工数据集训练的人声检测器与人声与乐器伴奏一起唱歌的复调音乐不匹配。为了减少这种不匹配，使用迁移学习来将从人工语音加音乐训练集学到的知识迁移到小但匹配的复音数据集，即，演唱者与歌手通过转移相关知识来弥补S-VD中缺乏良好标记的训练数据，所提出的迁移学习数据增强方法可以提高S-VD的性能，F分数从89.5%提高到93.2%。
2020-08-11 cs.SD eess.AS
PHONEix: Acoustic Feature Processing Strategy for Enhanced Singing Pronunciation with Phoneme Distribution Predictor
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
歌唱声合成作为一种从乐谱中生成歌唱声的特殊任务，近年来受到了广泛的关注。声乐演唱面临的挑战是，在同一乐谱的条件下，演唱具有多种发音的灵活性。SVS以往的作品大多不能很好地处理乐谱与实际演唱之间的错位。在本文中，我们提出了一个声学特征处理策略，命名为PHONEix，音素分布预测器，以减轻乐谱和歌声之间的差距，它可以很容易地采用在不同的SVS系统。在各种环境中进行的广泛实验证明了我们的PHONEix在客观和主观评估方面的有效性。
2023-03-15 cs.SD eess.AS
Reference-Free Singing Pitch Correction via Music-Constrained Sequence Editing
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；China Unicom（中国联通）
该研究针对现有歌声音高修正方法依赖目标旋律或伴奏的问题，提出音乐约束序列编辑方法，在无参考情况下提升了音符级音高准确率，性能优于基线方法。
2026-10-09 cs.SD eess.AS
Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training
音乐信息检索（MIR）技术在西方古典声乐训练中的应用已被证明是有效的。京剧演唱在大部分的感性维度上都不同于西方演唱，训练者采用口心法。在本文中，我们首先介绍了在专业京剧培训课堂场景中使用的培训方法，并展示了将MIR技术引入培训过程的潜在好处。本文的主体部分是对京剧演唱训练中潜在的MIR技术进行识别。针对这一意图，我们回答了这样一个问题：京剧演唱指导教师和学员是如何看待京剧音乐的每一个维度--语调、节奏、响度、音质和发音的重要性的？本研究透过（一）将课堂歌唱练习、导师的口头反馈归纳为五个维度，（二）对受训者进行问卷调查。然后，借助音乐信号分析法，对课堂练习录音实例进行了细致的考察，揭示了训练过程中的细节要素。最后，在上述分析的基础上，本文提出了几种可能的多媒体合成技术，对京剧演唱训练有一定的参考价值。
2017-11-02 cs.IR cs.SD eess.AS
Peking Opera Synthesis via Duration Informed Attention Network
Tencent（腾讯）
大约200年前，京剧一直是中国最主要的表演艺术形式。京剧演唱者在舞台上的即兴发挥和表现力往往表现出很强的个人风格，导致实际的节奏和音高轮廓与原曲有很大的偏差。这种不一致性给从乐谱合成京剧唱腔带来了很大的挑战。在这项工作中，我们提出了处理这个问题，合成表达京剧演唱的乐谱的基础上持续时间通知注意网络（Durian）框架。为了解决节奏失配问题，利用拉格朗日乘子在给定音符时长的约束下，寻找最优的输出音素时长序列。至于音高轮廓不匹配，而不是直接从乐谱中推断，我们采用从真实歌唱中生成的伪乐谱，并在训练期间将其作为输入。实验结果表明，该系统能够合成出具有高音质、高音高和高表现力的京剧唱腔。
2020-08-07 cs.CL cs.SD eess.AS
Learning a Joint Embedding Space of Monophonic and Mixed Music Signals for Singing Voice
KAIST（韩国科学技术院）
先前的歌手识别方法使用单声道或包含多个乐器的混合音轨中的一个，在这两个音频域之间留下语义间隙。在本文中，我们提出了一个系统来学习一个联合嵌入空间的单声道和混合音轨的歌声。我们使用一个度量学习方法，它可以确保同一个歌手的两个域的曲目比不同歌手的曲目更接近彼此。我们训练系统上的音乐mashup生成的大型合成数据集，以反映现实世界的音乐录音。我们的方法为跨域任务开辟了新的可能性，例如，给定歌手的单声道音轨作为查询，从数据库中检索由同一歌手演唱的混合音轨。此外，它不需要额外的语音增强步骤，如声源分离。我们证明了我们的系统的有效性，歌手识别和查询歌手在同一领域和跨领域的任务。
2019-06-26 cs.SD eess.AS
Automatic Estimation of Singing Voice Musical Dynamics
Universitat Pompeu Fabra（庞培法布拉大学）；Escuela Superior de Música de Cataluña (ESMUC)（加泰罗尼亚高等音乐学院（ESMUC））
针对歌声音乐力度自动分析缺乏数据与评估框架的问题，本文构建并公开标注数据集，训练多头注意力CNN，证明bark尺度特征优于log-Mel特征。
2024-10-27 cs.IR cs.SD eess.AS
Towards Computational Analysis of Pansori Singing
Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Sogang University（西江大学）
本文提出基于音频与转录的盘索里计算分析方法，利用现代音乐信息检索任务分析传统音乐并揭示其独特音频特征。
2024-10-16 cs.IR cs.SD eess.AS
SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge Evaluation Plan
University of Rochester（罗切斯特大学）；Carnegie Mellon University（卡内基梅隆大学）；Nagoya University（名古屋大学）；Renmin University of China（中国人民大学）
针对AI生成歌声带来的伪造风险，论文介绍首个歌声深度伪造检测挑战赛SVDD Challenge的评估计划，并说明其数据范围及与SLT 2024合办。
2024-05-08 cs.AI cs.MM cs.SD
Enhancing Lyrics Transcription on Music Mixtures with Consistency Loss
Queen Mary University of London（伦敦大学女王学院）
本文针对ASR基础模型在音乐混合音频中歌词转写性能下降的问题，提出利用一致性损失对齐人声与混合音频编码器表示，并结合LoRA微调，在不依赖歌声分离的情况下实现稳定提升。
2025-06-03 cs.SD eess.AS
Music-robust Automatic Lyrics Transcription of Polyphonic Music
复调音乐的歌词改编是一项具有挑战性的工作，因为声乐演唱会受到背景音乐的影响。为了提高歌词转录的背景音乐的鲁棒性，我们提出了一种策略相结合的功能，强调歌唱的声音，即音乐去除功能，代表歌唱的声音提取的功能，和功能，捕捉歌唱的声音，以及背景音乐，即音乐存在的功能。我们表明，这两组功能相辅相成，它们的组合比单独使用时表现得更好，从而提高了声学模型对背景音乐的鲁棒性。此外，通用语言模型和域内歌词专用语言模型之间的语言模型插值提供了转录结果的进一步改进。我们的实验表明，我们提出的策略优于现有的歌词转录系统的复调音乐。此外，我们发现，我们提出的音乐稳健的功能，特别是提高歌词转录性能的金属风格的歌曲，其中背景音乐是响亮的和占主导地位的。
2022-04-22 eess.AS
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
DeepSinger: Singing Voice Synthesis with Data Mined From the Web
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
在本文中，我们开发了DeepSinger，这是一个多语言多歌手歌唱声音合成（SVS）系统，它是使用从音乐网站挖掘的歌唱训练数据从头开始构建的。DeepSinger的流水线由几个步骤组成，包括数据抓取，歌唱和伴奏分离，歌词到歌唱对齐，数据过滤和歌唱建模。具体而言，我们设计了一个歌词到歌唱对齐模型，自动提取的歌词从粗粒度的句子级到细粒度的音素级的每个音素的持续时间，并进一步设计了一个多语言的多歌手演唱模型的基础上前馈Transformer直接生成线性声谱图的歌词，并使用Griffin-Lim合成语音。DeepSinger与以前的SVS系统相比有几个优点：1）据我们所知，这是第一个直接从音乐网站挖掘训练数据的SVS系统，2）歌词到演唱对齐模型进一步避免了任何人为的对齐标记，大大降低了标记成本，3）基于前馈Transformer的演唱模型简单高效，通过去除参数合成中复杂的声学特征建模，并利用参考编码器从嘈杂的歌唱数据中捕获歌唱者的音色，以及4）它可以合成多种语言和多个歌唱者的歌唱声音。我们在我们挖掘的歌唱数据集上评估DeepSinger，该数据集由来自89名歌手的三种语言（中文，粤语和英语）的约92小时数据组成。结果表明，使用纯粹从网络上挖掘的歌唱数据，DeepSinger可以在音高准确性和声音自然度方面合成高质量的歌唱声音（脚注：我们的音频样本显示在https：//speechresea…
2020-07-15 cs.CL cs.SD eess.AS
Semi-Supervised Monaural Singing Voice Separation With a Masking Network Trained on Synthetic Mixtures
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
我们研究了半监督歌声分离问题，其中训练数据包含一组混合音乐（歌唱和器乐）和一组不匹配的器乐样本。我们的解决方案采用了一个单一的映射函数g，它适用于混合样本，恢复基本的器乐，并适用于乐器样本，返回相同的样本。网络g使用纯乐器样本以及通过将重建的歌唱声音与随机乐器样本混合而创建的合成混合样本进行训练。我们的研究结果表明，我们与完全监督方法相当或更好，这些方法也提供了未混合的歌声的训练样本，并且优于最近的其他半监督方法。
2019-05-06 cs.LG cs.SD eess.AS
Accompanied Singing Voice Synthesis with Fully Text-controlled Melody
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出 MelodyLM，首个以文本完全控制旋律的 TTSong 模型，通过 MIDI 中间建模、语言模型生成人声及潜在扩散模型合成伴奏，在客观与主观评测中均表现优异。
2024-07-02 cs.CL cs.SD eess.AS
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research（Neutune研究中心）；KAIST（韩国科学技术院）
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题，通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后，在师生框架下，通过自我训练进一步提高标签质量。为了验证该方法，我们进行了各种实验设置，通过调查两个音高估计模型作为伪标签生成器，两个设置的师生框架，以及自我训练的迭代次数。实验结果表明，该方法能有效利用大规模未标记音频数据，并通过带噪学生模型进行自训练，提高了性能。最后，我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能，并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
A Data-Driven Approach to Smooth Pitch Correction for Singing Voice in Pop Music
Indiana University（印第安纳大学）
在本文中，我们提出了一种机器学习的方法来纠正语音在卡拉OK设置，其中的人声和伴奏是在单独的轨道和时间对齐的音高。该网络将两个音轨的时频表示作为输入，并预测使语音与伴奏一致所需的音高偏移量。它是训练的例子半专业歌唱。所提出的方法不同于现有的实时音高校正方法，通过取代音高跟踪和映射到一组离散的音符-例如，12类的等温和的规模-学习校正，这是连续的频率和时间直接从声乐和伴奏曲目的谐波。递归神经网络（RNN）模型提供了一个考虑上下文的校正，保留了富有表现力的音高弯曲和颤音。这种方法可以扩展到声乐表演的无监督音高校正-通常被称为自动调音。
2018-05-07 cs.SD eess.AS
Singing Beat Tracking With Self-supervised Front-end and Linear Transformers
在没有音乐伴奏的情况下跟踪歌唱声音的节拍可以在音乐制作、自动歌曲编排和社交媒体交互中找到许多应用。它的主要挑战是缺乏强节奏和和声模式，这对一般的音乐节奏分析很重要。即使对于人类听众来说，这也是一项具有挑战性的任务。结果，现有的音乐节拍跟踪系统不能对歌唱声音提供令人满意的性能。在本文中，我们提出了歌唱节拍跟踪作为一种新的任务，并提出了第一种方法来解决这个任务。我们的方法通过采用预训练的自监督WavLM和DistilHuBERT语音表示作为前端来利用歌唱声音的语义信息，并使用自注意编码器层来预测节拍。为了训练和测试该系统，我们使用源分离和完整歌曲上的节拍跟踪来获得分离的歌声及其节拍注释，然后进行手动校正。在GTZAN数据集的741个分离的声乐音轨上的实验表明，该系统在节拍跟踪精度方面大大优于几种最先进的音乐节拍跟踪方法。消融研究还证实了预训练的自监督语音表示优于通用频谱特征的优势。
2022-08-31 eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya（佩拉德尼亚大学）
这篇研究论文提出了一种新的基于深度学习的神经网络架构，名为Y-Net，用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离，从频谱图和波形域提取功能。受U-Net架构的启发，Y-Net预测了一个声谱图掩码，以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性，并且参数较少。总体而言，我们的工作提出了一个有前途的方法，提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Unsupervised Interpretable Representation Learning for Singing Voice Separation
Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）；Tampere University（坦佩雷大学）；Technical University of Ilmenau（伊尔梅瑙工业大学）
在这项工作中，我们提出了一种直接从波形信号中学习可解释的音乐信号表示的方法。我们的方法可以使用无监督目标进行训练，并依赖于去噪自动编码器模型，该模型使用简单的正弦模型作为解码函数来重建歌声。为了证明我们的方法的好处，我们采用所获得的表示通知歌唱声音分离通过二进制掩蔽的任务，并测量所获得的分离质量的尺度不变的信号失真比。我们的研究结果表明，我们的方法是能够学习有意义的表示唱歌的声音分离，同时保留的便利性，如非负性，平滑度和重建的短时傅里叶变换受到时间-频率掩蔽，音频和音乐源分离所需的。
2020-07-01 cs.SD eess.AS
A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription
KAIST（韩国科学技术院）；Academia Sinica（中央研究院）
本文提出利用歌声的语言学特征（音素后验图PPG）结合梅尔频谱图来改进音符起始点检测，并通过多语言数据集验证了该方法对歌声转录性能的显著提升。
2023-04-12 cs.LG cs.SD eess.AS
Muskits: an End-to-End Music Processing Toolkit for Singing Voice Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；Nagoya University（名古屋大学）；Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
本文介绍了一个新的开源的端到端音乐处理平台Muskits，它主要集中在端到端的歌声合成（E2 E-SVS）。Muskits支持最先进的SVS模型，包括RNN SVS、Transformer SVS和XiaoiceSing。Muskits的设计遵循广泛使用的语音处理工具包ESPnet和Kaldi的风格，用于数据预处理，训练和配方管道。据我们所知，这个工具包是第一个允许在SVS中的几个已发表作品之间进行公平和高度可重复比较的平台。此外，我们还展示了基于工具包功能的几种高级用法，包括多语言训练和迁移学习。本文描述了Muskits的主要框架，它的功能，以及在单歌手，多歌手，多语言和迁移学习场景下的实验结果。该工具包可在https://github.com/SJTMusicTeam/Muskits上公开查阅。
2022-07-02 cs.MM cs.SD eess.AS
Learn2Sing: Target Speaker Singing Voice Synthesis by learning from a Singing Teacher
Northwestern Polytechnical University（西北工业大学）；Databaker (Beijing) Technology Co., Ltd.（百度（北京）科技有限公司）
随着语音合成领域的迅速发展，歌唱声合成越来越受到人们的重视。一般来说，一个录音棚级的歌唱语料库通常是必要的，以产生一个自然的歌声从歌词和音乐相关的转录。然而，这样的语料库很难收集，因为我们中的许多人很难像专业歌手那样唱歌。在本文中，我们提出了一种方法-Learn 2Sing，只需要一个歌唱教师来生成目标说话人的歌声，而不需要他们的歌声数据。在我们的方法中，一个教师的歌唱语料库和语音从多个目标扬声器训练的帧级自回归声学模型，唱歌和说话共享共同的扬声器嵌入和风格标签嵌入。同时，由于目标说话人没有与音乐相关的转录，我们使用对数尺度基频（LF 0）作为辅助特征作为声学模型的输入，以建立统一的输入表示。为了使目标说话者在推断阶段中能够在没有演唱参考音频的情况下演唱，还训练了持续时间模型和LF 0预测模型。特别地，我们在声学模型中采用域对抗训练（DAT），其目的是通过从歌唱和说话数据的声学特征中分离风格来提高目标说话者的歌唱性能。实验结果表明，该方法能够在只给出目标说话人语音样本的情况下合成目标说话人的歌声。
2020-11-17 cs.SD eess.AS
Informed Group-Sparse Representation for Singing Voice Separation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）
人声分离是指将音乐录音中的人声部分和乐器部分分离出来，这是音乐信息检索中的一个基本问题。最近的研究表明，低秩表示和知情分离方法都能够提高分离质量。然而，由于使用奇异值分解，低秩优化在计算上是低效的。因此，在本文中，我们提出了一个新的线性时间算法称为知情组稀疏表示，并使用它来分离声乐音乐使用音高注释作为边信息。在iKala数据集上的实验结果证实了我们方法的有效性，表明在预先训练的乐器词典下，音乐伴奏遵循组稀疏结构。我们还展示了如何使用DSD 100数据集轻松扩展我们的工作以适应多个词典。
2018-01-09 cs.IR cs.SD eess.AS
Revisiting Representation Learning for Singing Voice Separation with Sinkhorn Distances
Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）；Tampere University（坦佩雷大学）；Technical University of Ilmenau（伊尔梅瑙工业大学）
在这项工作中，我们提出了一种无监督学习的音频表示的方法，专注于歌唱声音分离的任务。我们建立在以前提出的方法，用于学习表示的时域音乐信号与重新参数化去噪自动编码器，扩展它通过使用家庭的Sinkhorn距离与熵正则化。我们在免费提供的专业制作的音乐录音的MUSDB18数据集上评估了我们的方法，我们的结果表明，具有小强度熵正则化的Sinkhorn距离略微提高了知情歌声分离的性能。通过增加熵正则化的强度，混合信号的学习表示由几乎完全加性和明显结构化的源组成。
2021-01-08 cs.SD eess.AS
Singing-Tacotron: Global duration control attention and dynamic filter for End-to-end singing voice synthesis
NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所自然语言处理实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
端到端的歌唱声合成（SVS）是有吸引力的，由于避免了预对齐的数据。然而，自动学习的歌声与歌词的对齐很难匹配乐谱中的持续时间信息，这将导致模型不稳定，甚至无法合成声音。为了自动学习准确的对齐信息，本文提出了一个端到端的SVS框架，命名为Singing-Tacotron。所提出的框架和Tacotron之间的主要区别是，语音可以控制乐谱的持续时间信息显着。首先，我们提出了一个全局的持续时间控制注意力机制的SVS模型。注意力机制可以控制每个音素的持续时间。其次，提出了一个持续时间编码器，从乐谱中学习一组全局过渡标记。这些转换标记可以帮助注意力机制决定是移动到下一个音素还是停留在每个解码步骤。第三，为了进一步提高模型的稳定性，设计了一个动态滤波器来帮助模型克服噪声干扰，更加关注局部上下文信息。主、客观评价结果验证了该方法的有效性。此外，全球过渡令牌的作用和持续时间控制的效果进行了探讨。实验的例子可以在https://hairuo55.github.io/SingingTacotron上找到。
2022-02-16 cs.LG cs.SD eess.AS
Are Music Foundation Models Better at Singing Voice Deepfake Detection? Far-Better Fuse them with Speech Foundation Models
IIIT-Delhi（德里印度信息技术学院）；Reliance Jio AICoE（信实吉奥人工智能卓越中心）；University of Tartu（塔尔图大学）；IIT-Dharwad（达尔瓦德印度理工学院）；IIIT-Dharwad（达尔瓦德印度信息技术学院）
本研究首次比较音乐基础模型和语音基础模型在歌声深度伪造检测中的表现，发现说话人识别SFMs效果最佳，并提出融合框架FIONA，通过同步x-vector和MERT-v1-330M实现最低13.74%的等错误率，达到SOTA性能。
2024-09-21 cs.LG cs.SD eess.AS
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego（加州大学圣地亚哥分校）；Fudan University（复旦大学）；Smule Inc.（Smule公司）
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而，这种设计在音调（音高级）和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中，我们提出了TONet，即插即用模型，利用一种新的输入表示和一种新的网络架构，提高了音调和八度感知。首先，我们提出了一种改进的输入表示，音调CFP，明确组谐波通过重新排列的频率箱。其次，我们介绍了一个编码器-解码器架构，旨在获得显着性特征图，音调特征图，和倍频程特征图。第三，我们提出了一个色调-八度融合机制，以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明，使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.（奈飞公司）；Georgia Institute of Technology（佐治亚理工学院）
本研究针对电影音频源分离中歌声难以归类的问题，将Bandit和Banquet模型扩展为四音轨分离，发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
XiaoiceSing: A High-Quality and Integrated Singing Voice Synthesis System
Xiaoice, Microsoft Software Technology Center Asia（微软亚洲软件技术中心小冰）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了一个高质量的歌唱声音合成系统，它采用了一个集成的网络的频谱，F0和持续时间建模。我们遵循FastSpeech的主要架构，同时提出了一些特定于唱歌的设计：1）除了音素ID和位置编码，还增加了乐谱特征（例如音符音高和长度）。2)为了减少走调问题，我们在F0预测中添加了残差连接。3)除了每个音素的持续时间损失之外，还将音符中所有音素的持续时间累积以计算用于节奏增强的音节持续时间损失。实验结果表明，XiaoceSing在音质、发音准确率和自然度方面分别比卷积神经网络基线系统高1.44 MOS、1.18 MOS和1.38 MOS。在两个A/B测试中，所提出的F0和持续时间建模方法分别获得了97.3%和84.3%的偏好率，这表明了XiaoceSing的压倒性优势。
2020-06-11 cs.CL cs.LG cs.SD
Revisiting Singing Voice Detection: a Quantitative Review and the Future Outlook
KAIST（韩国科学技术院）；Spotify Inc.（声田公司）
由于人声成分在流行音乐中起着至关重要的作用，因此歌声检测一直是音乐信息检索中的一个活跃的研究课题。虽然提出的几种算法已经表现出很高的性能，我们认为，仍然有一个改进的空间，以建立一个更强大的歌声检测系统。为了确定改进的领域，我们首先对三个最近的歌声检测系统进行误差分析。在分析的基础上，我们设计了新的方法来测试多组内部策划和生成的数据上的系统，以进一步检查当前数据集没有明确揭示的陷阱。从实验结果中，我们也提出了几个方向，建立一个更强大的歌声检测器。
2018-06-04 cs.IR cs.MM cs.SD
ChoralSynth: Synthetic Dataset of Choral Singing
Universitat Pompeu Fabra（庞培法布拉大学）；Escola Superior de Musica de Catalunya（加泰罗尼亚高等音乐学院）；Voctro Labs
针对合唱演唱在MIR领域缺乏多轨录音数据集的问题，本文利用先进合成器构建了ChoralSynth数据集，为演唱声音研究提供新途径。
2023-11-21 cs.IR cs.SD eess.AS
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services（亚马逊云科技）；Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术，如随机源混合，已被证明可以更好地利用现有数据，并温和地提高模型的性能。我们提出了一种新的数据增强技术，chromagram为基础的音高感知混音，音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验，我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比（SDR）
2022-03-28 cs.LG cs.SD eess.AS
A Preliminary Investigation on Flexible Singing Voice Synthesis Through Decomposed Framework with Inferrable Features
Nagoya University（名古屋大学）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）
本研究提出将歌声合成系统分解为语言、音高轮廓、合成三阶段的框架，从音频直接推断多种歌声特征，降低标注数据需求，提升跨语言、跨歌手适配及歌词补全灵活性，兼具达最优性能的潜力。
2024-07-12 cs.SD eess.AS
Analysis and Detection of Singing Techniques in Repertoires of J-POP Solo Singers
University of Tsukuba（筑波大学）；KAIST（韩国科学技术院）
本文主要对歌唱技术范围内的音乐信息检索进行研究。我们调查歌手如何使用歌唱技巧使用真实世界的录音著名独唱歌手在日本流行音乐歌曲（J-POP）。首先，我们建立了一个新的歌唱技术数据集。该数据集由168首商业J-POP歌曲组成，每首歌曲都使用不同的演唱技术进行了注释，包括时间戳和音高轮廓。我们还提出了数据集上的歌唱技术的描述性统计，以澄清什么和如何经常出现歌唱技术。我们进一步探讨了使用先前提出的机器学习技术自动检测歌唱技术的困难。在检测中，我们还研究了辅助信息的有效性（即，音高和标签持续时间的分布），而不仅仅提供基线。在九路多类检测中，在宏观平均F测度下的最佳结果达到40.4%。我们在附录网站0上提供了数据集的注释及其详细信息。
2022-11-15 cs.DL cs.IR cs.MM
PDAugment: Data Augmentation by Pitch and Duration Adjustments for Automatic Lyrics Transcription
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；South China University of Technology（华南理工大学）
歌词自动转写（ALT）可以看作是歌唱声的自动语音识别（ASR），是学术界和工业界感兴趣的实用课题。ALT还没有得到很好的发展，主要是由于缺乏成对的歌声和歌词数据集的模型训练。考虑到有大量的ASR训练数据，一种简单的方法是利用ASR数据来增强ALT训练。然而，当直接用ASR数据训练ALT系统时，这种改进是微不足道的，因为歌唱声音和标准语音数据之间的差距根源于歌唱声音中特定于音乐的声学特性。在本文中，我们提出了PDAugment，一个数据增强方法，调整音调和持续时间的语音在音节水平的指导下，音乐乐谱，以帮助ALT训练。具体来说，我们调整自然语音中每个音节的音高和时长，使其与从乐谱中提取的相应音符的音高和时长一致，从而缩小自然语音与歌唱声之间的差距。在DSing 30和Dali语料库上的实验表明，采用PDAugment的ALT系统的性能分别比现有的ALT系统提高了5.9%和18.1%的WER，证明了PDAugment在ALT中的有效性。
2021-09-17 cs.SD eess.AS
Knowledge Distillation for Singing Voice Detection
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
歌声检测是音乐信息检索中的一个研究热点。目前，文献中存在两种基于深度神经网络的方法，一种基于CNN，另一种基于RNN，它们学习语音检测（VD）任务的优化特征，并在常见数据集上实现最先进的性能。这两个模型都有大量的参数（CNN为1.4M，RNN为65.7K），因此不适合部署在智能手机或嵌入式传感器等设备上，这些设备在内存和计算能力方面都有限制。解决这个问题最流行的方法是深度学习文献中的知识蒸馏（除了模型压缩之外），其中使用称为教师的大型预训练网络来训练较小的学生网络。鉴于SVD在音乐信息检索中的广泛应用，据我们所知，用于实际部署的模型压缩尚未被探索。在本文中，已作出努力，调查这个问题，使用传统的以及合奏知识蒸馏技术。
2021-08-19 cs.CL cs.LG cs.SD
Jukebox: A Generative Model for Music
OpenAI
我们介绍了Juventure，一种在原始音频域中生成带有歌唱的音乐的模型。我们使用多尺度VQ-VAE来处理原始音频的长上下文，将其压缩为离散代码，并使用自回归Transformers对它们进行建模。我们表明，在规模的组合模型可以产生高保真和多样化的歌曲与连贯性高达多分钟。我们可以根据艺术家和流派来控制音乐和声乐风格，并根据不一致的歌词来使演唱更可控。我们在https://github.com/openai/jukebox上发布了数千个非精选样本，以及模型权重和代码https://jukebox.openai.com
2020-04-30 cs.LG cs.SD eess.AS
MBTFNet: Multi-Band Temporal-Frequency Neural Network For Singing Voice Enhancement
Northwestern Polytechnical University（西北工业大学）；Tencent Music Entertainment（腾讯音乐娱乐集团）
针对现有语音增强和音乐源分离模型在歌声增强场景的不足，提出结合带间带内建模、双路径建模及隐式个性化增强的MBTFNet，性能显著优于现有主流模型。
2023-10-06 cs.LG cs.SD eess.AS
Score and Lyrics-Free Singing Voice Generation
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
歌唱声音的生成模型主要涉及“歌唱声音合成”的任务，即，以产生给定乐谱和文本歌词的歌唱声音波形。在这项工作中，我们探索了一种新颖但具有挑战性的替代方案：在训练和推理时间内，没有预先分配的分数和歌词的歌声生成。特别是，我们概述了三个这样的发电计划，并提出了一个管道来解决这些新的任务。此外，我们使用生成对抗网络实现了这些模型，并对它们进行了客观和主观的评估。
2020-07-21 cs.LG cs.SD eess.AS
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University（首尔大学）；Institute for Industrial Systems Innovation（产业系统创新研究院）
本文扩展传统音符级转录任务，提出端到端框架整合时值、音高和时间信息识别，引入伪标签技术解决时值数据稀缺问题，实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
