RobustSVC: HuBERT-based Melody Extractor and Adversarial Learning for Robust Singing Voice Conversion
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对歌声转换中特征提取易受噪声影响的问题,提出 RobustSVC,用基于 HuBERT 的旋律提取器和三判别器对抗训练提升鲁棒性,并在干净与含噪条件下取得更优自然度和相似度。
2024-09-10 cs.SD eess.AS
Interactive singing melody extraction based on active adaptation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
提出基于主动适应的交互式歌唱旋律提取方法,利用归一化真实类别概率置信度准则选择需人工标注的区域,并通过处理类别不平衡的元学习使模型适应目标域,同时发布了HAR数据集。
2024-02-12 cs.SD eess.AS
Singing Voice Conversion with Accompaniment Using Self-Supervised Representation-Based Melody Features
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出一种基于自监督表示旋律特征的歌声转换方法,以解决伴奏干扰下旋律提取困难的问题,实验证明其在旋律准确性、相似度和自然度上均显著优于现有基线。
2025-02-07 cs.LG cs.SD eess.AS
TokSing: Singing Voice Synthesis based on Discrete Tokens
Renmin University of China(中国人民大学);Tencent AI Lab(腾讯AI实验室);Carnegie Mellon University(卡内基梅隆大学)
针对离散Token应用于歌声合成时旋律表现力不足的问题,本文提出TokSing系统,通过Token融合、结合旋律信号与旋律增强策略解决离散化旋律退化问题,在性能、表示空间成本和收敛速度上均优于梅尔频谱基线。
2024-06-20 cs.SD eess.AS
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay(印度理工学院孟买分校)
音乐信息检索是当前一个活跃的研究领域,它致力于从音频信号中提取音乐上重要的信息,以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐,或者帮助音乐学研究,甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性,该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别,其中主要乐器是歌声。歌声比许多乐器更多才多艺,因此对信息检索系统提出了有趣的挑战。在本文中,我们提供了一个简短的概述,在声乐处理的相关工作在印度理工学院孟买的描述,导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
YingMusic-Singer: Zero-shot Singing Voice Synthesis and Editing with Annotation-free Melody Guidance
AI Lab, GiantNetwork(GiantNetwork人工智能实验室);ASLP Lab, Northwestern Polytechnical University(西北工业大学自动化学院实验室);University College London(伦敦大学学院)
YingMusic-Singer通过无标注旋律引导的方法实现了零样本歌唱语音合成与编辑,提高了旋律稳定性和音频质量。
2025-12-04 cs.AI cs.SD
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego(加州大学圣地亚哥分校);Fudan University(复旦大学);Smule Inc.(Smule公司)
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而,这种设计在音调(音高级)和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中,我们提出了TONet,即插即用模型,利用一种新的输入表示和一种新的网络架构,提高了音调和八度感知。首先,我们提出了一种改进的输入表示,音调CFP,明确组谐波通过重新排列的频率箱。其次,我们介绍了一个编码器-解码器架构,旨在获得显着性特征图,音调特征图,和倍频程特征图。第三,我们提出了一个色调-八度融合机制,以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明,使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
Towards Improving Harmonic Sensitivity and Prediction Stability for Singing Melody Extraction
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文通过改进CFP输入特征和设计可微损失函数,提升歌唱旋律提取模型对谐波的敏感性和预测稳定性,并在多个模型上验证了有效性。
2023-08-04 cs.AI cs.LG cs.MM
A Mamba-based Network for Semi-supervised Singing Melody Extraction Using Confidence Binary Regularization
School of Comp. Science & Technology(计算机科学与技术学院);Donghua University(东华大学);Fudan University(复旦大学);Grad. School of Adv. Science & Eng.(先进科学与工程研究生院)
针对歌声旋律提取中 transformer 效率低、忽视音符结构及标注不足的问题,提出 SpectMamba,结合 vision mamba、note-f0 解码器与 CBR 半监督模块,并在多个公开数据集上验证有效。
2025-05-13 cs.AI cs.SD eess.AS
Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training
Tencent PCG(腾讯平台与内容事业群)
提出旋律无监督多说话人预训练方法,利用多歌手数据增强单说话人歌声合成音域,并引入可微分时长调节器与双向流模型提升节奏自然度和音质。
2023-09-01 cs.CL cs.SD eess.AS
CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis With Structured Melody Control and Guidance
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
CoMelSinger通过离散编码器模型实现零样本歌唱合成,采用结构化旋律控制与对比学习策略,提升旋律准确性与音色一致性。
2026-04-11 cs.AI cs.SD
CLASVS: Continuous-Latent Autoregression for Melody-Preserving Lyric Editing in Singing Voice Synthesis
CLASVS是用于歌声合成的连续潜变量自回归模型,通过SCT路由与PSCG方法实现保留旋律的歌词编辑,在普通话基准上优于离散自回归Vevo2,降低46.2%的宏观音素错误率。
2026-08-31 cs.SD
MIDI-Informed Singing Accompaniment Generation in a Compositional Song Pipeline
National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾AI实验室);University of Rochester(罗切斯特大学)
本文提出基于MIDI的歌唱伴奏生成方法,通过分解任务为旋律创作、人声合成和伴奏生成,提升节奏与和声对齐,实现轻量级高效歌曲创作流水线。
2026-02-24 cs.SD eess.AS
Melody Extraction from Polyphonic Music by Deep Learning Approaches: A Review
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
旋律提取是音乐研究者的一项重要音乐信息检索任务,因为它在教育教学和音乐产业中具有潜在的应用价值。由于背景乐器的存在,旋律提取是一项非常具有挑战性的任务。此外,通常旋律来源表现出类似的特点,其他文书。背景伴奏与人声的干扰使得从混合信号中提取旋律更具挑战性。直到最近,经典的基于信号处理的旋律提取方法在旋律提取研究者中相当流行。深度学习模型对大规模数据进行建模的能力以及模型通过利用空间和时间依赖性来学习自动特征的能力激励了许多研究人员采用深度学习模型进行旋律提取。在本文中,尝试已作出审查的最新数据驱动的深度学习方法从复调音乐的旋律提取。已经基于所使用的神经网络的类型和它们用于预测旋律的输出表示来对可用的深度模型进行分类。此外,简要介绍了25个旋律提取模型的体系结构。用于优化旋律提取模型的模型参数的损失函数大致分为四类,并简要描述了各种旋律提取模型所使用的损失函数。此外,旋律提取模型所采用的各种输入表示和参数设置进行了深入的描述。包括描述块框旋律提取深度神经网络的可解释性的部分。比较了25种旋律提取方法的性能。本文还提出了今后旋律提取方法的探索和改进方向。
2022-02-02 cs.SD eess.AS
Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
ByteDance(字节跳动)
本文提出基于频谱图的 Mel-RoFormer,通过梅尔频带投影与交错 RoPE Transformer 建模频时维度,并采用分离模型预训练后微调转写任务的策略,在两项 MIR 基准上达到最先进水平。
2024-09-07 cs.SD eess.AS
A Streamlined Encoder/Decoder Architecture for Melody Extraction
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
复调音乐音频中的旋律提取是音乐信号处理的重要内容。在本文中,我们提出了一种新的流线型编码器/解码器网络,是专为这项任务。我们做出了两项技术贡献。首先,从最先进的语义像素分割模型中汲取灵感,我们通过池化和非池化层之间的池化索引来定位频率中的旋律。我们可以用更少的卷积层和更简单的卷积模块实现接近最先进水平的结果。其次,我们提出了一种方法,使用网络的瓶颈层来估计每个时间帧的旋律线的存在,并使之有可能使用一个简单的argmax函数,而不是ad-hoc阈值来得到旋律线的最终估计。我们在声乐旋律提取和普通旋律提取上的实验验证了该模型的有效性。
2019-02-18 cs.SD eess.AS
Student-t Networks for Melody Estimation
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
旋律估计或旋律提取是指提取旋律中的主要或基本主频率。所获得的该频率序列表示来自所记录的音乐音频信号的主旋律线的音高。音乐信号可以是单声道的或复音的。当我们开始处理复调音频数据时,从音频信号中提取旋律的问题变得复杂。这是因为在一般化的音频信号中,声音在频域和时域两者上高度相关。许多声音的这种复杂重叠使得识别主要频率具有挑战性。
2021-11-29 cs.SD eess.AS
Vocal melody extraction using patch-based CNN
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
受图像处理中目标检测目标检测的启发,提出了一种基于块的卷积神经网络(CNN)模型用于复调音乐中的声乐旋律提取。该模型的输入是一种新的时频表示,它增强了基音轮廓,抑制了信号的谐波分量。这种简洁的数据表示和基于块的CNN模型可以用有限的标记数据实现高效的训练过程。在各种数据集上的实验表明,与其他深度学习方法相比,该方法具有出色的速度和竞争力的准确性。
2018-04-24 cs.SD eess.AS
Adversarially Trained End-to-end Korean Singing Voice Synthesis System
Seoul National University(首尔大学)
在本文中,我们提出了一个端到端的韩语歌唱声音合成系统,从歌词和一个象征性的旋律使用以下三种新的方法:1)语音增强掩蔽,2)本地条件的文本和音高的超分辨率网络,和3)条件对抗训练。所提出的系统由两个主要模块组成;从给定的输入信息生成梅尔频谱图的梅尔合成网络,以及将生成的梅尔频谱图上采样为线性频谱图的超分辨率网络。在mel合成网络中,语音增强掩蔽被应用于仅从输入文本生成隐式共振峰掩码,这使得能够更准确地对歌声进行语音控制。此外,我们还发现,另外两种方法-文本和音高的局部调节和有条件对抗训练-对于在超分辨率过程中真实生成人类歌声至关重要。最后,进行定量和定性评价,确认所有提出的方法的有效性。
2019-08-06 cs.SD eess.AS
Deep domain adaptation for polyphonic melody extraction
本文针对复调旋律提取中的跨领域性能下降问题,研究了多种深度领域自适应技术,发现基于元学习的自适应方法优于简单微调及现有非自适应算法。
2023-04-05 cs.SD eess.AS
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University(首尔大学);Institute for Industrial Systems Innovation(产业系统创新研究院)
本文扩展传统音符级转录任务,提出端到端框架整合时值、音高和时间信息识别,引入伪标签技术解决时值数据稀缺问题,实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
A Comparative Study of Pitch Extraction Algorithms on a Large Variety of Singing Sounds
UMONS(蒙斯大学);Acapela Group S.A.(Acapela集团股份有限公司);GIPSA-lab(GIPSA实验室);CNRS(法国国家科学研究中心);INPG(格勒诺布尔国立理工学院);Univ. Stendhal(司汤达大学);UJF(约瑟夫·傅里叶大学)
基音跟踪问题在语音研究界得到了广泛的研究。本文的目的是探讨这些技术应如何适应歌唱声音分析,并提供一个最具代表性的国家的最先进的方法进行比较评估。这项研究是在一个大型的数据库上进行的,该数据库包含了各种歌手类别和歌唱练习。算法的性能进行评估的能力,检测浊音边界和准确地估计音高轮廓。首先,我们评估适应现有的方法唱歌的声音分析的有用性。然后,我们比较了几个音高提取算法的准确性,这取决于歌手类别和喉部机制。最后,我们分析了它们对混响的鲁棒性。
2019-12-29 cs.SD eess.AS
MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation
本研究针对现有翻唱歌曲生成模型音素错误率高的问题,提出旋律与音素感知的MPEcho框架,集成音素编码器与长度调节器,结合自研Phonsa转录模型,实现了更精准的可控翻唱歌曲生成。
2026-07-30 cs.AI cs.SD eess.AS
Towards Computational Analysis of Pansori Singing
Georgia Institute of Technology(佐治亚理工学院);KAIST(韩国科学技术院);Sogang University(西江大学)
本文提出基于音频与转录的盘索里计算分析方法,利用现代音乐信息检索任务分析传统音乐并揭示其独特音频特征。
2024-10-16 cs.IR cs.SD eess.AS
Semi-supervised learning using teacher-student models for vocal melody extraction
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
缺乏标记数据是许多音乐信息检索任务(如旋律提取)的主要障碍,其中标记非常费力或昂贵。半监督学习(SSL)通过利用大量未标记的数据提供了一种解决方案来缓解这个问题。在本文中,我们提出了一种SSL方法使用师生模型的声乐旋律提取。教师模型使用标记数据进行预训练,并指导学生模型在自训练设置中对未标记的输入进行相同的预测。我们研究了三个设置不同的数据增强方案和损失函数的师生模型。此外,考虑到在测试阶段的标记数据的稀缺性,我们人工生成大规模的测试数据与音高标签从未标记的数据使用的分析-合成方法。结果表明,SSL方法显着提高了仅针对监督学习的性能,并且改进取决于师生模型,未标记数据的大小,自训练迭代次数以及其他训练细节。我们还发现,这是至关重要的,以确保未标记的音频有声乐部分。最后,我们证明了所提出的SSL方法使基线卷积递归神经网络模型能够实现与最先进技术相当的性能。
2020-08-14 cs.SD eess.AS
A Vocoder Based Method For Singing Voice Extraction
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
本文提出了一种从混合音乐中提取声道的新方法。音乐混合物由歌声和背景音轨组成,背景音轨可以由各种乐器组成。我们使用一个卷积网络与跳过和残留的连接,以及扩张卷积估计声码器参数,给定的输入混合的频谱图。然后使用估计的参数来合成人声音轨,而没有来自背景音轨的任何干扰。我们评估我们的系统,通过客观指标有关的音频质量和干扰的背景来源,并通过比较主观评价。我们使用基于非负矩阵分解(NMF)和深度学习方法的开源声源分离系统作为我们系统的基准,并讨论这种特定算法的未来应用。
2019-04-23 cs.SD eess.AS
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science(印度科学学院);Sony Group Corporation(索尼集团公司)
在本文中,我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反,这些方法需要高质量的歌唱模板或音素同步,我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构,称为SymNet,它模拟输入语音与目标旋律的对齐,同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法,以促进模型训练。实验在NUS和NHSS数据集上进行,这些数据集由语音和歌声的并行数据组成。在这些实验中,我们表明,所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外,主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善(在基线系统上平均意见得分测量中绝对改善了0.37)。
2022-08-26 cs.LG cs.SD eess.AS
Latent Space Explorations of Singing Voice Synthesis using DDSP
Aalborg University Copenhagen(奥尔堡大学哥本哈根校区)
基于机器学习的歌声模型需要大量的数据集和漫长的训练时间。在这项工作中,我们提出了一个轻量级的架构,基于差分数字信号处理(DDSP)库,能够输出类似歌曲的话语条件下,只有音高和幅度,经过12个小时的训练,使用小数据集的未处理的音频。结果是有希望的,因为旋律和歌手的声音都是可识别的。此外,我们提出了两个零配置工具,训练新的模型和实验。目前,我们正在探索潜在的空间表示,这是包括在DDSP库,但不是在原来的DDSP的例子。我们的研究结果表明,潜在空间提高了歌手的识别以及歌词的理解。我们的代码可以在https://github.com/juanalonso/DDSP-singing-experiments上找到,其中包含零配置笔记本的链接,我们的声音示例可以在https://juanalonso.github.io/DDSP-singing-experiments/上找到。
2021-03-12 cs.LG cs.MM cs.SD
Incorporating Total Variation Regularization in the design of an intelligent Query by Humming system
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
哼唱查询(QBH)系统构成音乐信息检索的一种特殊情况,其中输入是用户哼唱的旋律,输出是包含该旋律的原始歌曲。一个典型的QBH系统包括旋律提取和候选旋律检索。对于旋律提取,准确的音符转录是关键使能技术。然而,目前的转录方法无法明确地捕捉旋律和解决用户哼唱查询中的不准确性。在本文中,我们将总变差正则化(TVR)去噪查询。这种方法在不丢失有意义的数据的情况下解决了用户在哼唱中的错误,并且可靠地捕获了潜在的旋律。对于候选旋律检索,我们采用深度学习方法使用全卷积神经网络进行时间序列分类。经过训练的网络将传入的查询分类为属于目标歌曲之一。对于我们的实验,我们使用Roger Jang的MIR-QBSH数据集,这是标准的MIREX数据集。我们证明,包括TVR去噪查询的训练集提高了系统的整体准确性为93%,这是高于其他国家的最先进的QBH系统。
2023-02-09 cs.SD eess.AS
StylePitcher: Generating Style-Following and Expressive Pitch Curves for Versatile Singing Tasks
Smule Labs(Smule实验室);University of California, San Diego(加州大学圣地亚哥分校);University of Rochester(罗切斯特大学)
StylePitcher提出一种基于修正流匹配的通用音高曲线生成器,从参考音频学习歌手风格并保持旋律对齐,无需重训即可适应多种歌唱任务,提升风格相似性和音频质量。
2025-10-24 cs.SD
DiTSinger: Scaling Singing Voice Synthesis with Diffusion Transformer and Implicit Alignment
Migu Music, China Mobile Communications Corporation, China(咪咕音乐,中国移动通信集团,中国)
DiTSinger通过扩散变换器和隐式对齐机制实现高效且高保真的歌唱语音合成,解决了数据稀缺和模型扩展性问题。
2025-12-24 cs.AI cs.SD eess.AS
KaraSinger: Score-Free Singing Voice Synthesis with VQ-VAE using Mel-spectrograms
Earth Species Project(地球物种项目)
在本文中,我们提出了一种新的神经网络模型称为KaraSinger为一个较少研究的歌唱声音合成(SVS)任务命名为无分数SVS,其中的韵律和旋律是由机器自发决定。KaraSinger包括一个矢量量化变分自动编码器(VQ-VAE),它将歌唱音频的Mel频谱图压缩为离散代码序列,以及一个语言模型(LM),它学习预测相应歌词的离散代码。对于VQ-VAE部分,我们采用了连接主义时间分类(CTC)损失,以鼓励离散代码携带音素相关的信息。对于LM部分,我们使用位置敏感的注意力来学习输入音素序列和输出离散代码之间的鲁棒对齐。我们保持了VQ-VAE和LM的轻量级架构,以实现快速训练和推理速度。我们验证了建议的设计选择的有效性,使用多个业余歌手演唱的550首英文流行歌曲的专有集合。听力测试结果表明,卡拉歌手在可懂度、音乐性和整体质量方面都取得了很高的成绩。
2021-10-08 cs.LG cs.SD eess.AS
VocalRender: Score-Native Singing Voice Synthesis for Real-World Composition
VocalRender是一种原生乐谱歌声合成系统,通过歌词、音高等乐谱信息直接合成歌声,采用交错歌词-音符表示与自回归扩散模型,在2300小时数据集训练后,自然度CMOS较最强基线高0.42分,适配实际作曲工作流。
2026-07-31 cs.AI cs.SD
Singing Voice Separation and Vocal F0 Estimation based on Mutual Combination of Robust Principal Component Analysis and Subharmonic Summation
Kyoto University(京都大学)
本文提出了一种新的演唱声分析方法,执行相互依赖的演唱声分离和声乐基频(F0)估计。如果可以从音乐音频信号中分离歌唱声,则认为声乐F0估计变得更容易,并且声乐F0轮廓对于歌唱声分离是有用的。这就需要一种方法,通过使用另一个任务的结果来提高每个任务的性能。所提出的方法首先执行鲁棒主成分分析(RPCA),用于从目标音乐音频信号中粗略地提取歌声。主旋律的F0轮廓,然后估计从分离的歌声通过寻找最佳的时间路径超过F0显着性频谱图。最后,通过将RPCA给出的传统时频掩模与仅通过估计F0的谐波结构的另一个掩模相结合,再次更准确地分离歌声。实验结果表明,该方法在歌唱声分离和F0估计方面都有明显的改善。该方法也优于提交给MIREX 2014国际音乐分析竞赛的所有其他歌唱声音分离方法。
2016-04-01 cs.MM cs.SD
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra(庞培法布拉大学)
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战,由于其复杂的旋律进展,语调不准确,使用高度的重复和吉他伴奏的存在。在这项研究中,我们探讨了现有的最先进的转录系统的情况下,弗拉门戈歌唱的局限性,并提出了一个具体的解决方案,这种类型:我们首先提取的主要旋律,并应用一种新的轮廓过滤过程,以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合,将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性,发病检测和整体性能评估时,弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion
University of Sydney, Electrical and Computer Engineering(悉尼大学电气与计算机工程学院);Sony Computer Science Laboratories, Tokyo, Japan(索尼计算机科学实验室(日本东京))
本文提出基于浅层扩散模型的自监督方法,用于修复因音高转换而降质的歌唱声音,通过保留旋律和时间,减少伪影并提升音质。
2026-01-15 cs.SD
Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt
Zhejiang University(浙江大学)
本文提出 Prompt-Singer,通过自然语言提示实现歌声性别、音域和音量控制,并利用多尺度 decoder-only transformer 与音高解耦表示兼顾控制能力、旋律准确性和音频质量。
2025-01-06 cs.AI cs.LG cs.SD
Content Based Singing Voice Extraction From a Musical Mixture
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟委员会联合研究中心)
我们提出了一种基于深度学习的方法,用于根据底层语言内容从音乐混合物中提取歌声信号。我们的模型遵循一个编码器解码器的架构,并作为输入的音乐混合物与人声的频谱图的幅度分量。该模型的编码器部分通过使用教师网络的知识蒸馏来训练,以学习内容嵌入,该内容嵌入被解码以生成相应的声码器特征。使用这种方法,我们能够从混合物中提取未处理的原始声乐信号,即使是在训练过程中没有看到歌手的处理过的混合物数据集。虽然我们的系统的性质使其与传统的客观评估指标不一致,但我们通过听力测试使用主观评估,将该方法与最先进的基于深度学习的源分离算法进行比较。我们还提供了良好的例子和源代码的可重复性。
2020-02-17 cs.LG cs.SD eess.AS
A Neural Parametric Singing Synthesizer
Universitat Pompeu Fabra(庞培法布拉大学)
我们提出了一个新的模型,歌唱合成的基础上修改版本的WaveNet架构。而不是建模的原始波形,我们的模型的参数声码器,分离的音高和音色的影响所产生的功能。这允许方便地修改音高以匹配任何目标旋律,便于在更适度的数据集大小上进行训练,并显着减少训练和生成时间。我们的模型使用混合密度输出而不是分类输出进行逐帧预测,以减少所需的参数计数。由于我们发现实验中使用的数据集相对较小,过拟合是一个问题,因此我们提出了一种方法来正则化模型并使自回归生成过程对预测误差更加鲁棒。使用简单的多流架构,谐波、非周期性和有声/无声分量都可以以相干方式预测。我们比较我们的方法,现有的参数统计和国家的最先进的拼接方法,使用定量指标和听力测试。虽然自回归生成算法的简单实现往往效率低下,但使用智能算法,我们可以大大加快这一过程,并获得在速度和质量方面都具有竞争力的系统。
2017-08-17 cs.CL cs.LG cs.SD
An Extensive Analysis of Query by Singing/Humming System Through Query Proportion
S.J.College of Engineering(S.J.工程学院)
QBSH(Query by Singing/Humming)是一个以小音频片段为查询对象的音乐信息检索系统。数字音乐的日益普及为音乐检索提供了有效的方法。此外,MIR系统支持基于内容的音乐搜索,并且不需要熟悉音乐。目前对QBSH的研究主要集中在音高、节奏、音符等旋律特征上,数据库的大小、响应时间、分数匹配和搜索算法。尽管提出了各种QBSH技术,但通过查询摘录来分析QBSH的工作还很缺乏。在这里,我们提出了一个分析,QBSH通过查询摘录。为了证实这一点,我们利用Mel频率倒谱系数(MFCC)、线性预测系数(LPC)和线性预测倒谱系数(LPCC)进行了一系列的实验,以描述知识表示的鲁棒性。建议的实验试图揭示,检索性能以及精度下降,在蜗牛阶段与不断增长的数据库的大小。
2013-01-09 cs.IR cs.MM cs.SD
Lead Vocal Separation from Vocal Ensemble Mixtures Using Phoneme Alignment
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所(AIST))
针对声乐合奏中主唱分离难的问题,提出基于BS-RoFormer和音素对齐条件化的模型,利用FiLM注入帧级音素标签,显著提升分离性能。
2026-09-09 cs.SD eess.AS
Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ByteDance Seed(字节跳动种子);Shenzhen Loop Area Institute(深圳河套学院);City University of Macau(澳门城市大学);Amphion Technology Co., Ltd.(Amphion科技有限公司)
Vevo2通过统一建模和可控框架实现语音与歌唱语音的生成,结合语调学习策略和多目标训练提升可控性和泛化能力。
2026-03-05 cs.AI cs.CL cs.SD
KaraTuner: Towards end to end natural pitch correction for singing voice in karaoke
Tencent Music Entertainment Lyra Lab(腾讯音乐娱乐天琴实验室);Carnegie Mellon University(卡内基梅隆大学)
自动音调校正系统通常包括几个阶段,例如音调提取、偏差估计、音调偏移处理和交叉衰落平滑。然而,用策略设计这些组件通常需要领域专业知识,并且它们很可能在极端情况下失败。在本文中,我们提出了KaraTuner,一个端到端的神经架构,预测音高曲线和重新合成的歌声直接从调谐的音高和声乐频谱提取的原始录音。在KaraTuner中引入了几个重要的技术点,以确保音高准确性,音高自然性,音色一致性和音质。在音高预测器中采用前馈Transformer来捕获声谱和音符中的长期依赖性。我们还开发了一个基于一个新的源滤波器块和Fre-GAN架构的基音可控声码器。通过A/B测试,KaraTuner获得了比基于规则的基音校正方法更高的偏好,感知实验表明,与参数化WORLD声码器、相位声码器和CLPC声码器相比,该声码器在音质一致性和音质方面具有显著优势。
2022-06-27 cs.SD eess.AS
PPG-based singing voice conversion with adversarial representation learning
ByteDance AI Lab(字节跳动人工智能实验室)
歌唱声音转换是指在保持歌唱内容和旋律的前提下,将一个歌唱者的声音转换为另一个歌唱者的声音。在最近的语音转换工作的顶部,我们提出了一个新的模型,稳步转换歌曲,同时保持其自然性和语调。我们建立了一个端到端的架构,以语音后验图(PPG)作为输入,并生成梅尔频谱图。具体来说,我们实现了两个独立的编码器:一个编码PPG作为内容,另一个压缩梅尔频谱图提供声学和音乐信息。为了提高模型在音色和旋律方面的性能,设计了对抗性的歌手混淆模块和梅尔回归表示学习模块。在我们的私人汉语歌唱语料库上进行了客观实验和主观实验。与基线相比,我们的方法可以显着提高转换性能的自然度,旋律,和语音相似性。此外,我们的PPG为基础的方法被证明是强大的噪声源。
2020-10-28 cs.CL cs.SD eess.AS
Small Tunes Transformer: Exploring Macro & Micro-Level Hierarchies for Skeleton-Conditioned Melody Generation
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院)
本研究提出Small Tunes Transformer模型,通过宏观乐句分割与微观骨架音符提取,结合乐句级交叉注意力机制,并构建包含10088首传统民歌的Small Tunes Dataset,实现了优于SOTA的骨架条件旋律生成。
2024-10-15 cs.SD eess.AS
Generative Multi-modal Feedback for Singing Voice Synthesis Evaluation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);Columbia University(哥伦比亚大学);Dalian University of Technology(大连理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出生成式多模态反馈框架,通过音频-语言模型生成多维语言和音频反馈,提升歌唱语音合成评估的准确性和可解释性。
2025-12-02 cs.LG cs.SD
SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training
Zhejiang University(浙江大学);Guangdong OPPO Mobile Telecommunications Corp., Ltd.(广东OPPO移动通信有限公司)
提出SongGLM词到旋律生成系统,利用二维对齐编码和分层空白填充多任务预训练,有效解决歌词-旋律对齐与和谐建模挑战,生成质量显著优于基线。
2024-12-24 cs.AI cs.SD eess.AS
Adversarial Semi-Supervised Audio Source Separation applied to Singing Voice Extraction
Queen Mary University of London(伦敦玛丽女王大学)
音乐声源分离的现有技术采用在多音轨数据库上以监督方式训练的神经网络来估计来自给定混合的声源。由于只有很少的数据集可用,通常使用广泛的数据增强来对抗过拟合。然而,混合随机音轨甚至会降低分离性能,因为真实音乐中的乐器是强烈相关的。在我们的方法中的关键概念是,源估计的最佳分离器应该是从真正的源信号难以区分。基于这个想法,我们将分离器驱动到被训练为区分真实和分离器样本的神经网络认为是现实的输出。这样,我们也可以使用未配对的源和混合录音,而不会产生不切实际的音乐混合。我们的框架是广泛适用的,因为它不假设一个特定的网络架构或源的数量。据我们所知,这是第一次采用对抗训练的音乐声源分离。在一个歌唱声音分离的原型实验中,与纯监督训练相比,我们的方法提高了分离性能。
2018-04-06 cs.LG cs.SD
DJCM: A Deep Joint Cascade Model for Singing Voice Separation and Vocal Pitch Estimation
School of Information, Renmin University of China(中国人民大学信息学院);Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所)
提出深度联合级联模型DJCM,通过联合级联结构和任务特定权重同时优化歌声分离与音高估计,在SDR和OA上分别提升0.45和2.86%,达到最先进性能。
2024-01-08 cs.SD eess.AS
Improving singing voice separation with the Wave-U-Net using Minimum Hyperspherical Energy
City, University of London(伦敦城市大学)
近年来,深度学习已经超越了传统方法来解决歌声分离问题。Wave-U-Net是一种直接在时域上运行的最新深度网络架构。标准Wave-U-Net通过数据增强和提前停止进行训练,以防止过度拟合。最小超球能量(MHE)正则化最近被证明可以通过鼓励多样化的滤波器配置来提高图像分类问题的泛化能力。在这项工作中,我们将MHE正则化应用于Wave-U-Net的1D滤波器。我们评估了这种方法在MUSDB 18数据集上从混合音乐音频记录中分离声乐部分。我们发现,添加MHE正则化的损失函数一致地提高歌声分离,在测试录音的信号失真比测量,导致目前最好的时域系统的歌声提取。
2019-10-22 cs.LG cs.SD eess.AS
DALI: a large Dataset of synchronized Audio, LyrIcs and notes, automatically created using teacher-student machine learning paradigm
Ircam Lab(Ircam实验室);CNRS(法国国家科学研究中心)
本文的目的是双重的。首先,我们介绍了DALI,一个大型而丰富的多模态数据集,包含5358个音轨,其时间对齐的声乐旋律音符和歌词在四个粒度级别。第二个目标是解释我们的方法,其中数据集创建和学习模型使用师生机器学习范式进行交互,使彼此受益。我们从一组手工注释的草稿时间对齐的歌词和笔记由Karamas游戏的非专家用户。这套没有音频。因此,我们需要找到相应的音频和适应它的注释。为此,我们从Web检索音频候选。然后,每个候选人都可以使用教师(一种深度卷积神经网络唱歌声音检测系统(SVD))随着时间的推移转换为唱歌声音概率,该系统在经过清理的数据上进行训练。比较时间对齐的歌词和歌唱的声音概率,我们检测匹配,并相应地更新时间对齐的歌词。由此,我们获得了新的音频集。然后,它们被用于训练新的SVD学生,用于再次执行上述比较。该过程可以迭代地重复。我们表明,这可以逐步提高我们的SVD的性能,并获得更好的音频匹配和对齐。
2019-06-25 cs.DB cs.LG cs.SD
Poly-SVC: Polyphony-Aware Singing Voice Conversion with Harmonic Modeling
School of Intelligence Science and Technology(智能科学与技术学院);Beijing University of Civil Engineering and Architecture(北京建筑大学);Lyra Lab, Tencent Music Entertainment(腾讯音乐娱乐Lyra实验室);Beijing Key Laboratory of Super Intelligent Technology for Urban Architecture(北京超智能城市建筑技术重点实验室)
本文提出Poly-SVC,一种零样本、跨语言的歌唱语音转换系统,通过常数Q变换提取音高并融合内容与音色特征,实现自然的多声部输出。
2026-05-12 cs.SD
Computational Features for Symbolic Melody Analysis
University of Cambridge(剑桥大学)
本文提出开源Python工具melody-features,梳理符号旋律的音乐理论与心理学特征并构建分类体系,在Essen民歌集上验证其风格分类性能,为旋律分析提供可解释的特征方案。
2026-08-20 cs.SD
Speech-to-Singing Conversion in an Encoder-Decoder Framework
Indian Institute of Technology Bombay(印度理工学院孟买分校);Academia Sinica(中央研究院)
在本文中,我们的目标是将一组口语线转换成唱的。与以前的信号处理为基础的方法,我们采取基于学习的方法来解决这个问题。这使我们能够自动模拟这种转换的各个方面,从而克服对特定输入的依赖,例如高质量的歌唱模板或音素分数同步信息。具体来说,我们提出了一个编码器-解码器框架,我们的任务。给定语音的时频表示和目标旋律轮廓,我们学习编码,使我们能够合成歌唱,保留语言内容和音色的扬声器,同时坚持目标旋律。我们还提出了一个多任务学习为基础的目标,以提高歌词的可理解性。我们提出了一个定量和定性分析我们的框架。
2020-02-16 cs.LG cs.SD eess.AS