PHONEix: Acoustic Feature Processing Strategy for Enhanced Singing Pronunciation with Phoneme Distribution Predictor
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
歌唱声合成作为一种从乐谱中生成歌唱声的特殊任务，近年来受到了广泛的关注。声乐演唱面临的挑战是，在同一乐谱的条件下，演唱具有多种发音的灵活性。SVS以往的作品大多不能很好地处理乐谱与实际演唱之间的错位。在本文中，我们提出了一个声学特征处理策略，命名为PHONEix，音素分布预测器，以减轻乐谱和歌声之间的差距，它可以很容易地采用在不同的SVS系统。在各种环境中进行的广泛实验证明了我们的PHONEix在客观和主观评估方面的有效性。
2023-03-15 cs.SD eess.AS
Reference-Free Singing Pitch Correction via Music-Constrained Sequence Editing
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；China Unicom（中国联通）
该研究针对现有歌声音高修正方法依赖目标旋律或伴奏的问题，提出音乐约束序列编辑方法，在无参考情况下提升了音符级音高准确率，性能优于基线方法。
2026-10-09 cs.SD eess.AS
Identification of potential Music Information Retrieval technologies for computer-aided jingju singing training
音乐信息检索（MIR）技术在西方古典声乐训练中的应用已被证明是有效的。京剧演唱在大部分的感性维度上都不同于西方演唱，训练者采用口心法。在本文中，我们首先介绍了在专业京剧培训课堂场景中使用的培训方法，并展示了将MIR技术引入培训过程的潜在好处。本文的主体部分是对京剧演唱训练中潜在的MIR技术进行识别。针对这一意图，我们回答了这样一个问题：京剧演唱指导教师和学员是如何看待京剧音乐的每一个维度--语调、节奏、响度、音质和发音的重要性的？本研究透过（一）将课堂歌唱练习、导师的口头反馈归纳为五个维度，（二）对受训者进行问卷调查。然后，借助音乐信号分析法，对课堂练习录音实例进行了细致的考察，揭示了训练过程中的细节要素。最后，在上述分析的基础上，本文提出了几种可能的多媒体合成技术，对京剧演唱训练有一定的参考价值。
2017-11-02 cs.IR cs.SD eess.AS
Peking Opera Synthesis via Duration Informed Attention Network
Tencent（腾讯）
大约200年前，京剧一直是中国最主要的表演艺术形式。京剧演唱者在舞台上的即兴发挥和表现力往往表现出很强的个人风格，导致实际的节奏和音高轮廓与原曲有很大的偏差。这种不一致性给从乐谱合成京剧唱腔带来了很大的挑战。在这项工作中，我们提出了处理这个问题，合成表达京剧演唱的乐谱的基础上持续时间通知注意网络（Durian）框架。为了解决节奏失配问题，利用拉格朗日乘子在给定音符时长的约束下，寻找最优的输出音素时长序列。至于音高轮廓不匹配，而不是直接从乐谱中推断，我们采用从真实歌唱中生成的伪乐谱，并在训练期间将其作为输入。实验结果表明，该系统能够合成出具有高音质、高音高和高表现力的京剧唱腔。
2020-08-07 cs.CL cs.SD eess.AS
HSD: A hierarchical singing annotation dataset
Waseda University（早稻田大学）
一般音乐都有明显的层次结构，尤其是流行歌曲中作为主旋律的演唱部分。然而，目前大多数歌唱标注数据集只记录音符的符号信息，忽略了音乐的结构。在本文中，我们提出了一个层次化的歌唱注释数据集，由68首流行歌曲从Youtube。该数据集以增强的LyRiCs格式记录每个音符的开始/结束时间、音高、持续时间和歌词，以呈现音乐的层次结构。我们在两个阶段的过程中注释每首歌曲：第一，使用相应的乐谱和歌词文件创建初始标签;第二，手动校准这些标签参考原始音频。我们主要通过将其与自动歌唱转录（AST）数据集进行比较来验证所提出的数据集的标记准确性。实验结果表明，该数据集达到了AST数据集的标注精度。
2022-09-26 cs.SD
Learning a Joint Embedding Space of Monophonic and Mixed Music Signals for Singing Voice
KAIST（韩国科学技术院）
先前的歌手识别方法使用单声道或包含多个乐器的混合音轨中的一个，在这两个音频域之间留下语义间隙。在本文中，我们提出了一个系统来学习一个联合嵌入空间的单声道和混合音轨的歌声。我们使用一个度量学习方法，它可以确保同一个歌手的两个域的曲目比不同歌手的曲目更接近彼此。我们训练系统上的音乐mashup生成的大型合成数据集，以反映现实世界的音乐录音。我们的方法为跨域任务开辟了新的可能性，例如，给定歌手的单声道音轨作为查询，从数据库中检索由同一歌手演唱的混合音轨。此外，它不需要额外的语音增强步骤，如声源分离。我们证明了我们的系统的有效性，歌手识别和查询歌手在同一领域和跨领域的任务。
2019-06-26 cs.SD eess.AS
MusicFace: Music-driven Expressive Singing Face Synthesis
Xiamen University（厦门大学）
如何在音乐信号的驱动下合成一个生动逼真的演唱人脸仍然是一个有趣而又具有挑战性的问题。在本文中，我们提出了一种方法，这项任务的自然运动的嘴唇，面部表情，头部姿势和眼睛的状态。针对音乐音频信号中人声和背景音乐混合信息的耦合性，设计了一种混叠融合策略。我们首先将输入的音乐音频分解为人声流和背景音乐流。由于两个流输入信号和面部表情，头部运动和眼睛状态的动态之间的隐式和复杂的相关性，我们用注意力方案来建模它们的关系，其中两个流的效果被无缝融合。此外，为了提高生成结果的表现力，我们建议将头部运动生成分解为速度生成和方向生成，并将眼睛状态生成分解为短时间眨眼生成和长时间闭眼生成，以单独建模。我们还建立了一个新的SingingFace数据集来支持这项任务的训练和评估，并促进未来关于这个主题的工作。大量的实验和用户研究表明，我们提出的方法是能够合成生动的歌唱脸，这是优于国家的最先进的方法定性和定量。
2023-03-24 cs.CV cs.GR cs.SD
Towards Computational Analysis of Pansori Singing
Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Sogang University（西江大学）
本文提出基于音频与转录的盘索里计算分析方法，利用现代音乐信息检索任务分析传统音乐并揭示其独特音频特征。
2024-10-16 cs.IR cs.SD eess.AS
SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge Evaluation Plan
University of Rochester（罗切斯特大学）；Carnegie Mellon University（卡内基梅隆大学）；Nagoya University（名古屋大学）；Renmin University of China（中国人民大学）
针对AI生成歌声带来的伪造风险，论文介绍首个歌声深度伪造检测挑战赛SVDD Challenge的评估计划，并说明其数据范围及与SLT 2024合办。
2024-05-08 cs.AI cs.MM cs.SD
Enhancing Lyrics Transcription on Music Mixtures with Consistency Loss
Queen Mary University of London（伦敦大学女王学院）
本文针对ASR基础模型在音乐混合音频中歌词转写性能下降的问题，提出利用一致性损失对齐人声与混合音频编码器表示，并结合LoRA微调，在不依赖歌声分离的情况下实现稳定提升。
2025-06-03 cs.SD eess.AS
Variation of singing styles within a particular Gharana of Hindustani classical music A nonlinear multifractal study
Jadavpur University（贾达普大学）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
印度斯坦古典音乐完全基于“Raga”结构。在印度斯坦音乐中，“Gharana”或学校指的是一群音乐家对特定音乐风格的坚持。Gharanas以传统的音乐培训和教育模式为基础。每个Gharana都有自己独特的特征;虽然在特定的Gharana中，几代表演者之间的演唱风格存在显着差异，这可以归因于该歌手的个人创造力。这部作品旨在研究Patiala Gharana连续四代的四位艺术家的演唱风格的演变。为此，运用非线性多重分形分析（MFDFA）技术，对这四位艺术家演唱的两首不同风格的《拉格斯》的高音部分和低音部分进行了分析。从MFDFA方法获得的多重分形谱宽度给出了信号的复杂性的估计。从光谱宽度的变化的观察给出了对Guru-Shisya Parampara（师生传统）的科学认识的线索-这是一个迄今为止经常听到的哲学术语。从定量的方法，本研究成功地分析了在一个特定的Gharana几代艺术家的演唱风格的演变，以及在古典音乐领域的全球化的影响。
2021-05-26 cs.SD
Adapting Diffusion-Based Music Synthesis to Speech and Singing Voice Conversion
研究将基于扩散的音乐合成模型用于语音转换，通过扩展条件设定、重新解释音色条件等方法，使模型在自然度等方面表现良好，还发现纳入乐器数据的问题及现成特征提取器的作用，凸显跨域模型转移对统一音频生成系统的潜力。
2026-07-17 cs.SD
Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation
Samsung R&D Institute Bangalore, India（三星研发中心班加罗尔，印度）
提出MusicJudge框架，通过模态引导的块对齐多模态分析，结合歌词正确性与音高节奏保真度，实现自动歌唱质量评估，实验验证与人类专家判断高度一致。
2026-06-26 cs.LG cs.SD
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
Semi-Supervised Monaural Singing Voice Separation With a Masking Network Trained on Synthetic Mixtures
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
我们研究了半监督歌声分离问题，其中训练数据包含一组混合音乐（歌唱和器乐）和一组不匹配的器乐样本。我们的解决方案采用了一个单一的映射函数g，它适用于混合样本，恢复基本的器乐，并适用于乐器样本，返回相同的样本。网络g使用纯乐器样本以及通过将重建的歌唱声音与随机乐器样本混合而创建的合成混合样本进行训练。我们的研究结果表明，我们与完全监督方法相当或更好，这些方法也提供了未混合的歌声的训练样本，并且优于最近的其他半监督方法。
2019-05-06 cs.LG cs.SD eess.AS
Accompanied Singing Voice Synthesis with Fully Text-controlled Melody
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出 MelodyLM，首个以文本完全控制旋律的 TTSong 模型，通过 MIDI 中间建模、语言模型生成人声及潜在扩散模型合成伴奏，在客观与主观评测中均表现优异。
2024-07-02 cs.CL cs.SD eess.AS
Pseudo-Label Transfer from Frame-Level to Note-Level in a Teacher-Student Framework for Singing Transcription from Polyphonic Music
Neutune Research（Neutune研究中心）；KAIST（韩国科学技术院）
缺乏大规模音符级标注数据是复调音乐歌唱转写的主要障碍。我们解决这个问题，通过使用伪标签的音高估计模型给出未标记的数据。该方法首先通过音高和节奏量化步骤将帧级伪标签转换为音符级伪标签。然后，在师生框架下，通过自我训练进一步提高标签质量。为了验证该方法，我们进行了各种实验设置，通过调查两个音高估计模型作为伪标签生成器，两个设置的师生框架，以及自我训练的迭代次数。实验结果表明，该方法能有效利用大规模未标记音频数据，并通过带噪学生模型进行自训练，提高了性能。最后，我们证明了仅使用未标记数据训练的模型与以前的作品具有相当的性能，并且使用附加标记数据训练的模型比仅使用标记数据训练的模型具有更高的准确性。
2022-03-30 cs.SD eess.AS
A Data-Driven Approach to Smooth Pitch Correction for Singing Voice in Pop Music
Indiana University（印第安纳大学）
在本文中，我们提出了一种机器学习的方法来纠正语音在卡拉OK设置，其中的人声和伴奏是在单独的轨道和时间对齐的音高。该网络将两个音轨的时频表示作为输入，并预测使语音与伴奏一致所需的音高偏移量。它是训练的例子半专业歌唱。所提出的方法不同于现有的实时音高校正方法，通过取代音高跟踪和映射到一组离散的音符-例如，12类的等温和的规模-学习校正，这是连续的频率和时间直接从声乐和伴奏曲目的谐波。递归神经网络（RNN）模型提供了一个考虑上下文的校正，保留了富有表现力的音高弯曲和颤音。这种方法可以扩展到声乐表演的无监督音高校正-通常被称为自动调音。
2018-05-07 cs.SD eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra（庞培法布拉大学）
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战，由于其复杂的旋律进展，语调不准确，使用高度的重复和吉他伴奏的存在。在这项研究中，我们探讨了现有的最先进的转录系统的情况下，弗拉门戈歌唱的局限性，并提出了一个具体的解决方案，这种类型：我们首先提取的主要旋律，并应用一种新的轮廓过滤过程，以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合，将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性，发病检测和整体性能评估时，弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya（佩拉德尼亚大学）
这篇研究论文提出了一种新的基于深度学习的神经网络架构，名为Y-Net，用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离，从频谱图和波形域提取功能。受U-Net架构的启发，Y-Net预测了一个声谱图掩码，以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性，并且参数较少。总体而言，我们的工作提出了一个有前途的方法，提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Unsupervised Interpretable Representation Learning for Singing Voice Separation
Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）；Tampere University（坦佩雷大学）；Technical University of Ilmenau（伊尔梅瑙工业大学）
在这项工作中，我们提出了一种直接从波形信号中学习可解释的音乐信号表示的方法。我们的方法可以使用无监督目标进行训练，并依赖于去噪自动编码器模型，该模型使用简单的正弦模型作为解码函数来重建歌声。为了证明我们的方法的好处，我们采用所获得的表示通知歌唱声音分离通过二进制掩蔽的任务，并测量所获得的分离质量的尺度不变的信号失真比。我们的研究结果表明，我们的方法是能够学习有意义的表示唱歌的声音分离，同时保留的便利性，如非负性，平滑度和重建的短时傅里叶变换受到时间-频率掩蔽，音频和音乐源分离所需的。
2020-07-01 cs.SD eess.AS
The emotions that we perceive in music: the influence of language and lyrics comprehension on agreement
Universitat Pompeu Fabra（庞培法布拉大学）；A*STAR（新加坡科技研究局）
在本研究中，我们解决流行音乐和摇滚音乐（主要是欧美风格的英语歌词）和听众所说的语言之间的关系。我们的目标是了解歌词理解对情感感知的影响，并使用这些信息来改善音乐情感识别（MER）模型。两个主要的研究问题是解决：1。不同母语的听众在流行/摇滚音乐中感受到的情感是否存在差异和相似之处？2.个人特征是否会影响特定语言的听众的感知情绪？个人特征包括听众的一般人口统计数据、对片段的熟悉程度和偏好以及音乐的复杂程度。我们的假设是，评分员之间的协议（定义为克里彭道夫的阿尔法系数）从主题是直接影响的理解歌词。
2019-10-25 cs.CL cs.SD eess.AS
A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription
KAIST（韩国科学技术院）；Academia Sinica（中央研究院）
本文提出利用歌声的语言学特征（音素后验图PPG）结合梅尔频谱图来改进音符起始点检测，并通过多语言数据集验证了该方法对歌声转录性能的显著提升。
2023-04-12 cs.LG cs.SD eess.AS
Muskits: an End-to-End Music Processing Toolkit for Singing Voice Synthesis
Carnegie Mellon University（卡内基梅隆大学）；Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）；Human Dataware Lab. Co., Ltd.（人类数据仓库实验室有限公司）；Nagoya University（名古屋大学）；Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
本文介绍了一个新的开源的端到端音乐处理平台Muskits，它主要集中在端到端的歌声合成（E2 E-SVS）。Muskits支持最先进的SVS模型，包括RNN SVS、Transformer SVS和XiaoiceSing。Muskits的设计遵循广泛使用的语音处理工具包ESPnet和Kaldi的风格，用于数据预处理，训练和配方管道。据我们所知，这个工具包是第一个允许在SVS中的几个已发表作品之间进行公平和高度可重复比较的平台。此外，我们还展示了基于工具包功能的几种高级用法，包括多语言训练和迁移学习。本文描述了Muskits的主要框架，它的功能，以及在单歌手，多歌手，多语言和迁移学习场景下的实验结果。该工具包可在https://github.com/SJTMusicTeam/Muskits上公开查阅。
2022-07-02 cs.MM cs.SD eess.AS
Informed Group-Sparse Representation for Singing Voice Separation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）
人声分离是指将音乐录音中的人声部分和乐器部分分离出来，这是音乐信息检索中的一个基本问题。最近的研究表明，低秩表示和知情分离方法都能够提高分离质量。然而，由于使用奇异值分解，低秩优化在计算上是低效的。因此，在本文中，我们提出了一个新的线性时间算法称为知情组稀疏表示，并使用它来分离声乐音乐使用音高注释作为边信息。在iKala数据集上的实验结果证实了我们方法的有效性，表明在预先训练的乐器词典下，音乐伴奏遵循组稀疏结构。我们还展示了如何使用DSD 100数据集轻松扩展我们的工作以适应多个词典。
2018-01-09 cs.IR cs.SD eess.AS
Revisiting Representation Learning for Singing Voice Separation with Sinkhorn Distances
Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）；Tampere University（坦佩雷大学）；Technical University of Ilmenau（伊尔梅瑙工业大学）
在这项工作中，我们提出了一种无监督学习的音频表示的方法，专注于歌唱声音分离的任务。我们建立在以前提出的方法，用于学习表示的时域音乐信号与重新参数化去噪自动编码器，扩展它通过使用家庭的Sinkhorn距离与熵正则化。我们在免费提供的专业制作的音乐录音的MUSDB18数据集上评估了我们的方法，我们的结果表明，具有小强度熵正则化的Sinkhorn距离略微提高了知情歌声分离的性能。通过增加熵正则化的强度，混合信号的学习表示由几乎完全加性和明显结构化的源组成。
2021-01-08 cs.SD eess.AS
Are Music Foundation Models Better at Singing Voice Deepfake Detection? Far-Better Fuse them with Speech Foundation Models
IIIT-Delhi（德里印度信息技术学院）；Reliance Jio AICoE（信实吉奥人工智能卓越中心）；University of Tartu（塔尔图大学）；IIT-Dharwad（达尔瓦德印度理工学院）；IIIT-Dharwad（达尔瓦德印度信息技术学院）
本研究首次比较音乐基础模型和语音基础模型在歌声深度伪造检测中的表现，发现说话人识别SFMs效果最佳，并提出融合框架FIONA，通过同步x-vector和MERT-v1-330M实现最低13.74%的等错误率，达到SOTA性能。
2024-09-21 cs.LG cs.SD eess.AS
Learn to Sing by Listening: Building Controllable Virtual Singer by Unsupervised Learning from Voice Recordings
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Chu Hai College（香港珠海学院）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
本文提出一种基于VAE的无监督框架，通过聆听语音录音即可数字化声音并预测歌唱，实现可控虚拟歌手生成，并成功应用于2022年香港AI合唱团。
2023-05-09 cs.SD eess.AS
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego（加州大学圣地亚哥分校）；Fudan University（复旦大学）；Smule Inc.（Smule公司）
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而，这种设计在音调（音高级）和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中，我们提出了TONet，即插即用模型，利用一种新的输入表示和一种新的网络架构，提高了音调和八度感知。首先，我们提出了一种改进的输入表示，音调CFP，明确组谐波通过重新排列的频率箱。其次，我们介绍了一个编码器-解码器架构，旨在获得显着性特征图，音调特征图，和倍频程特征图。第三，我们提出了一个色调-八度融合机制，以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明，使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
Singing Voice Separation and Vocal F0 Estimation based on Mutual Combination of Robust Principal Component Analysis and Subharmonic Summation
Kyoto University（京都大学）
本文提出了一种新的演唱声分析方法，执行相互依赖的演唱声分离和声乐基频（F0）估计。如果可以从音乐音频信号中分离歌唱声，则认为声乐F0估计变得更容易，并且声乐F0轮廓对于歌唱声分离是有用的。这就需要一种方法，通过使用另一个任务的结果来提高每个任务的性能。所提出的方法首先执行鲁棒主成分分析（RPCA），用于从目标音乐音频信号中粗略地提取歌声。主旋律的F0轮廓，然后估计从分离的歌声通过寻找最佳的时间路径超过F0显着性频谱图。最后，通过将RPCA给出的传统时频掩模与仅通过估计F0的谐波结构的另一个掩模相结合，再次更准确地分离歌声。实验结果表明，该方法在歌唱声分离和F0估计方面都有明显的改善。该方法也优于提交给MIREX 2014国际音乐分析竞赛的所有其他歌唱声音分离方法。
2016-04-01 cs.MM cs.SD
Generating Separated Singing Vocals Using a Diffusion Model Conditioned on Music Mixtures
本文提出基于扩散模型的音乐演唱声部分离方法，通过条件生成提升分离效果，并通过消融研究分析采样参数影响。
2025-11-26 cs.AI cs.SD
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.（奈飞公司）；Georgia Institute of Technology（佐治亚理工学院）
本研究针对电影音频源分离中歌声难以归类的问题，将Bandit和Banquet模型扩展为四音轨分离，发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
Revisiting Singing Voice Detection: a Quantitative Review and the Future Outlook
KAIST（韩国科学技术院）；Spotify Inc.（声田公司）
由于人声成分在流行音乐中起着至关重要的作用，因此歌声检测一直是音乐信息检索中的一个活跃的研究课题。虽然提出的几种算法已经表现出很高的性能，我们认为，仍然有一个改进的空间，以建立一个更强大的歌声检测系统。为了确定改进的领域，我们首先对三个最近的歌声检测系统进行误差分析。在分析的基础上，我们设计了新的方法来测试多组内部策划和生成的数据上的系统，以进一步检查当前数据集没有明确揭示的陷阱。从实验结果中，我们也提出了几个方向，建立一个更强大的歌声检测器。
2018-06-04 cs.IR cs.MM cs.SD
A Comparative Analysis of Poetry Reading Audio: Singing, Narrating, or Somewhere In Between?
Indiana University（印第安纳大学）；Smule, Inc.（Smule公司）
本文通过信号处理方法对大规模诗歌朗读音频进行分析，发现诗歌朗读在静音模式、音高变化和节拍稳定性上兼具歌唱与叙述的声学特征。
2024-03-31 cs.SD eess.AS
Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tencent Music Entertainment（腾讯音乐娱乐）
在音乐产业中，对新发行的曲目进行个性化推荐一直是一个具有挑战性的问题。为了解决这个问题，我们首先探索用户的收听历史和人口统计数据，构建一个用户嵌入代表用户的音乐偏好。通过用户嵌入和来自用户喜欢和不喜欢的音轨的音频数据，可以使用具有Siamese网络的度量学习来获得针对每个音轨的音频嵌入。对于一个新的音轨，我们可以通过计算音轨的音频嵌入和不同用户嵌入之间的相似度来决定推荐的最佳用户组。建议的系统产生国家的最先进的性能，基于内容的音乐推荐测试与数百万用户和曲目。此外，我们提取音频嵌入的音乐流派分类任务的功能。实验结果表明了我们的音频嵌入的泛化能力。
2020-10-29 cs.SD eess.AS
Exploiting Device and Audio Data to Tag Music with User-Aware Listening Contexts
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）；Deezer Research（Deezer研究院）
随着音乐变得越来越可用，特别是在音乐流媒体平台上，人们开始有不同的偏好来适应他们不同的收听情况，也称为上下文。因此，在向用户推荐音乐时考虑用户的情况的兴趣越来越大。以前的作品已经提出了用户感知的自动标记器来推断音乐内容和用户的全球收听偏好的情况相关的标签。然而，在实际的音乐检索系统中，自动标记器只能通过假设上下文类由用户显式提供来使用。在这项工作中，为设计一个全自动的音乐检索系统，我们建议从他们的流数据中消除用户的收听信息的歧义。也就是说，我们提出了一种系统，该系统可以1）通过利用用户感知的音乐自动标记器，以及2）通过从流数据（例如，设备、网络）和用户的一般简档信息（例如，年龄）自动推断用户的情况，在某个时间为用户生成情景播放列表。实验表明，这种上下文感知的个性化音乐检索系统是可行的，但在新用户、新曲目或上下文类数目增加的情况下，检索性能会有所下降。
2022-11-14 cs.LG cs.SD eess.AS
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services（亚马逊云科技）；Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术，如随机源混合，已被证明可以更好地利用现有数据，并温和地提高模型的性能。我们提出了一种新的数据增强技术，chromagram为基础的音高感知混音，音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验，我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比（SDR）
2022-03-28 cs.LG cs.SD eess.AS
Analysis and Detection of Singing Techniques in Repertoires of J-POP Solo Singers
University of Tsukuba（筑波大学）；KAIST（韩国科学技术院）
本文主要对歌唱技术范围内的音乐信息检索进行研究。我们调查歌手如何使用歌唱技巧使用真实世界的录音著名独唱歌手在日本流行音乐歌曲（J-POP）。首先，我们建立了一个新的歌唱技术数据集。该数据集由168首商业J-POP歌曲组成，每首歌曲都使用不同的演唱技术进行了注释，包括时间戳和音高轮廓。我们还提出了数据集上的歌唱技术的描述性统计，以澄清什么和如何经常出现歌唱技术。我们进一步探讨了使用先前提出的机器学习技术自动检测歌唱技术的困难。在检测中，我们还研究了辅助信息的有效性（即，音高和标签持续时间的分布），而不仅仅提供基线。在九路多类检测中，在宏观平均F测度下的最佳结果达到40.4%。我们在附录网站0上提供了数据集的注释及其详细信息。
2022-11-15 cs.DL cs.IR cs.MM
An Extensive Analysis of Query by Singing/Humming System Through Query Proportion
S.J.College of Engineering（S.J.工程学院）
QBSH（Query by Singing/Humming）是一个以小音频片段为查询对象的音乐信息检索系统。数字音乐的日益普及为音乐检索提供了有效的方法。此外，MIR系统支持基于内容的音乐搜索，并且不需要熟悉音乐。目前对QBSH的研究主要集中在音高、节奏、音符等旋律特征上，数据库的大小、响应时间、分数匹配和搜索算法。尽管提出了各种QBSH技术，但通过查询摘录来分析QBSH的工作还很缺乏。在这里，我们提出了一个分析，QBSH通过查询摘录。为了证实这一点，我们利用Mel频率倒谱系数（MFCC）、线性预测系数（LPC）和线性预测倒谱系数（LPCC）进行了一系列的实验，以描述知识表示的鲁棒性。建议的实验试图揭示，检索性能以及精度下降，在蜗牛阶段与不断增长的数据库的大小。
2013-01-09 cs.IR cs.MM cs.SD
PDAugment: Data Augmentation by Pitch and Duration Adjustments for Automatic Lyrics Transcription
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；South China University of Technology（华南理工大学）
歌词自动转写（ALT）可以看作是歌唱声的自动语音识别（ASR），是学术界和工业界感兴趣的实用课题。ALT还没有得到很好的发展，主要是由于缺乏成对的歌声和歌词数据集的模型训练。考虑到有大量的ASR训练数据，一种简单的方法是利用ASR数据来增强ALT训练。然而，当直接用ASR数据训练ALT系统时，这种改进是微不足道的，因为歌唱声音和标准语音数据之间的差距根源于歌唱声音中特定于音乐的声学特性。在本文中，我们提出了PDAugment，一个数据增强方法，调整音调和持续时间的语音在音节水平的指导下，音乐乐谱，以帮助ALT训练。具体来说，我们调整自然语音中每个音节的音高和时长，使其与从乐谱中提取的相应音符的音高和时长一致，从而缩小自然语音与歌唱声之间的差距。在DSing 30和Dali语料库上的实验表明，采用PDAugment的ALT系统的性能分别比现有的ALT系统提高了5.9%和18.1%的WER，证明了PDAugment在ALT中的有效性。
2021-09-17 cs.SD eess.AS
Knowledge Distillation for Singing Voice Detection
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
歌声检测是音乐信息检索中的一个研究热点。目前，文献中存在两种基于深度神经网络的方法，一种基于CNN，另一种基于RNN，它们学习语音检测（VD）任务的优化特征，并在常见数据集上实现最先进的性能。这两个模型都有大量的参数（CNN为1.4M，RNN为65.7K），因此不适合部署在智能手机或嵌入式传感器等设备上，这些设备在内存和计算能力方面都有限制。解决这个问题最流行的方法是深度学习文献中的知识蒸馏（除了模型压缩之外），其中使用称为教师的大型预训练网络来训练较小的学生网络。鉴于SVD在音乐信息检索中的广泛应用，据我们所知，用于实际部署的模型压缩尚未被探索。在本文中，已作出努力，调查这个问题，使用传统的以及合奏知识蒸馏技术。
2021-08-19 cs.CL cs.LG cs.SD
Jukebox: A Generative Model for Music
OpenAI
我们介绍了Juventure，一种在原始音频域中生成带有歌唱的音乐的模型。我们使用多尺度VQ-VAE来处理原始音频的长上下文，将其压缩为离散代码，并使用自回归Transformers对它们进行建模。我们表明，在规模的组合模型可以产生高保真和多样化的歌曲与连贯性高达多分钟。我们可以根据艺术家和流派来控制音乐和声乐风格，并根据不一致的歌词来使演唱更可控。我们在https://github.com/openai/jukebox上发布了数千个非精选样本，以及模型权重和代码https://jukebox.openai.com
2020-04-30 cs.LG cs.SD eess.AS
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University（首尔大学）；Institute for Industrial Systems Innovation（产业系统创新研究院）
本文扩展传统音符级转录任务，提出端到端框架整合时值、音高和时间信息识别，引入伪标签技术解决时值数据稀缺问题，实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
StemGen: A music generation model that listens
SAMI, ByteDance Inc.（字节跳动有限公司SAMI）
本文提出 StemGen 音乐生成模型，采用非自回归 Transformer 架构，使模型能聆听并响应音乐上下文，在音频质量上达到文本条件模型的先进水平，并具备强音乐连贯性。
2024-01-16 cs.LG cs.SD eess.AS
RobustSVC: HuBERT-based Melody Extractor and Adversarial Learning for Robust Singing Voice Conversion
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对歌声转换中特征提取易受噪声影响的问题，提出 RobustSVC，用基于 HuBERT 的旋律提取器和三判别器对抗训练提升鲁棒性，并在干净与含噪条件下取得更优自然度和相似度。
2024-09-10 cs.SD eess.AS
Complex ratio masking for singing voice separation
The Ohio State University（俄亥俄州立大学）
音乐源分离对于诸如卡拉OK和混音之类的应用是重要的。以往的研究主要集中在估计短时傅里叶变换（STFT）幅度和丢弃相位信息。我们观察到，对于歌唱声分离，相位可以使分离质量有相当大的改善。本文提出了一种复比率掩蔽法用于人声和伴奏的分离。所提出的方法采用DenseUNet与自我关注估计实部和虚部的STFT为每个声源。一个简单的集成技术，以进一步提高分离性能。评估结果表明，该方法优于最近的国家的最先进的模型分离的声音和伴奏。
2020-11-03 cs.SD eess.AS
Adversarial Semi-Supervised Audio Source Separation applied to Singing Voice Extraction
Queen Mary University of London（伦敦玛丽女王大学）
音乐声源分离的现有技术采用在多音轨数据库上以监督方式训练的神经网络来估计来自给定混合的声源。由于只有很少的数据集可用，通常使用广泛的数据增强来对抗过拟合。然而，混合随机音轨甚至会降低分离性能，因为真实音乐中的乐器是强烈相关的。在我们的方法中的关键概念是，源估计的最佳分离器应该是从真正的源信号难以区分。基于这个想法，我们将分离器驱动到被训练为区分真实和分离器样本的神经网络认为是现实的输出。这样，我们也可以使用未配对的源和混合录音，而不会产生不切实际的音乐混合。我们的框架是广泛适用的，因为它不假设一个特定的网络架构或源的数量。据我们所知，这是第一次采用对抗训练的音乐声源分离。在一个歌唱声音分离的原型实验中，与纯监督训练相比，我们的方法提高了分离性能。
2018-04-06 cs.LG cs.SD
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology（快手科技）
SingDance是统一视频扩散框架，将语音表达设为语义角色，通过硬紧凑路由等技术实现组合式零样本歌舞视频生成，参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
Spectral Mapping of Singing Voices: U-Net-Assisted Vocal Segmentation
Toronto Metropolitan University（多伦多都会大学）
本研究提出一种基于U-Net的歌声分割方法，通过STFT将音乐转为频谱图并利用UNet进行图像分割。实验表明，结合频率轴归一化与MAE损失函数，在MUSDB18数据集上取得7.1 dB的最高SDR，显著优于其他配置，有效实现了人声的高质量分离。
2024-05-30 cs.AI cs.SD eess.AS
iKlax: a New Musical Audio Format for Active Listening
iKlax Media（iKlax媒体）；SCRIME；LaBRI - CNRS（波尔多第一大学计算机科学实验室 - 法国国家科学研究中心）；Univ. of Bordeaux 1（波尔多第一大学）；IRCAM（法国巴黎声学与音乐研究中心）
在本文中，我们提出了一个新的互动音乐模型。与大多数交互式系统不同，我们的模型是基于文件组织，但不需要数字音频处理。该模型包括约束系统及其求解器的定义。该项目的产品面向普通大众、没有经验的用户以及专业音乐家，并将进行商业发行。我们在这里介绍这个项目的三个产品。这个项目的难点在于设计一种交互式音乐的技术和软件产品，它必须易于普通大众和专业作曲家使用。
2009-01-25 cs.SD
Creating an A Cappella Singing Audio Dataset for Automatic Jingju Singing Evaluation Research
Universitat Pompeu Fabra（庞培法布拉大学）
数据驱动的京剧演唱自动评价计算研究缺乏合适的、全面的无伴奏合唱音频数据集。在这项工作中，我们提出了一个无伴奏合唱音频数据集，其中包括120个咏叹调，占1265旋律线。这个数据集也是我们现有的CompMusic京剧语料库的扩展。专业和业余歌手都被邀请参加数据集录制，最常见的京剧音乐元素都被涵盖在内。该数据集还附有每个咏叹调和旋律线的元数据注释，用于自动歌唱评估研究目的。所有收集的数据都可以在网上公开获取。
2017-08-14 cs.DL cs.SD
Mind the beat: detecting audio onsets from EEG recordings of music listening
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种深度学习方法来预测用户在听音乐时记录的脑电图（EEG）中的音频事件发作。我们使用一个公开的数据集，其中包含10首当代歌曲和同时记录的EEG。我们为数据集中的歌曲生成一系列起始标签，并训练神经网络（全连接网络（FCN）和递归神经网络（RNN））来解析输入EEG的第二个窗口，以预测音频中的第二个起始窗口。我们将我们的RNN网络与标准的基于光谱通量的新颖性函数和FCN进行了比较。我们发现，我们的RNN能够产生比其他方法更好地反映其泛化能力的结果。由于没有预先存在的工作在这个问题上，本文中提出的数字可以作为有用的基准，为未来的方法，这个研究问题。
2021-02-12 cs.SD eess.AS eess.SP
A Recurrent Encoder-Decoder Approach with Skip-filtering Connections for Monaural Singing Voice Separation
Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）；Tampere University of Technology（坦佩雷理工大学）；Technical University of Ilmenau（伊尔梅瑙工业大学）
基于用于音乐声源分离的编码器-解码器架构的深度学习方法的目标是近似目标音乐源的理想时频掩码或频谱表示。然后使用频谱表示来导出时间-频率掩模。在这项工作中，我们介绍了一种方法来直接学习时频掩模从观察到的混合幅度谱。我们采用递归神经网络和训练他们只使用先验知识的幅度谱的目标源。为了评估所提出的方法的性能，我们专注于歌唱声音分离的任务。客观评估的结果表明，我们提出的方法提供了与基于深度学习的方法相当的结果，这些方法在复杂的信号表示上操作。与以前的方法，近似的时间-频率掩模相比，我们的方法提高了性能的信号失真比的平均3.8 dB。
2018-04-24 cs.SD
