Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation
Samsung R&D Institute Bangalore, India（三星研发中心班加罗尔，印度）
提出MusicJudge框架，通过模态引导的块对齐多模态分析，结合歌词正确性与音高节奏保真度，实现自动歌唱质量评估，实验验证与人类专家判断高度一致。
2026-06-26 cs.LG cs.SD
MSTRE-Net: Multistreaming Acoustic Modeling for Automatic Lyrics Transcription
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
本文对歌词自动转写的研究做出了一些贡献。我们的主要贡献是一个新的变种的多流时间延迟神经网络（MTDNN）架构，称为MSTRE-Net，它处理的时间信息使用多个流并行不同的分辨率保持网络更紧凑，从而具有更快的推理和提高识别率比具有相同的TDNN流。此外，提出了两个新的预处理步骤之前，训练的声学模型。首先，我们建议在训练声学模型期间使用来自单声道和多声道域的录音。第二，我们标记单音和复调录音与不同的标签，以区分非声乐沉默和音乐的情况下，在对齐。此外，我们提出了一个新的测试集与ALT文献中使用的现有数据集相比，具有相当大的尺寸和更高的音乐变异性，同时保持歌手的性别平衡。我们最好的表现模式设置了最先进的歌词转录的大幅度。为了重现性，我们公开共享标识符以检索本文中使用的数据。
2021-08-05 cs.CL cs.IR cs.SD
Automatic Lyric Transcription for Greek Songs: Scaling and Task Composition Effects in Whisper Adaptation
Institute for Language and Speech Processing, Athena R.C.（雅典研究与技术中心语言与语音处理研究所）
针对希腊语低资源场景，首次系统研究 Whisper 模型规模、多任务组合及两阶段适应，构建对齐数据集，实现 WER 27.2%，建立首个希腊语 ALT 基准。
2026-09-11 cs.CL cs.SD
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中，我们提出了一种新的方法，执行音频到歌词对齐与低内存消耗的足迹，无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点，记录然后被分段，并执行第二遍对齐以获得字定时。我们表明，我们的音频到歌词对齐系统执行竞争力与国家的最先进的，同时需要更少的计算资源。此外，我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是，在分段录音中，我们报告了一些基准测试集上的歌词转录分数。最后，我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性，我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
Adapting pretrained speech model for Mandarin lyrics transcription and alignment
National Taiwan University（国立台湾大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
本文在低资源环境下，通过适配预训练Whisper模型并在中文演唱数据集上微调，结合数据增强与源分离技术，解决了多音轨中文流行音乐的歌词转录与对齐问题，取得了优异性能。
2023-11-21 cs.SD eess.AS
Deep Attention-Based Alignment Network for Melody Generation from Incomplete Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；The University of Electro-Communications（电气通信大学）
我们提出了一种基于深度注意力的对齐网络，其目的是以类似于人类音乐创作的方式自动预测歌词和旋律，并将给定的不完整歌词作为输入。最重要的是，一个深度的神经歌词到旋律网络是以编码器-解码器的方式训练的，当给定不完整的歌词（几个关键词）时，它可以预测可能的歌词-旋律对。利用注意力机制在歌词到旋律生成期间将预测的歌词与旋律对齐。定性和定量的评价指标表明，所提出的方法确实是能够产生适当的歌词和相应的旋律组成新的歌曲给定的一块不完整的种子歌词。
2023-01-23 cs.AI cs.SD eess.AS
SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training
Zhejiang University（浙江大学）；Guangdong OPPO Mobile Telecommunications Corp., Ltd.（广东OPPO移动通信有限公司）
提出SongGLM词到旋律生成系统，利用二维对齐编码和分层空白填充多任务预训练，有效解决歌词-旋律对齐与和谐建模挑战，生成质量显著优于基线。
2024-12-24 cs.AI cs.SD eess.AS
SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint
National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）；Nanjing University of Science and Technology（南京理工大学）；Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）
自动歌曲写作的目的是用机器创作一首歌曲（歌词和/或旋律），这是学术界和工业界都感兴趣的话题。在歌曲自动创作中，歌词到旋律的生成和旋律到歌词的生成是两个重要的任务，但这两个任务通常都面临以下挑战：1）由于歌词和旋律之间的相关性较弱，需要大量的成对训练数据，因此歌词和旋律的成对数据有限，影响了这两个任务的生成质量; 2）歌词和旋律之间需要严格的对齐，这依赖于特定的对齐模型。在本文中，我们提出SongMASS来解决上述挑战，它利用掩蔽序列到序列（MASS）预训练和基于注意力的对齐建模来生成歌词到旋律和旋律到歌词。具体来说，1）我们将原始的歌词级MASS预训练扩展到歌曲级，以更好地捕获音乐中的长上下文信息，并为每个模态（歌词或旋律）使用单独的编码器和解码器; 2）我们在训练期间利用歌词级注意力掩码和标记级注意力约束，以增强歌词和旋律之间的对齐。在推理过程中，我们使用动态规划策略来获得歌词中每个单词/音节与旋律中音符之间的对齐。我们在未配对的歌词和旋律数据集上对SongMASS进行了预训练，客观和主观评估都表明，SongMASS生成的歌词和旋律的质量明显优于没有预训练或对齐约束的基线方法。
2020-12-09 cs.CL cs.SD eess.AS
A Real-Time Lyrics Alignment System Using Chroma And Phonetic Features For Classical Vocal Performance
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
本文提出面向古典声乐表演的实时歌词对齐系统，通过融合色度图与语音后验图改进对齐算法，并将舒伯特《冬之旅》数据集重构为标准评估集。
2024-01-17 cs.LG cs.SD eess.AS
HCLAS-X: Hierarchical and Cascaded Lyrics Alignment System Using Multimodal Cross-Correlation
Gaudio Lab, Inc.（Gaudio实验室公司）
本文提出HCLAS-X分层级联歌词对齐系统，利用人声与歌词潜在表示的互相关矩阵，先句子后单词地预测同步时间，显著降低平均绝对误差并已部署于多个音乐流媒体服务。
2023-07-10 cs.SD eess.AS
Conditional LSTM-GAN for Melody Generation from Lyrics
National Institute of Informatics（国立情报学研究所）；Indraprastha Institute of Information Technology Delhi（德里印度信息技术学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
从歌词中生成旋律是人工智能和音乐领域的一个具有挑战性的研究课题，它能够学习和发现有趣的歌词和伴随旋律之间的潜在关系。遗憾的是，歌词-旋律配对数据集与对齐信息的有限可用性阻碍了研究的进展。为了解决这个问题，我们创建了一个由12，197首歌曲组成的大型数据集，每个歌曲都有成对的歌词和旋律对齐，通过利用不同的音乐源，提取音节和音乐属性之间的对齐关系。最重要的是，我们提出了一种新的深度生成模型，条件长短期记忆-生成对抗网络（LSTM-GAN），用于从歌词中生成旋律，其中包含一个深度LSTM生成器和一个深度LSTM生成器，两者都以歌词为条件。特别地，同时生成歌词调节旋律和给定歌词的音节与预测旋律的音符之间的对齐关系。实验结果证明了我们所提出的歌词旋律生成模型的有效性，其中合理和曲调序列可以推断出从歌词。
2021-04-21 cs.AI cs.SD eess.AS
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中，我们提出了一种无监督的生成对抗对齐表示（UGAAR）模型来学习三种主要音乐形式共享的深度判别表示：乐谱，歌词和音频，其中基于三个分支的深度神经网络架构被联合训练。特别是，该模型可以通过学习潜在共享子空间中的相关性，将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成（G）模型学习两对转移对的相关性，以针对固定歌词生成新的音频片对来挑战判别（D）模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练，以增强深度对齐表示学习的能力。我们的实验结果表明，我们提出的UGAAR对齐表示学习之间的乐谱，音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
YingMusic-Singer: Controllable Singing Voice Synthesis with Flexible Lyric Manipulation and Annotation-free Melody Guidance
AI Lab, GiantNetwork（巨人网络AI实验室）
本文提出YingMusic-Singer-Plus，一种基于扩散模型的可控歌唱语音合成方法，支持灵活歌词操控和无标注旋律引导，优于现有基准模型。
2026-07-07 cs.SD eess.AS
SongTrans: An unified song transcription and alignment method for lyrics and notes
Alibaba Group（阿里巴巴集团）；University of Manchester（曼彻斯特大学）；Multimodal Art Projection Research Community（多模态艺术投影研究共同体）；Renming University of China（中国人民大学）
针对现有歌声转写工具需预处理、功能单一且难对齐歌词音符的问题，研究团队构建标注数据集并提出统一模型SongTrans，无需预处理即可同步完成歌词、音符转写与对齐，在两项转写任务上达SOTA，且适配多类歌曲。
2024-10-10 cs.SD eess.AS
End-to-end Lyrics Alignment for Polyphonic Music Using an Audio-to-Character Recognition Model
Queen Mary University of London（伦敦玛丽女王大学）；Spotify（声田）
时间对齐的歌词可以通过启用卡拉OK、基于文本的歌曲检索和歌曲内导航以及其他应用来丰富音乐收听体验。与文本到语音对齐相比，歌词对齐仍然具有很大的挑战性，尽管许多尝试将包括声音分离和检测在内的许多子模块组合在一起，以解决这个问题。此外，训练需要以某种形式提供细粒度的注释。在这里，我们提出了一种新的系统的基础上修改的Wave-U-Net架构，它预测字符概率直接从原始音频使用学习的多尺度表示的各种信号分量。不存在需要优化其相互依赖性的子模块。我们的训练过程旨在处理现实世界中可用的弱行级注释。在标准数据集上的平均对齐误差为0.35s，我们的系统比最先进的系统性能高出一个数量级。
2019-02-18 cs.LG cs.SD eess.AS
Diverse Melody Generation from Chinese Lyrics via Mutual Information Maximization
本文提出将互信息最大化方法应用到中文歌词条件旋律生成中，以提高生成质量和多样性。我们采用预定采样和强制解码技术，以改善歌词和旋律之间的一致性。通过我们的方法，我们称之为多样化旋律生成（DMG），序列到序列模型学习生成多样化的旋律，这在很大程度上取决于输入风格id，同时保持音调并改善对齐。主观测试的实验结果表明，与基线方法相比，DMG可以产生更加悦耳和连贯的曲调。
2020-12-07 cs.CL cs.MM cs.SD
Translate the Beauty in Songs: Jointly Learning to Align Melody and Translate Lyrics
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
歌曲翻译既需要翻译歌词，也需要调整音乐音符，这样所产生的诗句才能与伴随的旋律一起演唱，这是一个具有挑战性的问题，在翻译过程的不同方面引起了一些人的兴趣。在本文中，我们提出了歌词旋律翻译与自适应翻译（LTAG），一个整体的解决方案，自动歌曲翻译联合建模歌词翻译和歌词旋律对齐。它是一种新颖的编码器-解码器框架，可以同时翻译源歌词，并通过自适应音符分组模块在每个解码步骤中确定对齐音符的数量。为了解决数据稀缺的问题，我们委托了少量专门为此任务注释的训练数据，并通过反向翻译使用了大量增强数据。在一个英汉歌曲翻译数据集上的实验表明了该模型在自动评价和人工评价中的有效性。
2023-03-28 cs.CL cs.SD eess.AS
Perceptually Motivated Alignment and Interpolation of Pitch-Aligned Time-Frequency Representations
Splice（Splice公司）
提出一种基于感知协和先验的音高对齐时频表示配准与插值框架，利用排列搜索和最优传输实现音乐结构匹配与过渡，并学习低维调式几何表示。
2026-09-29 cs.SD eess.AS eess.SP
MSVAE: Rethinking Musical Semantics in Continuous Latent Spaces
Geely Automobile Research Institute (Ningbo) Company Ltd（吉利汽车研究院（宁波）有限公司）；Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（西安交通大学电子与信息工程学院）；WeNet Open Source Community（WeNet开源社区）
该研究提出MSVAE模型，通过双流对齐与语义优先后验优化连续潜在表示，在音乐生成任务中降低音素错误率，提升重构与探测性能。
2026-10-14 cs.SD eess.AS
ALCAP: Alignment-Augmented Music Captioner
USC Information Sciences Institute（南加州大学信息科学研究所）；TikTok Inc.（TikTok公司）；University of Buffalo（布法罗大学）
本研究提出ALCAP方法，通过对比学习音频与歌词间的多模态对齐，增强跨模态连贯性以生成高质量音乐字幕，在两个数据集上达到SOTA。
2023-10-22 cs.CL cs.IR cs.MM
DeepSinger: Singing Voice Synthesis with Data Mined From the Web
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
在本文中，我们开发了DeepSinger，这是一个多语言多歌手歌唱声音合成（SVS）系统，它是使用从音乐网站挖掘的歌唱训练数据从头开始构建的。DeepSinger的流水线由几个步骤组成，包括数据抓取，歌唱和伴奏分离，歌词到歌唱对齐，数据过滤和歌唱建模。具体而言，我们设计了一个歌词到歌唱对齐模型，自动提取的歌词从粗粒度的句子级到细粒度的音素级的每个音素的持续时间，并进一步设计了一个多语言的多歌手演唱模型的基础上前馈Transformer直接生成线性声谱图的歌词，并使用Griffin-Lim合成语音。DeepSinger与以前的SVS系统相比有几个优点：1）据我们所知，这是第一个直接从音乐网站挖掘训练数据的SVS系统，2）歌词到演唱对齐模型进一步避免了任何人为的对齐标记，大大降低了标记成本，3）基于前馈Transformer的演唱模型简单高效，通过去除参数合成中复杂的声学特征建模，并利用参考编码器从嘈杂的歌唱数据中捕获歌唱者的音色，以及4）它可以合成多种语言和多个歌唱者的歌唱声音。我们在我们挖掘的歌唱数据集上评估DeepSinger，该数据集由来自89名歌手的三种语言（中文，粤语和英语）的约92小时数据组成。结果表明，使用纯粹从网络上挖掘的歌唱数据，DeepSinger可以在音高准确性和声音自然度方面合成高质量的歌唱声音（脚注：我们的音频样本显示在https：//speechresea…
2020-07-15 cs.CL cs.SD eess.AS
MusicTM-Dataset for Joint Representation Learning among Sheet Music, Lyrics, and Musical Audio
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
本文提出了一个音乐数据集MusicTM-Dataset，用于提高不同类型的跨模态检索（CMR）的表示学习能力。包括三种模态的小型大型音乐数据集可用于学习CMR的表示。为了收集音乐数据集，我们扩展了原始的乐谱来合成音频和生成的乐谱图像，并建立基于乐谱的乐谱图像，音频剪辑和音节表示文本作为细粒度对齐，这样的MusicTM数据集可以被利用来接收多模态数据点的共享表示。MusicTM-Dataset提供了三种模态，包括乐谱图像、歌词文本和合成音频，它们的表示是通过一些先进的模型提取的。本文首先介绍了音乐数据集的背景，然后阐述了我们的数据汇集过程。基于我们的数据集，我们实现了CMR任务的一些基本方法。MusicTM数据集可通过https：//github.com/dddzeng/MusicTM-Dataset访问。
2021-05-07 cs.DB cs.IR cs.MM
Stabilizing Training with Soft Dynamic Time Warping: A Case Study for Pitch Class Estimation with Weakly Aligned Targets
International Audio Laboratories Erlangen（埃尔兰根国际音频实验室）
本文针对弱对齐训练中 SDTW 早期对齐不稳定问题，提出超参数调度、对角先验和序列展开三种稳定策略，并在音高类别估计任务中验证其有效性。
2023-08-10 cs.SD eess.AS
Voting-based Pitch Estimation with Temporal and Frequential Alignment and Correlation Aware Selection
本文提出了一种基于投票的音高估计方法，通过时间与频率对齐和相关性感知选择提升基频估计的鲁棒性和准确性。
2026-02-02 cs.SD
AlignSTS: Speech-to-Singing Conversion via Cross-Modal Alignment
Zhejiang University（浙江大学）；ByteDance（字节跳动）
本文提出 AlignSTS，一种基于显式跨模态对齐的语音到歌声转换模型，通过节奏适配器预测目标节奏表示并利用交叉注意力重新对齐内容，解决了无文本场景下音高与内容对齐难题，在客观和主观指标上均表现优异。
2023-05-24 cs.CL cs.MM cs.SD
JAM: A Tiny Flow-based Song Generator with Fine-grained Controllability and Aesthetic Alignment
本研究提出基于流匹配的小型歌曲生成模型JAM，首次实现歌词转歌曲的词级细粒度人声控制，通过直接偏好优化与合成数据集实现审美对齐，还推出公开评估集JAME，在音乐属性上表现优于现有模型。
2025-07-28 cs.AI cs.SD
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究提出通过多SAE对齐和音高移位归纳偏置，将音乐概念视为结构化轨道而非孤立特征，在两种音乐基础模型上成功恢复和弦、调性等结构，仅需少量锚示例即可解释概念族。
2026-10-02 cs.AI cs.SD
Lead Vocal Separation from Vocal Ensemble Mixtures Using Phoneme Alignment
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（独立行政法人产业技术综合研究所（AIST））
针对声乐合奏中主唱分离难的问题，提出基于BS-RoFormer和音素对齐条件化的模型，利用FiLM注入帧级音素标签，显著提升分离性能。
2026-09-09 cs.SD eess.AS
Snapping Matters: Context-Aware Onset Refinement for Automatic Music Transcription
Hans-Ulrich Berendes（海恩-乌尔里希·伯恩德斯）；Meinard Müller（迈纳德·穆勒）；Ben Maman（本·马曼）
针对弱对齐的乐谱-音频数据，提出基于二分图匹配的上下文感知起始点细化方法，显著提升自动音乐转录的起始点对齐和转录精度。
2026-06-11 cs.SD
