Music- and Lyrics-driven Dance Synthesis
KTH Royal Institute of Technology（KTH皇家理工学院）；Sorbonne University（索邦大学）；National Institute of Informatics（国立信息学研究所）；University of Copenhagen（哥本哈根大学）
针对现有音乐驱动舞蹈生成忽略歌词语义的问题，本文构建首个动作、音乐与歌词三元组数据集 JustLMD，并提出以音乐和歌词为条件的跨模态扩散网络生成 3D 舞蹈。
2023-09-30 cs.GR cs.LG cs.MM
LyricJam: A system for generating lyrics for live instrumental music
University of Waterloo（滑铁卢大学）
我们描述了一个实时系统，该系统从果酱会话接收现场音频流，并生成与正在播放的现场音乐一致的歌词。提出了两种新的方法来对齐学习的音频和文本表示的潜在空间，使系统能够生成匹配现场器乐的新的歌词线。一种方法是基于音频和歌词的潜在表示的对抗对齐，而另一种方法学习将拓扑从音乐潜在空间转移到歌词潜在空间。对使用该系统的音乐艺术家进行的用户研究表明，该系统不仅在歌词创作中很有用，而且还鼓励艺术家即兴创作和寻找新的音乐表达方式。另一项用户研究表明，用户更喜欢使用所提出的方法生成的线条，而不是基线模型生成的线条。
2021-06-03 cs.AI cs.CL cs.LG
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中，我们提出了一种新的方法，执行音频到歌词对齐与低内存消耗的足迹，无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点，记录然后被分段，并执行第二遍对齐以获得字定时。我们表明，我们的音频到歌词对齐系统执行竞争力与国家的最先进的，同时需要更少的计算资源。此外，我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是，在分段录音中，我们报告了一些基准测试集上的歌词转录分数。最后，我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性，我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
Music-robust Automatic Lyrics Transcription of Polyphonic Music
复调音乐的歌词改编是一项具有挑战性的工作，因为声乐演唱会受到背景音乐的影响。为了提高歌词转录的背景音乐的鲁棒性，我们提出了一种策略相结合的功能，强调歌唱的声音，即音乐去除功能，代表歌唱的声音提取的功能，和功能，捕捉歌唱的声音，以及背景音乐，即音乐存在的功能。我们表明，这两组功能相辅相成，它们的组合比单独使用时表现得更好，从而提高了声学模型对背景音乐的鲁棒性。此外，通用语言模型和域内歌词专用语言模型之间的语言模型插值提供了转录结果的进一步改进。我们的实验表明，我们提出的策略优于现有的歌词转录系统的复调音乐。此外，我们发现，我们提出的音乐稳健的功能，特别是提高歌词转录性能的金属风格的歌曲，其中背景音乐是响亮的和占主导地位的。
2022-04-22 eess.AS
PoLyScriber: Integrated Fine-tuning of Extractor and Lyrics Transcriber for Polyphonic Music
National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对复调音乐歌词转录两步流水线存在的人声提取不完善和前后端不匹配问题，提出端到端集成微调框架PoLyScriber，全局优化提取器与转录器，在公开测试集上较现有方法实现大幅性能提升。
2023-05-05 cs.SD eess.AS eess.SP
ReLyMe: Improving Lyric-to-Melody Generation by Incorporating Lyric-Melody Relationships
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
歌词到旋律生成是自动作曲中最重要的任务之一，它是根据给定的歌词生成旋律。随着深度学习的快速发展，以前的工作使用端到端神经网络模型来解决这个任务。然而，深度学习模型不能很好地捕捉歌词和旋律之间严格但微妙的关系，这损害了歌词和生成的旋律之间的和谐。在本文中，我们提出了ReLyMe，一种方法，结合歌词和旋律之间的关系，从音乐理论，以确保歌词和旋律之间的和谐。具体来说，我们首先介绍了歌词和旋律在音调、节奏和结构关系方面应该遵循的几个原则。这些原则，然后集成到神经网络歌词到旋律模型，通过添加相应的限制，在解码过程中，以改善歌词和旋律之间的和谐。我们使用一系列客观和主观的指标来评估生成的旋律。在英文和中文歌曲数据集上的实验表明了ReLyMe的有效性，证明了将音乐领域的歌词-旋律关系纳入神经歌词-旋律生成的优越性。
2022-07-12 cs.MM cs.SD eess.AS
LM2D: Lyrics- and Music-Driven Dance Synthesis
KTH Royal Institute of Technology（皇家理工学院）；Nanyang Technological University（南洋理工大学）；National Institute of Informatics（情报学研究所）；University of Copenhagen（哥本哈根大学）
本文提出LM2D，一种基于多模态扩散模型与一致性蒸馏的舞蹈合成方法，同时利用音乐和歌词生成舞蹈，并引入首个包含音乐和歌词的3D舞蹈数据集，实验证明其能生成匹配歌词与音乐的逼真多样舞蹈。
2024-03-14 cs.AI cs.LG cs.MM
Content-based feature exploration for transparent music recommendation using self-attentive genre classification
Seoul National University（首尔大学）
检索结果的解释是音乐推荐系统中的一个重要问题，特别是从用户的角度来看。在这项研究中，我们调查的方法提供可解释性的内容功能使用自我注意。我们使用在140，000首歌词上训练的自我关注流派分类模型提取歌词特征。同样，我们使用声学模型提取声学特征，其中自我注意力在120，000个声学信号的轨道上训练。实验结果表明，所提出的方法提供的特点是可解释的抒情和音乐的内容。我们通过可视化注意力权重以及呈现使用歌词或音频功能找到的最相似的歌曲来证明这一点。
2018-09-03 cs.IR cs.SD eess.AS
Improving Real-time Score Following in Opera by Combining Music with Lyrics Tracking
Institute of Computational Perception, Johannes Kepler University Linz（约翰内斯·开普勒大学林茨计算感知研究所）；LIT AI Lab, Linz Institute of Technology（林茨理工学院LIT人工智能实验室）
全自动歌剧跟踪是具有挑战性的，因为类型的声学复杂性，以复杂的方式结合音乐和语言信息（歌唱，演讲）。在本文中，我们提出了一个新的管道完整的歌剧跟踪。管道基于两个跟踪器。一个音乐跟踪器，已被证明是有效的跟踪管弦乐部分，将领导跟踪过程。此外，最近被证明可以可靠地跟踪歌剧歌曲歌词的歌词跟踪器将在跟踪文本占主导地位的音乐部分时校正音乐跟踪器。我们将在歌剧《唐璜》上展示这种方法的效率，表明这种技术有助于提高完整歌剧跟踪器的准确性和鲁棒性。
2021-10-06 cs.SD eess.AS
Multi-label Cross-lingual automatic music genre classification from lyrics with Sentence BERT
INSPER Institute of Teaching and Research（INSPER教学与研究学院）
提出基于 sBERT 多语言句子嵌入的多标签跨语言歌词音乐流派分类系统，在葡英双语数据集上显著优于翻译加词袋基线。
2025-01-07 cs.IR cs.LG cs.SD
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo（滑铁卢大学）
电子音乐艺术家和声音设计师有独特的工作流程实践，需要专门的方法来开发音乐信息检索和创造力支持工具。此外，电子乐器，如模块化合成器，具有近乎无限的声音创作可能性，可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的，不可能复制。出于这个原因，许多电子流派的音乐家在录音室工作时一直录制音频输出。因此，艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中，我们描述了LyricJam Sonic --一种新颖的创作工具，让音乐家重新发现他们以前的录音，将它们与其他录音重新联系起来，并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段，并使用它们生成新的歌词线，这些歌词线又用于找到其他片段，从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态，而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行，或者以现场表演模式运行，其中艺术家播放现场音乐，而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
The emotions that we perceive in music: the influence of language and lyrics comprehension on agreement
Universitat Pompeu Fabra（庞培法布拉大学）；A*STAR（新加坡科技研究局）
在本研究中，我们解决流行音乐和摇滚音乐（主要是欧美风格的英语歌词）和听众所说的语言之间的关系。我们的目标是了解歌词理解对情感感知的影响，并使用这些信息来改善音乐情感识别（MER）模型。两个主要的研究问题是解决：1。不同母语的听众在流行/摇滚音乐中感受到的情感是否存在差异和相似之处？2.个人特征是否会影响特定语言的听众的感知情绪？个人特征包括听众的一般人口统计数据、对片段的熟悉程度和偏好以及音乐的复杂程度。我们的假设是，评分员之间的协议（定义为克里彭道夫的阿尔法系数）从主题是直接影响的理解歌词。
2019-10-25 cs.CL cs.SD eess.AS
Multimodal Fusion Based Attentive Networks for Sequential Music Recommendation
IIIT Hyderabad（海得拉巴国际信息技术学院）
音乐有能力唤起强烈的情感体验，调节个人的情绪。随着在线流媒体服务的出现，音乐推荐服务的研究取得了巨大的进展。利用用户的收听历史进行基于会话的歌曲推荐的现代方法忽略了从歌词和声学内容中提取的特征的重要性。我们通过多种方式解决歌曲预测的任务，包括标签，歌词和声学内容。在本文中，我们提出了一种新的深度学习方法，通过使用通过Transformer模型（用于歌词）和变分自编码器（用于声学特征）导出的表示来改进注意神经网络。我们的模型实现了显着的改进，在现有的国家的最先进的模型，单独使用抒情和声学功能的性能。此外，我们进行了一项研究，调查用户的心理健康对我们的模型的性能的影响。
2021-10-03 cs.MM cs.SD eess.AS
Interpretable Melody Generation from Lyrics with Discrete-Valued Adversarial Training
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
在人工智能和音乐领域，从歌词生成旋律是一项有趣但具有挑战性的任务。然而，保持输入歌词和生成的旋律之间的一致性的困难限制了先前作品的生成质量。在我们的建议中，我们展示了我们提出的可解释的歌词旋律生成系统，可以与用户进行交互，以了解生成过程，并重新创建所需的歌曲。为了提高与歌词匹配的旋律生成的可靠性，利用互信息来增强歌词与生成的旋律之间的一致性。利用Gumbel-Softmax解决生成对抗网络（GANs）生成离散音乐属性的不可微性问题。此外，由生成器输出的预测概率被用来推荐音乐属性。通过与我们的歌词到旋律生成系统进行交互，用户可以收听生成的AI歌曲，并通过从推荐的音乐属性中进行选择来重新创建一首新歌。
2022-06-30 cs.SD eess.AS
A Novel Multimodal Music Genre Classifier using Hierarchical Attention and Convolutional Neural Network
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
音乐体裁分类是当前音乐信息检索研究的热点之一。由于流派的依赖性不仅限于音频简档，我们还使用作为相应歌曲的歌词提供的文本内容。我们实现了一个基于CNN的特征提取器的声谱图，以纳入声学特征和层次注意力网络的特征提取器的歌词。然后，我们继续分类的音乐曲目的基础上产生的融合特征向量。
2020-11-24 cs.IR cs.MM cs.SD
Controllable Lyrics-to-Melody Generation
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
本文提出 ConL2M 可控歌词到旋律生成网络，通过 Memofu、RSE 和 SeqLoss 提升旋律质量并实现用户指定音乐风格控制。
2023-06-05 cs.AI cs.SD eess.AS
MERGE -- A Bimodal Audio-Lyrics Dataset for Static Music Emotion Recognition
University of Coimbra（科英布拉大学）；Centre for Informatics and Systems of the University of Coimbra（科英布拉大学信息与系统中心）；Department of Informatics Engineering（信息工程系）；LASI；Polytechnic Institute of Leiria - School of Technology and Management（莱里亚理工学院-技术与管理学院）；Ci2 - Smart Cities Research Center（Ci2-智慧城市研究中心）
本文提出名为MERGE的三个双模态音频-歌词音乐情感识别数据集，采用半自动方法构建，并通过多种方法验证，双模态分类最佳F1分数达81.74%。
2025-06-18 cs.IR cs.LG cs.MM
Enhancing Lyrics Transcription on Music Mixtures with Consistency Loss
Queen Mary University of London（伦敦大学女王学院）
本文针对ASR基础模型在音乐混合音频中歌词转写性能下降的问题，提出利用一致性损失对齐人声与混合音频编码器表示，并结合LoRA微调，在不依赖歌声分离的情况下实现稳定提升。
2025-06-03 cs.SD eess.AS
'Warriors of the Word' -- Deciphering Lyrical Topics in Music and Their Connection to Audio Feature Dimensions Based on a Corpus of Over 100,000 Metal Songs
University of Vienna（维也纳大学）；University of Bamberg（班贝格大学）
我们研究了金属音乐的音乐和抒情内容之间的联系，结合自动提取的高层次的音频特征和定量文本分析的语料库124.288歌词从这种类型。基于该文本语料库，首先使用潜在狄利克雷分配（LDA）构建主题模型。对于503首歌曲的子样本，使用音频特征模型提取预测感知音乐硬度/沉重和黑暗/阴郁的分数。通过结合音频特征和文本分析，我们（1）提供了金属流派中抒情主题的全面概述，（2）能够确定硬度和其他音乐维度的水平是否与特别刺耳（和其他）文本主题的出现有关。二十个典型的主题被确定和投影到一个主题空间，使用多维尺度（MDS）。经过Bonferroni校正后，发现音乐的硬度和黑暗与“残酷的死亡”、“反乌托邦”、“古老和神秘主义”、“宗教和撒旦主义”、“战斗”和“（心理）疯狂”等文本主题呈正相关，而与“个人生活”和“爱情和浪漫”等主题呈负相关。
2019-11-13 cs.CL cs.SD eess.AS
Melody-Conditioned Lyrics Generation with SeqGANs
Center for Music Technology Georgia Institute of Technology（佐治亚理工学院音乐技术中心）
自动歌词生成多年来一直受到音乐和人工智能社区的关注。早期的基于规则的方法由于计算能力的提高和数据驱动模型的发展，大部分都被基于深度学习的系统所取代。然而，许多现有的方法，要么严重依赖于音乐和歌词写作的先验知识，要么通过大量丢弃旋律信息及其与文本的关系来过度简化任务。提出了一种基于序列生成对抗网络（SeqGAN）的端到端旋律条件歌词生成系统，该系统以相应的旋律作为输入生成一行歌词。此外，我们调查的发电机的性能与一个额外的输入条件：主题或首要主题的歌词生成。我们证明了输入条件对评估指标没有负面影响，同时使网络能够产生更有意义的结果。
2020-10-28 cs.IR cs.LG cs.MM
Interpreting Song Lyrics with an Audio-Informed Pre-trained Language Model
Queen Mary University of London（伦敦玛丽女王大学）；NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
歌词解释可以帮助人们快速理解歌曲及其歌词，也可以更容易地从不断增长的大量音乐档案中有效地管理、检索和发现歌曲。在本文中，我们提出了BART融合，一种新的模型，用于从歌词和音乐音频中生成歌词解释，该模型将大规模预训练的语言模型与音频编码器相结合。我们采用跨模态注意模块将音频表示合并到歌词表示中，以帮助预训练的语言模型从音频角度理解歌曲，同时保留语言模型的原始生成性能。我们还发布了Song Interpretation Dataset，这是一个新的大规模数据集，用于训练和评估我们的模型。实验结果表明，额外的音频信息有助于我们的模型更好地理解单词和音乐，并生成精确和流畅的解释。跨模态音乐检索的另一个实验表明，由BART融合产生的解释也可以帮助人们比原始的BART更准确地检索音乐。
2022-08-24 cs.CL cs.SD eess.AS
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal（瓦朗加尔国家理工学院）
我们提出了MoodNet -一个基于深度卷积神经网络的架构，可以有效地预测与音乐片段相关的情感，因为它的音频和歌词内容。我们评估了不同的架构，包括不同数量的二维卷积和子采样层，然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量，来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层，并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准，我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设，即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频，并得出结论，与使用单一模态作为输入相比，组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
ALCAP: Alignment-Augmented Music Captioner
USC Information Sciences Institute（南加州大学信息科学研究所）；TikTok Inc.（TikTok公司）；University of Buffalo（布法罗大学）
本研究提出ALCAP方法，通过对比学习音频与歌词间的多模态对齐，增强跨模态连贯性以生成高质量音乐字幕，在两个数据集上达到SOTA。
2023-10-22 cs.CL cs.IR cs.MM
End-to-End Lyrics Recognition with Self-supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Western Australia（西澳大利亚大学）
歌词识别是音乐处理中的一项重要任务。尽管传统算法如混合HMM-TDNN模型取得了良好的性能，但应用端到端模型和自监督学习（SSL）的研究有限。在本文中，我们首先建立了一个端到端的歌词识别基线，然后探讨SSL模型在歌词识别任务上的性能。我们使用不同的训练方法（掩蔽重建，掩蔽预测，自回归重建和对比学习）评估了各种上游SSL模型。即使没有经过大型训练的语言模型，我们的端到端自监督模型在DAMP音乐数据集上进行评估，在开发集上的表现也比之前的最先进（SOTA）系统高出5.23%，在测试集上高出2.4%。此外，我们研究了背景音乐对自监督学习模型性能的影响，并得出结论，SSL模型在背景音乐存在下无法有效地提取特征。最后，我们研究了SSL特征的域外泛化能力，考虑到这些模型不是在音乐数据集上训练的。
2022-10-27 cs.SD eess.AS
Joint sentiment analysis of lyrics and audio in music
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡应用技术大学乔治·西蒙·欧姆分校）；Munich University of Applied Sciences（慕尼黑应用技术大学）
本文分别评估歌词与音频情感分析模型，提出多种融合方法以提升性能，并分析错误分类、模态矛盾及该领域存在的主观性、数据不足和情感分类不一致等根本问题。
2024-05-03 cs.AI cs.CL cs.LG
Lukthung Classification Using Neural Networks on Lyrics and Audios
Tencent (Thailand)（腾讯（泰国））；Chulalongkorn University（朱拉隆功大学）
音乐体裁分类是音乐信息检索中的一个重要研究课题。能够自动标记流派将有利于音乐流媒体服务提供商，如JOOX，Apple Music和Spotify，以实现基于内容的推荐。然而，大多数关于音乐分类的研究都是针对不同于泰国歌曲的西方歌曲。Lukthung是一种独特而悠久的泰国音乐类型，是泰国最受欢迎的音乐类型之一，拥有特定的听众群体。在本文中，我们开发了神经网络来分类这样的Lukthung体裁从其他使用的歌词和音频。Lukthung歌曲中使用的词语特别诗意，他们的音乐风格独特地由传统的泰国乐器组成。我们利用这两个主要特征，构建一个基于词袋（BoW）的歌词模型，以及一个使用卷积神经网络（CNN）架构的音频模型。然后，我们将从两个模型中学习到的中间特征进行聚合，以构建最终的分类器。我们的研究结果表明，建议的三个模型优于所有的标准分类器，其中组合模型产生最好的$F_1$得分为0.86，允许Lukthung分类适用于泰国观众的个性化推荐。
2019-10-23 cs.LG cs.SD eess.AS
Conditional LSTM-GAN for Melody Generation from Lyrics
National Institute of Informatics（国立情报学研究所）；Indraprastha Institute of Information Technology Delhi（德里印度信息技术学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
从歌词中生成旋律是人工智能和音乐领域的一个具有挑战性的研究课题，它能够学习和发现有趣的歌词和伴随旋律之间的潜在关系。遗憾的是，歌词-旋律配对数据集与对齐信息的有限可用性阻碍了研究的进展。为了解决这个问题，我们创建了一个由12，197首歌曲组成的大型数据集，每个歌曲都有成对的歌词和旋律对齐，通过利用不同的音乐源，提取音节和音乐属性之间的对齐关系。最重要的是，我们提出了一种新的深度生成模型，条件长短期记忆-生成对抗网络（LSTM-GAN），用于从歌词中生成旋律，其中包含一个深度LSTM生成器和一个深度LSTM生成器，两者都以歌词为条件。特别地，同时生成歌词调节旋律和给定歌词的音节与预测旋律的音符之间的对齐关系。实验结果证明了我们所提出的歌词旋律生成模型的有效性，其中合理和曲调序列可以推断出从歌词。
2021-04-21 cs.AI cs.SD eess.AS
Multimodal Lyrics-Rhythm Matching
McLean High School（麦克莱恩高中）；George Mason University（乔治梅森大学）
针对歌词与节奏关键成分相关性研究不足，提出一种无语言限制的多模态匹配方法，利用音频生成强拍、音节、发音及关键词模式，实现关键元素匹配，实验平均匹配概率0.81，显著揭示二者关联。
2023-03-15 cs.LG cs.SD eess.AS
Emotion4MIDI: a Lyrics-based Emotion-Labeled Symbolic Music Dataset
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)（系统与计算机工程、技术与科学研究所（INESC TEC））；Faculty of Engineering, University of Porto（波尔图大学工程学院）；ISEP, Polytechnic of Porto, School of Engineering（波尔图理工学院工程学院（ISEP））
本文提出包含12k首MIDI歌曲的大规模情感标注符号音乐数据集Emotion4MIDI，通过在GoEmotions上训练仅基线一半大小且达最先进水平的情感分类模型，对两大MIDI数据集歌词进行情感标注，为基于特定情感的音乐生成模型提供宝贵资源。
2023-07-27 cs.AI cs.CL cs.LG
End-to-end Lyrics Alignment for Polyphonic Music Using an Audio-to-Character Recognition Model
Queen Mary University of London（伦敦玛丽女王大学）；Spotify（声田）
时间对齐的歌词可以通过启用卡拉OK、基于文本的歌曲检索和歌曲内导航以及其他应用来丰富音乐收听体验。与文本到语音对齐相比，歌词对齐仍然具有很大的挑战性，尽管许多尝试将包括声音分离和检测在内的许多子模块组合在一起，以解决这个问题。此外，训练需要以某种形式提供细粒度的注释。在这里，我们提出了一种新的系统的基础上修改的Wave-U-Net架构，它预测字符概率直接从原始音频使用学习的多尺度表示的各种信号分量。不存在需要优化其相互依赖性的子模块。我们的训练过程旨在处理现实世界中可用的弱行级注释。在标准数据集上的平均对齐误差为0.35s，我们的系统比最先进的系统性能高出一个数量级。
2019-02-18 cs.LG cs.SD eess.AS
An Analysis of Classification Approaches for Hit Song Prediction using Engineered Metadata Features with Lyrics and Audio Features
The University of Sheffield（谢菲尔德大学）；Universität Koblenz（科布伦茨大学）
热门歌曲预测是音乐信息检索中的一个新兴领域，也是一个相当大的挑战。能够理解是什么让一首给定的歌曲成为热门显然对整个音乐行业都有好处。先前的热门歌曲预测方法集中于使用唱片的音频特征。本研究旨在使用更多的替代元数据，包括Spotify提供的歌曲音频特征、歌曲歌词和基于新元数据的特征（标题主题、流行度连续性和流派类别），来改善Billboard Hot 100歌曲中前10名热门歌曲的预测结果。应用了五种机器学习方法，包括：k-最近邻、朴素贝叶斯、随机森林、逻辑回归和多层感知器。我们的结果表明，随机森林（RF）和逻辑回归（LR）的所有功能（包括小说特征，歌曲音频特征和歌词特征）优于其他模型，分别达到89.1%和87.2%的准确率，和0.91和0.93 AUC。我们的研究结果还证明了我们的新音乐元数据特征的实用性，这对模型的区分性能贡献最大。
2023-01-31 cs.IR cs.LG cs.SD
Mood Classification of Bangla Songs Based on Lyrics
East West University（东西大学）；University of Liberal Arts Bangladesh（孟加拉国自由艺术大学）
针对孟加拉语歌曲情绪研究不足的问题，研究者构建含4000首歌曲的数据集，采用自然语言处理与Bert算法基于歌词实现四类情绪的多分类，为音乐情绪贴合用户情感提供自动化方案。
2023-07-19 cs.CL cs.IR cs.LG
Exploiting Music Source Separation for Automatic Lyrics Transcription with Whisper
School of Electronic Engineering and Computer Science, Queen Mary University of London（电子工程与计算机科学学院，伦敦女王大学）
本研究利用音乐源分离提升基于Whisper的自动歌词转录，提出拼接与片段边界算法，在Jam-ALT基准上达到开源系统最先进性能，并发布MUSDB-ALT数据集。
2025-06-18 cs.SD eess.AS
MSVAE: Rethinking Musical Semantics in Continuous Latent Spaces
Geely Automobile Research Institute (Ningbo) Company Ltd（吉利汽车研究院（宁波）有限公司）；Faculty of Electronic and Information Engineering, Xi’an Jiaotong University（西安交通大学电子与信息工程学院）；WeNet Open Source Community（WeNet开源社区）
该研究提出MSVAE模型，通过双流对齐与语义优先后验优化连续潜在表示，在音乐生成任务中降低音素错误率，提升重构与探测性能。
2026-10-14 cs.SD eess.AS
Double Entendre: Robust Audio-Based AI-Generated Lyrics Detection via Multi-View Fusion
Deezer Research（DeepZ研究）
提出多模态后期融合管道DE-detect，结合自动转录歌词与语音特征，解决AI生成音乐检测中泛化差和依赖清晰歌词的问题，提升鲁棒性。
2025-06-28 cs.AI cs.CL cs.SD
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Melody-Lyrics Matching with Contrastive Alignment Loss
针对音乐信息检索中旋律与歌词多模态匹配的未充分探索方向，本文提出旋律-歌词匹配新任务，构建带对比对齐损失的自监督框架及音节级sylphone表示，无需对齐标注即可匹配出连贯可唱的歌词，并开源相关代码。
2025-07-31 cs.IR eess.AS
MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
提出首个多语言多模态歌词翻译基准MAVL，并设计音节约束的音视频大语言模型SylAVL-CoT，利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
2026-06-01 cs.CL cs.LG cs.MM
Vocal Melody Construction for Persian Lyrics Using LSTM Recurrent Neural Networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
该研究构建基于 LSTM 的 seq2seq 模型，学习波斯语歌词音节与音符序列的对应关系，并通过自建数据集和问卷评估其自动旋律生成效果。
2024-10-23 cs.LG cs.SD eess.AS
PDAugment: Data Augmentation by Pitch and Duration Adjustments for Automatic Lyrics Transcription
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；South China University of Technology（华南理工大学）
歌词自动转写（ALT）可以看作是歌唱声的自动语音识别（ASR），是学术界和工业界感兴趣的实用课题。ALT还没有得到很好的发展，主要是由于缺乏成对的歌声和歌词数据集的模型训练。考虑到有大量的ASR训练数据，一种简单的方法是利用ASR数据来增强ALT训练。然而，当直接用ASR数据训练ALT系统时，这种改进是微不足道的，因为歌唱声音和标准语音数据之间的差距根源于歌唱声音中特定于音乐的声学特性。在本文中，我们提出了PDAugment，一个数据增强方法，调整音调和持续时间的语音在音节水平的指导下，音乐乐谱，以帮助ALT训练。具体来说，我们调整自然语音中每个音节的音高和时长，使其与从乐谱中提取的相应音符的音高和时长一致，从而缩小自然语音与歌唱声之间的差距。在DSing 30和Dali语料库上的实验表明，采用PDAugment的ALT系统的性能分别比现有的ALT系统提高了5.9%和18.1%的WER，证明了PDAugment在ALT中的有效性。
2021-09-17 cs.SD eess.AS
Improving Lyrics Alignment through Joint Pitch Detection
Queen Mary University of London（伦敦玛丽女王大学）
近年来，自动歌词对齐方法的准确性已经大大提高。然而，许多当前方法采用为自动语音识别（ASR）设计的框架，并且不利用音乐特有的属性。音高是歌唱声音的一个重要的音乐属性，但它往往被忽视，目前的系统作为歌词内容被认为是独立的音高。然而，在实践中，两者之间存在时间相关性，因为音符开始通常与音素开始相关。同时，音高通常在地面实况数据中以高时间准确度注释，而歌词的定时通常仅在行（或词）级别可用。在本文中，我们提出了一个多任务的学习方法，歌词对齐，结合音高，从而可以利用一个新的高度准确的时间信息源。我们的结果表明，我们的方法确实提高了对齐结果的准确性。作为一个额外的贡献，我们表明，在强制对齐算法中集成边界检测减少了交叉线误差，从而进一步提高了精度。
2022-02-03 cs.SD eess.AS eess.SP
Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering
Alibaba（阿里巴巴）
该研究提出统一歌曲生成框架，支持多项任务，由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成，还研究多种后训练策略，实验表明该框架在评估中性能具有竞争力。
2026-07-30 cs.AI cs.SD eess.AS
ACE-Step: A Step Towards Music Generation Foundation Model
ACE Studio（ACE工作室）
ACE-Step是一种新型开源音乐生成基础模型，通过整合扩散生成、深度压缩自编码器与轻量级线性transformer，在A100 GPU上20秒生成4分钟音乐，实现比LLM基线快15倍的速度及卓越的音乐连贯性与歌词对齐，并支持声音克隆等高级控制。
2025-05-28 cs.SD eess.AS
Deep Attention-Based Alignment Network for Melody Generation from Incomplete Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；The University of Electro-Communications（电气通信大学）
我们提出了一种基于深度注意力的对齐网络，其目的是以类似于人类音乐创作的方式自动预测歌词和旋律，并将给定的不完整歌词作为输入。最重要的是，一个深度的神经歌词到旋律网络是以编码器-解码器的方式训练的，当给定不完整的歌词（几个关键词）时，它可以预测可能的歌词-旋律对。利用注意力机制在歌词到旋律生成期间将预测的歌词与旋律对齐。定性和定量的评价指标表明，所提出的方法确实是能够产生适当的歌词和相应的旋律组成新的歌曲给定的一块不完整的种子歌词。
2023-01-23 cs.AI cs.SD eess.AS
MM-ALT: A Multimodal Automatic Lyric Transcription System
National University of Singapore（新加坡国立大学）
自动歌词转录（ALT）是一个新兴的研究领域，吸引了越来越多的兴趣，从语音和音乐信息检索社区，鉴于其显着的应用潜力。然而，ALT与音频数据单独是一个众所周知的困难的任务，由于乐器伴奏和音乐的限制，导致退化的语音提示和演唱的歌词的可理解性。为了应对这一挑战，我们提出了多模式自动歌词转录系统（MM-ALT），以及一个新的数据集N20 EM，该数据集由音频记录，嘴唇运动视频和表演歌手佩戴的耳塞的惯性测量单元（IMU）数据组成。我们首先将wav 2 vec 2.0框架从自动语音识别（ASR）调整到ALT任务。然后，我们提出了基于视频的ALT方法和基于IMU的语音活动检测（VAD）方法。此外，我们提出了剩余交叉注意（RCA）机制来融合来自三种模态的数据（即，音频、视频和IMU）。实验表明，我们提出的MM-ALT系统的有效性，特别是在噪声鲁棒性方面。项目页面位于https://n20em.github.io。
2023-02-17 cs.SD eess.AS eess.SP
MULTIMODAL ANALYSIS: Informed content estimation and audio source separation
Sorbonne Université（索邦大学）；Grenoble-INP - Institut Polytechnique de Grenoble（格勒诺布尔理工学院）；Télécom Paris - Institut Polytechnique de Paris（巴黎电信学院 - 巴黎理工学院）；Spotify；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；I3S（I3S实验室）；ISIR（智能系统与机器人研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；MTG（音乐技术组）；Centre Inria Nancy - Grand Est（法国国家信息与自动化研究院南锡-大东部研究中心）
本文提出了音乐信号背景下的多模态学习研究。在整个过程中，我们专注于音频信号和文本信息之间的相互作用。在可以使用的与音乐相关的许多文本源（例如评论，元数据或社交网络反馈）中，我们专注于歌词。歌声以独特的方式直接连接音频信号和文本信息，结合旋律和歌词，语言维度补充了乐器的抽象。我们的研究重点是音频和歌词的相互作用，有针对性的声源分离和知情的内容估计。
2021-10-29 cs.DB cs.IR cs.LG
Bob's Confetti: Phonetic Memorization Attacks in Music and Video Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
研究揭示了生成音乐和视频AI系统中语音记忆攻击的漏洞，通过同音替代词绕过版权过滤，展示语音结构对跨模态检索的关键作用。
2026-02-25 cs.AI cs.CL cs.SD
Score and Lyrics-Free Singing Voice Generation
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
歌唱声音的生成模型主要涉及“歌唱声音合成”的任务，即，以产生给定乐谱和文本歌词的歌唱声音波形。在这项工作中，我们探索了一种新颖但具有挑战性的替代方案：在训练和推理时间内，没有预先分配的分数和歌词的歌声生成。特别是，我们概述了三个这样的发电计划，并提出了一个管道来解决这些新的任务。此外，我们使用生成对抗网络实现了这些模型，并对它们进行了客观和主观的评估。
2020-07-21 cs.LG cs.SD eess.AS
Adapting pretrained speech model for Mandarin lyrics transcription and alignment
National Taiwan University（国立台湾大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
本文在低资源环境下，通过适配预训练Whisper模型并在中文演唱数据集上微调，结合数据增强与源分离技术，解决了多音轨中文流行音乐的歌词转录与对齐问题，取得了优异性能。
2023-11-21 cs.SD eess.AS
MusicLIME: Explainable Multimodal Music Understanding
National Technical University of Athens（雅典国家技术大学）
本文提出模型无关的 MusicLIME 特征重要性解释方法，通过刻画音频与歌词特征的交互并聚合局部解释为全局解释，提升多模态音乐理解模型的透明度与公平性。
2025-03-17 cs.AI cs.LG cs.SD
Translate the Beauty in Songs: Jointly Learning to Align Melody and Translate Lyrics
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
歌曲翻译既需要翻译歌词，也需要调整音乐音符，这样所产生的诗句才能与伴随的旋律一起演唱，这是一个具有挑战性的问题，在翻译过程的不同方面引起了一些人的兴趣。在本文中，我们提出了歌词旋律翻译与自适应翻译（LTAG），一个整体的解决方案，自动歌曲翻译联合建模歌词翻译和歌词旋律对齐。它是一种新颖的编码器-解码器框架，可以同时翻译源歌词，并通过自适应音符分组模块在每个解码步骤中确定对齐音符的数量。为了解决数据稀缺的问题，我们委托了少量专门为此任务注释的训练数据，并通过反向翻译使用了大量增强数据。在一个英汉歌曲翻译数据集上的实验表明了该模型在自动评价和人工评价中的有效性。
2023-03-28 cs.CL cs.SD eess.AS
Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出跨模态循环网络学习联合嵌入，以弱对齐音频-乐谱对实现长乐段摘要，有效处理速度差异，在合成与真实钢琴数据上均取得更准确的检索效果。
2023-09-21 cs.IR cs.LG cs.SD
MIDI-Sheet Music Alignment Using Bootleg Score Synthesis
Harvey Mudd College（哈维穆德学院）；International Audio Laboratories Erlangen（埃尔兰根国际音频实验室）
MIDI乐谱对齐是寻找作品的MIDI表示与其对应的乐谱图像之间的对应关系的任务。我们探索了一种替代方法，而不是使用光学音乐识别来弥合乐谱和乐谱之间的差距：将乐谱数据投影到像素空间中，并在图像域中进行对齐。我们的方法转换成一个粗略的表示，只包含矩形浮动音符头斑点的分数，我们称之为盗版分数合成的过程。此外，我们将乐谱图像投影到相同的盗版空间中，通过应用深分水岭音符头检测器并填充每个检测到的音符头周围的边界框。最后，我们使用动态时间规整的一个简单变体来对齐盗版表示。在来自IMSLP的68个真实扫描钢琴乐谱和相应的钢琴演奏的数据集上，我们的方法在一秒的误差容限下达到了97.3%的准确率，优于采用光学音乐识别的几个基线系统。
2020-04-21 cs.MM cs.SD eess.AS
Towards Hallucination-Free Music: A Reinforcement Learning Preference Optimization Framework for Reliable Song Generation
Tencent AI Lab（腾讯AI实验室）
针对歌词到歌曲生成中的幻觉问题，提出基于强化学习偏好优化的框架，通过DPO、PPO和GRPO策略显著降低音素错误率，同时保持音乐质量。
2025-08-07 cs.AI cs.SD eess.AS
