LyricJam: A system for generating lyrics for live instrumental music
University of Waterloo(滑铁卢大学)
我们描述了一个实时系统,该系统从果酱会话接收现场音频流,并生成与正在播放的现场音乐一致的歌词。提出了两种新的方法来对齐学习的音频和文本表示的潜在空间,使系统能够生成匹配现场器乐的新的歌词线。一种方法是基于音频和歌词的潜在表示的对抗对齐,而另一种方法学习将拓扑从音乐潜在空间转移到歌词潜在空间。对使用该系统的音乐艺术家进行的用户研究表明,该系统不仅在歌词创作中很有用,而且还鼓励艺术家即兴创作和寻找新的音乐表达方式。另一项用户研究表明,用户更喜欢使用所提出的方法生成的线条,而不是基线模型生成的线条。
2021-06-03 cs.AI cs.CL cs.LG
Tollywood Emotions: Annotation of Valence-Arousal in Telugu Song Lyrics
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
给定音乐曲目的情感识别严重依赖于声学特征、社交标签和元数据,但很少关注歌词。没有印度语歌曲的数据集包含歌词的效价和唤醒手动评级。我们提出了一个新的手动注释数据集的泰卢固语歌曲的歌词从Spotify收集的效价和唤醒离散尺度上注释。一个相当高的注释者之间的协议,观察效价和唤醒。随后,我们建立了两个音乐情感识别模型,使用两种分类技术来识别效价,唤醒和各自的情感象限的歌词。使用具有词频-逆文档频率(TF-IDF)特征的支持向量机(SVM)和微调预训练的XLMRoBERTa(XLM-R)模型用于效价、唤醒和象限分类任务。在10倍交叉验证中,微调的XLMRoBERTa通过将效价、唤醒和象限分类的宏观平均F1分数分别从54.69%、67.61%、34.13%提高到77.90%、80.71%和58.33%而比SVM表现得更好。此外,我们将我们的歌词注释与Spotify的效价和能量注释(与唤醒相同)进行了比较,后者基于整个音乐曲目。我们的研究结果的影响进行了讨论。最后,我们将数据集公开提供歌词,注释和Spotify ID。
2023-03-16 cs.CL
Exploiting Synchronized Lyrics And Vocal Features For Music Emotion Detection
Musixmatch AI Labs(Musixmatch人工智能实验室)
音乐推荐的关键点之一是根据情感和情绪创作引人入胜的播放列表。虽然以前的作品主要是基于音频的音乐发现和播放列表生成,我们利用我们的同步歌词数据集,以一种新颖的方式结合文本表示和音乐功能;因此,我们引入同步歌词情感数据集。与随机利用音频样本和整个文本的其他方法不同,我们的数据根据歌词和音频之间同步提供的时间信息进行分割。这项工作展示了基于文本和基于音频的深度学习分类模型之间的比较,这些模型使用了来自自然语言处理和音乐信息检索领域的不同技术。从音频上的实验中,我们得出结论,只使用人声,而不是整个音频数据,提高了音频分类器的整体性能。在歌词实验中,我们利用了应用于文献中主要深度学习架构的最先进的单词表示。在我们的基准测试中,结果显示了基于fastText词嵌入的Bilinear LSTM分类器如何比应用于音频的CNN表现更好。
2019-01-15 cs.AI cs.CL
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen(哥本哈根大学)
本文旨在测试多模态方法的音乐情感识别(MER)是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征,组合歌词特征,包括情感,TF-IDF和Anew,以预测Deezer情绪检测数据集(DMDD)(Delbouys et al.,2018),具有4种不同的回归模型。我们发现,在11个高级歌曲特征中,主要有5个对性能有贡献,多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
The emotions that we perceive in music: the influence of language and lyrics comprehension on agreement
Universitat Pompeu Fabra(庞培法布拉大学);A*STAR(新加坡科技研究局)
在本研究中,我们解决流行音乐和摇滚音乐(主要是欧美风格的英语歌词)和听众所说的语言之间的关系。我们的目标是了解歌词理解对情感感知的影响,并使用这些信息来改善音乐情感识别(MER)模型。两个主要的研究问题是解决:1。不同母语的听众在流行/摇滚音乐中感受到的情感是否存在差异和相似之处?2.个人特征是否会影响特定语言的听众的感知情绪?个人特征包括听众的一般人口统计数据、对片段的熟悉程度和偏好以及音乐的复杂程度。我们的假设是,评分员之间的协议(定义为克里彭道夫的阿尔法系数)从主题是直接影响的理解歌词。
2019-10-25 cs.CL cs.SD eess.AS
Lyrics-Based Music Genre Classification Using a Hierarchical Attention Network
Stanford University(斯坦福大学)
音乐体裁分类,特别是仅使用歌词分类,一直是音乐信息检索中的一个具有挑战性的课题。在这项研究中,我们应用递归神经网络模型来分类一个完整的歌词大数据集。由于歌词呈现分层结构-其中单词组合形成线条,线条形成片段,片段形成完整的歌曲-我们采用分层注意力网络(HAN)来利用这些层,并学习单词,线条和片段的重要性。我们在117种类型的数据集和减少的20种类型的数据集上测试模型。实验结果表明,HAN优于非神经模型和简单的神经模型,同时也比以前的研究分类更多的类型。通过学习过程,我们还可以可视化模型认为歌曲中的哪些单词或台词对分类流派很重要。因此,HAN从计算的角度提供了对区分音乐流派的抒情结构和语言特征的见解。
2017-07-15 cs.CL cs.IR cs.NE
"More Than Words": Linking Music Preferences and Moral Values Through Lyrics
Queen Mary University of London(伦敦玛丽女王大学);ISI Foundation(ISI基金会)
本研究通过机器学习分析1,386名用户偏好艺术家的歌词特征,发现歌词能有效推断道德价值观,且等级和传统美德的预测力高于同理心与平等。
2022-09-02 cs.CL cs.CY cs.LG
'Warriors of the Word' -- Deciphering Lyrical Topics in Music and Their Connection to Audio Feature Dimensions Based on a Corpus of Over 100,000 Metal Songs
University of Vienna(维也纳大学);University of Bamberg(班贝格大学)
我们研究了金属音乐的音乐和抒情内容之间的联系,结合自动提取的高层次的音频特征和定量文本分析的语料库124.288歌词从这种类型。基于该文本语料库,首先使用潜在狄利克雷分配(LDA)构建主题模型。对于503首歌曲的子样本,使用音频特征模型提取预测感知音乐硬度/沉重和黑暗/阴郁的分数。通过结合音频特征和文本分析,我们(1)提供了金属流派中抒情主题的全面概述,(2)能够确定硬度和其他音乐维度的水平是否与特别刺耳(和其他)文本主题的出现有关。二十个典型的主题被确定和投影到一个主题空间,使用多维尺度(MDS)。经过Bonferroni校正后,发现音乐的硬度和黑暗与“残酷的死亡”、“反乌托邦”、“古老和神秘主义”、“宗教和撒旦主义”、“战斗”和“(心理)疯狂”等文本主题呈正相关,而与“个人生活”和“爱情和浪漫”等主题呈负相关。
2019-11-13 cs.CL cs.SD eess.AS
Interpreting Song Lyrics with an Audio-Informed Pre-trained Language Model
Queen Mary University of London(伦敦玛丽女王大学);NYU Shanghai(上海纽约大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
歌词解释可以帮助人们快速理解歌曲及其歌词,也可以更容易地从不断增长的大量音乐档案中有效地管理、检索和发现歌曲。在本文中,我们提出了BART融合,一种新的模型,用于从歌词和音乐音频中生成歌词解释,该模型将大规模预训练的语言模型与音频编码器相结合。我们采用跨模态注意模块将音频表示合并到歌词表示中,以帮助预训练的语言模型从音频角度理解歌曲,同时保留语言模型的原始生成性能。我们还发布了Song Interpretation Dataset,这是一个新的大规模数据集,用于训练和评估我们的模型。实验结果表明,额外的音频信息有助于我们的模型更好地理解单词和音乐,并生成精确和流畅的解释。跨模态音乐检索的另一个实验表明,由BART融合产生的解释也可以帮助人们比原始的BART更准确地检索音乐。
2022-08-24 cs.CL cs.SD eess.AS
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo(滑铁卢大学)
电子音乐艺术家和声音设计师有独特的工作流程实践,需要专门的方法来开发音乐信息检索和创造力支持工具。此外,电子乐器,如模块化合成器,具有近乎无限的声音创作可能性,可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的,不可能复制。出于这个原因,许多电子流派的音乐家在录音室工作时一直录制音频输出。因此,艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中,我们描述了LyricJam Sonic --一种新颖的创作工具,让音乐家重新发现他们以前的录音,将它们与其他录音重新联系起来,并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段,并使用它们生成新的歌词线,这些歌词线又用于找到其他片段,从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态,而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行,或者以现场表演模式运行,其中艺术家播放现场音乐,而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
Brazilian Lyrics-Based Music Genre Classification Using a BLSTM Network
PUC-Rio(里约热内卢天主教大学)
组织歌曲,专辑,和艺术家在组共享相似性可以做的帮助下,流派标签。在本文中,我们提出了一种新的方法,在巴西音乐的自动分类音乐流派只使用歌词。这种分类仍然是自然语言处理领域的一个挑战。我们构建了一个数据集的138,368巴西歌曲歌词分布在14个流派。我们应用支持向量机,随机森林和双向长短期记忆(BLSTM)网络结合不同的词嵌入技术来解决这个分类任务。我们的实验表明,BLSTM方法优于其他模型的F1得分平均值为$0.48$。一些类型,如“福音”,“放克-卡里奥卡”和“sertanejo”,分别获得0.89,0.70和0.69的F1分数,可以被定义为最独特的和容易分类的巴西音乐类型的背景。
2020-03-06 cs.CL cs.IR cs.LG
Aligning Language Models for Lyric-to-Melody Generation with Rule-Based Musical Constraints
Zuoyebang Education Technology(中关村教育科技)
本文提出基于规则的音乐约束对齐框架,通过DPO和KTO优化减少旋律生成中的约束违规,提升音乐性和连贯性。
2026-04-20 cs.CL cs.SD eess.AS
Joint sentiment analysis of lyrics and audio in music
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡应用技术大学乔治·西蒙·欧姆分校);Munich University of Applied Sciences(慕尼黑应用技术大学)
本文分别评估歌词与音频情感分析模型,提出多种融合方法以提升性能,并分析错误分类、模态矛盾及该领域存在的主观性、数据不足和情感分类不一致等根本问题。
2024-05-03 cs.AI cs.CL cs.LG
VietLyrics: A Large-Scale Dataset and Models for Vietnamese Automatic Lyrics Transcription
National University of Singapore(国立新加坡大学)
VietLyrics提出一个大规模越南语ALT数据集和模型,通过微调Whisper模型提升转录性能,推动低资源语言音乐研究。
2025-12-20 cs.AI cs.CL
Synthetic Lyrics Detection Across Languages and Genres
Deezer Research(Deepz研究)
本研究构建多语言多流派歌词数据集,评估并适配合成文本检测方法至歌词,验证其在跨语言、少样本等场景下的泛化能力,为AI音乐政策提供依据。
2025-04-24 cs.AI cs.CL cs.LG
Emotion4MIDI: a Lyrics-based Emotion-Labeled Symbolic Music Dataset
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)(系统与计算机工程、技术与科学研究所(INESC TEC));Faculty of Engineering, University of Porto(波尔图大学工程学院);ISEP, Polytechnic of Porto, School of Engineering(波尔图理工学院工程学院(ISEP))
本文提出包含12k首MIDI歌曲的大规模情感标注符号音乐数据集Emotion4MIDI,通过在GoEmotions上训练仅基线一半大小且达最先进水平的情感分类模型,对两大MIDI数据集歌词进行情感标注,为基于特定情感的音乐生成模型提供宝贵资源。
2023-07-27 cs.AI cs.CL cs.LG
Neural Melody Composition from Lyrics
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
在本文中,我们研究了一个新的任务,学习从自然语言创作音乐。给定的歌词作为输入,我们提出了一个旋律组成模型,生成歌词条件旋律以及生成的旋律和给定的歌词之间的准确对齐的同时。更具体地说,我们开发的旋律组成模型的基础上的序列到序列的框架。它由两个神经编码器分别编码当前歌词和上下文旋律,和一个分层解码器,共同产生音符和相应的对齐。对18,451首流行歌曲的歌词-旋律对的实验结果证明了我们所提出的方法的有效性。此外,我们应用一个歌唱声音合成器软件来合成“歌唱”的歌词和旋律,以供人类评估。实验结果表明,与基线方法相比,我们生成的旋律更加悦耳动听。
2018-09-12 cs.AI cs.CL
Towards cross-cultural study of folksong lyrics with machine translation
Charles University(查理大学);University of Music and Performing Arts Graz(格拉茨音乐与表演艺术大学);Graduate School of Culture Technology(文化技术研究生院);KAIST(韩国科学技术院);Utrecht University(乌得勒支大学);Institute of Ethnology(民族学研究所);Czech Academy of Sciences(捷克科学院);Estonian Literary Museum(爱沙尼亚文学博物馆);NAS of Ukraine(乌克兰国家科学院)
本研究利用机器翻译和神经主题模型,分析五种语言的民歌歌词,探讨内容与社会功能的关系,揭示跨文化联系,为跨文化歌词分析提供初步方法。
2026-10-06 cs.CL cs.DL
MusicAIR: A Multimodal AI Music Generation Framework Powered by an Algorithm-Driven Core
Stanford University(斯坦福大学);George Mason University(乔治·马歇尔大学)
MusicAIR通过算法驱动的核心生成音乐,能从歌词、文本和图像生成符合音乐理论的旋律谱,提升音乐创作效率并降低入门门槛。
2025-11-21 cs.AI cs.CL cs.MM
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal(瓦朗加尔国家理工学院)
我们提出了MoodNet -一个基于深度卷积神经网络的架构,可以有效地预测与音乐片段相关的情感,因为它的音频和歌词内容。我们评估了不同的架构,包括不同数量的二维卷积和子采样层,然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量,来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层,并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准,我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设,即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频,并得出结论,与使用单一模态作为输入相比,组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
Semantic Homogenization in Italian Popular Music: A Diachronic Analysis
Centro Ricerche, Innovazione Tecnologica e Sperimentazione(研究中心、技术创新与实验)
研究意大利圣雷莫音乐节决赛歌曲歌词语义变化,开发灵活高效方法,结合多种分析及技术,发现语义渐趋统一,凸显自然语言处理工具价值。
2026-07-07 cs.CL
Syllable-level lyrics generation from melody exploiting character-level language model
National Institute of Informatics(国立情报学研究所);SOKENDAI(综合研究大学院大学);Aalto University(阿尔托大学)
针对无公开音节级预训练语言模型的问题,提出将微调字符级语言模型的语言学知识融入音节级Transformer生成网络的束搜索过程,实现从符号旋律生成歌词,经ChatGPT与人工评估验证提升了歌词的连贯性与准确性,无需训练高成本新模型。
2024-01-30 cs.AI cs.CL
Youling: an AI-Assisted Lyrics Creation System
Fuxi AI Lab, NetEase Inc.(网易公司伏羲人工智能实验室)
最近,已经提出了各种神经模型的歌词生成。然而,大多数以前的工作在一次通过中完成生成过程,几乎没有人为干预。我们认为,歌词创作是一个以人类智能为中心的创作过程。人工智能应该在歌词创作过程中扮演助手的角色,人类的互动对于高质量的创作至关重要。本文演示了\textit{Youling},一个AI辅助的歌词创作系统,旨在与音乐创作者合作。在歌词生成过程中,\textit{Youling}支持传统的一次通过全文生成模式以及交互式生成模式,该模式允许用户从以先前上下文为条件的生成候选中选择满意的句子。该系统还提供了一个修改模块,使用户能够反复修改不需要的句子或歌词的单词。此外,\textit{Youling}允许用户使用多方面的属性来控制生成的歌词的内容和格式。该系统的演示视频可在https://youtu.be/DFeNpHk0pm4上获得。
2022-01-18 cs.CL
AI-Generated Song Detection via Lyrics Transcripts
针对AI生成歌曲检测在现实场景中缺乏完美歌词的问题,提出利用通用ASR模型转录音频进行检测,结合Whisper large-v2和LLM2Vec嵌入实现了跨语言流派的强检测性能,且在音频扰动下比传统音频检测器更具鲁棒性。
2025-06-28 cs.AI cs.CL cs.SD
SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition
The Chinese University of Hong Kong(中国香港大学);Beihang University(北航);Shanghai AI Laboratory(上海人工智能实验室);CPII under InnoHK(创新香港下的CPII)
本文提出SongComposer,一个音乐专用大型语言模型,通过灵活元组格式、扩展分词器词汇表和多阶段流程三项创新,首次将同时创作歌词与旋律的能力集成到LLM中,在多项任务中优于GPT-4,并发布大规模中英文训练数据集SongCompose。
2025-05-30 cs.AI cs.CL cs.SD
Double Entendre: Robust Audio-Based AI-Generated Lyrics Detection via Multi-View Fusion
Deezer Research(DeepZ研究)
提出多模态后期融合管道DE-detect,结合自动转录歌词与语音特征,解决AI生成音乐检测中泛化差和依赖清晰歌词的问题,提升鲁棒性。
2025-06-28 cs.AI cs.CL cs.SD
Deep learning based mood tagging for Chinese song lyrics
The Hong Kong Polytechnic University(香港理工大学);Tencent Group(腾讯集团);Beijing University of Posts and Telecommunications(北京邮电大学)
如今,听音乐已经并将永远是我们日常生活中不可或缺的一部分。近年来,音乐情感分析在信息检索系统、个性化推荐系统等方面得到了广泛的应用,本文结合深度学习的发展,致力于寻找一种有效的中文歌词情感标注方法。为了实现这一目标,研究和比较了机器学习和深度学习模型。最终,一种基于CNN的预训练词嵌入模型被证明可以有效提取中文歌词的情感特征分布,比传统机器学习方法(即TF-IDF+SVM和LIWC+SVM)至少高出15个百分点,比其他深度学习模型(即RNN,LSTM)高出7个百分点。在本文中,超过160,000个歌词语料库已被用于预训练词嵌入,以提高情绪标记。
2019-06-15 cs.CL cs.LG
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore(新加坡国立大学)
歌词到复调音频的自动对齐是一项具有挑战性的任务,这不仅是因为人声被背景音乐破坏,而且缺乏有效的声学建模的注释复调语料库。在这项工作中,我们提出(1)使用额外的语音和音乐信息特征,以及(2)使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型,我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验,并提出了深入的声学特征的对齐误差分析,和模型自适应技术。结果表明,所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统,特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Mood Classification of Bangla Songs Based on Lyrics
East West University(东西大学);University of Liberal Arts Bangladesh(孟加拉国自由艺术大学)
针对孟加拉语歌曲情绪研究不足的问题,研究者构建含4000首歌曲的数据集,采用自然语言处理与Bert算法基于歌词实现四类情绪的多分类,为音乐情绪贴合用户情感提供自动化方案。
2023-07-19 cs.CL cs.IR cs.LG
REFFLY: Melody-Constrained Lyrics Editing Model
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
本文提出首个旋律对齐歌词修改框架REFFLY,利用合成的旋律对齐数据集训练模型,并结合无需训练的启发式方法保持语义与音乐一致性,在歌词生成和歌曲翻译等任务上表现优于Lyra和GPT-4达25%。
2025-05-02 cs.CL cs.SD eess.AS
ALCAP: Alignment-Augmented Music Captioner
USC Information Sciences Institute(南加州大学信息科学研究所);TikTok Inc.(TikTok公司);University of Buffalo(布法罗大学)
本研究提出ALCAP方法,通过对比学习音频与歌词间的多模态对齐,增强跨模态连贯性以生成高质量音乐字幕,在两个数据集上达到SOTA。
2023-10-22 cs.CL cs.IR cs.MM
Enabling Embodied Analogies in Intelligent Music Systems
University of California Irvine(加州大学尔湾分校);University of Rome Tor Vergata(罗马第二大学)
本方法旨在跨模态机器学习,并使用来自广泛领域和学科的多学科工具和方法,包括音乐、系统音乐学、舞蹈、动作捕捉、人机交互、计算语言学和音频信号处理。主要任务包括:(1)使群众智慧方法适应于音乐和舞蹈表演中的实施例,以创建覆盖各种情感的音乐和歌词的数据集,(2)将音频/语言通知的机器学习技术应用于该数据集,以自动识别音乐和歌词的情感内容,以及(3)整合来自Vicon系统的动作捕捉数据和对该音乐进行表演的舞者。
2017-11-30 cs.CL cs.HC cs.IR
MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation
Yonsei University(延世大学);Seoul National University(首尔国立大学)
提出首个多语言多模态歌词翻译基准MAVL,并设计音节约束的音视频大语言模型SylAVL-CoT,利用音视频线索和音节约束提升歌词可唱性和翻译准确性。
2026-06-01 cs.CL cs.LG cs.MM
TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
歌词到旋律的生成是自动歌曲创作中的一个重要任务。先前的歌词到旋律生成系统通常采用直接从歌词生成旋律的端到端模型,其遭受若干问题:1)缺乏成对的歌词-旋律训练数据; 2)缺乏对生成的旋律的控制。在本文中,我们开发了TeleMelody,一个两阶段的歌词到旋律生成系统与音乐模板(例如,音调、和弦进行、节奏模式和节奏)以弥合歌词和旋律之间的间隙(即,该系统包括歌词到模板模块和模板到旋律模块)。TeleMelody有两个优点。第一,数据高效。模板到旋律模块以自我监督的方式训练(即,从目标旋律中提取源模板),其不需要任何歌词-旋律配对数据。歌词到模板模块由一些规则和歌词到节奏模型组成,该模型用比歌词-旋律数据更容易获得的歌词-节奏数据进行训练。其次,它是可控的。模板的设计保证了生成的旋律可以通过调整模板中的音乐元素来控制。主观和客观的实验评估表明,TeleMelody生成的旋律具有更高的质量,更好的可控性,和配对的歌词旋律数据的要求比前几代系统。
2022-11-14 cs.AI cs.CL cs.MM
BASS: Benchmarking Audio LMs for Musical Structure and Semantic Reasoning
University of Washington(华盛顿大学);The Ohio State University(俄亥俄州立大学);Allen Institute for AI(人工智能研究所)
BASS通过评估音频语言模型在音乐结构和语义推理方面的性能,揭示了现有模型在高层次推理任务上的局限性,并为音乐推荐和搜索提供评估框架。
2026-02-03 cs.CL cs.SD
Bob's Confetti: Phonetic Memorization Attacks in Music and Video Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
研究揭示了生成音乐和视频AI系统中语音记忆攻击的漏洞,通过同音替代词绕过版权过滤,展示语音结构对跨模态检索的关键作用。
2026-02-25 cs.AI cs.CL cs.SD
A Syllable-Structured, Contextually-Based Conditionally Generation of Chinese Lyrics
Ping An Technology (Shenzhen) Co., Ltd(平安科技(深圳)有限公司)
本文提出了一种新颖的,音节结构的中文歌词生成模型给定一个原始的旋律。大多数以前报道的歌词生成模型未能包括歌词和旋律之间的关系。在这项工作中,我们建议解释歌词旋律对齐音节结构信息,并使用多通道序列到序列模型,同时考虑短语结构和语义。两种不同的RNN编码器被应用,其中一种用于编码音节结构,而另一种用于上下文句子或输入关键字的语义编码。此外,一个大型的中文歌词语料库模型训练的杠杆。通过自动和人工评估,结果证明了我们提出的歌词生成模型的有效性。据我们所知,很少有以前的报告,歌词生成考虑到音乐和语言的角度。
2019-06-15 cs.AI cs.CL cs.SD
Theme-aware generation model for chinese lyrics
The Hong Kong Polytechnic University(香港理工大学);Tencent Group(腾讯集团);University of Science and Technology of China(中国科学技术大学)
随着神经网络的快速发展,深度学习已经扩展到各种自然语言生成领域,如机器翻译、对话生成甚至文学创作。本文提出了一种具有主题意识的中文歌词语言生成模型,该模型极大地提高了生成段落的主题连通性和连贯性。多通道序列到序列(seq2seq)模型将主题和先前的句子编码为全局和局部上下文信息。此外,注意力机制被合并用于序列解码,使得能够将上下文融合到预测的下一个文本中。为了准备合适的训练语料,采用LDA(Latent Dirichlet Allocation)进行主题提取.生成的歌词在语法上正确,并且与选定的主题在语义上一致,这为其他领域提供了有价值的建模方法,包括多轮聊天机器人,长段落生成等。
2019-05-23 cs.CL cs.LG
Breaking Speech Recognizers to Imagine Lyrics
University of California, Berkeley(加州大学伯克利分校)
我们介绍了一种新的方法,用于生成文本,特别是歌词,基于一个给定的音频文件的语音音质。我们重新设计了一个声乐声源分离算法和一个经过训练的声学模型来识别孤立的语音,而不是输入器乐或环境声音。将语音分离器的“错误”馈送到识别器中,我们获得要在输入音频中说出的单词\emph{imagined}的转录。我们描述了我们的方法的关键组成部分,目前的初步分析,并讨论了机器在循环协作的方法在创造性的应用程序的潜力。
2019-12-15 cs.CL cs.HC cs.LG
Generating lyrics with variational autoencoder and multi-modal artist embeddings
University of Waterloo(滑铁卢大学)
我们提出了一个系统,用于生成一个指定的艺术家的风格为条件的歌词线。该系统使用一个变分自编码器与艺术家嵌入。我们提出了艺术家嵌入的预训练与CNN分类器学习的表示,该分类器被训练为基于他们的歌曲剪辑的MEL频谱图来预测艺术家。这项工作是第一步,结合音频和文本形式的歌曲生成歌词的艺术家的风格。我们的初步结果表明,有一个好处,在初始化艺术家的嵌入与表示学习的声谱图分类。
2018-12-20 cs.CL cs.SD eess.AS
Joint Learning of Wording and Formatting for Singable Melody-to-Lyric Generation
本文提出通过联合学习词汇和格式来提升旋律到歌词生成的可唱性,实验显示在行数和音节数要求上表现更优。
2025-12-12 cs.CL cs.SD eess.AS
Jam-ALT: A Formatting-Aware Lyrics Transcription Benchmark
AudioShake(音频 Shake 公司)
针对现有自动歌词转录基准忽略格式与标点的问题,本文提出了基于JamendoLyrics数据集的新基准Jam-ALT,通过全面修订转录文本并设计新评估指标,实现了更精确可靠的ALT系统评估。
2023-11-23 cs.CL cs.LG cs.SD
Unsupervised Melody-Guided Lyrics Generation
Amazon(亚马逊)
本文提出一种无监督旋律引导歌词生成框架,通过将纯文本训练与旋律约束推理解耦,在无需旋律-歌词对齐数据的情况下生成更可唱、连贯且押韵的歌词。
2023-05-26 cs.AI cs.CL cs.MM
Transcribing Lyrics From Commercial Song Audio: The First Step Towards Singing Content Processing
National Taiwan University(国立台湾大学)
口语内容处理(如检索和浏览)正在成熟,但唱歌内容仍然几乎完全被排除在外。歌曲和语音一样,是人类的声音,也携带着丰富的语义信息,是一种特殊的语音类型,具有高度的韵律灵活性。歌曲音频中的各种问题,例如在高度灵活的音高轮廓上显著变化的电话持续时间,使得从歌曲音频中识别歌词变得更加困难。本文报道了实现这一目标的初步尝试。我们直接从商业演唱内容中收集了去除音乐的英文歌曲版本。最好的结果是通过TDNN-LSTM与数据增强,3倍速度扰动加上一些特殊的方法。达到的WER(73.90%)明显低于基线(96.21%),但仍然相对较高。
2018-04-15 cs.CL cs.SD eess.AS
TRBLLmaker -- Transformer Reads Between Lyrics Lines maker
Technion - IIT(以色列理工学院)
即使对我们来说,理解歌曲的含义也是一个挑战。作为这个项目的一部分,我们探索的过程中产生的意义的歌曲。尽管文本到文本模型被广泛使用,但很少有人尝试实现类似的目标。歌曲主要是在情感分析的背景下研究的。这涉及识别文本中的观点和情感,将其评估为积极或消极,并利用这些评估来进行音乐推荐。在本文中,我们提出了一个生成模型,提供了一首歌的几行隐含的意义。我们的模型使用一个解码器Transformer架构GPT-2,其中输入是一首歌的歌词。此外,我们比较了这种架构的性能与T5模型的编码器-解码器Transformer架构。我们还研究了不同提示类型的效果,并选择附加附加信息,如艺术家的名字和歌曲的标题。此外,我们使用不同的训练参数测试了不同的解码方法,并使用ROUGE评估了我们的结果。为了构建我们的数据集,我们使用了“Genious”API,它允许我们获取歌曲的歌词及其解释,以及它们丰富的元数据。
2022-12-09 cs.AI cs.CL
SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);Nanjing University of Science and Technology(南京理工大学);Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
自动歌曲写作的目的是用机器创作一首歌曲(歌词和/或旋律),这是学术界和工业界都感兴趣的话题。在歌曲自动创作中,歌词到旋律的生成和旋律到歌词的生成是两个重要的任务,但这两个任务通常都面临以下挑战:1)由于歌词和旋律之间的相关性较弱,需要大量的成对训练数据,因此歌词和旋律的成对数据有限,影响了这两个任务的生成质量; 2)歌词和旋律之间需要严格的对齐,这依赖于特定的对齐模型。在本文中,我们提出SongMASS来解决上述挑战,它利用掩蔽序列到序列(MASS)预训练和基于注意力的对齐建模来生成歌词到旋律和旋律到歌词。具体来说,1)我们将原始的歌词级MASS预训练扩展到歌曲级,以更好地捕获音乐中的长上下文信息,并为每个模态(歌词或旋律)使用单独的编码器和解码器; 2)我们在训练期间利用歌词级注意力掩码和标记级注意力约束,以增强歌词和旋律之间的对齐。在推理过程中,我们使用动态规划策略来获得歌词中每个单词/音节与旋律中音符之间的对齐。我们在未配对的歌词和旋律数据集上对SongMASS进行了预训练,客观和主观评估都表明,SongMASS生成的歌词和旋律的质量明显优于没有预训练或对齐约束的基线方法。
2020-12-09 cs.CL cs.SD eess.AS
Unsupervised Melody-to-Lyric Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);University of Cambridge(剑桥大学)
本文提出一种无监督分层歌词生成框架,无需对齐数据,通过旋律约束解码生成高质量歌词,相比SOTA模型整体质量提升24%。
2023-12-22 cs.AI cs.CL cs.SD
What Do Audio-Language Judges of Generated Music Listen For? Four Probes with Controls from Expert Ratings
Institute of Computer Science, Warsaw University of Technology(华沙理工大学计算机科学研究所)
本文针对开源音乐评判模型设计四项探测实验,结合专家评分控制,揭示其评分依据,发现多数模型受片段位置、指令表述影响,建议音乐评判模型需报告该四项探测实验。
2026-10-12 cs.CL cs.SD eess.AS
OpenMU: Your Swiss Army Knife for Music Understanding
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
针对训练多模态语言模型理解音乐的数据稀缺问题,提出大规模基准套件OpenMU-Bench,训练音乐理解模型OpenMU,经消融实验证明其优于MU-Llama等基线,二者均开源以推动相关研究。
2024-11-27 cs.AI cs.CL cs.MM