Two-level Explanations in Music Emotion Recognition
Johannes Kepler University Linz(林茨约翰·开普勒大学);Linz Institute of Technology(林茨理工学院)
目前用于音乐情感识别的ML模型虽然通常工作得很好,但并没有对其预测给出有意义或直观的解释。在这项工作中,我们提出了一个两步的程序,以达到频谱级的解释,连接音频的某些方面,可解释的中级感知功能,这些实际的情感预测。这使得人们可以专注于预测的特定音乐原因(就感知特征而言),并将这些原因追溯到可以在视觉和听觉上解释的音频模式。
2019-05-28 cs.LG cs.SD eess.AS
YM2413-MDB: A Multi-Instrumental FM Video Game Music Dataset with Emotion Annotations
KAIST(韩国科学技术院)
现有的多乐器数据集倾向于偏向流行音乐和古典音乐。此外,它们通常缺乏高级注释,例如情感标签。在本文中,我们提出了YM 2413-MDB,一个80年代FM视频游戏音乐数据集与多标签情感注释。它包括来自80年代世嘉和MSX PC游戏的669个音频和MIDI音乐文件,使用YM 2413(一种基于FM的可编程声音发生器)。收集的游戏音乐是安排与一个子集的15个单声道乐器和一个鼓乐器。它们是从YM 2413声音芯片的二进制命令转换而来的。每首歌曲由两个注释者标记19个情感标签,并由三个验证者验证,以获得精炼的标签。我们提供的基线模型和结果的情感识别和情感条件的符号音乐生成使用YM 2413-MDB。
2022-11-14 cs.LG cs.MM cs.SD
Tracing Back Music Emotion Predictions to Sound Sources and Intuitive Perceptual Qualities
Johannes Kepler University(约翰·开普勒大学);Linz Institute of Technology(林茨理工学院)
音乐情感识别是音乐信息检索研究的重要内容。由于任务的主观性质和音乐类型之间的情感线索的变化等因素,在开发可靠和可推广的模型方面仍然存在重大挑战。迈向更好模型的一个重要步骤是了解模型实际上从数据中学习了什么,以及如何对特定输入进行预测。在以前的工作中,我们已经展示了如何根据频谱图图像片段来解释模型预测,这些频谱图图像片段通过一层易于解释的感知特征与高级情感预测相连接。然而,该方案在声谱图水平上缺乏直观的音乐可理解性。在目前的工作中,我们通过合并audioLIME(一种基于源分离的解释器)与中级感知特征来弥合这一差距,从而在输入音频和输出情感预测之间形成直观的连接链。我们证明了这种方法的实用性,通过应用它来调试有偏见的情绪预测模型。
2021-06-16 cs.LG cs.SD eess.AS
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music(中央音乐学院音乐人工智能与信息科技系);School of Computer Science and Technology, Fudan University(复旦大学计算机科学与技术学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学智能信息处理上海重点实验室)
针对情感标注乐谱稀缺问题,提出EMelodyGen系统,通过音乐特征模板构建Rough4Q数据集,预训练模型实现高解析率与情感对齐度,验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego(加州大学圣地亚哥分校)
音乐中的情感是一个复杂的概念,即使使用微调的特征工程也很难捕捉。在本文中,我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别(MER)任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明,深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是,深音频嵌入代表音乐情感语义的MER任务,没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
Exploring the Emotional Landscape of Music: An Analysis of Valence Trends and Genre Variations in Spotify Music Data
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
本文基于Spotify音频特征与效价分数,结合多种回归模型、时间分析、情绪转换和流派调查,揭示音乐情感模式及其随时间的演变规律。
2023-10-29 cs.AI cs.SD eess.AS
EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation
Academia Sinica(中央研究院);National Taiwan University(台湾大学);KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
虽然在文献中有许多带有情感标签的音乐数据集,但它们不能用于符号域音乐分析或生成的研究,因为通常只有音频文件。在本文中,我们提出了EMOPIA(发音为“yee-milling-pi-uh”)数据集,一个共享的多模态(音频和音频)数据库,专注于流行钢琴音乐中的感知情感,以促进与音乐情感相关的各种任务的研究。该数据集包含来自387首歌曲的1,087个音乐片段和由四个专用注释器注释的片段级情感标签。由于剪辑不限于每首歌曲一个剪辑,因此它们也可以用于歌曲级分析。我们提出了构建数据集的方法,包括歌曲列表管理,剪辑选择和情感注释过程。此外,我们原型的剪辑级音乐情感分类和基于情感的符号音乐生成的使用情况下,通过训练和评估相应的模型使用的数据集。结果表明,EMOPIA被用于未来的探索钢琴情绪相关的MIR任务的潜力。
2021-08-03 cs.MM cs.SD eess.AS
Personalized musically induced emotions of not-so-popular Colombian music
Universitat Pompeu Fabra(庞培法布拉大学);Songquito UG(Songquito UG公司)
这项工作提出了一个初步的概念证明,音乐情感识别(MER)系统可以故意偏向音乐引起的情绪在政治背景下的注释。具体而言,我们分析了传统的哥伦比亚音乐包含两种类型的政治性歌词:(1)vallenatos和社会歌曲从“左翼”游击队Fuerzas Armadas Revolucionarias de Colombia(FARC)和(2)corridos从“右翼”准军事组织哥伦比亚联合自卫军(AUC)。我们训练个性化的机器学习模型来预测三个具有不同政治观点的用户的诱导情绪-我们的目标是识别可能引起特定用户负面情绪的歌曲,例如愤怒和恐惧。在这种程度上,用户的情感判断可以被解释为问题化数据-主观情感判断可以反过来用于在以人为中心的机器学习环境中影响用户。简而言之,高度期望的“情绪调节”应用可能会偏离“情绪操纵”-最近对情绪识别技术的怀疑可能超越多样性和包容性的伦理问题。
2021-12-09 cs.HC cs.SD eess.AS
Symbolic & Acoustic: Multi-domain Music Emotion Modeling for Instrumental Music
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对单域音乐情感识别方法唤醒度与效价建模一致性弱的问题,提出结合符号与声学分析的器乐多域情感建模方法,在EMOPIA数据集上较基线准确率提升2.4%,达SOTA。
2023-08-28 cs.SD eess.AS
Emotion Manipulation Through Music -- A Deep Learning Interactive Visual Approach
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Central Washington University(中华盛顿大学);Transilvania University of Braşov(布拉索夫特兰西瓦尼亚大学)
本文提出一种基于AI的交互式音乐情绪操控流水线,可在保留旋律的同时反转歌曲情绪并用Circumplex模型可视化,且深度学习评估模型在4Q Emotion数据集上达到现有先进水平。
2024-06-12 cs.AI cs.CY cs.LG
Embedding-based Music Emotion Recognition Using Composite Loss
Kindai University(近畿大学);University of Lübeck(吕贝克大学);Speee Inc.(Speee公司);University of Economics in Katowice(卡托维兹经济大学);Doshisha University(同志社大学)
提出基于复合损失的嵌入方法,通过同时考虑总体情感类别和细粒度区分,在共同嵌入空间中关联音乐样本与情感,实现鲁棒的双向音乐情感识别。
2023-04-08 cs.HC cs.MM cs.SD
Semi-supervised music emotion recognition using noisy student training and harmonic pitch class profiles
我们提出了Mirable提交给2021年情感和主题音乐挑战。在这项工作中,我们打算解决的问题:我们可以利用半监督学习技术对音乐情感识别?有了这个,我们用带噪声的学生训练进行了实验,这提高了模型在图像分类领域的性能。由于嘈杂的学生方法需要一个强大的教师模型,我们进一步深入研究了包括(i)输入训练长度和(ii)互补音乐表示在内的因素,以进一步提高教师模型的性能。对于(i),我们发现用短输入长度训练的模型在PR-AUC中表现更好,而用长输入长度训练的模型在ROC-AUC中表现更好。对于(ii),我们发现,使用谐波音高类配置文件(HPCP)一贯提高标记性能,这表明谐波表示是有用的音乐情感标记。最后,我们发现,噪声学生的方法只提高了标记的结果的情况下,长的训练长度。此外,我们发现,用不同的训练长度训练的集合表示可以显着改善标记结果,这为将来的工作提供了一个可能的方向,可以探索在网络架构中引入多个时间分辨率。
2021-12-09 cs.LG cs.SD eess.AS
MusER: Musical Element-Based Regularization for Generating Symbolic Music with Emotion
Xi’an Jiaotong University(西安交通大学)
本文提出基于 VQ-VAE 的 MusER 模型,通过潜在空间中的音乐元素正则化解耦不同元素并操纵其改变音乐情感,在客观与主观评价上均优于现有方法。
2024-01-02 cs.AI cs.MM cs.SD
REMAST: Real-time Emotion-based Music Arrangement with Soft Transition
Zhejiang University(浙江大学);Innovation Center of Yangtze River Delta, Zhejiang University(浙江大学长三角创新中心);Data & AI Engineering System, OPPO(OPPO数据与AI工程系统)
提出REMAST框架,通过融合相邻时间步情感、下采样旋律输入、设计音乐理论特征及半监督学习,同时实现音乐情感实时匹配与平滑过渡,提升了生成音乐的整体连贯性。
2024-07-27 cs.AI cs.SD eess.AS
Expressivity-aware Music Performance Retrieval using Mid-level Perceptual Features and Emotion Word Embeddings
Institute of Computational Perception(计算感知研究所);Johannes Kepler University Linz(林茨约翰·开普勒大学)
针对同一作品不同演奏版本的跨模态检索任务,通过在文本侧用情感增强词嵌入、音频侧用中层感知特征改进通用跨模态系统,提升了钢琴演奏检索性能,还为检索及推荐的可解释性提供了思路。
2024-01-26 cs.IR cs.SD eess.AS
Neural Network architectures to classify emotions in Indian Classical Music
Sir C.V. Raman Centre for Physics and Music, Jadavpur University(贾达普大学C.V.拉曼物理与音乐中心);Department of Medical Biophysics, University of Toronto(多伦多大学医学生物物理系);Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur(印度理工学院卡哈拉格普尔分校Rekhi幸福科学卓越中心);School of Languages and Linguistics, Jadavpur University(贾达普大学语言与语言学学院)
音乐通常被认为是情感的语言。音乐能引起人类的情感,因此根据音乐引起人类的情感类型对音乐进行分类是一个非常有趣的研究课题。当对印度古典音乐(ICM)引起的情绪进行分类时,由于ICM固有的模糊性,它变得更具挑战性。一个单一的音乐表演可以唤起观众的各种情感反应的事实是隐含的ICM再现的性质。随着深度学习领域的快速发展,这种音乐情感识别(MER)任务变得越来越相关和鲁棒,因此可以应用于最具挑战性的测试用例之一,即对ICM引发的情感进行分类。在本文中,我们提出了一个新的数据集,称为JUMuseDB,目前有400个音频片段(每个30秒),其中200个片段对应于快乐的情绪,其余200个片段对应于悲伤的情绪。出于监督分类的目的,我们使用了4个现有的基于深度卷积神经网络(CNN)的架构(resnet18,mobilenet v2.0,squeezenet v1.0和vgg 16)对2000个子剪辑(其中每个剪辑被分割为5个子剪辑,每个子剪辑约5秒)的相应音乐频谱图进行分析,这些子剪辑包含时域和频域信息。最初的结果非常鼓舞人心,我们期待着使用这种架构为数据集设置基线值。这种基于CNN的分类算法使用了丰富的印度古典音乐语料库,即使在全球范围内也是独一无二的,并且也可以在其他形式的音乐中复制。该数据集仍在开发中,我们计划包括更多包含其他情感特征的数据。我们计划很快公开数据集。
2021-02-01 cs.LG cs.MM cs.SD
Emotion-Guided Music Accompaniment Generation Based on Variational Autoencoder
China University of Geosciences(Wuhan)(中国地质大学(武汉))
本文提出基于Valence/Arousal曲线与变分自编码器的情感引导伴奏生成方法,并结合相对自注意力与乐理规则提升伴奏的结构性与丰富性。
2023-07-08 cs.MM cs.SD eess.AS
Stacked Convolutional and Recurrent Neural Networks for Music Emotion Recognition
Tampere University of Technology(坦佩雷理工大学);University of Zilina(日利纳大学)
本文研究了二维情绪空间中的情感识别问题。我们提出了一种基于卷积(CNN)和循环神经网络(RNN)的方法,与相同任务的最先进方法相比,具有更少的参数。我们利用一个CNN层,然后是分别针对唤醒和效价训练的RNN的两个分支。使用“MediaEval 2015音乐中的情感”数据集对该方法进行了评估。我们实现了唤醒的RMSE为0.202,效价为0.268,这是该数据集上报告的最佳结果。
2017-06-07 cs.LG cs.SD
Personalized Dynamic Music Emotion Recognition with Dual-Scale Attention-Based Meta-Learning
Zhejiang University(浙江大学)
本文提出DSAML方法,通过双尺度注意力Transformer捕获短长期依赖,并结合按标注者划分任务的元学习策略,仅需一个个性化样本即可实现个性化动态音乐情感识别。
2024-12-26 cs.IR cs.SD eess.AS
A Comparative Study of Western and Chinese Classical Music based on Soundscape Models
Simon Fraser University(西蒙菲莎大学);Academia Sinica(中央研究院);Dartmouth College(达特茅斯学院)
无论是从字面上还是从字面上看,声景的概念在现代和古代音乐中都有所提及。在这项研究中,我们探讨是否可以分析和比较西方和中国古典音乐的基础上,声景模型。我们通过比较研究来解决这个问题。具体而言,西方古典音乐选段(WCMED)和中国古典音乐选段(CCMED)的语料库,并通过众包实验与情感价和唤醒进行标注。我们使用声音事件检测(SED)和声景情感识别(SER)模型和迁移学习来预测WCMED和CCMED的感知情感。结果表明,SER和SED模型都可以用来分析中国和西方古典音乐。SER和SED在中国古典音乐情感识别上表现更好的事实证明,中国古典音乐和音景录音之间存在某些相似性,这使得机器学习模型之间具有可移植性。
2020-02-20 cs.LG cs.SD eess.AS
Emotion-Guided Image to Music Generation
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Samsung R&D Institute Noida(三星诺伊达研发中心);Chubu University(中部大学)
针对图像到音乐生成的情感匹配需求,提出基于VA情感空间、整合VA损失函数的CNN-Transformer框架,在自建情感配对数据集上多项指标优于现有模型。
2024-10-29 cs.CV cs.LG cs.SD
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK(爱丁堡大学);University of Toronto, Canada(多伦多大学);Microsoft Research, US(微软研究院)
针对音乐情感识别与生成中的情感偏差问题,提出使用基于多音频编码器的 Fréchet Audio Distance(FAD)进行客观评估,并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space
University of California, Berkeley(加州大学伯克利分校);Renmin University of China(中国人民大学);Nankai University(南开大学);Didi Chuxing(滴滴出行);Tianjin University(天津大学)
图像和音乐都可以传达丰富的语义,并被广泛用于诱导特定的情感。将图像和音乐与相似的情感相匹配可能有助于使情感感知更加生动和强烈。现有的基于情感的图像和音乐匹配方法要么采用有限的分类情感状态,不能很好地反映情感的复杂性和微妙性,或训练匹配模型使用不切实际的多级管道。在本文中,我们研究了端到端的图像和音乐之间的情感匹配的基础上,在连续价唤醒(VA)空间。首先,我们构建了一个大规模的数据集,称为图像音乐匹配网络(IMEMNet),超过14万个图像音乐对。其次,我们提出了跨模态深度连续度量学习(CDCML)来学习一个共享的潜在嵌入空间,该空间保留了连续匹配空间中的跨模态相似性关系。最后,我们通过进一步保留图像和音乐的VA空间中的单模态情感关系来细化嵌入空间。嵌入空间中的度量学习和标签空间中的任务回归针对跨模态匹配和单模态VA预测进行了联合优化。在IMEMNet上进行的大量实验表明,与最先进的方法相比,CDCML在基于情感的图像和音乐匹配方面具有优越性。
2020-08-22 cs.CV cs.MM cs.SD
Bridging Paintings and Music -- Exploring Emotion based Music Generation through Paintings
Queen Mary University of London(伦敦玛丽女王大学)
本研究针对绘画与音乐配对数据稀缺的问题,构建两阶段框架和Emotion Painting Music Dataset,实现从绘画情感生成匹配音乐,验证了生成效果,为视障辅助、教育及治疗等场景提供了多感官工具。
2024-09-12 cs.CV cs.MM cs.SD
How Well Do Generative Music Models Follow Emotion Conditioning?
本研究构建统一评估流程,以GTZAN数据集为基础,评估Stable Audio Open等三个生成式音乐模型的情绪跟随表现,发现文本条件生成更优,效价保留更可靠,强调直接评估情感可控性的重要性。
2026-09-01 cs.SD eess.AS
The emotions that we perceive in music: the influence of language and lyrics comprehension on agreement
Universitat Pompeu Fabra(庞培法布拉大学);A*STAR(新加坡科技研究局)
在本研究中,我们解决流行音乐和摇滚音乐(主要是欧美风格的英语歌词)和听众所说的语言之间的关系。我们的目标是了解歌词理解对情感感知的影响,并使用这些信息来改善音乐情感识别(MER)模型。两个主要的研究问题是解决:1。不同母语的听众在流行/摇滚音乐中感受到的情感是否存在差异和相似之处?2.个人特征是否会影响特定语言的听众的感知情绪?个人特征包括听众的一般人口统计数据、对片段的熟悉程度和偏好以及音乐的复杂程度。我们的假设是,评分员之间的协议(定义为克里彭道夫的阿尔法系数)从主题是直接影响的理解歌词。
2019-10-25 cs.CL cs.SD eess.AS
Emotion and Theme Recognition in Music with Frequency-Aware RF-Regularized CNNs
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
我们向MediaEval 2019提交了CP-JKU提交;一种接受场(RF)正则化和频率感知的CNN方法,用于用情感/情绪标签标记音乐。我们对CNN的RF对其在该数据集上的性能的影响进行了调查。我们观察到,具有较小感受野的ResNet-最初适用于声学场景分类-在情感标签任务中也表现良好。我们使用频率感知和Shake-Shake正则化等技术来提高这种架构的性能,这些技术在以前的工作中用于一般的声学识别任务。
2019-10-28 cs.LG cs.MM cs.SD
Emotion-Aligned Contrastive Learning Between Images and Music
University of Southern California(南加州大学)
针对跨模态音乐检索中情感匹配研究不足的问题,提出基于情感监督对比学习的图像-音乐情感对齐联合嵌入方法,经跨模态检索和自动音乐标注实验验证,该方法能有效对齐两者情感,适用于跨模态检索场景。
2024-12-08 cs.MM cs.SD eess.AS
An empirical approach to the relationship between emotion and music production quality
Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学)
在音乐制作中,混音工程师的角色是录制音乐并尽可能专业地传达所表达的情感。我们调查了音乐生产质量和音乐诱导和感知的情绪之间的关系。进行了听力测试,其中10名关键听众和10名非关键听众评估了10首歌曲。每首歌都有两种混音,低质量混音和高质量混音。每个参与者的主观体验通过问卷调查直接测量,并通过检查周围的生理变化,面部表情的变化以及他们在听每种混合时摇头和摇头的次数间接测量。我们发现,音乐制作质量对挑剔的听众有更多的情感影响。此外,关键的听众有显着不同的情绪反应,非关键的听众的高质量的混合,并在较小程度上的低质量的混合。研究结果表明,拥有高水平的混音技术似乎只在情感背景下对一部分音乐听众有影响。
2018-03-29 cs.SD eess.AS eess.IV
Aligning MusicLLM with Emotion using Instruction Tuning and Feedback-Driven Alignment
LY Corporation
本文研究如何通过指令微调和反馈驱动对齐策略,使音乐大语言模型(MusicLLM)具备情感回归能力,并证明反馈驱动对齐能显著提升唤醒度和效价预测性能,同时保持音乐问答能力。
2026-06-24 cs.SD
Controlling Perceived Emotion in Symbolic Music Generation with Monte Carlo Tree Search
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
提出了一种基于蒙特卡罗树搜索的符号音乐生成中情感控制的新方法。我们使用蒙特卡罗树搜索作为解码机制,以引导概率分布的语言模型学习到一个给定的情感。在解码过程的每一步,我们使用预测器上置信度树(PUCT)搜索序列,最大化的情感和质量的平均值,分别由情感分类器和一个神经网络。我们使用一个语言模型作为PUCT的策略,并将情感分类器和语义分类器的组合作为其价值函数。为了解码一段音乐中的下一个令牌,我们从搜索过程中创建的节点访问分布中进行采样。我们使用一组直接从生成的样本计算的客观指标来评估生成的样本相对于人类组成的作品的质量。我们还进行了用户研究,以评估人类受试者如何感知生成的样本的质量和情感。我们比较了PUCT与随机双目标束搜索(SBBS)和条件采样(CS)。结果表明,PUCT在几乎所有的音乐质量和情感指标上都优于SBBS和CS。
2022-09-01 cs.LG cs.MM cs.SD
Use of Variational Inference in Music Emotion Recognition
Universidade Federal do Rio de Janeiro(里约热内卢联邦大学);Instituto de Matemática(数学研究所)
这项工作的目的是将统计技术应用于音乐情感识别领域,这是信号处理领域中一个公认的领域,但几乎没有从统计的角度进行探索。在这里,我们打开了该领域内的几种可能性,应用现代贝叶斯统计技术和开发有效的算法,重点是所获得的结果的适用性。虽然这个项目的动机是开发一个基于情感的音乐推荐系统,但它的主要贡献是一个高度适应性的多变量模型,可以用来解释任何有兴趣以有效的方式应用正则化的数据库。一般来说,我们将探讨一个合理的理论统计分析在能够理解一个知名数据库的算法建模中可以发挥什么作用,以及这种方法可以获得什么。
2021-07-09 cs.LG cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK(爱丁堡大学)
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调,揭示了情感语音与音乐间的声学相似性及模型情感偏差,并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Are Expressions for Music Emotions the Same Across Cultures?
Max Planck Institute for Empirical Aesthetics(马克斯·普朗克实证美学研究所);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Cornell University(康奈尔大学)
针对跨文化音乐情感研究中依赖西方资源的偏差问题,该研究通过平衡抽样三国流行音乐、开放式标签构建文化特异性分类法及评分实验,揭示了情感表达的文化差异与共性,强调需自下而上的领域敏感方法减少偏差。
2025-02-12 cs.CL cs.HC cs.SD
Learning Affective Correspondence between Music and Image
Adobe Research(奥多比研究院);University of Warwick(华威大学)
我们介绍了学习音频(音乐)和视觉数据(图像)之间的情感对应的问题。对于该任务,如果音乐剪辑和图像具有相似的情感内容,则它们被认为是相似的(具有真正的对应性)。为了估计这种跨模态的,以情感为中心的相似性,我们提出了一个深层的神经网络架构,该架构学习将来自两种模态的数据投影到一个共同的表示空间,并执行预测情感对应(真或假)的二进制分类任务。为了方便本研究,我们构建了一个大规模的数据库,包含超过$3,500$音乐剪辑和$85,000$图像与三个情绪类(积极,中性,消极)。所提出的方法实现了$61.67\%$的准确性,该数据库上的情感对应预测任务,优于两个相关的和有竞争力的基线。我们还证明了我们的网络学习特定于模态的情感表示(没有明确地用情感标签进行训练),这对个体模态中的情感识别很有用。
2019-04-17 cs.LG cs.MM cs.SD
Emotion-driven Piano Music Generation via Two-stage Disentanglement and Functional Representation
UC San Diego(加州大学圣地亚哥分校);National Taiwan University(台湾大学)
本文提出一种两阶段解耦框架,结合新型功能表示,分别对主旋律谱效价和演奏层面唤醒度进行建模,有效解决了钢琴音乐生成中的情感建模不足问题,并展示了广泛的情感控制应用潜力。
2024-07-30 cs.AI cs.SD eess.AS
MoodLoopGP: Generating Emotion-Conditioned Loop Tablature Music with Multi-Granular Features
Queen Mary University of London(伦敦玛丽女王大学)
本文在 LooperGP 基础上提出 MoodLoopGP,通过融合歌曲级与小节级多粒度音乐特征控制情感表达,并经算法、人工评估及消融研究验证其生成快乐与悲伤循环六线谱音乐的有效性。
2024-01-25 cs.SD eess.AS
Are We There Yet? A Brief Survey of Music Emotion Prediction Datasets, Models and Outstanding Challenges
Information Systems Technology and Design Pillar(信息系统技术与设计学院)
本文综述了音乐情感预测的数据集、模型与挑战,指出数据集质量、标签模糊和跨数据集泛化等问题,并提出标准化基准、更大数据集和可解释性等未来方向。
2025-06-24 cs.AI cs.SD eess.AS
Are Words Enough? On the semantic conditioning of affective music generation
ITI;LARSyS;INESC TEC
该范围综述梳理自动音乐生成的规则与机器学习两大范式,聚焦文本驱动的深度学习音乐生成模型,探讨语言表征音乐情感的可行性,指出深度学习结合自然语言的应用有望赋能创意产业的音乐创作。
2023-11-07 cs.LG cs.MM cs.SD
Decoding and Visualising Intended Emotion in an Expressive Piano Performance
Institute of Computational Perception, Johannes Kepler University Linz(约翰·开普勒林茨大学计算感知研究所);LIT AI Lab, Linz Institute of Technology(林茨理工学院LIT人工智能实验室)
专业的音乐家可以塑造一个音乐作品来传达他们想要传达的特定情感。在本文中,我们放置一个中间层的功能为基础的音乐情感模型在这个表演者到听众的通信场景,并通过一个小的可视化音乐情感解码实时的。我们还扩展了现有的一套中级功能,使用类似的感知速度和感知动态。
2023-03-03 cs.SD eess.AS
Predicting emotion from music videos: exploring the relative contribution of visual and auditory information to affective responses
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Goethe University Frankfurt(法兰克福大学)
尽管媒体内容越来越多地以多种形式的组合来生产、分发和消费,但个体形式如何对媒体项目的感知情感做出贡献仍然知之甚少。在本文中,我们提出了MusicVideos(MuVi),情感多媒体内容分析的一种新的数据集,研究听觉和视觉模态如何有助于感知媒体的情感。通过在三种条件下向参与者展示音乐视频来收集数据:音乐,视觉和视听。参与者对音乐视频进行了注释,以了解随着时间的推移的效价和唤醒程度,以及传达的整体情感。我们提供了数据集中关键指标的详细描述性统计数据,以及每种条件下特征重要性分析的结果。最后,我们提出了一种新的迁移学习架构,训练预测模型增强与孤立的模态评级(PAIR),并证明了潜在的孤立的模态评级,以提高多模态情感识别。我们的研究结果表明,觉醒的看法主要是由听觉信息的影响,而感知价更主观,可以同时受到视觉和听觉信息的影响。数据集是公开的。
2022-02-19 cs.CV cs.LG cs.MM
Feature Selection Approaches for Optimising Music Emotion Recognition Methods
University of Technology Sydney(悉尼科技大学)
音乐情感特征的高维性是音乐情感识别的一个挑战。关于音频特征和情感之间的关系没有共识。MER系统使用所有可用的特征来识别情感;然而,这不是最佳解决方案,因为它包含充当噪声的不相关数据。在本文中,我们介绍了一个特征选择方法,以消除冗余功能的MER。我们基于特征选择算法(FSA)创建了一个选定的特征集(SFS),并通过使用两个模型(支持向量回归(SVR)和随机森林(RF))进行训练来对其进行基准测试,并将它们与使用完整特征集(CFS)进行比较。结果表明,采用SFS后,MER对随机森林(RF)和支持向量回归(SVR)两种模型的性能都得到了改善。我们发现使用FSA可以在所有场景中提高性能,并且它对MER任务的模型效率和稳定性具有潜在的好处。
2022-12-27 cs.LG cs.MM cs.SD
Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation
University of Southern California(南加利福尼亚大学);National Technical University of Athens(雅典国家技术大学)
音乐认知和音乐神经反应的研究对于理解人类情感具有不可估量的价值。然而,大脑信号表现出高度复杂的结构,这使得处理和检索有意义的特征具有挑战性,特别是像情感这样的抽象结构。此外,学习模型的性能被有限的可用神经元数据及其严重的受试者间变异性所破坏。在本文中,我们提取有效的,个性化的情感表征,从脑电信号在听音乐。为此,我们采用音乐信号作为EEG的监督方式,旨在将其语义对应投射到一个共同的表示空间上。我们利用一个双模态框架,通过结合基于LSTM的注意力模型来处理EEG和用于音乐标记的预训练模型,以及一个反向域映射来对齐两种模态的分布,进一步用情感标签约束学习过程。由此产生的框架可以直接用于情感识别,通过执行监督的预测从任何一种方式,和间接地,通过提供相关的音乐样本EEG输入查询。实验结果表明,通过刺激信息识别的目的,提高神经元数据的潜力,并产生洞察音乐诱导的情感特征的分布和时间方差。
2022-02-20 cs.IR cs.LG cs.SD
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen(哥本哈根大学)
本文旨在测试多模态方法的音乐情感识别(MER)是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征,组合歌词特征,包括情感,TF-IDF和Anew,以预测Deezer情绪检测数据集(DMDD)(Delbouys et al.,2018),具有4种不同的回归模型。我们发现,在11个高级歌曲特征中,主要有5个对性能有贡献,多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
Language Models for Music Medicine Generation
University of California Santa Cruz(加州大学圣克鲁兹分校);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Liberty Healthcare Corporation(自由医疗保健公司)
提出对 MusicGen 进行微调,生成符合同质原则的 30 秒音乐片段,组合成 15 分钟的“音乐药物”,帮助患者过渡情绪状态,作为音乐疗法会话间的临时缓解手段。
2024-11-13 cs.SD eess.AS
Leveraging LLM Embeddings for Cross Dataset Label Alignment and Zero Shot Music Emotion Prediction
Singapore University of Technology and Design(新加坡科技设计大学)
本研究提出一种利用LLM嵌入实现跨数据集标签对齐的音乐情感识别方法,通过非参数聚类对齐多数据集标签、引入对齐正则化提升模型适配性,实现无需额外训练的零样本音乐情感预测。
2024-10-17 cs.LG cs.MM cs.SD
A Categorical Approach for Recognizing Emotional Effects of Music
School of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学工程学院电气与计算机工程学院)
最近,数字音乐图书馆已经开发出来,可以很容易地访问。最新研究表明,目前基于唱片信息的音乐曲目组织和检索效率低下。此外,他们还证明了人们使用音乐曲目的情感标签来搜索和检索它们。在本文中,我们讨论了一组情感标签的分离性,提出了在分类情感表达,使用Fisher分离定理。我们确定了一组形容词来标记音乐部分:快乐,悲伤,放松,激动,史诗和惊悚片。从音乐部分中提取了时间、频率和能量特征。可以看出,所提取的特征内的最大可分性发生在放松和史诗音乐部分之间。最后,我们使用支持向量机训练了一个分类器来自动识别和生成音乐部分的情感标签。识别每个标签的准确率已经计算;结果表明,史诗音乐可以更准确地识别(77.4%),与其他类型的音乐相比。
2017-09-17 cs.AI cs.SD stat.ML
LARA-Gen: Enabling Continuous Emotion Control for Music Generation Models via Latent Affective Representation Alignment
X-LANCE Lab, Shanghai Jiao Tong University, China(上海交通大学X-LANCE实验室);Shanghai AI Lab, China(上海人工智能实验室);Shanghai Mental Health Center, Shanghai Jiao Tong University School of Medicine, China(上海交通大学医学院精神卫生中心)
LARA-Gen通过潜在情感表示对齐实现音乐生成模型的连续情绪控制,提升情绪可控性和音乐质量。
2026-10-22 cs.SD
Joint Learning of Emotions in Music and Generalized Sounds
GSSI - Gran Sasso Science Institute(格兰萨索科学研究所);University of Milan(米兰大学)
本研究提出通过多域联合学习构建音乐与通用声音的共同情绪空间,采用多类音频特征和异构模型,在两个公开数据集上实现了情绪预测效果超越现有最优水平,并开源了实验代码。
2024-08-14 cs.AI cs.SD eess.AS
AImoclips: A Benchmark for Evaluating Emotion Conveyance in Text-to-Music Generation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University (SNU)(首尔国立大学)
本研究推出AImoclips基准,通过12种情感意图、6个前沿TTM系统生成的千余段音乐及111名参与者的评分实验,评估文本生成音乐的情感传递效果,发现商业与开源系统的情感偏移方向相反,且所有模型均存在情感中性化偏差,为情感对齐的TTM系统开发提供参考。
2025-09-04 cs.AI cs.SD eess.AS
Wearable Music2Emotion : Assessing Emotions Induced by AI-Generated Music through Portable EEG-fNIRS Fusion
Zhejiang University(浙江大学);Hangzhou RongNao Technology Co., Ltd(杭州融脑科技有限公司)
针对音乐情绪诱发中刺激受限、单模态和便携性差的问题,提出MEEtBrain便携式多模态框架,结合AI生成音乐与无线EEG-fNIRS头带,实现效价/唤醒度情绪分析,并公开数据集。
2025-08-05 cs.AI cs.SD eess.AS
Computer-Generated Music for Tabletop Role-Playing Games
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院)
在本文中,我们提出了中阴作曲家,一个系统,以产生背景音乐的桌面角色扮演游戏。Bardo Composer使用语音识别系统将玩家语音翻译成文本,文本根据情感的模型进行分类。然后,Bardo Composer使用随机双目标束搜索,这是我们在本文中介绍的随机束搜索的变体,具有神经模型来生成传达所需情感的音乐作品。我们对116名参与者进行了用户研究,以评估人们是否能够正确识别系统生成的作品中传达的情感。在我们的研究中,我们使用了为《野性的呼唤》(Call of the Wild)制作的作品,这是一个在YouTube上可以找到的龙与地下城战役。我们的研究结果表明,人类受试者可以正确地识别所生成的音乐作品的情感,准确地说,他们能够识别由人类写的作品的情感。
2020-08-16 cs.LG cs.SD eess.AS
Towards Explainable Music Emotion Recognition: The Route via Mid-level Features
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
情感方面在我们与音乐的互动中起着重要的作用。然而,在MIR系统中对这些方面进行建模一直是非常具有挑战性的,因为情感是一种固有的抽象和主观的体验,因此很难首先量化或预测,并在接下来对预测进行解释。为了创建一个模型,可以给出一个音乐上有意义的和直观的解释,其预测,我们提出了一个VGG风格的深度神经网络,学习预测音乐作品的情感特征连同(并基于)人类可解释的,中级感知特征。我们将其与直接使用不考虑中级特征的相同网络预测情感进行比较,并观察到平均而言,通过中级特征的预测性能损失惊人地低。我们的网络的设计使我们能够可视化感知特征对个人情绪预测的影响,我们认为,通过中等水平的功能,性能的小损失是合理的,在预测的可解释性的增益。
2019-07-08 cs.LG cs.SD stat.ML
ADFF: Attention Based Deep Feature Fusion Approach for Music Emotion Recognition
Xi’an Jiaotong University(西安交通大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
音乐情感识别作为音乐信息检索的一个子任务,近年来得到了迅速的发展。然而,情感显著特征的学习仍然是一个挑战。在本文中,我们提出了一种端到端的基于注意力的深度特征融合(ADFF)方法。该方法仅以对数Mel谱图为输入,采用自适应的VGGNet作为空间特征学习模块(SFLM),获得不同层次的空间特征。然后将这些特征输入到基于注意力的挤压-激发(SE)时间特征学习模块(TFLM)中,得到多层次的情感相关时空特征(ESTFs),在最终的情感空间中能够很好地区分情感。此外,本文还提出了一种新的数据处理方法,将单通道输入切割成多通道输入,在保证MER质量的同时提高了计算效率。实验结果表明,与现有模型相比,该方法在R2值和唤醒度上分别提高了10.43%和4.82%,同时在不同尺度的数据集上和多任务学习中表现更好。
2022-06-30 cs.SD eess.AS