Multi-Modal Chorus Recognition for Improving Song Search
Soochow University（苏州大学）；University of California, Irvine（加州大学欧文分校）；Anhui Toycloud Technology（安徽Toycloud科技）；iFLYTEK Research（讯飞研究院）；iFLYTEK（科大讯飞）
我们讨论了一个新的任务，合唱识别，这可能有利于下游任务，如歌曲搜索和音乐摘要。与现有的基于单模态信息的音乐摘要或歌词摘要不同，本文将合唱识别建模为一个多模态的问题，同时利用歌曲的歌词和曲调信息。我们提出了一个多模态合唱识别模型，认为不同的功能。此外，我们还创建并发布了第一个包含627首歌曲的合唱识别数据集，供公众使用。我们对数据集进行的实证研究表明，我们的方法在合唱识别中优于几个基线。此外，我们的方法还有助于提高其下游任务-歌曲搜索的准确率超过10.6%。
2021-06-27 cs.IR cs.SD eess.AS
Generating lyrics with variational autoencoder and multi-modal artist embeddings
University of Waterloo（滑铁卢大学）
我们提出了一个系统，用于生成一个指定的艺术家的风格为条件的歌词线。该系统使用一个变分自编码器与艺术家嵌入。我们提出了艺术家嵌入的预训练与CNN分类器学习的表示，该分类器被训练为基于他们的歌曲剪辑的MEL频谱图来预测艺术家。这项工作是第一步，结合音频和文本形式的歌曲生成歌词的艺术家的风格。我们的初步结果表明，有一个好处，在初始化艺术家的嵌入与表示学习的声谱图分类。
2018-12-20 cs.CL cs.SD eess.AS
Multispecies bird sound recognition using a fully convolutional neural network
本研究提出基于全卷积神经网络的鸟声识别方法，通过网格搜索优化架构，实现高准确率、多物种检测及近实时识别，适用于物联网设备。
2024-02-08 cs.SD eess.AS
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
Interpreting Song Lyrics with an Audio-Informed Pre-trained Language Model
Queen Mary University of London（伦敦玛丽女王大学）；NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
歌词解释可以帮助人们快速理解歌曲及其歌词，也可以更容易地从不断增长的大量音乐档案中有效地管理、检索和发现歌曲。在本文中，我们提出了BART融合，一种新的模型，用于从歌词和音乐音频中生成歌词解释，该模型将大规模预训练的语言模型与音频编码器相结合。我们采用跨模态注意模块将音频表示合并到歌词表示中，以帮助预训练的语言模型从音频角度理解歌曲，同时保留语言模型的原始生成性能。我们还发布了Song Interpretation Dataset，这是一个新的大规模数据集，用于训练和评估我们的模型。实验结果表明，额外的音频信息有助于我们的模型更好地理解单词和音乐，并生成精确和流畅的解释。跨模态音乐检索的另一个实验表明，由BART融合产生的解释也可以帮助人们比原始的BART更准确地检索音乐。
2022-08-24 cs.CL cs.SD eess.AS
EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation
Academia Sinica（中央研究院）；National Taiwan University（台湾大学）；KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
虽然在文献中有许多带有情感标签的音乐数据集，但它们不能用于符号域音乐分析或生成的研究，因为通常只有音频文件。在本文中，我们提出了EMOPIA（发音为“yee-milling-pi-uh”）数据集，一个共享的多模态（音频和音频）数据库，专注于流行钢琴音乐中的感知情感，以促进与音乐情感相关的各种任务的研究。该数据集包含来自387首歌曲的1，087个音乐片段和由四个专用注释器注释的片段级情感标签。由于剪辑不限于每首歌曲一个剪辑，因此它们也可以用于歌曲级分析。我们提出了构建数据集的方法，包括歌曲列表管理，剪辑选择和情感注释过程。此外，我们原型的剪辑级音乐情感分类和基于情感的符号音乐生成的使用情况下，通过训练和评估相应的模型使用的数据集。结果表明，EMOPIA被用于未来的探索钢琴情绪相关的MIR任务的潜力。
2021-08-03 cs.MM cs.SD eess.AS
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology（中国矿业大学）；Kuaishou Technology（快手科技）
AudioGen-Omni提出统一多模态扩散Transformer，通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成，在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
Balanced Deep CCA for Bird Vocalization Detection
University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
当事件由两种不同的模态而不是仅一种捕获时，事件检测得到改进。但是在多模态上训练检测系统是具有挑战性的，特别是当存在大量未标记数据但标记数据量有限时。我们开发了一种新的多模态数据的自监督学习技术，学习（隐藏）同时记录的麦克风（声音）信号和加速度计（身体振动）信号之间的相关性。这项工作的主要目标是学习有用的嵌入与高性能的下游事件检测任务时，标记的数据是稀缺的，感兴趣的音频事件（鸣禽发声）是稀疏的。我们的方法基于深典型相关分析（DCCA），遭受事件稀疏。我们首先从标记的数据中学习数据采样模型，并将DCCA应用于它产生的输出，从而克服了正标签的稀疏性。这种方法，我们称之为平衡DCCA（b-DCCA），与经典DCCA相比，提高了无监督嵌入在下游监督音频检测任务上的性能。由于数据标签经常不平衡，我们的方法可能是广泛的实用程序在低资源的情况下。
2022-11-17 cs.LG cs.SD eess.AS
MIDI-Sandwich2: RNN-based Hierarchical Multi-modal Fusion Generation VAE networks for multi-track symbolic music generation
University of Science and Technology of China（中国科学技术大学）
目前，几乎所有的多音轨音乐生成模型都是使用卷积神经网络（CNN）来构建生成模型，而基于递归神经网络（RNN）的生成模型则无法应用于此任务。针对上述问题，本文提出了一种基于RNN的分层多模态融合生成变分自编码器（VAE）网络MIDI-Sandwich 2，用于多音轨符号音乐生成。MIDI-Sandwich 2受VQ-VAE 2的启发，通过使用多个独立的二进制变分自编码器（Binary Variational Autoencoder，BVAE）模型来处理每个音轨的信息，从而扩展了原有分层模型的维度。然后，利用多模态融合技术，上层多模态融合生成VAE（MFG-VAE）将各个音轨生成的特征空间向量进行组合，并利用解码器进行升维重构，模拟多模态融合、多模态生成的逆运算，从而实现基于RNN的多音轨符号化音乐生成。对于多音轨格式的pianoroll，我们还改进了MuseGAN的输出二值化方法，解决了原方案细化步骤难区分、梯度难下降的问题，使生成的歌曲更具表现力。该模型在Lakh Pianoroll数据集（LPD）多轨道数据集上进行了验证。与MuseGAN相比，MIDI-Sandwich 2不仅可以生成和谐的多轨音乐，生成质量也接近于艺术水平。同时，通过使用VAE还原歌曲，MIDI-Sandwich 2再现的半生成歌曲比MuseGAN生成的纯自动生成音乐更优美。代码和试听音频样本都是在https:…
2019-09-08 cs.LG cs.SD eess.AS
ARIONet: An Advanced Self-supervised Contrastive Representation Network for Birdsong Classification and Future Frame Prediction
Department of Computer Science and Engineering, United International University（计算机科学与工程系，国际大学）；Faculty of Science and Technology, Charles Darwin University（科学与技术学院，查尔斯达尔文大学）；Faculty of Science and Information Technology, Charles Darwin University（科学与信息技术学院，查尔斯达尔文大学）
针对现有鸟类鸣声分类依赖标注且忽略时间动态的问题，提出自监督对比网络ARIONet，联合优化对比分类与未来帧预测，在四个数据集上取得最高98.41%准确率，验证了其有效性。
2025-10-27 cs.SD
Who Will Top the Charts? Multimodal Music Popularity Prediction via Adaptive Fusion of Modality Experts and Temporal Engagement Modeling
GAMENet通过融合多模态数据和时间参与建模，提升了音乐流行度预测的准确性。
2025-12-06 cs.AI cs.LG cs.SD
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai（上海纽约大学）；Tencent PCG（腾讯平台与内容事业群）
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱？这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容，还要有钢琴作曲的先验知识（这样生成的作品听起来像音频，同时保持音乐性）。为此，我们贡献了一个跨模态表示学习模型，该模型1）从音频中提取和弦和旋律信息，2）从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后验被简化为标准的正态分布，并且仅需要音频进行推理。实验表明，我们的模型捕捉主要的音频信息，并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
LARP: Language Audio Relational Pre-training for Cold-Start Playlist Continuation
University of Rochester（罗切斯特大学）；National University of Singapore（新加坡国立大学）
针对歌单续推的冷启动难题，提出多模态三阶段对比学习框架LARP，整合跨模态与关系信号，在两个公开数据集上表现优于现有单/多模态模型。
2024-06-20 cs.IR cs.SD eess.AS
Multi-Microphone and Multi-Modal Emotion Recognition in Reverberant Environment
Faculty of Engineering Bar-Ilan University Ramat-Gan, Israel（工程学院 巴伊兰大学 拉马特-甘, 以色列）
针对混响等复杂声学环境下的情感识别难题，提出融合改进HTS-AT多通道音频处理与R(2+1)D视频分析的多模态MER系统，在混响RAVDESS数据集上验证其性能优于单模态及单麦克风方案。
2025-07-28 cs.LG cs.SD eess.AS
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
Enriched Music Representations with Multiple Cross-modal Contrastive Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Tampere University（坦佩雷大学）；Kakao Corp（Kakao公司）
对使音乐作品独特的各个方面进行建模是一项具有挑战性的任务，需要结合多种信息源。深度学习通常用于使用各种信息源（例如音频、用户与歌曲之间的交互或相关联的流派元数据）来获得表示。最近，与传统的监督方法相比，对比学习已经导致了更好的泛化表示。在本文中，我们提出了一种新的方法，结合了多种类型的信息相关的音乐使用跨模态对比学习，使我们能够学习的音频功能，同时从异构数据。我们对齐的潜在表示从播放列表轨道的相互作用，流派元数据，和轨道的音频，通过最大限度地提高这些模态表示之间的协议，使用对比损失。我们评估我们的方法在三个任务，即体裁分类，播放列表的延续和自动标记。我们将这些性能与训练用于预测这些模式的基于基线音频的CNN进行比较。我们还研究了在训练嵌入模型时包含多个信息源的重要性。结果表明，所提出的方法优于基线在所有三个下游任务，并实现了可比的性能，以最先进的。
2021-04-01 cs.IR cs.MM cs.SD
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal（瓦朗加尔国家理工学院）
我们提出了MoodNet -一个基于深度卷积神经网络的架构，可以有效地预测与音乐片段相关的情感，因为它的音频和歌词内容。我们评估了不同的架构，包括不同数量的二维卷积和子采样层，然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量，来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层，并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准，我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设，即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频，并得出结论，与使用单一模态作为输入相比，组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
Voices of the Mountains: Deep Learning-Based Vocal Error Detection System for Kurdish Maqams
University of Kurdistan（库尔德大学）
本研究提出一种基于深度学习的库尔德马卡姆唱错检测系统，通过双头CNN-BiLSTM模型识别音高、节奏和模态稳定性错误，验证集宏F1为0.468，但模态漂移召回率较低，需更多数据和平衡。
2026-02-24 cs.AI cs.SD
