Interpreting Song Lyrics with an Audio-Informed Pre-trained Language Model
Queen Mary University of London（伦敦玛丽女王大学）；NYU Shanghai（上海纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
歌词解释可以帮助人们快速理解歌曲及其歌词，也可以更容易地从不断增长的大量音乐档案中有效地管理、检索和发现歌曲。在本文中，我们提出了BART融合，一种新的模型，用于从歌词和音乐音频中生成歌词解释，该模型将大规模预训练的语言模型与音频编码器相结合。我们采用跨模态注意模块将音频表示合并到歌词表示中，以帮助预训练的语言模型从音频角度理解歌曲，同时保留语言模型的原始生成性能。我们还发布了Song Interpretation Dataset，这是一个新的大规模数据集，用于训练和评估我们的模型。实验结果表明，额外的音频信息有助于我们的模型更好地理解单词和音乐，并生成精确和流畅的解释。跨模态音乐检索的另一个实验表明，由BART融合产生的解释也可以帮助人们比原始的BART更准确地检索音乐。
2022-08-24 cs.CL cs.SD eess.AS
TinyMU: A Compact Audio-Language Model for Music Understanding
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI， Télécom Paris， Institut Polytechnique de Paris）；Shanghai Jiao Tong University（上海交通大学）
本文提出TinyMU，一种轻量级音乐语言模型，通过MusicSkills-3.5M数据集训练，实现与大规模LALMs相当的性能，同时保持高效紧凑，适用于边缘设备。
2026-04-17 cs.SD
Note-Level Temporal Grounding of Musical Concepts in Large Audio-Language Models
Schulich School of Music, McGill University（麦吉尔大学舒利希音乐学院）；CIRMMT (Centre for Interdisciplinary Research in Music Media and Technology)（音乐媒体与技术跨学科研究中心（CIRMMT））；Courant Institute, New York University（纽约大学柯朗研究所）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））
本文提出时序音乐定位任务，构建基准集MusicGroundingBench评估音频-语言模型的该能力，发现当前模型完成该任务仍具挑战，任务特定训练可提升性能，该基准可用于评估模型回应是否基于音乐证据。
2026-10-05 cs.IR cs.SD
Beyond Binary Instrument QA: Probing Instrument Grounding in Music Audio-Language Models
本文通过多轴诊断基准测试发现，音乐音频-语言模型在二元乐器问答中的高准确率常掩盖选项位置偏差、易混淆乐器错误和时间响应偏差等问题，表明乐器接地评估需采用多维度基准而非单一准确率。
2026-07-01 cs.AI cs.SD eess.AS
MixAssist: An Audio-Language Dataset for Co-Creative AI Assistance in Music Mixing
University of Utah（犹他大学）；New Jersey Institute of Technology（新泽西理工学院）
MixAssist是一个包含431个音频对话轮次的音频-语言数据集，用于训练AI在音乐混音中提供协同创作辅助，微调Qwen-Audio模型在生成混音建议上表现显著优于其他模型。
2025-07-08 cs.AI cs.SD eess.AS
Investigating Modality Contribution in Audio LLMs for Music
Audio Research Lab, New York University, USA Integrated Design \& Media, New York University, USA
本文通过MM-SHAP框架量化音频大语言模型中各模态的贡献，发现高准确率模型更依赖文本回答问题，但音频仍能局部化关键声音事件，首次将MM-SHAP应用于音频大语言模型。
2026-02-02 cs.LG cs.SD
U-SAM: An audio language Model for Unified Speech, Audio, and Music Understanding
Northwestern Polytechnical University（西北工业大学）；Bytedance Inc.（字节跳动公司）
U-SAM是一种集成专用编码器与LLM的音频语言模型，通过MoE投影器和语义感知对比损失模块，实现语音、音频和音乐的全面理解，在多个基准上表现优异并具备泛化能力。
2025-05-27 cs.SD eess.AS eess.SP
The MUSE Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMS
针对现有评估可能掩盖多模态大语言模型关系推理缺陷的问题，研究者推出含10项任务的MUSE音乐感知开源基准，测试发现四款SOTA音频大模型能力差异大且与人类有差距，CoT提示效果不稳定。
2025-10-21 cs.AI cs.SD eess.AS
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
musicnn: Pre-trained convolutional neural networks for music audio tagging
Universitat Pompeu Fabra（庞培法布拉大学）；Music Technology Group（音乐技术集团）
发音为“musicnn”，musicnn库包含一组用于音乐音频标记的预先训练的音乐动机卷积神经网络：https://github.com/jordipons/musicnn。这个存储库还包括一些预训练的类似vgg的基线。这些模型可以用作开箱即用的音乐音频标记器、音乐特征提取器或用于迁移学习的预训练模型。我们还提供代码来训练上述模型：https://github.com/jordipons/musicnn-training。该框架还允许实现新的模型。例如，具有基于注意力的输出层（而不是时间池化层）的音乐动机卷积神经网络可以实现音乐音频标记的最先进结果：MagnaTagATune数据集上的90.77 ROC-AUC / 38.61 PR-AUC和百万歌曲数据集上的88.81 ROC-AUC / 31.51 PR-AUC。
2019-09-14 cs.CL cs.SD eess.AS
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK（爱丁堡大学）；University of Toronto, Canada（多伦多大学）；Microsoft Research, US（微软研究院）
针对音乐情感识别与生成中的情感偏差问题，提出使用基于多音频编码器的 Fréchet Audio Distance（FAD）进行客观评估，并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
MusicTM-Dataset for Joint Representation Learning among Sheet Music, Lyrics, and Musical Audio
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
本文提出了一个音乐数据集MusicTM-Dataset，用于提高不同类型的跨模态检索（CMR）的表示学习能力。包括三种模态的小型大型音乐数据集可用于学习CMR的表示。为了收集音乐数据集，我们扩展了原始的乐谱来合成音频和生成的乐谱图像，并建立基于乐谱的乐谱图像，音频剪辑和音节表示文本作为细粒度对齐，这样的MusicTM数据集可以被利用来接收多模态数据点的共享表示。MusicTM-Dataset提供了三种模态，包括乐谱图像、歌词文本和合成音频，它们的表示是通过一些先进的模型提取的。本文首先介绍了音乐数据集的背景，然后阐述了我们的数据汇集过程。基于我们的数据集，我们实现了CMR任务的一些基本方法。MusicTM数据集可通过https：//github.com/dddzeng/MusicTM-Dataset访问。
2021-05-07 cs.DB cs.IR cs.MM
Sori: Streamable and Controllable Model for Non-musical Audio to Symbolic Music Transformation
Seoul National University（首尔大学）
本研究提出NASMT任务，构建Sori模型，结合DAT与带γ的CFG实现非音乐音频到符号化音乐的可控转换，支持实时流式处理且性能优于相关模型。
2026-10-14 cs.SD
Generative AI for Music and Audio
University of California San Diego（加州大学圣地亚哥分校）
本论文围绕面向音乐与音频的生成式人工智能，研究多轨音乐生成、辅助创作工具和多模态学习，旨在降低音乐创作门槛并推动音频内容创作大众化。
2024-11-21 cs.AI cs.LG cs.MM
MuLan: A Joint Embedding of Music Audio and Natural Language
Google Research（谷歌研究院）；Seoul National University（首尔大学）
传统上，音乐标记和基于内容的检索系统是使用预定义的本体构建的，所述本体覆盖一组严格的音乐属性或文本查询。本文介绍木兰：第一次尝试新一代的声学模型，将音乐音频直接链接到不受约束的自然语言音乐描述。MuLan采用双塔联合音频文本嵌入模型的形式，使用4400万音乐录音（370K小时）和弱关联的自由文本注释进行训练。通过其与广泛的音乐流派和文本风格（包括传统的音乐标签）的兼容性，所得到的音频文本表示包含现有的本体，同时逐渐成为真正的zero-shot功能。我们通过一系列实验展示了MuLan嵌入的多功能性，包括迁移学习，zero-shot音乐标记，音乐领域的语言理解和跨模态检索应用。
2022-08-26 cs.CL cs.SD eess.AS
Audio Content Analysis
Georgia Institute of Technology（佐治亚理工学院）
介绍音频内容分析的书籍章节的预印本。本章以音乐信息检索系统为重点，定义了音乐音频内容，介绍了音频内容分析的一般过程，并概述了音频内容分析的基本方法。音频内容分析中的各种任务分为三类：音乐转录，音乐演奏分析，音乐识别和分类。音乐转录系统的示例包括音乐键检测、基频检测和音乐结构检测。音乐表现分析系统概述了节拍和节奏检测方法以及音乐表现评估。涵盖的音乐分类系统包括音频指纹、音乐流派分类和音乐情感识别。本章最后讨论了该领域目前面临的挑战，并对未来前景进行了推测。
2021-01-01 cs.SD eess.AS eess.SP
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego（加州大学圣地亚哥分校）
音乐中的情感是一个复杂的概念，即使使用微调的特征工程也很难捕捉。在本文中，我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别（MER）任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明，深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是，深音频嵌入代表音乐情感语义的MER任务，没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
MusCaps: Generating Captions for Music Audio
Queen Mary University of London（伦敦玛丽女王大学）；Universal Music Group（环球音乐集团）
随着深度学习的采用，基于内容的音乐信息检索取得了快速发展。目前的高级音乐描述方法通常使用分类模型，例如自动标记或流派和情绪分类。在这项工作中，我们建议通过音频字幕来解决音乐描述，定义为以类似人类的方式生成音乐音频内容的自然语言描述的任务。为此，我们提出了第一个音乐音频字幕模型，MusCaps，由一个编码器-解码器与时间的注意。我们的方法结合了卷积和递归神经网络架构，通过多模式编码器联合处理音频文本输入，并利用音频数据的预训练来获得有效捕获和总结输入中音乐特征的表示。通过自动度量生成的字幕的评估表明，我们的方法优于非音乐音频字幕设计的基线。通过消融研究，我们发现这种性能提升主要归功于音频编码器的预训练，而其他设计选择-模态融合，解码策略和注意力的使用-贡献很小。我们的模型代表了从基于分类的音乐描述的转变，并结合了需要听觉和语言理解的任务，以弥合音乐信息检索的语义差距。
2021-04-24 cs.CL cs.LG cs.SD
Music2Video: Automatic Generation of Music Video with fusion of audio and text
KAIST（韩国科学技术院）
随着在大型语料库上预训练的多模态表示模型的出现，使用生成对抗网络创建图像已被广泛应用于多模态机制。可以利用共享公共表示空间的各种模态来引导生成模型从文本甚至从音频源创建图像。不同于以往的方法，只依赖于文本或音频，我们利用这两种形式的表现力。基于文本和音频的融合，我们创建了视频，其内容与所提供的不同形式一致。一个简单的方法，自动分割成可变长度的视频间隔，并保持时间的一致性生成的视频是我们的方法的一部分。我们提出的框架生成音乐视频显示出可喜的成果，在应用程序级别，用户可以交互式地在音乐源和文本源，以创建艺术音乐视频。我们的代码可在https://github.com/joeljang/music2video上获得。
2022-06-09 cs.GR cs.MM cs.SD
Unsupervised Generative Adversarial Alignment Representation for Sheet music, Audio and Lyrics
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
乐谱、音频和歌词是创作歌曲的三种主要形式。在本文中，我们提出了一种无监督的生成对抗对齐表示（UGAAR）模型来学习三种主要音乐形式共享的深度判别表示：乐谱，歌词和音频，其中基于三个分支的深度神经网络架构被联合训练。特别是，该模型可以通过学习潜在共享子空间中的相关性，将音频和乐谱之间的强关系转移到音频-歌词和乐谱-歌词对。我们应用音频和乐谱的CCA组件来建立新的地面实况。生成（G）模型学习两对转移对的相关性，以针对固定歌词生成新的音频片对来挑战判别（D）模型。判别模型的目的是区分来自生成模型的输入还是来自基础事实的输入。这两个模型同时以对抗的方式进行训练，以增强深度对齐表示学习的能力。我们的实验结果表明，我们提出的UGAAR对齐表示学习之间的乐谱，音频和歌词的可行性。
2020-07-29 cs.IR cs.MM cs.SD
MuseAgent-1: Interactive Grounded Multimodal Understanding of Music Scores and Performance Audio
Nanyang Technological University（南洋理工大学）；Beijing University of Chemical Technology（北京化工大学）；Microsoft（微软公司）；University of Chicago（芝加哥大学）
MuseAgent-1 是一个专注于音乐的多模态代理，通过结构化符号表示和多步骤推理，提升对音乐谱面和表演音频的交互式理解能力。
2026-01-17 cs.MM cs.SD eess.AS
DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University（乌得勒支大学）
自动和弦估计（ACE）是音乐信息检索（MIR）中的一项基本任务，在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱，并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年，但ACE尚未成为一个解决的问题，因为性能停滞不前，现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL，一个新的ACE系统，利用广泛可用的标签和标签表示，以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频，使用最先进的音频ACE方法。将音频文件与音频对齐，然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列，然后与音频对齐。接下来，DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明，从异构的符号音乐表示的音乐知识的整合是一个合适的策略，解决具有挑战性的MIR任务，如ACE。
2020-02-22 cs.MM cs.SD eess.AS
SONIQUE: Video Background Music Generation Using Unpaired Audio-Visual Data
New York University（纽约大学）
SONIQUE利用非配对音视频数据，结合LLM视频理解与U-Net扩散模型，实现可定制的视频背景音乐生成，支持用户控制乐器、流派等音乐属性。
2025-02-26 cs.MM cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
音乐创作通常由两个部分组成：创作乐谱，然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展，但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果，因为乐谱不包含性能级别的信息，例如定时和动态的细微变化。此外，虽然该任务可能听起来像文本到语音合成问题，但由于音乐音频具有丰富的复调声音，因此存在根本差异。为了构建这样的AI表演者，我们在本文中提出了一个深度卷积模型，该模型以端到端的方式学习音乐的符号表示（称为钢琴卷）和音乐的音频表示（称为频谱图）之间的分数到音频映射。该模型由两个子模型组成：ContourNet，它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系，并给出初始结果;以及TextureNet，它进一步使用多波段残差网络，通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型，以生成小提琴、大提琴和长笛的音乐片段，数据集大小适中。我们还提出了一个用户研究的结果，表明我们的模型实现了更高的平均意见得分（MOS）的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
Audio-to-Score Alignment Using Deep Automatic Music Transcription
University of Milan（米兰大学）
音频到乐谱对齐（A2SA）是一项多模态任务，包括将音频信号与乐谱对齐。最近的文献证实了自动音乐转录（AMT）在帧级A2SA的好处。在这项工作中，我们的目标是详细说明AMT深度学习（DL）模型的利用，以实现在音符级别的对齐。我们提出了一种方法，它受益于基于HMM的分数到分数对齐和AMT，表现出显着的进步超出了国家的最先进的。我们设计了一个系统的程序，以利用大型数据集，不提供对齐的分数。最后，我们对多个数据集进行了全面的比较和广泛的测试。
2021-12-30 cs.MM cs.SD eess.AS
Creating A Multi-track Classical Musical Performance Dataset for Multimodal Music Analysis: Challenges, Insights, and Applications
University of Rochester（罗切斯特大学）；Listent American Corp.（Listent American公司）
我们介绍了一个数据集，以促进音乐表演的视听分析。该数据集包括44个简单的多乐器古典音乐作品，这些作品是由协调但单独录制的单个曲目的表演组装而成的。对于每一首作品，我们都提供了乐谱格式、单个曲目的音频记录、组合混音的音频和视频记录，以及地面实况注释文件，包括帧级和音符级transmittance。我们描述了我们的方法来创建的数据集，特别强调我们的方法来解决所面临的挑战，保持同步和表现力。我们证明了高质量的同步实现与我们提出的方法，通过比较数据集与现有的广泛使用的音乐音频数据集。我们预计，该数据集将是有用的现有的音乐信息检索（MIR）任务的开发和评估，以及新的多模态任务。我们基准测试两个现有的MIR任务（多音高分析和分数通知声源分离）的数据集上，并与其他现有的音乐音频数据集进行比较。此外，我们考虑了两个新的多模态MIR任务（视觉上知情的多音高分析和复调颤音分析），并提供了评估措施和基线系统，以供未来的比较（从我们最近的工作）。最后，我们提出了数据集支持的几个新兴研究方向。
2018-08-08 cs.MM cs.SD
Remixing Music with Visual Conditioning
Center for Music Technology Georgia Institute of Technology（佐治亚理工学院音乐技术中心）
我们提出了一个视觉条件的音乐混音系统，结合深度视觉和音频模型。该方法基于现有技术的视听声源分离模型，该模型利用视频信息执行乐器声源分离。我们修改了模型，使其在推理过程中使用用户选择的图像而不是视频作为视觉输入，从而实现仅音频内容的分离。此外，我们提出了一个混音引擎，概括的声源分离到音乐混音的任务。所提出的方法是能够实现改进的音频质量相比，由分离和添加方法与国家的最先进的视听声源分离模型执行的混音。
2020-10-27 cs.MM cs.SD eess.AS
Contrastive Audio-Language Learning for Music
Queen Mary University of London（伦敦玛丽女王大学）；Universal Music Group（环球音乐集团）
作为人类所知的最直观的界面之一，自然语言有潜力调解许多涉及人机交互的任务，特别是在以应用为中心的领域，如音乐信息检索。在这项工作中，我们探索跨模态学习，试图在音乐领域的音频和语言的桥梁。为此，我们提出了MusCALL，一个音乐对比音频语言学习的框架。我们的方法包括一个双编码器架构，学习音乐音频和描述性句子对之间的对齐，产生多模态嵌入，可用于文本到音频和音频到文本检索的开箱即用。由于这个属性，MusCALL可以被转移到几乎任何可以被转换为基于文本的检索的任务。我们的实验表明，我们的方法在检索与文本描述相匹配的音频时的性能明显优于基线，相反，检索与音频查询相匹配的文本。我们还证明了我们的模型的多模态对齐能力可以成功地扩展到zero-shot传输场景，用于两个公共数据集上的体裁分类和自动标记。
2022-08-25 cs.CL cs.LG cs.SD
Learning Audio - Sheet Music Correspondences for Score Identification and Offline Alignment
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；The Austrian Research Institute for Artificial Intelligence (OFAI)（奥地利人工智能研究所）
这项工作解决的问题，匹配短摘录的音频与他们各自的对应物在乐谱图像。我们展示了如何采用基于神经网络的跨模态嵌入空间来解决以下两个与乐谱相关的任务：当给定音乐音频作为搜索查询时，从数据库中检索正确的乐谱;以及将乐谱的音频记录与相应的乐谱图像对齐。我们证明了这一点的可行性，在实验中的古典钢琴音乐由五个不同的作曲家（巴赫，海顿，莫扎特，贝多芬和肖邦），并提供了一个讨论，为什么我们希望多模态神经网络是一个富有成效的范例，同时处理乐谱和音频。
2017-07-31 cs.IR cs.SD
Demonstration of PerformanceNet: A Convolutional Neural Network Model for Score-to-Audio Music Generation
Research Center for IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
我们在本文中提出的PerformacnceNet，我们最近提出的神经网络模型，以实现分数到音频的音乐生成。该模型学习将音乐作品从符号域转换到音频域，自动为音乐分配性能级别的属性，例如速度的变化，然后合成音频。因此，该模型不仅仅是一个神经音频合成器，而是一个学习以自己的方式解释乐谱的人工智能表演者。该模型的代码和示例输出可以在https://github.com/bwang514/PerformanceNet上找到。
2019-05-28 cs.SD eess.AS
SLAM-AAC: Enhancing Audio Captioning with Paraphrasing Augmentation and CLAP-Refine through LLMs
Shanghai Jiao Tong University（上海交通大学）
本文提出SLAM-AAC方法，通过改写增强扩展数据集并利用CLAP-Refine策略优化解码输出，结合EAT模型和LoRA微调LLM，在Clotho V2和AudioCaps数据集上实现了最先进的音频字幕生成性能。
2024-10-12 cs.SD eess.AS
Audio Prompt Adapter: Unleashing Music Editing Abilities for Text-to-Music with Lightweight Finetuning
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
本文提出轻量级模块AP-Adapter，利用AudioMAE提取特征并结合注意力适配器注入AudioLDM2，仅用2200万参数实现基于音频和文本提示的音乐全局与局部编辑，在音色、流派转换等任务上表现优异且具良好泛化能力。
2024-07-24 cs.AI cs.SD eess.AS
MusicSem: A Semantically Rich Language--Audio Dataset of Natural Music Descriptions
University of Rochester（罗切斯特大学）；National University of Singapore（新加坡国立大学）；SJTU Paris Elite Institute of Technology（上海科技技术巴黎精英学院）；Singapore Management University（新加坡管理学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
MusicSem是一个基于Reddit讨论的语义丰富的音乐描述数据集，旨在提升多模态音乐表示学习中对细粒度语义的建模能力。
2026-02-19 cs.MM cs.SD eess.AS
ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
University of Bologna（博洛尼亚大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Universidad de la República（共和国大学）
本文提出基于Conformer的ChordSync模型，无需弱对齐即可将和弦标注与音频精确对齐，并配套预训练模型和易用库，为音频和弦估计等MIR任务及音乐教育提供支持。
2024-08-01 cs.LG cs.MM cs.SD
Digital Audio Processing Tools for Music Corpus Studies
数字音频处理工具为音乐研究人员提供了研究非音符音乐和音乐表演的机会。本章总结了可以从音频中提取的信息类型以及目前可用的音频工具用于音乐语料库研究。提取方法的综述包括信号处理的入门和音频特征提取的背景理论。对音频工具的调查侧重于广泛使用的工具，包括具有图形用户界面的工具，即Audacity和Sonic Visualiser，以及用C/C++、Java、MATLAB和Python计算机程序设计语言编写的基于代码的工具。
2021-11-09 cs.SD eess.AS
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.（格雷斯诺特公司）
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题，例如，流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换，尽管创建这样的数据是耗时的或昂贵的，并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源，但可用的音乐音频量要大得多。在语义音频的邻近领域，无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中，使用卷积神经网络（CNN）对深度特征嵌入进行无监督训练，以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法，不仅显着提高了该算法的性能，但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
Audio-Based Music Classification with DenseNet And Data Augmentation
Ping An Technology (Shenzhen) Co., Ltd（平安科技（深圳）有限公司）
近年来，深度学习技术因其在图像识别方面的巨大成功而受到广泛关注。深度学习在各种信息处理领域的适应趋势已经形成，包括音乐信息检索（MIR）。在本文中，我们进行了全面的研究，音乐音频分类与改进的卷积神经网络（CNN）。据我们所知，这是第一个将密集连接卷积网络（DenseNet）应用于音乐音频标记的工作，它已被证明比残差神经网络（ResNet）表现更好。此外，两个具体的数据增强方法的时间重叠和音高移位已被提出，以解决标记的数据在MIR的不足。此外，集成学习堆叠的支持向量机的基础上。我们相信，DenseNet的强表示和数据增强的组合可以适用于其他音频处理任务。
2019-06-15 cs.MM cs.SD eess.AS
The Rarity of Musical Audio Signals Within the Space of Possible Audio Generation
Durham University（杜伦大学）
本研究通过分析白噪声生成音乐信号的概率，量化了音乐在音频信号空间中的稀有性，并探讨其对算法音乐系统生成能力的启示。
2024-05-23 cs.LG cs.SD eess.AS
Event-Based Token Sequences for Audio-Conditioned Music-Game Level Modeling
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）
研究音乐游戏关卡程序生成问题，受基于事件的符号音乐建模启发，提出令牌级序列公式，构建Transformer模型，在事件级评估中优于基线，能系统分析音频对节奏对齐事件预测的支持。
2026-07-13 cs.MM cs.SD
Learning music audio representations via weak language supervision
Queen Mary University of London（伦敦玛丽女王大学）；Universal Music Group（环球音乐集团）
用于音乐信息检索的音频表示通常以特定于任务的方式经由监督学习来学习。虽然有效地产生最先进的结果，这种方案缺乏灵活性的应用范围的模型可以有，并需要广泛的注释数据集。在这项工作中，我们提出的问题，是否有可能利用弱对齐的文本作为唯一的监督信号来学习通用的音乐音频表示。为了解决这个问题，我们设计了一个多模式架构的音乐和语言预训练（MuLaP）优化通过一组代理任务。弱监督以传达音轨的整体音乐内容的嘈杂自然语言描述的形式提供。在预训练之后，我们将模型的音频骨干转换为一组音乐音频分类和回归任务。我们通过比较相同音频骨干与不同训练策略产生的音频表示的性能来证明我们方法的有用性，并表明我们的预训练方法在所有考虑的任务和数据集上始终获得可比或更高的分数。我们的实验还证实，MuLaP有效地利用音频字幕对来学习表示，这与文献中的仅音频和跨模态自监督方法具有竞争力。
2022-02-17 cs.CL cs.IR cs.LG
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd（Tmap移动有限公司）
自监督学习的共同研究目标是提取一个通用的表示，任意下游任务将从中受益。在这项工作中，我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索（MIR）的任务，不同层次的音乐感知关注。本文通过对实验结果的分析，探讨了不同任务下对比学习策略的使用方向。我们发现，这些表示传达了一个全面的信息的听觉特性的音乐一般，虽然每个自我监督策略有自己的有效性，在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
'Warriors of the Word' -- Deciphering Lyrical Topics in Music and Their Connection to Audio Feature Dimensions Based on a Corpus of Over 100,000 Metal Songs
University of Vienna（维也纳大学）；University of Bamberg（班贝格大学）
我们研究了金属音乐的音乐和抒情内容之间的联系，结合自动提取的高层次的音频特征和定量文本分析的语料库124.288歌词从这种类型。基于该文本语料库，首先使用潜在狄利克雷分配（LDA）构建主题模型。对于503首歌曲的子样本，使用音频特征模型提取预测感知音乐硬度/沉重和黑暗/阴郁的分数。通过结合音频特征和文本分析，我们（1）提供了金属流派中抒情主题的全面概述，（2）能够确定硬度和其他音乐维度的水平是否与特别刺耳（和其他）文本主题的出现有关。二十个典型的主题被确定和投影到一个主题空间，使用多维尺度（MDS）。经过Bonferroni校正后，发现音乐的硬度和黑暗与“残酷的死亡”、“反乌托邦”、“古老和神秘主义”、“宗教和撒旦主义”、“战斗”和“（心理）疯狂”等文本主题呈正相关，而与“个人生活”和“爱情和浪漫”等主题呈负相关。
2019-11-13 cs.CL cs.SD eess.AS
MERIT: Learning Disentangled Music Representations for Audio Similarity
MERIT: Learning Disentangled Music Representations for Audio Similarity（MERIT：学习解耦音乐表示以实现音频相似性）
针对现有音乐相似性模型将旋律、节奏和音色等维度纠缠在一起的问题，提出MERIT框架，通过条件音频生成和源分离茎的训练策略学习解耦的因子特定表示，实现各维度独立响应。
2026-05-26 cs.SD
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab（字节跳动人工智能实验室）
以前很多视听人声相关的作品都把重点放在语音上，忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据，语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息，提出了一种多分支网络来学习音频和图像表示，并通过基于语义相似性的注意力融合表示，通过锚发声的概率来形成声学表示。实验结果表明，在复杂的声学环境中，该多分支网络的性能远优于纯音频模型，表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Towards End-to-End Audio-Sheet-Music Retrieval
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文演示了学习检索短片段的乐谱（图像）时，给出了一个简短的查询摘录的音乐（音频）的可行性-反之亦然-没有任何符号表示的音乐或分数。这在许多基于内容的音乐检索场景中非常有用。我们的方法是基于深度典型相关分析（DCCA）和学习相关的潜在空间，允许在两个方向上的跨模态检索。用相对简单的单声道音乐进行的初步实验显示出有希望的结果。
2016-12-15 cs.IR cs.LG cs.SD
Learning Musical Representations for Music Performance Question Answering
Dartmouth College（达特茅斯学院）；London School of Economics and Political Science（伦敦政治经济学院）
针对现有音视频问答方法在音乐表演场景中对多模态交互探索不足、未考虑乐器和音乐特征导致回答不准确的问题，本文设计融合音乐语境多模态交互的主骨干网络，标注发布数据集的节奏和音乐源信息，并对齐时间维度，在Music AVQA数据集上取得最先进效果。
2025-02-10 cs.CV cs.MM cs.SD
Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis
Vienna University of Technology（维也纳技术大学）
本论文将音频分析与计算机视觉相结合，从多模态的角度研究音乐信息检索（MIR）任务。本论文的重点是音乐视频的视觉层所提供的信息，以及如何利用它来增强和改进MIR研究领域的任务。这项工作的主要假设是基于这样一种观察，即某些表达类别，如体裁或主题，可以在视觉内容的基础上单独识别，而不需要听到声音。这导致了一个假设，即存在一种用于表达情绪或体裁的视觉语言。在进一步的结果中，可以得出结论，该视觉信息是音乐相关的，并且因此应该有益于对应的MIR任务，诸如音乐流派分类或情绪识别。本文针对视觉信息的提取及其在不同任务中的应用进行了一系列的综合实验和评价。创建自定义数据集，其适合于开发和测试能够表示音乐相关信息的视觉特征。评估范围从低级视觉特征到通过深度卷积神经网络检索的高级概念。此外，引入了新的视觉功能，捕捉有节奏的视觉模式。在所有这些实验中，基于音频的结果作为视觉和视听方法的基准。本实验针对三个MIR任务艺术家识别、音乐体裁分类和跨体裁分类进行。实验表明，利用视觉概念检测获得的高级语义信息的视听方法，优于纯音频类型分类准确率16.43%。
2020-02-01 cs.CV cs.IR cs.MM
Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tencent Music Entertainment（腾讯音乐娱乐）
在音乐产业中，对新发行的曲目进行个性化推荐一直是一个具有挑战性的问题。为了解决这个问题，我们首先探索用户的收听历史和人口统计数据，构建一个用户嵌入代表用户的音乐偏好。通过用户嵌入和来自用户喜欢和不喜欢的音轨的音频数据，可以使用具有Siamese网络的度量学习来获得针对每个音轨的音频嵌入。对于一个新的音轨，我们可以通过计算音轨的音频嵌入和不同用户嵌入之间的相似度来决定推荐的最佳用户组。建议的系统产生国家的最先进的性能，基于内容的音乐推荐测试与数百万用户和曲目。此外，我们提取音频嵌入的音乐流派分类任务的功能。实验结果表明了我们的音频嵌入的泛化能力。
2020-10-29 cs.SD eess.AS
MAP-Music2Vec: A Simple and Effective Baseline for Self-Supervised Music Audio Representation Learning
University of Sheffield（谢菲尔德大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Queen Mary University of London（伦敦玛丽女王大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）；Peking University（北京大学）；University of Tübingen（蒂宾根大学）；MPI-IS（马克斯·普朗克智能系统研究所）；Dartmouth College（达特茅斯学院）
深度学习社区对自监督学习（SSL）的兴趣呈指数级增长。然而，如何建立一个框架来以自我监督的方式学习原始音乐波形的有用表示仍然是未探索的。在这项工作中，我们设计了Music 2 Vec，这是一个探索不同SSL算法组件和音乐音频录制技巧的框架。我们的模型实现了与最先进的（SOTA）音乐SSL模型Juventure相当的结果，尽管后者的参数小于2%。该模型将在Huggingface上发布（请参考：https：//huggingface.co/m-a-p/music2vec-v1）
2022-12-05 cs.AI cs.LG cs.MM
Gaussian Processes for Music Audio Modelling and Content Analysis
Queen Mary University of London（伦敦玛丽女王大学）
真正的音乐信号是高度可变的，但它们具有强大的统计结构。关于声音产生的基本物理机制和构建复杂声音结构的规则（音符，和弦，完整的乐谱）的先验信息可以使用贝叶斯建模技术自然统一。通常，自动音乐转录的算法独立地执行单个任务，例如多个F0检测和节拍跟踪。挑战仍然是执行所有参数的联合估计。我们提出了一种贝叶斯方法来建模音乐音频和内容分析。所提出的方法的基础上高斯过程寻求联合估计的多个音乐概念，通过合并到内核先验信息的非平稳行为，动态，和丰富的频谱内容中存在的建模音乐信号。我们说明了这种方法的好处，通过两个任务：音高估计，并推断丢失的段在复调录音。
2016-06-10 cs.SD stat.ML
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Deep Performer: Score-to-Audio Music Performance Synthesis
Dolby Laboratories（杜比实验室）；University of California San Diego（加利福尼亚大学圣地亚哥分校）
音乐演奏合成的目的是将乐谱合成为自然的演奏。在本文中，我们借用了文本到语音合成的最新进展，并提出了深度表演者-一种新的系统，用于乐谱到音频的音乐表演合成。与演讲不同，音乐通常包含复调和长音符。因此，我们提出了两种新的技术，用于处理复调输入，并提供了一个细粒度的条件下的Transformer编码器-解码器模型。为了训练我们提出的系统，我们提出了一个新的小提琴数据集，包括成对的录音和分数以及它们之间的估计对齐。我们表明，我们提出的模型可以合成清晰的复调和谐波结构的音乐。在听力测试中，我们实现了与基线模型（一种条件生成音频模型）在音高准确性、音色和噪声水平方面具有竞争力的质量。此外，我们提出的模型在整体质量上显着优于现有钢琴数据集的基线。
2022-02-21 cs.LG cs.MM cs.SD
Evaluating Fake Music Detection Performance Under Audio Augmentations
本研究探讨了虚假音乐检测模型在音频增强下的鲁棒性，通过构建真实与合成音乐数据集并应用多种音频变换，发现即使引入轻度增强，最先进检测模型的分类准确率也显著下降。
2025-07-07 cs.AI cs.LG cs.SD
