Musical Instrument Playing Technique Detection Based on FCN: Using Chinese Bowed-Stringed Instrument as an Example
Peking University（北京大学）；Wangxuan Institute of Computer Technology, PKU（北京大学王选计算机研究所）；China Conservatory of Music（中国音乐学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与旋律提取和其他音乐转录方面不同，演奏技术检测的研究仍处于早期阶段。针对目前乐器演奏技术检测主要集中在单个音符演奏技术检测的问题，提出了一种基于FCN的声音事件检测的端到端乐器演奏技术检测方法。在我们的例子中，我们选择二胡，一个著名的中国弓弦乐器，实验与我们的方法。针对FCN的局限性，提出了一种变长音频的检测算法.在一个新的数据集上测试了所提出的框架的有效性，其技术分类与我们的训练数据集相似。在新的测试集上进行的3次实验的最高准确率为87.31%。此外，我们还评估了10个真实世界的录音室音乐（由midi制作）和7个真实世界的录音样本，以解决我们的模型的泛化能力的建议框架的性能。
2019-10-20 cs.IR cs.MM cs.SD
A Music Information Retrieval Approach to Classify Sub-Genres in Role Playing Games
本文提出了一种基于音乐特征分析的方法，用于角色扮演游戏子类型分类。
2026-01-05 cs.IR cs.SD
A Dual Evaluation for Music Transcription
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
该研究针对音乐转录系统提出记谱相似度与回放相似度的双重评估框架，发现CLEWS指标相关性佳且成本低，不同评估维度偏好不同系统，新系统Rubato记谱相似度提升且回放具竞争力。
2026-08-07 cs.SD
Automatic Analysis and Influence of Hierarchical Structure on Melody, Rhythm and Harmony in Popular Music
Carnegie Mellon University（卡内基梅隆大学）
重复是音乐结构的基本指标。这项研究介绍了新的算法，用于识别基于重复的音乐短语。短语组合形成部分，产生两级层次结构。自动检测的层次重复结构揭示了结构和和弦进行，旋律和节奏之间的显着相互作用。不同层次的相互作用不同，提供证据表明，结构层次在音乐中发挥着重要作用，而不仅仅是简单的重复或相似的概念。我们的工作为音乐生成和音乐评价提供了新的应用。
2020-10-15 cs.SD eess.AS
Foley Music: Learning to Generate Music from Videos
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们介绍了福利音乐，一个系统，可以合成似是而非的音乐，一个无声的视频剪辑的人演奏乐器。我们首先确定了两个关键的中间表示为一个成功的视频到音乐生成器：从视频和音频录制的视频事件的身体关键点。然后，我们制定音乐生成从视频作为一个运动到视频翻译的问题。我们提出了一个图形$-$ Transformer框架，可以准确地预测事件序列，根据身体运动。然后，可以使用现成的音乐合成器工具将音乐事件转换为逼真的音乐。我们证明了我们的模型在包含各种音乐表演的视频上的有效性。实验结果表明，我们的模型优于现有的几个系统在生成音乐，是愉快的听。更重要的是，这些音乐表现是完全可解释和透明的，从而使我们能够灵活地进行音乐编辑。我们鼓励读者观看演示视频，并打开音频以体验结果。
2020-07-21 cs.CV cs.LG cs.SD
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje（斯科普里圣西里尔与美多德大学）；Faculty of Electrical Engineering and Information Technologies（电气工程与信息技术学院）
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者，只是通过搜索来寻找乐谱，还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统，可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法：音符起始检测，速度估计，节拍检测，音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律，与商业上可用的基于神经网络的系统相比，有很好的效果。
2021-08-24 cs.SD eess.AS
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR（比萨大学，CNR区域）；Scuola Superiore Sant’Anna, Area CNR（圣安娜高等学院，CNR区域）
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线，将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion
California Institute of Technology（加州理工学院）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；NVIDIA（英伟达公司）；Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究所）
针对符号音乐生成中非可微规则引导的挑战，提出仅需前向评估的免训练引导方法SCG及高时间分辨率潜在扩散架构，显著提升了音乐质量与规则可控性。
2024-09-25 cs.LG cs.SD eess.AS
Multi-Genre Music Transformer -- Composing Full Length Musical Piece
Purdue University（普渡大学）
在生成音乐的任务中，艺术因素起着很大的作用，对AI来说是一个巨大的挑战。以前的工作涉及对抗性训练，以产生新的音乐作品，并对音乐中的各种兼容性（节拍，节奏，音乐干）进行建模，展示了学习这项任务的很好的例子。尽管这仅限于生成mashup或从节奏和键分布中学习特征以生成类似的模式。复合词Transformer能够将音乐生成任务表示为涉及由复合词定义的音乐事件的序列生成挑战。这些音乐事件对音符的进展、和弦的变化、和声和艺术因素给予了更准确的描述。该项目的目标是实现一个多流派的Transformer，它通过更适应的学习过程来学习制作音乐作品，包括更具有挑战性的任务，其中还考虑了作曲的流派或形式。我们建立了一个多体裁的复合词数据集，实现了一个线性Transformer，它是在这个数据集上训练的。我们称之为多流派Transformer，它能够产生全长新的音乐作品，这是多样化的，可与原始轨道。该模型的训练速度比其他模型快2-5倍。
2023-01-06 cs.LG cs.SD eess.AS
HumTrans: A Novel Open-Source Dataset for Humming Melody Transcription and Beyond
Tencent PCG（腾讯平台与内容事业群）
本文介绍公开的HumTrans哼唱旋律转录数据集，含500首作品、1000个片段、56.22小时音频，由10名音乐学生录制，支持转录及音乐生成等下游任务。
2023-10-17 cs.SD eess.AS
Novel Recording Studio Features for Music Information Retrieval
Bremen Spatial Cognition Center, University of Bremen（不来梅大学不来梅空间认知中心）；Faculty of Information and Communication Technology, Mahidol University（玛希隆大学信息与通信技术学院）
在录音室里，电子舞曲（EDM）的制作人花更多的时间来创作，塑造，混合和掌握声音，而不是作曲或编曲。他们通过近距离聆听和利用音频测量和音频分析工具来调整声音，直到成功地创造出所需的声音美学。EDM的DJ倾向于播放符合他们声音理想的歌曲集。因此，我们建议使用录音室的音频测量和监控工具来分析EDM，而不是依赖于传统的低级别音频功能。我们通过一个简单的分类任务来测试我们的新功能集。我们把歌曲归功于会播放特定歌曲的DJ。这套新的功能和对DJ集的关注是针对EDM的，因为它考虑到了制作人和DJ文化。通过简单的降维和机器学习，这些特征使我们能够以63%的准确率将歌曲归因于DJ。录音室中的音频测量和监测工具的特征可以用于音乐信息检索中的许多应用，例如流派、风格和时代分类以及为DJ和电子舞曲消费者推荐音乐。
2021-01-25 cs.IR cs.SD eess.AS
AnimeTAB: A new guitar tablature dataset of anime and game music
Communication University of China（中国传媒大学）；Mcgill University（麦吉尔大学）
虽然吉他指法已经成为MIR研究中的一个热门话题，但还没有这样一个专注于动漫和视频游戏配乐的吉他指法数据集，这些音乐在年轻人中拥有惊人的广泛和不断增长的受众。在本文中，我们提出了AnimeTAB，指法吉他指法数据集MusicXML格式，它提供了更高质量的吉他指法研究人员和吉他演奏者。AnimeTAB包含412首完整曲目和547个片段，后者带有音乐结构（介绍，诗歌，合唱和桥梁）。一个附带的分析工具包，TABprocessor，包括进一步促进其使用。这包括旋律和旋律线提取，关键检测和和弦标签，这是使用基于规则的算法实现的功能。我们根据手动注释的地面实况评估了这些函数中的每一个。最后，以AnimeTAB为例，使用TABprocessor对AnimeTAB进行了音乐和技术分析.我们的数据和代码已公开提供给作曲家，表演者和音乐信息检索（MIR）研究人员。
2022-10-06 cs.SD eess.AS
Iranian Modal Music (Dastgah) detection using deep neural networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
音乐分类和音乐类型检测是音乐信息检索中的一个重要研究课题。然而，这种贡献在非西方音乐中是不够的，如伊朗的调式音乐。在这项工作中，我们已经实现了几个深度神经网络，以识别七个高度相关的类别中的伊朗调式音乐。最好的模型BiLGNet达到了92%的整体准确率，它使用了受自动编码器启发的架构，包括双向LSTM和GRU层。我们使用Nava数据集训练模型，其中包括1786张唱片和长达55小时的Kamanche，Tar，Setar，Reed和Santoor（Dulcimer）独奏音乐。我们考虑了MFCC、色度CENS和Mel频谱图等多个特征作为输入。结果表明，MFCC进行检测伊朗模态音乐（Dastgah）比其他声音表示更有价值的信息。此外，受自动编码器启发的架构在区分像Dastgahs这样高度相关的数据方面是鲁棒的。它还表明，由于伊朗Dastgah音乐的精确顺序，双向递归网络比本研究中实现的任何其他网络都更有效。
2022-10-19 cs.IR cs.SD eess.AS
Statistical Models for Automatic Fingering-Annotated Piano Sheet Music Transcription
University of Alberta（阿尔伯塔大学）
提出8种统计方法联合进行钢琴音符手部分离与指法标注，并构建从音频到指法乐谱的完整流水线，在PIG数据集上综合模型达到90.8%手部分离和56.6%联合标注准确率。
2026-09-25 cs.SD
Adaptive Music Composition for Games
Monash University（莫纳什大学）
动态适应内容和动作的音乐生成在构建更沉浸、更难忘和更情绪化的游戏体验方面发挥着重要作用。迄今为止，用于视频游戏的自适应音乐系统的开发受到用于实时音乐生成的算法的性质以及当前游戏中玩家动作、游戏世界上下文和情感的有限建模的限制。我们建议，这些问题必须同时解决，以显着提高自适应游戏音乐的质量和灵活性。知识组织和情感影响的认知模型与多模态，多智能体组成技术相结合，产生一种新的自适应音乐系统（AMS）。该系统集成到两个风格不同的游戏。游戏玩家报告说，在这两款游戏中，AMS的音乐与游戏世界概念的整体沉浸感和相关性都高于原始游戏配乐。
2019-07-02 cs.AI cs.MM cs.SD
Pitchclass2vec: Symbolic Music Structure Segmentation with Chord Embeddings
University of Bologna（博洛尼亚大学）
结构知觉是人类音乐认知的一个基本方面。从历史上看，音乐的结构层次组织作为一种叙事手段，用于传达意义，创造期望，唤起听众的情感。因此，音乐结构在音乐创作中起着至关重要的作用，因为它们塑造了作曲家组织思想的音乐话语。在本文中，我们提出了一种新的音乐分割方法，pitchclass2vec，基于符号和弦注释，这是嵌入到连续矢量表示使用自然语言处理技术和定制的编码。我们的算法基于长短期记忆（LSTM）神经网络，并且优于该领域中基于符号和弦注释的最先进技术。
2023-03-24 cs.AI cs.LG cs.SD
TuneGenie: Reasoning-based LLM agents for preferential music generation
该研究提出基于大语言模型的文本到音乐生成模型TuneGenie，借助LLM的文本推理能力分析个人音乐偏好并生成适配Suno AI的提示词，同时开发了同类模型的评估与基准测试方法，为AI艺术生成研究提供新支撑。
2025-06-10 cs.MA cs.SD eess.AS
Graph-based Polyphonic Multitrack Music Generation
University of Pisa（比萨大学）
本文提出一种新颖的音乐图表示和深度变分自编码器，分层分离生成音乐的结构与内容，支持指定乐器条件控制，实验证明其能生成调性节奏一致的音乐序列并有效组织潜在空间。
2023-07-27 cs.LG cs.SD eess.AS
NONOTO: A Model-agnostic Web Interface for Interactive Music Composition by Inpainting
Sony CSL（索尼计算机科学实验室）
基于inpainting的生成建模允许通过让用户使用统计模型对对象执行风格上一致的本地版本来刺激人机交互。我们提出了NONOTO，一个新的交互式音乐生成接口的基础上修补模型。它既针对研究人员，通过提供简单灵活的API，允许他们将自己的模型与界面连接起来，也针对音乐家，提供行业标准功能，如音频播放，实时音频输出和使用Ableton Link与DAW直接同步。
2019-07-23 cs.HC cs.LG cs.SD
Signal-domain representation of symbolic music for learning embedding spaces
IRCAM（声学/音乐研究所）
机器学习模型的一个关键方面在于它们学习有效中间特征的能力。然而，输入表示在这个过程中起着至关重要的作用，复调乐谱仍然是一种特别复杂的信息类型。在本文中，我们介绍了一种新的表示符号音乐数据，它转换成一个连续的信号的复调乐谱。我们从音乐的角度来评估学习有意义的功能，从这个表示的能力。因此，我们介绍了一种评价方法，依靠原则性的生成合成数据。最后，为了测试我们提出的代表性，我们进行了广泛的基准对最近的复调符号表示。我们表明，我们的信号表示导致更好的重建和解开功能。这种改进反映在度量属性和根据音乐理论属性从我们的类信号表示学习的空间的生成能力中。
2021-09-08 cs.LG cs.SD eess.AS
Melody Generation for Pop Music via Word Representation of Musical Properties
THE UNIVERSITY OF TOKYO（东京大学）；IRCAM（法国声学/音乐研究中心）；INNOVATION CREATIVE, INC.（创新创意公司）
流行音乐的自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而，由于许多因素，学习产生悦耳的旋律已经证明是非常具有挑战性的。纸币的多元属性的表示一直是主要的挑战之一。它也很难保持在音乐多样性的允许范围内，在此之外，将被视为一个没有听觉愉悦的简单随机演奏。观察流行音乐的传统结构带来了进一步的挑战。在本文中，我们建议将每个音符及其属性表示为一个唯一的“词”，从而减少属性之间的不对齐的前景，并降低学习的复杂性。我们还对音符的范围实施正则化策略，从而鼓励生成的旋律接近人类容易遵循的旋律。此外，我们生成旋律的歌曲部分信息的条件下，从而复制一个完整的歌曲的整体结构。实验结果表明，我们的模型可以生成令人愉快的歌曲，更难以区分人类写的比以前的模型。
2017-10-31 cs.MM cs.SD eess.AS
Audio Features Affected by Music Expressiveness
Università degli Studi di Milano（米兰大学）
在音乐信息检索的角度来看，这里提出的研究的目标是调查音乐家的情感意图，即当试图通过表现力有意传达情感内容的声音特征的影响。一个初步的实验已经进行了涉及$10$大号球员。通过提取各种特征对记录进行了分析，随后通过结合经典和机器学习统计技术对其进行了评估。结果进行了报告和讨论。
2016-05-17 cs.IR cs.SD
MIRFLEX: Music Information Retrieval Feature Library for Extraction
MIRFLEX是一个可扩展的模块化音乐特征提取库，集成最先进模型，提取调性、强拍、流派等音乐元素及乐器识别等音频特征，支持潜在或后处理标签，便于集成到音乐应用并作为基准测试工具。
2024-11-01 cs.AI cs.IR cs.SD
MidiTok Visualizer: a tool for visualization and analysis of tokenized MIDI symbolic music
Warsaw University of Technology（华沙理工大学）
针对非专业用户理解 MIDI 数据的困难，本文提出 Web 工具 MidiTok Visualizer，支持上传文件、自定义参数，并结合交互式钢琴卷帘可视化 MidiTok 的多种 MIDI 分词结果。
2024-10-27 cs.AI cs.MM cs.SD
The Evolution of Popular Music: USA 1960-2010
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
在现代社会中，文化的变化似乎永无止境。流行音乐的流行趋势尤其明显。虽然关于流行音乐的起源和演变已经写了很多，但大多数关于其历史的说法都是轶事，而不是科学的。为了纠正这一点，我们调查了1960年至2010年之间的美国公告牌100强。使用音乐信息检索（MIR）和文本挖掘工具，我们分析了图表中出现的约17，000个录音的音乐属性，并展示了其谐波和音色属性的定量趋势。然后，我们使用这些属性产生一个基于音频的音乐风格分类，并研究音乐的多样性和差异，测试和拒绝，文化变迁的几个经典理论的演变。最后，我们调查流行音乐的演变是渐进的还是间断的。我们表明，虽然流行音乐不断发展，它这样做的三个风格的“革命”在1964年，1983年和1991年左右，特别迅速。最后，我们讨论了我们的研究如何指向一个定量科学的文化变革。
2015-02-17 cs.SD physics.soc-ph
Transfer Learning for Rhythm Game Chart Generation from Music Transcription and Across Games
Sogang University（西江大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对节奏游戏谱面生成问题，采用冻结预训练AMT音频编码器并训练线性投影与Transformer解码器的迁移学习方法，在MuScriptor数据集上提升了osu!少样本模式的事件F1值，验证了跨游戏迁移受谱面风格与音乐类型影响。
2026-10-14 cs.SD
Play as You Like: Timbre-enhanced Multi-modal Music Style Transfer
National Tsing-Hua University（国立清华大学）；Academia Sinica（中央研究院）
复调音乐作品的风格转换是一个具有挑战性的任务，需要考虑到不同的风格，富有想象力的，合理的音乐作品的造型不同于他们的原始之一。为了实现这一点，学习域变量（即，风格）和域不变（即，内容）信息是至关重要的。在本文中，我们提出了一个无监督的音乐风格转移方法，而不需要并行数据。此外，为了表征音乐作品的多模态分布，我们在所提出的系统中采用了多模态无监督图像到图像翻译（MUNIT）框架。这允许从表示内容和风格的学习的潜在分布生成不同的输出。此外，为了更好地捕捉声音的粒度，例如音色的感知维度和乐器特定性能中的细微差别，包括梅尔频率倒谱系数（MFCC）、频谱差和频谱包络的认知上合理的特征与广泛使用的梅尔频谱图组合成木材增强的多声道输入表示。相对论平均生成对抗网络（RaGAN）也被用来实现快速收敛和高稳定性。我们进行了实验的双边风格迁移任务之间的三个不同的体裁，即钢琴独奏，吉他独奏，弦乐四重奏。结果表明，所提出的方法在音乐风格转换、改善音质以及允许用户操纵输出方面具有优势。
2018-11-28 cs.SD eess.AS
Point-and-Play: Instrument Timbre Cloning from Music Mixtures
University of Rochester（罗切斯特大学）
本研究提出Point-and-Play系统，可直接从复调混合信号中克隆提示源的音色并合成新音高和力度，其性能优于先分离后克隆的基线方法，与从干净独奏乐器克隆的性能相当。
2026-10-15 cs.SD eess.AS
Play Me Something Icy: Practical Challenges, Explainability and the Semantic Gap in Generative AI Music
Louisiana State University（路易斯安那州立大学）
该研究从实验音乐创作视角出发，分析文本转音乐生成式AI工具在语义鸿沟、可解释性、用户控制等方面的问题，提出改进方向以提升创作实用性。
2024-08-13 cs.AI cs.SD eess.AS
Enriching Music Descriptions with a Finetuned-LLM and Metadata for Text-to-Music Retrieval
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；Sogang University（西江大学）
本文提出TTMR++模型，利用微调大语言模型生成的丰富文本描述和元数据改进文本到音乐检索，实验证明其优于现有最先进模型。
2024-10-04 cs.IR cs.MM cs.SD
Siamese Residual Neural Network for Musical Shape Evaluation in Piano Performance Assessment
University of Strathclyde（斯特拉斯克莱德大学）；Robert Gordon University（罗伯特戈登大学）
本文提出轻量级孪生残差神经网络（S-ResNN）将音乐形态评估视为分类问题，通过构建包含4116首乐曲的新数据集，验证了该方法在精确率、召回率和F1分数上显著优于多种基准方法。
2024-01-04 cs.LG cs.MM cs.SD
