GuitarFlow: Realistic Electric Guitar Synthesis From Tablatures via Flow Matching and Style Transfer
Centre for Digital Music, Queen Mary University of London(伦敦女王玛丽大学数字音乐中心);Aix-Marseille Univ CNRS PRISM(阿维尼翁-马赛大学 CNRS PRISM)
GuitarFlow利用指法谱引导,通过虚拟乐器渲染和流匹配风格迁移,实现快速训练的电吉他逼真合成,显著提升生成音频的真实感。
2025-10-23 cs.AI cs.SD eess.AS
MIDI-to-Tab: Guitar Tablature Inference via Masked Language Modeling
Queen Mary University of London(伦敦玛丽女王大学)
本文提出 MIDI-to-Tab,用掩码语言建模训练编码器-解码器 Transformer 推断音符的弦品分配,并经 DadaGP 预训练与专业数据微调;用户研究显示其可演奏性显著优于现有算法。
2024-08-09 cs.CL cs.IR cs.SD
DadaGP: A Dataset of Tokenized GuitarPro Songs for Sequence Models
Queen Mary University of London(伦敦玛丽女王大学);Academia Sinica(中央研究院);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Dadabots;Taiwan AI Labs(台湾人工智能实验室)
源于文艺复兴时期,在数字时代蓬勃发展,表格是一种常用的音乐记谱系统,它提供了乐器指法而不是音高的明确表示。GuitarPro已经成为一种广泛使用的指法格式和软件,使音乐家能够编辑和分享歌曲,用于音乐练习,学习和创作。在这项工作中,我们提出了DadaGP,一个新的符号音乐数据集,包括26,181首歌曲的乐谱,在GuitarPro格式涵盖739音乐流派,以及伴随的标记化格式非常适合生成序列模型,如Transformer。标记化格式的灵感来自于通常用于符号音乐生成模型的基于事件的编码。该数据集与编码器/解码器一起发布,可将GuitarPro文件转换为令牌并返回。我们介绍了一个用例的结果,其中DadaGP用于训练基于transformer的模型,以生成GuitarPro格式的新歌。我们讨论了数据集的其他相关用例(吉他-低音转录,音乐风格转移和艺术家/流派分类)以及伦理影响。DadaGP开辟了训练GuitarPro乐谱生成器、根据自定义数据微调模型、创建新风格的音乐、AI驱动的歌曲创作应用程序和人工智能即兴创作的可能性。
2021-07-30 cs.LG cs.SD eess.AS
GOAT: A Large Dataset of Paired Guitar Audio Recordings and Tablatures
本文构建GOAT数据集,提供5.9小时高质量电吉他直录音及29.5小时音箱增强音频,并配套六线谱与token标注,用于MIDI和吉他六线谱自动转写等MIR任务。
2025-07-22 cs.AI cs.SD eess.AS
Rock Guitar Tablature Generation via Natural Language Processing
Rice University(莱斯大学)
深度学习最近使图像和文本的生成建模变得更加强大和民主化,同时还有更多的工作探索生成更复杂形式的数据(如音频)的可能性。然而,目前,高维度、长范围依赖性和缺乏标准化数据集使得音频和音乐的生成建模非常具有挑战性。我们建议将音乐建模为一系列离散的音符,在此基础上,我们可以使用自回归自然语言处理技术进行成功的生成建模。虽然以前的作品使用类似的管道数据,如乐谱和乐谱,我们的目标是将这种方法扩展到研究不足的吉他指法。具体来说,我们开发的第一个工作,我们的知识,模型一个特定的流派吉他指法:重摇滚。不像其他作品在吉他指法生成,我们有一个免费提供的公开演示在https://huggingface.co/spaces/josuelmet/Metal_Music_Interpolator
2023-02-01 cs.SD eess.AS
SCORE-SET: A dataset of GuitarPro files for Music Phrase Generation and Sequence Learning
Independent Researcher(独立研究者)
本文构建 SCORE-SET 数据集,将 MAESTRO 与 GiantMIDI 的 MIDI 音符改编为含多种吉他演奏表情的 .gp5 节奏吉他音轨,以支持音乐生成、序列建模和性能感知学习。
2025-07-24 cs.LG cs.SD eess.AS
TART: A Comprehensive Tool for Technique-Aware Audio-to-Tab Guitar Transcription
针对现有吉他自动转录存在的演奏技巧无法标注、弦品映射错误、泛化性差等问题,提出四阶段端到端流水线TART,可从音频生成带准确指法和技巧标签的详细吉他六线谱。
2025-10-02 cs.SD
Modeling Bends in Popular Music Guitar Tablatures
Univ. Lille, CNRS, Centrale Lille(里尔大学、法国国家科学研究中心、中央里尔高等学校)
该研究针对流行音乐吉他六线谱中的推弦技巧,提出25个高层特征结合前后文预测推弦出现,在932份谱例的数据集上用决策树实现了0.71的F1值,可辅助吉他谱改编。
2023-08-22 cs.AI cs.MM cs.SD
ShredGP: Guitarist Style-Conditioned Tablature Generation
Queen Mary University of London(伦敦玛丽女王大学);Indian Institute of Technology Kharaghpur(印度理工学院卡拉格普尔分校);Dadabots
ShredGP 是一个基于 Transformer 的 GuitarPro 指法谱生成模型,通过条件化模仿四位电吉他手风格,并利用 BERT 分类器验证其生成内容与目标风格的一致性。
2023-07-11 cs.SD eess.AS
Exploring Procedural Data Generation for Automatic Acoustic Guitar Fingerpicking Transcription
Klangio GmbH(Klangio公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出一种四阶段过程化数据生成流水线,通过合成数据训练CRNN音符跟踪模型,解决原声吉他指弹转录中标注数据稀缺的问题,并证明少量真实数据微调可超越纯真实数据训练效果。
2025-08-11 cs.CL cs.SD eess.AS
SynthTab: Leveraging Synthesized Data for Guitar Tablature Transcription
Authors(作者)
针对吉他指谱转录数据集规模有限导致过拟合的问题,提出利用商业吉他插件合成大规模音频数据集SynthTab进行预训练,实验证明能提升转录性能并缓解过拟合。
2024-01-25 cs.IR cs.MM cs.SD
GTR-CTRL: Instrument and Genre Conditioning for Guitar-Focused Music Generation with Transformers
Queen Mary University of London(伦敦玛丽女王大学);Indian Institute of Technology Kharagpur(印度理工学院哈拉格布尔分校);National Taiwan University(国立台湾大学);Dadabots(达达机器人)
最近,使用深度学习技术的符号音乐生成已经取得了稳步的进步。大多数关于这个主题的作品都集中在吉他的表现上,但是很少有人关注使用吉他制表符(tab)来编码多个乐器的符号音乐生成。标签包括信息的表达技术和指法为烦恼弦乐器除了节奏和音高。在这项工作中,我们使用DadaGP数据集进行吉他标签音乐生成,这是一个包含超过26 k首GuitarPro和令牌格式歌曲的语料库。我们介绍了基于所需乐器(inst-CTRL)和流派(genre-CTRL)来调节Transformer-XL深度学习模型以生成吉他标签(GTR-CTRL)的方法。在训练语料库中,在每首歌曲的开头附加特殊的控制标记。我们评估的模型的性能和无条件。我们提出了仪器存在的指标来评估的inst-CTRL模型的响应给定的仪器提示。我们训练了一个用于下游体裁分类的BERT模型,并使用它来评估用体裁-CTRL模型获得的结果。统计学分析表明,有条件和无条件模型之间存在显着差异。总体而言,结果表明,GTR-CTRL方法提供了更多的灵活性和控制吉他为重点的符号音乐生成比无条件模型。
2023-02-10 cs.AI cs.MM cs.SD
UT-AISTimprt submission for ICME 2026 Grand Challenge on Academic Text-to-Music Generation
UT-AIST
本研究针对低数据和小模型设置下的文本到音乐生成,提出基于文本或音频嵌入的聚类批量采样策略,分析模态和聚类粒度的影响,发现文本嵌入聚类在客观指标上更优,中等聚类数在客观指标最佳而大聚类数在听觉测试中结构更连贯。
2026-07-03 cs.SD
SDMuse: Stochastic Differential Music Editing and Generation via Hybrid Representation
Zhejiang University(浙江大学);Sea AI Lab(Sea人工智能实验室)
虽然深度生成模型已经赋予了音乐生成能力,但以细粒度编辑现有音乐作品仍然是一个具有挑战性且未充分探索的问题。在本文中,我们提出了SDMuse,一个统一的随机差分音乐编辑和生成框架,它不仅可以从头开始组成一个完整的音乐作品,但也可以修改现有的音乐作品在许多方面,如组合,延续,修补,和风格转移。拟议的SDM使用遵循两个阶段的管道,以实现音乐生成和编辑的混合表示,包括钢琴和MIDI事件的顶部。特别地,SDMuse首先通过基于扩散模型生成先验的随机微分方程(Stochastic Differential Equation,简称SDMS)迭代地去噪来生成/编辑pianoroll,然后细化所生成的pianoroll并自动回归地预测MIDI事件标记。我们评估我们的方法在ailabs 1 k7流行音乐数据集上生成的音乐在各种音乐编辑和生成任务的质量和可控性。实验结果表明,我们提出的随机差分音乐编辑和生成过程,以及混合表示的有效性。
2022-11-02 cs.MM cs.SD eess.AS
MusicAOG: an Energy-Based Model for Learning and Sampling a Hierarchical Representation of Symbolic Music
Central Conservatory of Music(中央音乐学院);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Alibaba Group(阿里巴巴集团)
本文提出MusicAOG,一种基于层次化与或图和能量模型的符号音乐表示与生成方法,利用极小极大熵原则和Metropolis-Hastings采样实现细粒度控制,显著提升了可解释性与可控性。
2024-01-05 cs.MM cs.SD eess.AS
TASTE: Taxonomy-Aware Symbolic Piano Generation from Textual Description
University of California, San Diego(加利福尼亚大学圣地亚哥分校);University of Rochester(罗切斯特大学)
本研究提出TASTE框架,通过音乐元素分类学、多粒度标注数据流水线及分阶段训练,实现文本条件下的符号钢琴生成,提升了音乐控制与文本对齐性,将发布相关资源。
2026-10-14 cs.SD
Cadence Detection in Symbolic Classical Music using Graph Neural Networks
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Linz Institute of Technology(林茨技术研究所)
从对位复调开始直到今天,韵律是一种复杂的结构,它一直驱动着音乐。检测这些结构对于许多MIR任务至关重要,例如音乐学分析,键检测或音乐分割。然而,自动节奏检测仍然具有挑战性,主要是因为它涉及到高级音乐元素的组合,如和声,语音引导和节奏。在这项工作中,我们提出了一个图形表示的符号分数作为中间手段来解决的节奏检测任务。我们使用图卷积网络将节奏检测作为不平衡节点分类问题。我们获得的结果大致与最先进的水平相当,我们提出了一个模型,能够在多个级别的粒度,从单个音符到节拍,由于细粒度,音符的音符表示进行预测。此外,我们的实验表明,图卷积可以学习有助于节奏检测的非局部特征,使我们不必设计对非局部上下文进行编码的专门特征。我们认为,这种一般的方法来建模乐谱和分类任务有一些潜在的优势,超出了这里提出的具体识别任务。
2022-08-31 cs.LG cs.SD eess.AS
Music Foundation Model as Generic Booster for Music Downstream Tasks
SonyAI(索尼人工智能);Sony Group Corporation(索尼集团);Sony Europe B.V.(索尼欧洲B.V.);Sony CSL(索尼计算机科学实验室)
本文提出音乐基础模型SoniDo,通过提取层次化中间特征作为通用助推器,增强音乐标注、转录、分离和混音等下游任务性能,尤其对数据稀缺场景有效。
2025-05-27 cs.IR cs.LG cs.SD
Automatic Curation of Large-Scale, High-Quality, Multi-Category Music Source Separation Dataset
Xiaomi Inc.(小米公司);Central Conservatory of Music(中央音乐学院)
本文提出ACMI数据集,通过网络爬取结合自动清洗生成含7类声部的大规模高质量音乐源分离数据集,实验表明其可提升MSS模型的SDR性能。
2026-08-25 cs.SD eess.AS
Music4All A+A: A Multimodal Dataset for Music Information Retrieval Tasks
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨);Human-centered AI Group, AI Lab, Linz Institute of Technology(以人为本的人工智能小组、人工智能实验室、林茨技术研究所)
本文提出基于艺术家和专辑粒度的多模态MIR数据集Music4All A+A,覆盖6,741位艺术家和19,511张专辑,并通过流派分类实验证明图像信息更丰富且现有多模态模型跨领域泛化困难。
2025-09-18 cs.IR cs.MM cs.SD
OK Computer Analysis: An Audio Corpus Study of Radiohead
音乐信息检索技术在流行音乐研究中的应用前景广阔。在目前的工作中,从1992年到2017年的Radiohead歌曲的语料库进行了自动音频分析。我们研究结果从一些粒度和角度来看,包括在歌曲和歌曲之间的音色节奏和和声特征的检查。时间上的变化包括可能对乐队发行的职业生涯产生的影响,如节奏减慢和亮度降低,以及电台司令扩大乐器资源的方法的音色标记,这些工具资源最能与Kid A和Escherichiac时代联系在一起。最后,我们的讨论强调了这种方法的一些挑战,以及基于音频文件的职业分析领域的潜力。
2022-11-29 cs.IR cs.SD eess.AS
Synthesizing Composite Hierarchical Structure from Symbolic Music Corpora
University of California, San Diego, CA, USA(加州大学圣迭戈分校);AudioShake, Oakland, CA, USA(AudioShake)
本文提出结构时间图(STG)统一表示音乐层次结构,通过模拟退火与SMT求解器结合,解决广义中值图问题,生成语料库代表性质心STG,实验验证了结构距离的区分性和质心的表征准确性。
2025-06-20 cs.AI cs.LO cs.SD
TapToTab : Video-Based Guitar Tabs Generation using AI and Audio Analysis
针对现有吉他六线谱自动生成方法指板检测与音符识别准确率不足的问题,提出结合YOLO实时指板检测与傅里叶变换音频分析的深度学习方法,显著提升检测准确率与鲁棒性,可用于革新吉他教学。
2024-09-13 cs.CV cs.SD eess.AS
Generating Albums with SampleRNN to Imitate Metal, Rock, and Punk Bands
Dadabots(达达机器人)
这个神经合成的早期例子是机器学习如何驱动新型音乐软件的概念验证。创建音乐可以很简单,只需指定一组模型训练的音乐影响即可。我们演示了一种方法,用于生成专辑,模仿乐队的实验音乐流派以前未实现的传统合成技术(如添加剂,减法,FM,颗粒,串联)。原始音频使用无条件SampleRNN在时域中自回归地生成。我们用这种方式制作了六张专辑。艺术作品和歌曲标题也是使用来自原始艺术家的背景目录的材料作为训练数据生成的。我们尝试了一种全自动的方法和一种人工策划的方法。我们讨论了它在机器辅助生产方面的潜力。
2018-11-16 cs.SD eess.AS
Play as You Like: Timbre-enhanced Multi-modal Music Style Transfer
National Tsing-Hua University(国立清华大学);Academia Sinica(中央研究院)
复调音乐作品的风格转换是一个具有挑战性的任务,需要考虑到不同的风格,富有想象力的,合理的音乐作品的造型不同于他们的原始之一。为了实现这一点,学习域变量(即,风格)和域不变(即,内容)信息是至关重要的。在本文中,我们提出了一个无监督的音乐风格转移方法,而不需要并行数据。此外,为了表征音乐作品的多模态分布,我们在所提出的系统中采用了多模态无监督图像到图像翻译(MUNIT)框架。这允许从表示内容和风格的学习的潜在分布生成不同的输出。此外,为了更好地捕捉声音的粒度,例如音色的感知维度和乐器特定性能中的细微差别,包括梅尔频率倒谱系数(MFCC)、频谱差和频谱包络的认知上合理的特征与广泛使用的梅尔频谱图组合成木材增强的多声道输入表示。相对论平均生成对抗网络(RaGAN)也被用来实现快速收敛和高稳定性。我们进行了实验的双边风格迁移任务之间的三个不同的体裁,即钢琴独奏,吉他独奏,弦乐四重奏。结果表明,所提出的方法在音乐风格转换、改善音质以及允许用户操纵输出方面具有优势。
2018-11-28 cs.SD eess.AS
The HaMSE Ontology: Using Semantic Technologies to support Music Representation Interoperability and Musicological Analysis
University of Bologna(博洛尼亚大学)
语义技术的使用--特别是语义网--已经被证明是描述文化遗产领域和艺术实践的一个很好的工具。然而,音乐学应用的本体的全景似乎是有限的,并限于特定的应用。在这项研究中,我们提出HaMSE,本体能够描述音乐的功能,可以协助音乐学研究。更具体地说,HaMSE建议解决几十年来一直影响音乐学研究的问题:音乐的表现以及定量和定性数据之间的关系。为了做到这一点,HaMSE允许不同的音乐表示系统之间的对齐,并描述了一组音乐学特征,可以允许在不同的粒度级别的音乐分析。
2022-02-11 cs.AI cs.DL cs.MM
From Audio Deepfake Detection to AI-Generated Music Detection -- A Pathway and Overview
Imperial College London(帝国理工学院);Technical University of Munich(慕尼黑工业大学)
本文系统综述AI生成音乐(AIGM)检测方法,建立四级分类体系,结合音频深度伪造检测开展分层可迁移性分析,从多维度分类代表性方法并提出未来研究方向。
2026-09-01 cs.SD eess.AS
SongBench: A Fine-Grained Multi-Aspect Benchmark for Song Quality Assessment
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院);Tencent(腾讯)
本文提出SongBench,通过七个关键维度评估歌曲质量,构建专家标注数据库,揭示当前模型的细粒度性能差距,推动更专业且音乐连贯的歌曲生成。
2026-04-16 cs.AI cs.SD eess.AS
SyncViolinist: Music-Oriented Violin Motion Generation Based on Bowing and Fingering
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田理工研究所);RIKEN(理化学研究所)
针对现有音频驱动小提琴动作生成需额外输入、难以兼顾全局与细粒度特征的问题,提出多阶段端到端框架SyncViolinist,仅用音频即可生成同步演奏动作,在主客观实验中均优于现有最优方法。
2024-12-11 cs.GR cs.SD eess.AS
Song Aesthetics Evaluation with Multi-Stem Attention and Hierarchical Uncertainty Modeling
School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an, China(计算机科学与技术学院,西安交通大学,西安,中国);Central Media Technology Institute, Huawei(中央媒体技术研究院,华为)
针对音乐生成人工智能带来的歌曲美学评估需求,提出含多茎注意力融合与分层粒度感知区间聚合模块的评估框架,在两个数据集上评估并与两个SOTA模型比较,该方法在多维歌曲美学评估中性能更强。
2026-07-20 cs.MM cs.SD eess.AS
From Generation to Attribution: Music AI Agent Architectures for the Post-Streaming Era
MixAudio by Neutune(Neutune 旗下 MixAudio);KAIST(韩国科学技术院)
本文针对生成式AI音乐在归属和版税方面的结构性缺陷,提出基于块级检索与智能体编排的音乐AI智能体架构,将归属嵌入创作流程,构建公平AI媒体平台并指向后流媒体协作生态。
2025-11-08 cs.HC cs.IR cs.MA