Development of Large Annotated Music Datasets using HMM-based Forced Viterbi Alignment
Sri Sivasubramaniya Nadar College of Engineering（斯里·希瓦苏布拉马尼亚·纳达尔工程学院）
针对音乐数据集构建耗时且需专业经验的问题，提出一种基于HMM强制Viterbi对齐的自动标注方法，生成了精确的吉他数据集，为AMT系统开发奠定基础。
2024-08-27 cs.LG cs.SD eess.AS
Leveraging Real Electric Guitar Tones and Effects to Improve Robustness in Guitar Tablature Transcription Modeling
National Autonomous University of Mexico（墨西哥国立自治大学）；Federal University of Rio de Janeiro（里约热内卢联邦大学）；Discovery Partners Institute（发现合作伙伴研究所）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；New York University（纽约大学）
针对吉他六线谱转录因数据集小导致鲁棒性不足的问题，本研究引入搭载不同音频效果的真实吉他音色合成训练数据，并在自建专业独奏评估集上验证了其对模型鲁棒性的提升作用。
2024-07-13 cs.SD eess.AS
A Data-Driven Methodology for Considering Feasibility and Pairwise Likelihood in Deep Learning Based Guitar Tablature Transcription Systems
University of Rochester（罗切斯特大学）；Chordify
吉他指法谱的转写是音乐信息检索领域中一个重要但尚未得到充分研究的问题。传统的信号处理方法在任务上仅提供有限的性能，并且几乎没有用于训练机器学习模型的具有转录标签的声学数据。然而，吉他转录标签单独以指法的形式更广泛地使用，这在吉他手之间在线共享。在这项工作中，一组象征性的指法被用来估计吉他上音符的成对可能性。基线指谱转录模型的输出层被重新制定，使得抑制损失可以被并入以阻止不太可能的音符对的共激活。这自然地强制吉他的可演奏性约束，并且产生与用于估计成对似然性的符号数据更一致的指谱。有了这种方法，我们表明，象征性的指法可以用来塑造一个指法转录模型的预测分布，即使是很少的声学数据。
2022-04-17 cs.LG cs.SD eess.AS
High Resolution Guitar Transcription via Domain Adaptation
Queen Mary University of London（伦敦玛丽女王大学）；Yamaha（雅马哈）
本文提出利用高分辨率钢琴转谱模型和乐谱-音频对齐数据训练吉他转谱模型，在GuitarSet上零样本取得最先进结果。
2024-02-23 cs.LG cs.SD eess.AS
audio2chart: End to End Audio Transcription into playable Guitar Hero charts
Riccardo Tripodi（独立研究者）
本文提出 audio2chart 框架，将《吉他英雄》谱面自动生成建模为序列预测任务，并证明加入音频条件能一致提升音符预测准确率。
2025-11-05 cs.SD eess.AS
Open-Amp: Synthetic Data Framework for Audio Effect Foundation Models
University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）
本文提出Open-Amp合成数据框架，通过众包神经网络仿真生成大规模音频效果数据，训练吉他效果编码器和一对多模型，在分类任务上取得最先进结果并展现对模拟效果的迁移能力。
2024-11-22 cs.AI cs.LG cs.SD
TART: A Comprehensive Tool for Technique-Aware Audio-to-Tab Guitar Transcription
针对现有吉他自动转录存在的演奏技巧无法标注、弦品映射错误、泛化性差等问题，提出四阶段端到端流水线TART，可从音频生成带准确指法和技巧标签的详细吉他六线谱。
2025-10-02 cs.SD
Velocity Prediction in Automatic Guitar Transcription
UKRI Centre for Doctoral Training in Artificial Intelligence and Music（UKRI人工智能与音乐博士培训中心）；Innovate UK（英国创新署）
提出一种结合虚拟乐器合成数据预训练和真实音频微调的方法，实现自动吉他转录中的音符速度预测，性能优于基线模型。
2026-06-25 cs.AI cs.SD eess.AS
Exploring Procedural Data Generation for Automatic Acoustic Guitar Fingerpicking Transcription
Klangio GmbH（Klangio公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究提出一种四阶段过程化数据生成流水线，通过合成数据训练CRNN音符跟踪模型，解决原声吉他指弹转录中标注数据稀缺的问题，并证明少量真实数据微调可超越纯真实数据训练效果。
2025-08-11 cs.CL cs.SD eess.AS
Guitar-TECHS: An Electric Guitar Dataset Covering Techniques, Musical Excerpts, Chords and Scales Using a Diverse Array of Hardware
UAM Lerma（乌拉莫斯自治大学莱尔马分校）；UFRJ（里约热内卢联邦大学）；Discovery Partners Institute（发现伙伴研究所）；UIC（伊利诺伊大学芝加哥分校）；QMUL（伦敦玛丽女王大学）
本文提出 Guitar-TECHS 电吉他数据集，通过多技巧、多场景、多麦克风与多模态同步录音提升声学多样性，并验证其在六线谱转录模型训练中的有效性。
2025-01-07 cs.SD eess.AS
SynthTab: Leveraging Synthesized Data for Guitar Tablature Transcription
Authors（作者）
针对吉他指谱转录数据集规模有限导致过拟合的问题，提出利用商业吉他插件合成大规模音频数据集SynthTab进行预训练，实验证明能提升转录性能并缓解过拟合。
2024-01-25 cs.IR cs.MM cs.SD
FretNet: Continuous-Valued Pitch Contour Streaming for Polyphonic Guitar Tablature Transcription
Yousician（优西琴（Yousician））
本文提出了一种用于吉他谱转录（GTT）的连续值音高轮廓估计方法 FretNet，通过按弦和品对音高轮廓进行分组，显著提高了多音高估计（MPE）的分辨率，同时保持了与基线模型相竞争的谱估计性能。
2023-03-14 cs.LG cs.SD eess.AS
Fretting-Transformer: Encoder-Decoder Model for MIDI to Tablature Transcription
针对吉他MIDI记谱缺少可演奏性信息的问题，研究提出采用T5架构的Fretting-Transformer编码器-解码器模型，将MIDI转六线谱任务转化为符号翻译问题，结合多数据集与新预处理策略，性能优于基线方法与商业软件，为自动吉他转录奠定基础。
2025-06-17 cs.CL cs.MM cs.SD
Count The Notes: Histogram-Based Supervision for Automatic Music Transcription
针对自动音乐转录现有弱监督方法依赖局部对齐、易出错且计算成本高的问题，提出基于音符直方图监督的CountEM框架，无需显式局部对齐即可在低标注成本下达到更优性能。
2025-11-18 cs.LG cs.SD
GOAT: A Large Dataset of Paired Guitar Audio Recordings and Tablatures
本文构建GOAT数据集，提供5.9小时高质量电吉他直录音及29.5小时音箱增强音频，并配套六线谱与token标注，用于MIDI和吉他六线谱自动转写等MIR任务。
2025-07-22 cs.AI cs.SD eess.AS
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University（特拉维夫大学）
多乐器自动音乐转录（AMT），或将音乐记录解码成语义音乐内容，是音乐信息检索的圣杯之一。由于数据汇集困难，目前的AMT方法仅限于钢琴和（一些）吉他录音。为了克服数据汇集障碍，先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM，这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案，辅之以伪标签和音高偏移增强，我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督，我们报告了MAPS数据集的SOTA音符级准确性，以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果，并且我们提出了MusicNet数据集的替代标签，我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
Playability-Aware Audio-to-Tablature Guitar Transcription via Diffusion Models
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；LaBRI（计算机科学、图像与智能研究所）
该研究针对吉他指板谱转录的可演奏性问题，提出扩散模型Noise2Fret，引入五种辅助损失优化训练目标，在GuitarSet和GOAT数据集上实现优于基线的性能与计算效率。
2026-09-01 cs.IR cs.SD
Decision-Based Transcription of Jazz Guitar Solos Using a Harmonic Bident Analysis Filter Bank and Spectral Distribution Weighting
Sony Computer Science Laboratory (CSL)（索尼计算机科学实验室）；Dolby Sweden（杜比瑞典）
爵士吉他独奏是在和弦伴奏（comping）上用一种乐器演奏的即兴旋律。由于即兴创作是自发发生的，所以参考乐谱是不存在的，只有一张铅板。然而，在某些情况下，当一个人想以乐谱的形式拥有原始的旋律线时，请参阅真正的书。动机是为了练习和模仿或音乐分析的目的。在这项工作中，一个自动转录爵士吉他独奏。它诉诸于音调音乐信号的一种非常直观的表示：音高图。不涉及乐器特定的建模，所以转录器也应该适用于其他音高的乐器。也不需要在转录之前或转录期间学习任何音符简档。本质上，所提出的转录器是一个深度为3的决策树，因此是一个分类器。它具有（非常）低的计算复杂性，可以在线运行。决策规则可以在没有或很少的音乐教育的情况下进行细化或扩展。转录器的性能进行评估的一组十个爵士乐独奏摘录，并与一个国家的最先进的吉他加PYIN转录系统进行比较。我们实现了34%的w.r.t.改进。参考系统和19% w.r.t.用F度量的PYIN。另一个准确性的衡量标准，错误分数，证明错误的音高检测的数量减少了50%以上w.r.t.参考系统和45% w.r.t.宾。
2016-11-20 cs.SD
TapToTab : Video-Based Guitar Tabs Generation using AI and Audio Analysis
针对现有吉他六线谱自动生成方法指板检测与音符识别准确率不足的问题，提出结合YOLO实时指板检测与傅里叶变换音频分析的深度学习方法，显著提升检测准确率与鲁棒性，可用于革新吉他教学。
2024-09-13 cs.CV cs.SD eess.AS
Explicit Note-Event Tokenization and Pitch-Validity Constrained Decoding for MIDI-to-Tablature Transcription
National Taiwan University（台湾大学）
本研究提出带显式音符-事件分词与音高有效性约束解码的吉他谱转录框架，在DadaGP和Francois Leduc数据集上提升了吉他谱准确率。
2026-07-30 cs.SD
MT3: Multi-Task Multitrack Music Transcription
Google Research（谷歌研究院）；Northwestern University（西北大学）
自动音乐转录（AMT），从原始音频中推断音符，是音乐理解核心的一项具有挑战性的任务。自动语音识别（ASR）通常只关注单个说话者的单词，而AMT通常需要同时转录多个乐器，同时保留精细的音高和时序信息。此外，许多AMT数据集是“低资源”的，因为即使是专家音乐家也会发现音乐转录困难且耗时。因此，以前的工作集中在特定于任务的架构，针对每个任务的个别工具。在这项工作中，受低资源自然语言处理（NLP）的序列到序列迁移学习的可喜成果的激励，我们证明了一个通用的Transformer模型可以执行多任务AMT，跨多个转录数据集联合转录乐器的任意组合。我们证明了这个统一的训练框架在一系列数据集上实现了高质量的转录结果，大大提高了低资源乐器（如吉他）的性能，同时保留了丰富乐器（如钢琴）的强大性能。最后，通过扩展AMT的范围，我们暴露了对更一致的评估指标和更好的数据集对齐的需求，并为多任务AMT的新方向提供了一个强大的基线。
2022-03-15 cs.LG cs.SD eess.AS
CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following
本文提出CMI-Bench，将传统音乐信息检索任务转化为指令遵循格式，全面评估音频-文本LLM在MIR任务上的表现，揭示其与监督模型的性能差距及偏见，为音乐感知LLM发展奠定统一基础。
2025-06-27 cs.AI cs.LG cs.SD
AraYoungVoices: A Diverse L1/L2 Corpus of Arabic Child and Adolescent Speech
Qatar Computing Research Institute（卡塔尔计算研究所）
该研究构建了包含286名7-18岁说话者的151.72小时阿拉伯语L1/L2朗读语料库AraYoungVoices，基准测试显示L2语音更难识别，年龄特定微调改善匹配组，联合微调平衡各人群，且ASR假设更接近标准提示。
2026-10-06 cs.AI cs.CL cs.SD
LongSpeech: A Scalable Benchmark for Transcription, Translation and Understanding in Long Speech
Alibaba International Digital Commerce（阿里巴巴国际数字商务）；Shanghai Jiao Tong University（上海交通大学）；Delft University of Technology（代尔夫特理工大学）；Linköping University（林肯大学）；University of Groningen（格罗宁根大学）
LongSpeech是一个大规模可扩展的语音基准，旨在评估和推动语音模型在长音频转录、翻译和理解上的能力，揭示了现有模型在多任务和高阶推理上的不足。
2026-01-20 cs.SD
Multi-Task Multi-Frame Visual Piano Transcription
针对视觉钢琴转录系统音尾准确率低、未报告力度的问题，提出V2N多任务视觉钢琴转录系统，采用逐帧监督训练，在PianoVAM和R3上取得最优结果。
2026-08-05 cs.AI cs.CV cs.MM
The Model Hears You: Audio Language Model Deployments Should Consider the Principle of Least Privilege
本文指出端到端音频语言模型相比级联流水线带来身份推断等社会技术安全风险，主张以最小权限原则指导其开发与部署，并强调现有基准的不足。
2025-09-09 cs.AI cs.CL cs.CY
The ISCSLP 2026 Real-World Audio-Visual Speech Enhancement Challenge: A Benchmark with Natural Mixtures and Degraded Video
Real-World AVSE Challenge Organizing Committee（真实世界视听语音增强挑战赛组织委员会）
该研究介绍ISCSLP 2026真实场景视听语音增强挑战赛，设置含真实混合、合成重混等赛道，公布基线结果与相关资源，以评估视听语音增强在自然场景下的性能。
2026-09-29 cs.SD eess.AS
