Omnizart: A General Toolbox for Automatic Music Transcription
Academia Sinica（中央研究院）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
我们发布了Omnizart，这是一个新的Python库，为自动音乐转录（AMT）提供了一个简化的解决方案。Omnizart包含构建基于深度学习的AMT的生命周期的模块，并设计为易于使用，具有紧凑的命令行界面。据我们所知，Omnizart是第一个转录工具包，它提供的模型涵盖了广泛的乐器类别，从独奏，乐器合奏，打击乐器到声乐，以及和弦识别和节拍/强拍跟踪模型，这两个音乐信息检索（MIR）任务与AMT高度相关。
2021-06-01 cs.AI cs.SD eess.AS
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR（比萨大学，CNR区域）；Scuola Superiore Sant’Anna, Area CNR（圣安娜高等学院，CNR区域）
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线，将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
Multi-Channel Automatic Music Transcription Using Tensor Algebra
音乐是一种艺术，每个听众都以独特的方式感知，来自声学信号。同时，有乐谱这样的标准来描述它，即使人类能够进行这种转录，在时间和精力方面也是昂贵的，尤其是随着互联网的兴起，信息爆炸。从这个意义上说，研究的方向是自动音乐转录。虽然这一任务在单音符的情况下被认为是解决了，但当音符叠加在一起形成和弦时，它仍然是开放的。本报告的目的是发展一些现有的技术对音乐转录，特别是矩阵分解，并介绍了多通道自动音乐转录的概念。这个概念将通过被称为张量的数学对象来探索。
2021-07-23 cs.IR cs.LG cs.SD
AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model
Faculty of Data Science（数据科学学院）；Musashino University（武藏野大学）
针对现有自动钢琴封面模型表现力和保真度不足的问题，提出AMT-APC算法，利用自动音乐转录模型能力，实验表明该模型比现有模型更能准确再现原曲目。
2026-07-07 cs.LG cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
针对自动音乐转录模型训练计算成本高的问题，提出用软件合成器生成的合成音频训练通用模型，为迁移学习适配多乐器打基础，验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Dialogue in Resonance: An Interactive Music Piece for Piano and Real-Time Automatic Transcription System
Graduate School of Culture Technology, KAIST（文化科技研究生院，韩国科学技术院）
本文提出交互式音乐作品《共鸣中的对话》，将实时自动音乐转录整合到基于乐谱的框架中，实现人类钢琴家与计算机控制钢琴之间的动态对话，并介绍了从作曲到首演的开发过程。
2025-05-22 cs.AI cs.SD eess.AS
DiffRoll: Diffusion-based Generative Music Transcription with Unsupervised Pretraining Capability
Sony（索尼公司）
本文提出基于扩散的生成式方法DiffRoll解决自动音乐转录，将AMT视为条件生成任务，支持转录、生成和修复音乐，并能在未配对数据上训练，性能优于判别式方法。
2022-10-20 cs.AI cs.LG cs.SD
Music transcription modelling and composition using deep learning
Queen Mary University of London（伦敦玛丽女王大学）；INRS-EMT（加拿大国家科学研究院-能源材料电信研究所）；Kingston University（金斯顿大学）；Ghent University（根特大学）
我们将深度学习方法，特别是长短期记忆（LSTM）网络应用于音乐转录建模和作曲。我们使用大约23，000个用高级词汇表（ABC符号）表示的音乐transanks来构建和训练LSTM网络，并使用它们来生成新的transanks。我们的实际目标是创建音乐转录模型在特定的音乐创作环境中有用。我们从三个角度呈现结果：1）在群体水平上，比较训练转录集和生成转录集的描述性统计; 2）在个体水平上，检查生成转录如何反映训练转录（凯尔特民间）中的音乐实践惯例; 3）在应用水平上，使用该系统进行音乐创作中的想法生成。我们将我们的数据集、软件和声音示例开放和可用：\url{https://github.com/IraKorshunova/folk-rnn}。
2016-04-29 cs.LG cs.SD
Multitrack Music Transcription with a Time-Frequency Perceiver
ByteDance（字节跳动）
本文提出Perceiver TF，一种增强的时频感知器架构，用于多轨音乐转录，可同时处理12种乐器与人声，并在多个公开数据集上超越MT3和SpecTNT等现有方法。
2023-06-19 cs.LG cs.SD eess.AS
YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation
Queen Mary（伦敦玛丽女王大学）；AI Industrial Convergence Cluster（人工智能产业融合集群）
本文提出YourMT3+多乐器音乐转录模型，通过分层注意力Transformer、专家混合编码器及跨数据集声部增强方法，在不完整标注下实现直接声乐转录，并在多个公共数据集上取得优于或媲美现有模型的性能。
2024-08-01 cs.LG cs.SD eess.AS
MuScriptor: An Open Model for Multi-Instrument Music Transcription
研究多乐器音乐转录问题，核心方法是分析合成数据预训练有效性，结合真实音乐音频微调与强化学习后训练，还引入乐器存在条件定制转录，主要贡献是发布MuScriptor开放模型用于多种音乐录音。
2026-08-04 cs.LG cs.SD
Musical Features for Automatic Music Transcription Evaluation
本技术报告对论文中介绍的功能进行了详细、正式的描述：Adrien Ycart、Lele Liu、Emmanouil Benetos和Marcus T.皮尔斯“调查自动钢琴音乐转录的评估模型的感知有效性”，国际音乐信息检索学会（TISMIR），接受，2020年。
2020-04-15 cs.IR cs.SD eess.AS
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje（斯科普里圣西里尔与美多德大学）；Faculty of Electrical Engineering and Information Technologies（电气工程与信息技术学院）
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者，只是通过搜索来寻找乐谱，还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统，可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法：音符起始检测，速度估计，节拍检测，音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律，与商业上可用的基于神经网络的系统相比，有很好的效果。
2021-08-24 cs.SD eess.AS
Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription
Sony（索尼）
本文提出 Timbre-Trap 低资源框架，利用音高与音色的可分离性，以单个自动编码器联合完成音高显著性估计、频谱重建和转录，仅用少量标注数据即达到乐器无关转录的先进水平。
2024-01-24 cs.LG cs.SD eess.AS
Adversarial Learning for Improved Onsets and Frames Music Transcription
New York University（纽约大学）
自动音乐转录被认为是音乐信息检索中最困难的问题之一，然而最近的深度学习方法已经在转录性能上取得了实质性的改进。这些方法通常采用监督学习模型，该模型通过最小化诸如交叉熵函数之类的元素损失来预测各种时频表示。然而，以这种方式应用损失假设给定输入的每个标签的条件独立性，并且因此不能准确地表达标签间依赖性。为了解决这个问题，我们引入了一种对抗性训练方案，该方案直接对时频表示进行操作，并使输出分布更接近地面实况。通过对抗性学习，我们在帧级和音符级指标上都取得了一致的改进，超过了最先进的音乐转录模型Onsets和Frames。我们的研究结果表明，对抗性学习可以显着降低出错率，同时增加模型估计的置信度。我们的方法是通用的，适用于任何基于多标签预测的转录模型，这在音乐信号分析中非常常见。
2019-06-20 cs.LG cs.SD eess.AS
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University（特拉维夫大学）
多乐器自动音乐转录（AMT），或将音乐记录解码成语义音乐内容，是音乐信息检索的圣杯之一。由于数据汇集困难，目前的AMT方法仅限于钢琴和（一些）吉他录音。为了克服数据汇集障碍，先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM，这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案，辅之以伪标签和音高偏移增强，我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督，我们报告了MAPS数据集的SOTA音符级准确性，以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果，并且我们提出了MusicNet数据集的替代标签，我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage
BandLab；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团公司）
本文提出MR-MT3，通过记忆保持机制、先前令牌采样和令牌洗牌增强MT3模型，减轻乐器泄漏，并在Slakh2100数据集上改进F1分数，引入新评估指标，同时探讨领域过拟合问题。
2024-03-15 cs.AI cs.LG cs.MM
Quantifying the Corpus Bias Problem in Automatic Music Transcription Systems
Johannes Kepler University（约翰·开普勒大学）
本文通过构建模拟不同音乐分布偏移的测试集，评估多个SotA AMT系统，揭示训练语料过度集中于古典钢琴所导致的显著性能差距。
2024-08-08 cs.LG cs.SD eess.AS
Music Transcription by Deep Learning with Data and "Artificial Semantic" Augmentation
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"（乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”）；University Paris 8（巴黎第八大学）
在这篇进展论文中，介绍了通过深度学习进行单音符识别的先前结果。提出了几种数据增强和“人工语义”增强的方法，通过增加训练数据的维度及其无损和有损变换，来提高用于单音和复调音符识别的深度学习方法的效率。
2017-12-08 cs.LG cs.SD eess.AS
The Effect of Spectrogram Reconstruction on Automatic Music Transcription: An Alternative Approach to Improve Transcription Accuracy
Singapore University of Technology and Design（新加坡科技设计大学）；Agency for Science, Technology and Research（科学技术研究局）；Queen Mary University of London（伦敦玛丽女王大学）
大多数最先进的自动音乐转录（AMT）模型将主转录任务分解为诸如起始点预测和偏移预测的子任务，并使用起始点和偏移标记对它们进行训练。然后，这些预测被连接在一起，并用作训练另一个具有音高标签的模型的输入，以获得最终的转录。我们尝试只使用音高标签（连同声谱图重建损失），并探索在不引入监督子任务的情况下，该模型可以走多远。在本文中，我们的目标不是实现最先进的转录精度，而是探索声谱图重建对AMT模型的影响。我们提出的模型由两个U-网组成：第一个U-网将谱图转录成后验图，第二个U-网将后验图转换回谱图。在原始频谱图和重构频谱图之间应用重构损失，以约束第二U网仅关注重构。我们在三个不同的数据集上训练我们的模型：MAPS，MAESTRO和MusicNet。我们的实验表明，添加重建损失通常可以提高音符级转录准确率相比，没有重建部分的相同模型。此外，它还可以将帧级精度提高到高于最先进的模型。我们的U-net学习到的特征图包含网格状结构（在基线模型中不存在），这意味着在存在重建损失的情况下，模型可能试图沿着时间和频率轴进行计数，从而获得更高的音符级转录准确度。
2020-10-20 cs.LG cs.SD eess.AS
Invariances and Data Augmentation for Supervised Music Transcription
University of Washington（华盛顿大学）；Amazon（亚马逊）
本文探讨了基于帧的音乐转录的各种模型，重点是在人类录音上达到最先进水平所需的方法。本文讨论的不变性网络将传统滤波器组与卷积神经网络相结合，是2017年MIREX多基频估计评估中表现最好的模型。这类模型在对数频率域中共享参数，这利用了音乐的频率不变性来减少模型参数的数量并避免对训练数据的过拟合。本文中的所有模型都是通过来自MusicNet数据集的标记数据进行监督训练的，并通过随机标签保持音高转换进行增强。
2017-11-13 cs.LG cs.SD eess.AS
Transcription Is All You Need: Learning to Separate Musical Mixtures with Score as Supervision
MERL（三菱电机研究实验室）
大多数音乐声源分离系统需要大量的孤立声源来进行训练，这可能很难获得。在这项工作中，我们使用乐谱，这是比较容易获得，作为一个弱标签训练声源分离系统。与以前的score-informed分离方法相比，我们的系统不需要孤立的源，并且score仅用作训练目标，不需要进行推理。我们的模型由一个分离器和一个转录器组成，分离器为每个仪器输出一个时频掩码，转录器充当评论家，提供时间和频率监督来指导分离器的学习。谐波掩码约束被引入作为在训练期间利用分数信息的另一种方式，并且我们提出了两种新的对抗性损失，用于转录器和分离器的额外微调。结果表明，使用分数信息的性能优于时间弱标签，而对抗性结构可以进一步提高分离和转录性能。
2020-10-22 cs.LG cs.SD eess.AS
A Perceptual Measure for Evaluating the Resynthesis of Automatic Music Transcriptions
University of Milano（米兰大学）
本研究的重点是音乐表演的感知时，环境因素，如室内声学和仪器，改变。我们建议将“表演”的概念与表达“艺术意图”的“解释”概念区分开来。为了评估这一区别，我们进行了一项实验评估，其中91名受试者被邀请听取通过自动音乐转录（AMT）系统和传感器声学钢琴获得的重新合成的数据创建的各种录音。在重新合成的过程中，我们模拟了不同的语境，并要求听众评估当语境改变时，解释发生了多大的变化。结果表明：（1）单凭音乐表现形式无法完全把握音乐表演的艺术意图;（2）通常基于音乐表现形式的客观评价指标与主观评价的平均值相关性较低。为了弥合这一差距，我们提出了一种新的措施，这是有意义的相关测试的结果。此外，我们研究多模态机器学习提供了一个新的得分通知AMT方法，并提出了一个近似算法的$p$分散问题。
2022-03-07 cs.LG cs.SD eess.AS
Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders
The Chinese University of Hong Kong（香港中文大学）
针对帧级AMT需手动阈值、LM方法难处理长序列的问题，提出结合预训练卷帘编码器与LM解码器的分层钢琴转录方法，显著提升F1并可作为通用增强插件。
2025-01-07 cs.AI cs.LG cs.SD
Annotation-free Automatic Music Transcription with Scalable Synthetic Data and Adversarial Domain Confusion
Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出一种无需 MIDI-音频配对数据的自动音乐转谱方法，通过可扩展合成音频预训练和未标注真实音频的对抗域混淆，在低资源场景下取得与基线方法相当的竞争性能。
2024-07-03 cs.AI cs.SD eess.AS
Towards Musically Informed Evaluation of Piano Transcription Models
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Linz Institute of Technology（林茨技术研究所）
针对现有钢琴转写评估指标无法反映音乐质量、模型在分布外数据性能下降的问题，本研究提出音乐性知情评估指标，并通过实验对比SOTA模型性能，为转写结果的音乐性误差分析提供支撑。
2024-10-07 cs.SD eess.AS
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design（新加坡科技设计大学）
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换（CQT）的影响。我们的研究结果表明，在不改变神经网络设计（单层全连接）的情况下，通过选择适当的输入表示（具有STFT窗口长度为4，096和2，048频率箱的对数频谱图），可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明，梅尔声谱图是一个紧凑的表示，我们可以减少频率箱的数量只有512，同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Modeling Temporal Dependencies in High-Dimensional Sequences: Application to Polyphonic Music Generation and Transcription
我们调查的问题，在一个完全通用的钢琴辊表示的复调音乐的符号序列建模。我们介绍了一个概率模型的基础上分布估计的条件下，能够发现高维序列的时间依赖性的递归神经网络。我们的方法在各种现实数据集上的表现优于许多传统的复调音乐模型。我们展示了如何我们的音乐语言模型可以作为一个象征性的之前，以提高复调转录的准确性。
2012-06-27 cs.LG cs.SD stat.ML
A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis
New York University Shanghai（纽约大学上海校区）；ByteDance（字节跳动）
我们提出了一个统一的模型，用于三个相互关联的任务：1）\textit{separate}从混合音乐音频的各个声源，2）\textit{transcribe}每个声源的音符，和3）到\textit{ synthesize}新的作品的音色的基础上分离的来源。该模型的灵感来自于这样一个事实，即当人类听音乐时，我们的大脑不仅可以区分不同乐器的声音，而且还可以同时感知乐谱和音色等高级表征。为了在计算上反映这种能力，我们设计了一个基于流行的声源分离的编码器-解码器神经结构的音高-音色解纠缠模块。关键的归纳偏差是矢量量化的音高表示和音高变换不变的音色表示。此外，我们采用了一种通过实例查询的方法来实现\textit{zero-shot}的学习，即，该模型能够为\textit{unseen}仪器进行声源分离、转录和合成。目前的设计重点是两个单声道乐器的音频混合。实验结果表明，我们的模型优于现有的多任务基线，转录分数作为一个强大的辅助分离任务。
2021-08-07 cs.AI cs.SD eess.AS
ReconVAT: A Semi-Supervised Automatic Music Transcription Framework for Low-Resource Real-World Data
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（科学、技术与研究署（A*STAR）高性能计算研究所（IHPC））；Singapore University of Technology and Design（新加坡科技设计大学）
当前大多数有监督的自动音乐转录（AMT）模型缺乏泛化能力。这意味着他们很难从标记的训练数据中没有呈现的不同音乐流派中转录真实世界的音乐录音。在本文中，我们提出了一个半监督框架ReconVAT，它通过利用大量可用的未标记音乐录音来解决这个问题。建议的ReconVAT使用重建损失和虚拟对抗训练。当与现有的AMT U-net模型相结合时，ReconVAT在MAPS和MusicNet等常见基准数据集上取得了有竞争力的结果。例如，在MusicNet的字符串部分版本的Few-Shot设置中，ReconVAT分别针对音符和音符偏移度量实现了61.0%和41.6%的F1分数，这意味着与监督基线模型相比提高了22.2%和62.5%。我们提出的框架还展示了对新数据进行持续学习的潜力，这在不断提供新数据的实际应用中可能是有用的。
2021-07-29 cs.LG cs.MM cs.SD
Improved Architecture for High-resolution Piano Transcription to Efficiently Capture Acoustic Characteristics of Music Signals
Nagoya University（名古屋大学）
本文针对高分辨率钢琴转录中泛音误检和模型过大的问题，提出基于常数Q变换与CRNN及非自回归Transformer解码器结合的改进架构，在提升音符级指标的同时显著减小模型规模。
2024-09-29 cs.SD eess.AS
MulTTiPop: A Multitrack Transcription Dataset for Pop Music
Carnegie Mellon University（卡内基梅隆大学）
介绍用于评估自动音乐转录模型的MulTTiPop数据集，通过对Lakh MIDI和TheoryTab数据集歌曲片段基于元数据匹配等方式收集，评估模型发现有改进空间，最佳模型起始F1得分为38%。
2026-08-21 cs.LG cs.SD
A holistic approach to polyphonic music transcription with neural networks
U.I. for Computing Research（计算研究所）；University of Alicante（阿利坎特大学）
我们提出了一个基于神经网络的框架，以端到端的方式直接从复调音频中提取乐谱。大多数先前的自动音乐转录（AMT）方法寻求音高的钢琴滚动表示，其可以通过结合速度估计、节拍跟踪、键估计或节奏量化来进一步转换成乐谱。与这些方法不同的是，我们的方法直接从输入音频中生成音乐符号。为此，我们使用卷积递归神经网络（CRNN）与连接主义时间分类（CTC）损失函数，它不需要注释的音频帧与分数节奏信息的对齐。我们使用海顿，莫扎特和贝多芬的弦乐四重奏和巴赫的合唱曲作为输入训练我们的模型，这些合唱曲是用不同的节奏和表现力来合成的。输出是基于 **kern格式的四声部乐谱的文本表示。虽然所提出的方法是在一个简化的情况下进行评估，结果表明，该模型可以学习直接从音频信号转录分数，打开了一个有前途的途径走向完整的AMT。
2019-10-26 cs.LG cs.SD eess.AS
Development of Large Annotated Music Datasets using HMM-based Forced Viterbi Alignment
Sri Sivasubramaniya Nadar College of Engineering（斯里·希瓦苏布拉马尼亚·纳达尔工程学院）
针对音乐数据集构建耗时且需专业经验的问题，提出一种基于HMM强制Viterbi对齐的自动标注方法，生成了精确的吉他数据集，为AMT系统开发奠定基础。
2024-08-27 cs.LG cs.SD eess.AS
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）；UJM-Saint Etienne（圣艾蒂安大学）；Inserm（法国国家健康与医学研究院）
自动音乐转录是将音乐表演的音频记录转换为符号格式，它仍然是一项困难的音乐信息检索任务。在这项工作中，重点是钢琴转录，我们提出了一个半监督的方法，使用低秩矩阵分解技术，特别是卷积非负矩阵分解。在半监督设置中，只需要对每个音符进行单次记录。我们在MAPS数据集上表明，所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术，略差于监督深度学习最先进的方法，但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Music Transcription with (Almost) No Supervision
Cornell University（康奈尔大学）
采用循环一致性翻译框架，利用少量配对数据作为锚点，充分挖掘未配对音频和乐谱数据，实现高质量音乐转录。
2026-05-22 cs.LG cs.SD
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
我们提出了一个框架，采用自动音乐转录（AMT）使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差，音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此，我们采用了两个经常性的神经网络，作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在，另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性，我们应用动态时间规整作为对齐算法，而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集，并将其与以前的工作进行比较。结果表明，与学习功能的对齐框架显着提高了准确性，实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
Audio-to-Score Alignment Using Deep Automatic Music Transcription
University of Milan（米兰大学）
音频到乐谱对齐（A2SA）是一项多模态任务，包括将音频信号与乐谱对齐。最近的文献证实了自动音乐转录（AMT）在帧级A2SA的好处。在这项工作中，我们的目标是详细说明AMT深度学习（DL）模型的利用，以实现在音符级别的对齐。我们提出了一种方法，它受益于基于HMM的分数到分数对齐和AMT，表现出显着的进步超出了国家的最先进的。我们设计了一个系统的程序，以利用大型数据集，不提供对齐的分数。最后，我们对多个数据集进行了全面的比较和广泛的测试。
2021-12-30 cs.MM cs.SD eess.AS
Automatic Transcription of Microtonal Free-Rhythm Vocal Music: A Case Study in Iranian Classical Music
Cu Test Inc.（Cu Test公司）
本文以伊朗古典音乐为案例，提出结合音高直方图与DTW的自动转录工作流程，采用music21库实现，可转录含tahrir等装饰音的微分音声乐，配套可视化与编辑工具，推进计算民族音乐学发展。
2026-08-19 cs.SD
Score-Informed Transformer for Refining MIDI Velocity in Automatic Music Transcription
University of Western Australia（西澳大学）
本文提出了一种基于乐谱的轻量级Transformer模块，用于改进自动音乐转录中MIDI速度的估计，通过整合到HPT中实现了新的最先进性能。
2026-03-02 cs.SD eess.AS
Sequence-to-Sequence Piano Transcription with Transformers
Google Research（谷歌研究院）
自动音乐转录近年来通过在大型数据集上训练自定义深度神经网络取得了重大进展。然而，这些模型需要广泛的特定于域的网络架构，输入/输出表示和复杂的解码方案的设计。在这项工作中，我们表明使用通用编码器-解码器Transformer和标准解码方法可以实现同等性能。我们证明了该模型可以学习将声谱图输入直接转换为几个转录任务的MIDI类输出事件。这种序列到序列的方法通过联合建模音频特征和类似语言的输出依赖关系来简化转录，从而消除了对特定于任务的架构的需求。这些结果指出，通过专注于数据集的创建和标记，而不是自定义模型设计，创建新的音乐信息检索模型的可能性。
2021-07-19 cs.LG cs.SD eess.AS
Count The Notes: Histogram-Based Supervision for Automatic Music Transcription
针对自动音乐转录现有弱监督方法依赖局部对齐、易出错且计算成本高的问题，提出基于音符直方图监督的CountEM框架，无需显式局部对齐即可在低标注成本下达到更优性能。
2025-11-18 cs.LG cs.SD
Analyzing and reducing the synthetic-to-real transfer gap in Music Information Retrieval: the task of automatic drum transcription
Umeå university（于默奥大学）；Universidad EAFIT（EAFIT大学）
本文研究自动鼓点转录中合成到真实的迁移差距问题，提出并评估了三种提高合成数据真实性的策略，构建了新数据集并验证其能有效降低迁移差距，同时揭示了无限数据训练的局限性及克服方法。
2024-07-29 cs.IR cs.LG cs.SD
Sound and Music Biases in Deep Music Transcription Models: A Systematic Analysis
本文分析了深度音乐转录模型在不同音乐风格和声音条件下的性能差异，发现音乐风格和声音质量对转录效果有显著影响。
2025-12-16 cs.LG cs.SD
Late multimodal fusion for image and audio music transcription
Instituto Universitario de Investigación Informática（信息学大学研究所）；University of Alicante（阿利坎特大学）
音乐转录是音乐信息检索的一个关键问题，它将音乐源转换成结构化的数字格式。在计算方面解决这一挑战时，MIR社区遵循两条研究路线：音乐文档，这是光学音乐识别（OMR）的情况，或音频记录，这是自动音乐转录（AMT）的情况。上述输入数据的不同性质决定了这些领域必须发展特定模式的框架。然而，他们最近的定义序列标签任务导致一个共同的输出表示，这使得研究的组合范式。在这方面，多模态图像和音频音乐转录包括有效地组合由图像和音频模态传达的信息的挑战。在这项工作中，我们探讨这个问题在后期融合水平：我们研究了四种组合方法，以合并，第一次，关于端到端的OMR和AMT系统的假设，在基于格的搜索空间。从一系列性能场景中获得的结果--其中相应的单模态模型产生不同的出错率--显示了这些方法的有趣好处。此外，所考虑的四种策略中有两种显著改善了相应的单峰标准识别框架。
2022-08-26 cs.CV cs.IR cs.MM
A Phoneme-Informed Neural Network Model for Note-Level Singing Transcription
KAIST（韩国科学技术院）；Academia Sinica（中央研究院）
本文提出利用歌声的语言学特征（音素后验图PPG）结合梅尔频谱图来改进音符起始点检测，并通过多语言数据集验证了该方法对歌声转录性能的显著提升。
2023-04-12 cs.LG cs.SD eess.AS
Advancing Multi-Instrument Music Transcription: Results from the 2025 AMT Challenge
本文报告了2025年自动音乐转录挑战赛的结果，展示了多乐器转录的进展与挑战，强调了转录准确性的提升及多声部和音色变化的难点。
2026-03-29 cs.IR cs.SD
An Experimental Analysis of the Entanglement Problem in Neural-Network-based Music Transcription Systems
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
最近的几个复调音乐转录系统已经利用深度神经网络在各种基准数据集上实现了最先进的结果，在帧级和音符级性能测量上突破了极限。不幸的是，我们可以观察到一种玻璃天花板效应。为了研究这种效果，我们详细分析了最先进的深度神经转录系统在钢琴转录任务上进行训练和测试时所犯的特定错误。我们最终不得不得出一个相当令人沮丧的结论：神经网络似乎能够学习音符的组合，并且很难推广到看不见的音符组合。此外，我们推测各种手段来缓解这种情况。
2017-01-31 cs.SD
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University（首尔大学）；Institute for Industrial Systems Innovation（产业系统创新研究院）
本文扩展传统音符级转录任务，提出端到端框架整合时值、音高和时间信息识别，引入伪标签技术解决时值数据稀缺问题，实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
Investigation on the use of Hidden-Markov Models in automatic transcription of music
ENSTA Bretagne（布列塔尼国立高等先进技术学校）；Université Européenne de Bretagne（布列塔尼欧洲大学）；Université Paris Descartes（巴黎笛卡尔大学）
隐马尔可夫模型（Hidden Markov Models，简称HMM）是一种普遍存在的对时间序列数据建模的工具，已被广泛应用于自动音乐转录（Automatic Music Transcription，简称AMT）的两个主要任务：音符分割，即在多音高估计之后识别所演奏的音符;以及顺序后处理，即使用训练数据校正音符分割。在本文中，我们采用多基音周期估计方法称为概率潜在成分分析（PLCA），并开发AMT系统集成不同的HMM为基础的模块在这个框架。对于笔记分割，我们使用两种不同的双状态on/o？阻碍，包括持续时间建模的高阶阻碍。对于顺序后处理，我们专注于复调和声过渡的音乐学建模，使用一阶和二阶Hertons，其状态通过候选音符混合物定义。这些不同的PLCA加HMM系统进行了评估比较两个不同的乐器曲目，即钢琴（使用MAPS数据库）和marovany齐特琴。我们的研究结果表明，使用的HALGOR可以带来显着的改善转录结果，这取决于仪器的剧目。
2017-04-12 cs.LG cs.SD stat.ML
MOMOS-MT: Mobile Monophonic System for Music Transcription
Innopolis University（因诺波利斯大学）
音乐在社会认同和鼓励社会化方面具有重要的文化作用。技术通过物理和文化距离的破坏，导致了音乐主题的许多变化和形式的完全丧失。然而，它也允许保存和分发来自没有书面乐谱历史的社会的音乐。本文介绍了早期的工作，为音乐家和民族音乐学家的工具，从单声道有声作品转录乐谱保存和分发。使用FFT，系统检测音高频率，也有其他方法检测音符持续时间，速度，时间签名并生成乐谱。最终的系统能够在移动平台上使用，允许用户在现场录制和制作乐谱。
2016-11-22 cs.MM cs.SD
An End-to-End Neural Network for Polyphonic Piano Music Transcription
Queen Mary University of London（伦敦玛丽女王大学）
提出了一种有监督的神经网络模型用于钢琴复调音乐的改编。所提出的模型的架构是类似于语音识别系统，包括一个声学模型和一个音乐语言模型。声学模型是用于估计音频帧中音高的概率的神经网络。语言模型是一个循环神经网络，它对音高组合之间随时间的相关性进行建模。所提出的模型是通用的，可以用来转录复调音乐，而不施加任何限制的复调。声学和语言模型预测使用概率图形模型相结合。使用波束搜索算法对输出变量进行推断。我们进行了两组实验。我们研究了各种神经网络架构的声学模型，并研究了结合声学和音乐语言模型预测使用所提出的架构的效果。我们比较性能的神经网络为基础的声学模型与两个流行的无监督声学模型。结果表明，卷积神经网络声学模型在所有评估指标中产生最佳性能。我们还观察到改进的性能与应用的音乐语言模型。最后，我们提出了一个有效的波束搜索的变体，提高了性能，减少了一个数量级的运行时间，使模型适合实时应用。
2016-02-11 cs.LG cs.SD stat.ML
Toward Evolution Strategies Application in Automatic Polyphonic Music Transcription using Electronic Synthesis
Institut Supérieur de Commerce（高等商学院）
本文提出了一种基于演化策略的复调音乐转写方法。自动音乐转录是一个复杂的过程，仍然是一个开放的挑战。使用一个音频信号被转录为我们的ES的目标，生成一个音频文件所需的信息可以从后者中提取。目前存在的文献中提出的许多技术，其中一些已经应用进化算法来解决这个问题的上下文中考虑它作为一个搜索空间问题。然而，专家系统至今尚未得到应用。实验表明，通过使用这些机器学习工具，一些缺点所提出的其他进化算法为基础的转录方法可以解决。它们包括计算成本和收敛时间。由于演化策略使用自适应参数，本文表明，通过正确调整其控制标准差的策略参数的值，可以触发向最优值的快速收敛，从结果中可以执行具有良好的准确性和在短时间内的音乐的转录。在相同的上下文中，使用并行化技术来处理计算任务，从而总体上减少了计算时间和转录时间。
2013-04-03 cs.SD
