An End-to-End Neural Network for Polyphonic Piano Music Transcription
Queen Mary University of London（伦敦玛丽女王大学）
提出了一种有监督的神经网络模型用于钢琴复调音乐的改编。所提出的模型的架构是类似于语音识别系统，包括一个声学模型和一个音乐语言模型。声学模型是用于估计音频帧中音高的概率的神经网络。语言模型是一个循环神经网络，它对音高组合之间随时间的相关性进行建模。所提出的模型是通用的，可以用来转录复调音乐，而不施加任何限制的复调。声学和语言模型预测使用概率图形模型相结合。使用波束搜索算法对输出变量进行推断。我们进行了两组实验。我们研究了各种神经网络架构的声学模型，并研究了结合声学和音乐语言模型预测使用所提出的架构的效果。我们比较性能的神经网络为基础的声学模型与两个流行的无监督声学模型。结果表明，卷积神经网络声学模型在所有评估指标中产生最佳性能。我们还观察到改进的性能与应用的音乐语言模型。最后，我们提出了一个有效的波束搜索的变体，提高了性能，减少了一个数量级的运行时间，使模型适合实时应用。
2016-02-11 cs.LG cs.SD stat.ML
Multi-Channel Automatic Music Transcription Using Tensor Algebra
音乐是一种艺术，每个听众都以独特的方式感知，来自声学信号。同时，有乐谱这样的标准来描述它，即使人类能够进行这种转录，在时间和精力方面也是昂贵的，尤其是随着互联网的兴起，信息爆炸。从这个意义上说，研究的方向是自动音乐转录。虽然这一任务在单音符的情况下被认为是解决了，但当音符叠加在一起形成和弦时，它仍然是开放的。本报告的目的是发展一些现有的技术对音乐转录，特别是矩阵分解，并介绍了多通道自动音乐转录的概念。这个概念将通过被称为张量的数学对象来探索。
2021-07-23 cs.IR cs.LG cs.SD
Musical Features for Automatic Music Transcription Evaluation
本技术报告对论文中介绍的功能进行了详细、正式的描述：Adrien Ycart、Lele Liu、Emmanouil Benetos和Marcus T.皮尔斯“调查自动钢琴音乐转录的评估模型的感知有效性”，国际音乐信息检索学会（TISMIR），接受，2020年。
2020-04-15 cs.IR cs.SD eess.AS
MulTTiPop: A Multitrack Transcription Dataset for Pop Music
Carnegie Mellon University（卡内基梅隆大学）
介绍用于评估自动音乐转录模型的MulTTiPop数据集，通过对Lakh MIDI和TheoryTab数据集歌曲片段基于元数据匹配等方式收集，评估模型发现有改进空间，最佳模型起始F1得分为38%。
2026-08-21 cs.LG cs.SD
MT3: Multi-Task Multitrack Music Transcription
Google Research（谷歌研究院）；Northwestern University（西北大学）
自动音乐转录（AMT），从原始音频中推断音符，是音乐理解核心的一项具有挑战性的任务。自动语音识别（ASR）通常只关注单个说话者的单词，而AMT通常需要同时转录多个乐器，同时保留精细的音高和时序信息。此外，许多AMT数据集是“低资源”的，因为即使是专家音乐家也会发现音乐转录困难且耗时。因此，以前的工作集中在特定于任务的架构，针对每个任务的个别工具。在这项工作中，受低资源自然语言处理（NLP）的序列到序列迁移学习的可喜成果的激励，我们证明了一个通用的Transformer模型可以执行多任务AMT，跨多个转录数据集联合转录乐器的任意组合。我们证明了这个统一的训练框架在一系列数据集上实现了高质量的转录结果，大大提高了低资源乐器（如吉他）的性能，同时保留了丰富乐器（如钢琴）的强大性能。最后，通过扩展AMT的范围，我们暴露了对更一致的评估指标和更好的数据集对齐的需求，并为多任务AMT的新方向提供了一个强大的基线。
2022-03-15 cs.LG cs.SD eess.AS
Particle Filtering for PLCA model with Application to Music Transcription
Sorbonne Universités（索邦大学）；UPMC University Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）
自动音乐转录（AMT）包括通过三个属性自动估计音频记录中的音符：开始时间，持续时间和音高。概率潜在成分分析（PLCA）已成为这项任务非常流行。PLCA是一种谱图分解方法，能够将幅度谱图建模为来自字典的谱向量的线性组合。这种方法使用期望最大化（EM）算法来估计声学模型的参数。该算法提出了众所周知的固有缺陷（局部收敛，初始化依赖性），使EM为基础的系统限制在其应用AMT，特别是在数学形式和先验的数量。为了克服这些限制，我们建议在本文中采用不同的估计框架的基础上粒子滤波（PF），其中包括采样的后验分布在更大的参数范围。该框架在参数估计方面具有较强的鲁棒性，在系统先验知识的整合方面具有较强的灵活性和统一性。在两种不同乐器曲目的评估声音数据集上实现了61.8 $\%$和59.5 $\%$的音符级转录准确度，包括古典钢琴（来自MAPS数据集）和marovany齐特琴，并提供了与以前基于PLCA的方法的直接比较。还概述了进一步发展的步骤。
2017-03-28 cs.LG cs.SD stat.ML
A holistic approach to polyphonic music transcription with neural networks
U.I. for Computing Research（计算研究所）；University of Alicante（阿利坎特大学）
我们提出了一个基于神经网络的框架，以端到端的方式直接从复调音频中提取乐谱。大多数先前的自动音乐转录（AMT）方法寻求音高的钢琴滚动表示，其可以通过结合速度估计、节拍跟踪、键估计或节奏量化来进一步转换成乐谱。与这些方法不同的是，我们的方法直接从输入音频中生成音乐符号。为此，我们使用卷积递归神经网络（CRNN）与连接主义时间分类（CTC）损失函数，它不需要注释的音频帧与分数节奏信息的对齐。我们使用海顿，莫扎特和贝多芬的弦乐四重奏和巴赫的合唱曲作为输入训练我们的模型，这些合唱曲是用不同的节奏和表现力来合成的。输出是基于 **kern格式的四声部乐谱的文本表示。虽然所提出的方法是在一个简化的情况下进行评估，结果表明，该模型可以学习直接从音频信号转录分数，打开了一个有前途的途径走向完整的AMT。
2019-10-26 cs.LG cs.SD eess.AS
Music Transcription with (Almost) No Supervision
Cornell University（康奈尔大学）
采用循环一致性翻译框架，利用少量配对数据作为锚点，充分挖掘未配对音频和乐谱数据，实现高质量音乐转录。
2026-05-22 cs.LG cs.SD
Scorpiano -- A System for Automatic Music Transcription for Monophonic Piano Music
Ss Cyril and Methodius University in Skopje（斯科普里圣西里尔与美多德大学）；Faculty of Electrical Engineering and Information Technologies（电气工程与信息技术学院）
音乐转录是将音乐音频转录成音乐符号的过程。这是一个机器仍然无法击败人类表现的领域。自动音乐转录的主要动机是使任何演奏乐器的人都能够快速准确地生成一段音乐的音符。无论这个人是初学者，只是通过搜索来寻找乐谱，还是听到现场爵士乐即兴演奏并希望在不浪费时间进行手动转录的情况下重现它的专家。我们提出了Scorpiano-一个系统，可以自动生成一个简单的单声道钢琴旋律轨道使用数字信号处理的乐谱。该系统集成了多种数字音频处理方法：音符起始检测，速度估计，节拍检测，音高检测和最终生成乐谱。该系统已被证明给简单的钢琴旋律，与商业上可用的基于神经网络的系统相比，有很好的效果。
2021-08-24 cs.SD eess.AS
AMT-APC: Automatic Piano Cover by Fine-Tuning an Automatic Music Transcription Model
Faculty of Data Science（数据科学学院）；Musashino University（武藏野大学）
针对现有自动钢琴封面模型表现力和保真度不足的问题，提出AMT-APC算法，利用自动音乐转录模型能力，实验表明该模型比现有模型更能准确再现原曲目。
2026-07-07 cs.LG cs.SD eess.AS
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
针对自动音乐转录模型训练计算成本高的问题，提出用软件合成器生成的合成音频训练通用模型，为迁移学习适配多乐器打基础，验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Automatic Transcription of Microtonal Free-Rhythm Vocal Music: A Case Study in Iranian Classical Music
Cu Test Inc.（Cu Test公司）
本文以伊朗古典音乐为案例，提出结合音高直方图与DTW的自动转录工作流程，采用music21库实现，可转录含tahrir等装饰音的微分音声乐，配套可视化与编辑工具，推进计算民族音乐学发展。
2026-08-19 cs.SD
Musical Rhythm Transcription Based on Bayesian Piece-Specific Score Models Capturing Repetitions
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；The Hakubi Center for Advanced Research, Kyoto University（京都大学白眉高级研究中心）；AIP Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目AIP中心）
大多数工作在乐谱模型（又名）。音乐语言模型）集中于描述乐谱中音符的局部顺序依赖性，而未能捕获它们的全局重复结构，而全局重复结构可以是用于转录音乐的有用指南。专注于节奏，我们制定了几个类的贝叶斯马尔可夫模型的乐谱，间接使用稀疏的转移概率的注意到或注意到的模式来描述重复。这使我们能够构建一个不固定的重复结构，看不见的分数，并推导出易于处理的推理算法的具体作品的模型。此外，为了描述近似的重复，我们明确地将修改重复的音符/音符模式的过程。我们将这些模型作为节奏转录的先验乐谱模型，其中特定于作品的乐谱模型是通过贝叶斯学习从执行的数据中推断出来的，与传统的乐谱模型的监督构建相反。使用流行音乐的声乐旋律的评估表明，贝叶斯模型提高了大多数测试模型类型的转录准确性，表明所提出的方法的普遍功效。此外，我们发现了一个有效的数据表示建模的节奏，最大限度地提高转录的准确性和计算效率。
2021-02-16 cs.AI cs.LG cs.SD
Multitrack Music Transcription with a Time-Frequency Perceiver
ByteDance（字节跳动）
本文提出Perceiver TF，一种增强的时频感知器架构，用于多轨音乐转录，可同时处理12种乐器与人声，并在多个公开数据集上超越MT3和SpecTNT等现有方法。
2023-06-19 cs.LG cs.SD eess.AS
YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation
Queen Mary（伦敦玛丽女王大学）；AI Industrial Convergence Cluster（人工智能产业融合集群）
本文提出YourMT3+多乐器音乐转录模型，通过分层注意力Transformer、专家混合编码器及跨数据集声部增强方法，在不完整标注下实现直接声乐转录，并在多个公共数据集上取得优于或媲美现有模型的性能。
2024-08-01 cs.LG cs.SD eess.AS
Count The Notes: Histogram-Based Supervision for Automatic Music Transcription
针对自动音乐转录现有弱监督方法依赖局部对齐、易出错且计算成本高的问题，提出基于音符直方图监督的CountEM框架，无需显式局部对齐即可在低标注成本下达到更优性能。
2025-11-18 cs.LG cs.SD
Timbre-Trap: A Low-Resource Framework for Instrument-Agnostic Music Transcription
Sony（索尼）
本文提出 Timbre-Trap 低资源框架，利用音高与音色的可分离性，以单个自动编码器联合完成音高显著性估计、频谱重建和转录，仅用少量标注数据即达到乐器无关转录的先进水平。
2024-01-24 cs.LG cs.SD eess.AS
Sound and Music Biases in Deep Music Transcription Models: A Systematic Analysis
本文分析了深度音乐转录模型在不同音乐风格和声音条件下的性能差异，发现音乐风格和声音质量对转录效果有显著影响。
2025-12-16 cs.LG cs.SD
Melody transcription via generative pre-training
Stanford University（斯坦福大学）
尽管旋律在音乐感知中起着中心作用，但在音乐信息检索中可靠地检测任意音乐记录中存在的旋律的音符仍然是一个公开的挑战。旋律转录中的一个关键挑战是构建可以处理包含任何数量的乐器合奏和音乐风格的广泛音频的方法-现有策略对某些旋律乐器或风格工作良好，但不是所有。为了应对这一挑战，我们利用了Juventure（Dhariwal et al. 2020）的表示，这是一种广泛音乐音频的生成模型，从而相对于传统的声谱图特征，将旋律转录的性能提高了$20$ %。旋律转录的另一个障碍是缺乏训练数据-我们从广泛音乐的众包注释中获得了一个新的数据集，其中包含$50$小时的旋律转录。生成预训练和用于该任务的新数据集的组合导致相对于最强可用基线的旋律转录的$77$ %更强的性能。通过将我们新的旋律转录方法与节拍检测、关键估计和和弦识别的解决方案相结合，我们构建了Sheet Sage，这是一个能够直接从音乐音频中转录人类可读的铅表的系统。音频示例可以在https://chrisdonahue.com/sheetsage上找到，代码可以在https://github.com/chrisdonahue/sheetsage上找到。
2022-12-04 cs.AI cs.LG cs.MM
Advancing Multi-Instrument Music Transcription: Results from the 2025 AMT Challenge
本文报告了2025年自动音乐转录挑战赛的结果，展示了多乐器转录的进展与挑战，强调了转录准确性的提升及多声部和音色变化的难点。
2026-03-29 cs.IR cs.SD
Quantifying the Corpus Bias Problem in Automatic Music Transcription Systems
Johannes Kepler University（约翰·开普勒大学）
本文通过构建模拟不同音乐分布偏移的测试集，评估多个SotA AMT系统，揭示训练语料过度集中于古典钢琴所导致的显著性能差距。
2024-08-08 cs.LG cs.SD eess.AS
An Experimental Analysis of the Entanglement Problem in Neural-Network-based Music Transcription Systems
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
最近的几个复调音乐转录系统已经利用深度神经网络在各种基准数据集上实现了最先进的结果，在帧级和音符级性能测量上突破了极限。不幸的是，我们可以观察到一种玻璃天花板效应。为了研究这种效果，我们详细分析了最先进的深度神经转录系统在钢琴转录任务上进行训练和测试时所犯的特定错误。我们最终不得不得出一个相当令人沮丧的结论：神经网络似乎能够学习音符的组合，并且很难推广到看不见的音符组合。此外，我们推测各种手段来缓解这种情况。
2017-01-31 cs.SD
Music Transcription by Deep Learning with Data and "Artificial Semantic" Augmentation
National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"（乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”）；University Paris 8（巴黎第八大学）
在这篇进展论文中，介绍了通过深度学习进行单音符识别的先前结果。提出了几种数据增强和“人工语义”增强的方法，通过增加训练数据的维度及其无损和有损变换，来提高用于单音和复调音符识别的深度学习方法的效率。
2017-12-08 cs.LG cs.SD eess.AS
The Effect of Spectrogram Reconstruction on Automatic Music Transcription: An Alternative Approach to Improve Transcription Accuracy
Singapore University of Technology and Design（新加坡科技设计大学）；Agency for Science, Technology and Research（科学技术研究局）；Queen Mary University of London（伦敦玛丽女王大学）
大多数最先进的自动音乐转录（AMT）模型将主转录任务分解为诸如起始点预测和偏移预测的子任务，并使用起始点和偏移标记对它们进行训练。然后，这些预测被连接在一起，并用作训练另一个具有音高标签的模型的输入，以获得最终的转录。我们尝试只使用音高标签（连同声谱图重建损失），并探索在不引入监督子任务的情况下，该模型可以走多远。在本文中，我们的目标不是实现最先进的转录精度，而是探索声谱图重建对AMT模型的影响。我们提出的模型由两个U-网组成：第一个U-网将谱图转录成后验图，第二个U-网将后验图转换回谱图。在原始频谱图和重构频谱图之间应用重构损失，以约束第二U网仅关注重构。我们在三个不同的数据集上训练我们的模型：MAPS，MAESTRO和MusicNet。我们的实验表明，添加重建损失通常可以提高音符级转录准确率相比，没有重建部分的相同模型。此外，它还可以将帧级精度提高到高于最先进的模型。我们的U-net学习到的特征图包含网格状结构（在基线模型中不存在），这意味着在存在重建损失的情况下，模型可能试图沿着时间和频率轴进行计数，从而获得更高的音符级转录准确度。
2020-10-20 cs.LG cs.SD eess.AS
Real-world Music Plagiarism Detection With Music Segment Transcription System
Mippia Inc.（Mippia公司）
本文提出结合多种MIR技术的音乐剽窃检测系统，通过音乐片段转录和多特征分析实现现实世界中的剽窃检测，并公开了用于音乐相似性研究的SMP数据集。
2025-09-10 cs.AI cs.SD eess.AS
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR（比萨大学，CNR区域）；Scuola Superiore Sant’Anna, Area CNR（圣安娜高等学院，CNR区域）
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线，将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
Omnizart: A General Toolbox for Automatic Music Transcription
Academia Sinica（中央研究院）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
我们发布了Omnizart，这是一个新的Python库，为自动音乐转录（AMT）提供了一个简化的解决方案。Omnizart包含构建基于深度学习的AMT的生命周期的模块，并设计为易于使用，具有紧凑的命令行界面。据我们所知，Omnizart是第一个转录工具包，它提供的模型涵盖了广泛的乐器类别，从独奏，乐器合奏，打击乐器到声乐，以及和弦识别和节拍/强拍跟踪模型，这两个音乐信息检索（MIR）任务与AMT高度相关。
2021-06-01 cs.AI cs.SD eess.AS
MOMOS-MT: Mobile Monophonic System for Music Transcription
Innopolis University（因诺波利斯大学）
音乐在社会认同和鼓励社会化方面具有重要的文化作用。技术通过物理和文化距离的破坏，导致了音乐主题的许多变化和形式的完全丧失。然而，它也允许保存和分发来自没有书面乐谱历史的社会的音乐。本文介绍了早期的工作，为音乐家和民族音乐学家的工具，从单声道有声作品转录乐谱保存和分发。使用FFT，系统检测音高频率，也有其他方法检测音符持续时间，速度，时间签名并生成乐谱。最终的系统能够在移动平台上使用，允许用户在现场录制和制作乐谱。
2016-11-22 cs.MM cs.SD
Towards Musically Informed Evaluation of Piano Transcription Models
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Linz Institute of Technology（林茨技术研究所）
针对现有钢琴转写评估指标无法反映音乐质量、模型在分布外数据性能下降的问题，本研究提出音乐性知情评估指标，并通过实验对比SOTA模型性能，为转写结果的音乐性误差分析提供支撑。
2024-10-07 cs.SD eess.AS
Jointist: Simultaneous Improvement of Multi-instrument Transcription and Music Source Separation via Joint Training
Singapore University of Technology and Design（新加坡科技设计大学）；Gaudio Lab（Gaudio实验室）；Bytedance（字节跳动）
在本文中，我们介绍了Jointist，一个乐器感知的多乐器框架，能够转录，识别和分离多个乐器从音频剪辑。Jointist由一个乐器识别模块组成，该模块调节其他两个模块：一个转录模块，输出乐器特定的钢琴卷，以及一个声源分离模块，利用乐器信息和转录结果。转录和声源分离模块的联合训练有助于提高这两项任务的性能。仪器模块是可选的，可由人类用户直接控制。这使得Jointist成为一个灵活的用户可控框架。我们具有挑战性的问题制定使得该模型在现实世界中非常有用，因为现代流行音乐通常由多种乐器组成。然而，它的新颖性需要一个新的视角来评估这样一个模型。在我们的实验中，我们从多个方面评估了所提出的模型，为多仪器转录提供了一个新的评估视角。我们的主观听力研究表明，Jointist在流行音乐上实现了最先进的性能，优于现有的多乐器转录模型，如MT3。我们对几个下游任务进行了实验，发现所提出的方法将转录提高了1个百分点以上（ppt），声源分离5 SDR，下拍检测1.8 ppt，和弦识别1.4 ppt，和关键估计1.4个百分点，当利用从Jointist获得的转录结果时。演示可在\url{https://jointist.github.io/Demo}上获得。
2023-02-02 cs.AI cs.LG cs.SD
Toward Evolution Strategies Application in Automatic Polyphonic Music Transcription using Electronic Synthesis
Institut Supérieur de Commerce（高等商学院）
本文提出了一种基于演化策略的复调音乐转写方法。自动音乐转录是一个复杂的过程，仍然是一个开放的挑战。使用一个音频信号被转录为我们的ES的目标，生成一个音频文件所需的信息可以从后者中提取。目前存在的文献中提出的许多技术，其中一些已经应用进化算法来解决这个问题的上下文中考虑它作为一个搜索空间问题。然而，专家系统至今尚未得到应用。实验表明，通过使用这些机器学习工具，一些缺点所提出的其他进化算法为基础的转录方法可以解决。它们包括计算成本和收敛时间。由于演化策略使用自适应参数，本文表明，通过正确调整其控制标准差的策略参数的值，可以触发向最优值的快速收敛，从结果中可以执行具有良好的准确性和在短时间内的音乐的转录。在相同的上下文中，使用并行化技术来处理计算任务，从而总体上减少了计算时间和转录时间。
2013-04-03 cs.SD
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design（新加坡科技设计大学）
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换（CQT）的影响。我们的研究结果表明，在不改变神经网络设计（单层全连接）的情况下，通过选择适当的输入表示（具有STFT窗口长度为4，096和2，048频率箱的对数频谱图），可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明，梅尔声谱图是一个紧凑的表示，我们可以减少频率箱的数量只有512，同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Transcription Is All You Need: Learning to Separate Musical Mixtures with Score as Supervision
MERL（三菱电机研究实验室）
大多数音乐声源分离系统需要大量的孤立声源来进行训练，这可能很难获得。在这项工作中，我们使用乐谱，这是比较容易获得，作为一个弱标签训练声源分离系统。与以前的score-informed分离方法相比，我们的系统不需要孤立的源，并且score仅用作训练目标，不需要进行推理。我们的模型由一个分离器和一个转录器组成，分离器为每个仪器输出一个时频掩码，转录器充当评论家，提供时间和频率监督来指导分离器的学习。谐波掩码约束被引入作为在训练期间利用分数信息的另一种方式，并且我们提出了两种新的对抗性损失，用于转录器和分离器的额外微调。结果表明，使用分数信息的性能优于时间弱标签，而对抗性结构可以进一步提高分离和转录性能。
2020-10-22 cs.LG cs.SD eess.AS
Statistical Models for Automatic Fingering-Annotated Piano Sheet Music Transcription
University of Alberta（阿尔伯塔大学）
提出8种统计方法联合进行钢琴音符手部分离与指法标注，并构建从音频到指法乐谱的完整流水线，在PIG数据集上综合模型达到90.8%手部分离和56.6%联合标注准确率。
2026-09-25 cs.SD
Machine Learning Techniques in Automatic Music Transcription: A Systematic Survey
Auburn University（奥本大学）
本系统性综述梳理了自动音乐转录领域的机器学习技术，评估了各类系统的进展与局限，指出了当前与人类准确率的差距，提出了改进方向与研究路线图。
2024-06-20 cs.AI cs.LG cs.SD
A Perceptual Measure for Evaluating the Resynthesis of Automatic Music Transcriptions
University of Milano（米兰大学）
本研究的重点是音乐表演的感知时，环境因素，如室内声学和仪器，改变。我们建议将“表演”的概念与表达“艺术意图”的“解释”概念区分开来。为了评估这一区别，我们进行了一项实验评估，其中91名受试者被邀请听取通过自动音乐转录（AMT）系统和传感器声学钢琴获得的重新合成的数据创建的各种录音。在重新合成的过程中，我们模拟了不同的语境，并要求听众评估当语境改变时，解释发生了多大的变化。结果表明：（1）单凭音乐表现形式无法完全把握音乐表演的艺术意图;（2）通常基于音乐表现形式的客观评价指标与主观评价的平均值相关性较低。为了弥合这一差距，我们提出了一种新的措施，这是有意义的相关测试的结果。此外，我们研究多模态机器学习提供了一个新的得分通知AMT方法，并提出了一个近似算法的$p$分散问题。
2022-03-07 cs.LG cs.SD eess.AS
ReconVAT: A Semi-Supervised Automatic Music Transcription Framework for Low-Resource Real-World Data
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（科学、技术与研究署（A*STAR）高性能计算研究所（IHPC））；Singapore University of Technology and Design（新加坡科技设计大学）
当前大多数有监督的自动音乐转录（AMT）模型缺乏泛化能力。这意味着他们很难从标记的训练数据中没有呈现的不同音乐流派中转录真实世界的音乐录音。在本文中，我们提出了一个半监督框架ReconVAT，它通过利用大量可用的未标记音乐录音来解决这个问题。建议的ReconVAT使用重建损失和虚拟对抗训练。当与现有的AMT U-net模型相结合时，ReconVAT在MAPS和MusicNet等常见基准数据集上取得了有竞争力的结果。例如，在MusicNet的字符串部分版本的Few-Shot设置中，ReconVAT分别针对音符和音符偏移度量实现了61.0%和41.6%的F1分数，这意味着与监督基线模型相比提高了22.2%和62.5%。我们提出的框架还展示了对新数据进行持续学习的潜力，这在不断提供新数据的实际应用中可能是有用的。
2021-07-29 cs.LG cs.MM cs.SD
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
Improved Architecture for High-resolution Piano Transcription to Efficiently Capture Acoustic Characteristics of Music Signals
Nagoya University（名古屋大学）
本文针对高分辨率钢琴转录中泛音误检和模型过大的问题，提出基于常数Q变换与CRNN及非自回归Transformer解码器结合的改进架构，在提升音符级指标的同时显著减小模型规模。
2024-09-29 cs.SD eess.AS
Dialogue in Resonance: An Interactive Music Piece for Piano and Real-Time Automatic Transcription System
Graduate School of Culture Technology, KAIST（文化科技研究生院，韩国科学技术院）
本文提出交互式音乐作品《共鸣中的对话》，将实时自动音乐转录整合到基于乐谱的框架中，实现人类钢琴家与计算机控制钢琴之间的动态对话，并介绍了从作曲到首演的开发过程。
2025-05-22 cs.AI cs.SD eess.AS
Audio-to-Score Alignment Using Deep Automatic Music Transcription
University of Milan（米兰大学）
音频到乐谱对齐（A2SA）是一项多模态任务，包括将音频信号与乐谱对齐。最近的文献证实了自动音乐转录（AMT）在帧级A2SA的好处。在这项工作中，我们的目标是详细说明AMT深度学习（DL）模型的利用，以实现在音符级别的对齐。我们提出了一种方法，它受益于基于HMM的分数到分数对齐和AMT，表现出显着的进步超出了国家的最先进的。我们设计了一个系统的程序，以利用大型数据集，不提供对齐的分数。最后，我们对多个数据集进行了全面的比较和广泛的测试。
2021-12-30 cs.MM cs.SD eess.AS
Late multimodal fusion for image and audio music transcription
Instituto Universitario de Investigación Informática（信息学大学研究所）；University of Alicante（阿利坎特大学）
音乐转录是音乐信息检索的一个关键问题，它将音乐源转换成结构化的数字格式。在计算方面解决这一挑战时，MIR社区遵循两条研究路线：音乐文档，这是光学音乐识别（OMR）的情况，或音频记录，这是自动音乐转录（AMT）的情况。上述输入数据的不同性质决定了这些领域必须发展特定模式的框架。然而，他们最近的定义序列标签任务导致一个共同的输出表示，这使得研究的组合范式。在这方面，多模态图像和音频音乐转录包括有效地组合由图像和音频模态传达的信息的挑战。在这项工作中，我们探讨这个问题在后期融合水平：我们研究了四种组合方法，以合并，第一次，关于端到端的OMR和AMT系统的假设，在基于格的搜索空间。从一系列性能场景中获得的结果--其中相应的单模态模型产生不同的出错率--显示了这些方法的有趣好处。此外，所考虑的四种策略中有两种显著改善了相应的单峰标准识别框架。
2022-08-26 cs.CV cs.IR cs.MM
Harmonica: Accurate and Lightweight Instrument-Agnostic Music Transcription
BandLab Technologies（BandLab科技公司）
本文提出基于多深度谐波卷积的乐器无关音乐转录模型Harmonica，不同规模变体在准确率或推理效率上表现优异，纳米变体帧F1值优于Basic Pitch，多深度谐波卷积可有效提升转录性能。
2026-09-07 cs.SD
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University（特拉维夫大学）
多乐器自动音乐转录（AMT），或将音乐记录解码成语义音乐内容，是音乐信息检索的圣杯之一。由于数据汇集困难，目前的AMT方法仅限于钢琴和（一些）吉他录音。为了克服数据汇集障碍，先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM，这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案，辅之以伪标签和音高偏移增强，我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督，我们报告了MAPS数据集的SOTA音符级准确性，以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果，并且我们提出了MusicNet数据集的替代标签，我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage
BandLab；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团公司）
本文提出MR-MT3，通过记忆保持机制、先前令牌采样和令牌洗牌增强MT3模型，减轻乐器泄漏，并在Slakh2100数据集上改进F1分数，引入新评估指标，同时探讨领域过拟合问题。
2024-03-15 cs.AI cs.LG cs.MM
Audio-to-score alignment of piano music using RNN-based automatic music transcription
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
我们提出了一个框架，采用自动音乐转录（AMT）使用神经网络的钢琴演奏音频到乐谱对齐。即使AMT结果可能包含一些误差，音符预测输出也可以被认为是直接与后音符或色度表示相当的学习特征表示。为此，我们采用了两个经常性的神经网络，作为基于AMT的特征提取器的对齐算法。一个预测88个音符或12个色度在帧级中的存在，另一个检测12个色度中的音符起始。我们结合了两种类型的学习功能的音频到分数对齐。为了具有可比性，我们应用动态时间规整作为对齐算法，而无需任何额外的后处理。我们评估建议的框架上的MAPS数据集，并将其与以前的工作进行比较。结果表明，与学习功能的对齐框架显着提高了准确性，实现小于10 ms的平均起始误差。
2017-11-13 cs.SD eess.AS
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra（庞培法布拉大学）
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战，由于其复杂的旋律进展，语调不准确，使用高度的重复和吉他伴奏的存在。在这项研究中，我们探讨了现有的最先进的转录系统的情况下，弗拉门戈歌唱的局限性，并提出了一个具体的解决方案，这种类型：我们首先提取的主要旋律，并应用一种新的轮廓过滤过程，以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合，将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性，发病检测和整体性能评估时，弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
SheetSage2: Coherent Lead-Sheet Transcription with Synthetic Supervision
Multimodal Art Projection（多模态艺术投影）；New York University（纽约大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；ACE Studio；The Hong Kong University of Science and Technology（香港科技大学）
针对音乐转录中标注稀缺和局部预测不一致的问题，提出统一框架SheetSage2，结合合成数据、结构化解码和自回归蒸馏，在八个基准上超越多个先前系统，实现连贯的主旋律谱转录。
2026-10-06 cs.SD
Development of Large Annotated Music Datasets using HMM-based Forced Viterbi Alignment
Sri Sivasubramaniya Nadar College of Engineering（斯里·希瓦苏布拉马尼亚·纳达尔工程学院）
针对音乐数据集构建耗时且需专业经验的问题，提出一种基于HMM强制Viterbi对齐的自动标注方法，生成了精确的吉他数据集，为AMT系统开发奠定基础。
2024-08-27 cs.LG cs.SD eess.AS
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）；UJM-Saint Etienne（圣艾蒂安大学）；Inserm（法国国家健康与医学研究院）
自动音乐转录是将音乐表演的音频记录转换为符号格式，它仍然是一项困难的音乐信息检索任务。在这项工作中，重点是钢琴转录，我们提出了一个半监督的方法，使用低秩矩阵分解技术，特别是卷积非负矩阵分解。在半监督设置中，只需要对每个音符进行单次记录。我们在MAPS数据集上表明，所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术，略差于监督深度学习最先进的方法，但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Score-Informed Transformer for Refining MIDI Velocity in Automatic Music Transcription
University of Western Australia（西澳大学）
本文提出了一种基于乐谱的轻量级Transformer模块，用于改进自动音乐转录中MIDI速度的估计，通过整合到HPT中实现了新的最先进性能。
2026-03-02 cs.SD eess.AS
DiffRoll: Diffusion-based Generative Music Transcription with Unsupervised Pretraining Capability
Sony（索尼公司）
本文提出基于扩散的生成式方法DiffRoll解决自动音乐转录，将AMT视为条件生成任务，支持转录、生成和修复音乐，并能在未配对数据上训练，性能优于判别式方法。
2022-10-20 cs.AI cs.LG cs.SD
A Dual Evaluation for Music Transcription
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
该研究针对音乐转录系统提出记谱相似度与回放相似度的双重评估框架，发现CLEWS指标相关性佳且成本低，不同评估维度偏好不同系统，新系统Rubato记谱相似度提升且回放具竞争力。
2026-08-07 cs.SD
Transfer Learning for Rhythm Game Chart Generation from Music Transcription and Across Games
Sogang University（西江大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对节奏游戏谱面生成问题，采用冻结预训练AMT音频编码器并训练线性投影与Transformer解码器的迁移学习方法，在MuScriptor数据集上提升了osu!少样本模式的事件F1值，验证了跨游戏迁移受谱面风格与音乐类型影响。
2026-10-14 cs.SD
