A Fully Convolutional Deep Auditory Model for Musical Chord Recognition
Johannes Kepler University（约翰内斯·开普勒大学）
和弦识别系统依赖于鲁棒的特征提取流水线。虽然这些管道传统上是手工制作的，但端到端机器学习的最新进展已经开始激励研究人员探索数据驱动的方法来完成这些任务。在本文中，我们提出了一个和弦识别系统，使用一个完全卷积的深度听觉模型的特征提取。提取的特征由条件随机场进行处理，解码最终的和弦序列。两个处理阶段都是自动训练的，不需要专业知识来优化参数。我们表明，学习的听觉系统提取音乐可解释的功能，并建议的和弦识别系统达到了同等或更好的结果比国家的最先进的算法。
2016-12-15 cs.LG cs.SD
An event-based sequence modeling approach to recognizing non-triad chords with oversegmentation minimization
Department of Industrial Engineering（工业工程系）；Institute of Industrial Systems Innovation, Seoul National University, Seoul, Republic of Korea（工业系统创新研究所，首尔国立大学，首尔，韩国）
本文提出一种基于事件的序列建模方法，通过段级序列到序列预测任务提升非三和弦识别性能，减少过度细分问题。
2026-04-27 cs.SD eess.AS
Enhancing Automatic Chord Recognition via Pseudo-Labeling and Knowledge Distillation
California State University, Fullerton, CA, USA（加州州立大学弗里蒙特分校）；Microsoft, Redmond, WA, USA（微软公司）；Beijing Normal-Hong Kong Baptist University, China（北京师范大学-香港 Baptist大学）
本文提出一种两阶段训练方法，利用预训练模型和未标记音频，通过伪标签和知识蒸馏提升和弦识别性能，实验显示学生模型在多个指标上优于传统监督学习和预训练模型。
2026-07-07 cs.IR cs.LG cs.MM
A Statistical Model for Melody Reduction
Georgia Institute of Technology（佐治亚理工学院）
音乐信息检索（MIR）内的自动和弦估计（ACE）系统性能差的一个常见原因是非和弦音调（即，在支持和声之外的音符）在标记过程中会导致错误。尽管机器学习方法在MIR中流行，但在某些情况下，替代方法提供了更简单的替代方案，同时允许深入了解音乐学实践。在这个项目中，我们提出了一个基于乐理规则的统计模型来预测和弦音调。我们的模型目前专注于预测古典音乐中的和弦音调，因为这种风格的作曲受到高度限制，理论上和弦音调的位置高度可预测。事实上，音乐理论家对每一种非和弦音都有一个标签系统，主要是根据音符的公制位置和接近和离开的音程来分类。使用度量位置，持续时间和旋律间隔作为预测因子，我们使用TAVERN数据集建立了一个用于预测和弦音调的统计模型。虽然我们的概率方法类似于自动谐波分析领域的其他努力，但我们的重点是旋律还原而不是预测和声。然而，我们希望将来继续研究ACE的应用。最后，我们实现了我们的旋律还原模型使用现有的符号可视化工具，以协助计算音乐学研究人员和音乐理论家的旋律还原和非和弦音调识别。
2021-05-12 cs.IR cs.SD eess.AS
Automatic Determination of Chord Roots
University of Innsbruck（因斯布鲁克大学）
尽管和弦根构成了音乐理论中的一个基本概念，但现有的模型并不能完全满意地解释和确定它们。我们提出了一种新的方法，考虑到顺序上下文来解决歧义和检测非谐波音调。我们从和弦对中提取特征，并使用决策树来确定和弦根。与其他模型相比，这导致预测根的正确性的定量改善。所有这些都提出了一个问题，和声和非和声音调实际上对和弦根的感知有多大贡献。
2016-01-11 cs.SD
Large Vocabulary Automatic Chord Estimation Using Deep Neural Nets: Design Framework, System Variations and Limitations
The University of Hong Kong（香港大学）
在本文中，我们提出了一个新的系统设计框架，大词汇自动和弦估计。我们的方法是基于传统的序列分割过程和深度学习和弦分类技术的集成。我们系统地探索了所提出的框架的一系列参数的设计空间，即深度神经网络、网络配置、输入特征表示、分段平铺方案和训练数据大小。实验结果表明，在三个提出的深度神经网络和基线模型中，基于递归神经网络的系统具有最好的平均和弦质量准确度，显著优于其他考虑的模型。此外，我们的偏差方差分析已经确定了玻璃天花板作为一个潜在的障碍，未来的大词汇量自动和弦估计系统的改进。
2017-09-22 cs.SD
DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University（乌得勒支大学）
自动和弦估计（ACE）是音乐信息检索（MIR）中的一项基本任务，在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱，并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年，但ACE尚未成为一个解决的问题，因为性能停滞不前，现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL，一个新的ACE系统，利用广泛可用的标签和标签表示，以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频，使用最先进的音频ACE方法。将音频文件与音频对齐，然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列，然后与音频对齐。接下来，DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明，从异构的符号音乐表示的音乐知识的整合是一个合适的策略，解决具有挑战性的MIR任务，如ACE。
2020-02-22 cs.MM cs.SD eess.AS
BACHI: Boundary-Aware Symbolic Chord Recognition Through Masked Iterative Decoding on Pop and Classical Music
University of California San Diego, USA（加州大学圣地亚哥分校）
BACHI通过掩码迭代解码实现流行与古典音乐的边界感知符号和弦识别，引入增强数据集并提出分解任务的模型，提升识别性能。
2026-02-05 cs.LG cs.SD eess.AS
MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation
Taiwan AI Labs（台湾AI实验室）；National Taiwan University（台湾大学）
MusiConGen基于MusicGen框架，通过高效微调机制将节奏与和弦作为条件信号，解决了文本到音乐生成中无法精确控制时序音乐特征的问题，可生成与指定条件高度契合的逼真伴奏音乐。
2024-07-21 cs.AI cs.SD eess.AS
From Note-Level to Chord-Level Neural Network Models for Voice Separation in Symbolic Music
音乐通常被体验为一系列并行的音符或声音。这种情况发生的程度取决于沿着语音主导连续体的位置，从单声道到谐音，再到复音，这使得自动语音分离模型的设计变得复杂。我们通过将声音分离定义为将音乐分解成流的任务来解决这个连续体，该流表现出与其他流的高度外部感知分离和高度内部感知一致性。所提出的语音分离任务允许语音发散为多个语音，并且还允许多个语音收敛为同一语音。有了这个灵活的任务定义，我们手动注释了一个流行音乐语料库，并用它来训练神经网络，这些神经网络可以为和弦中的每个音符单独分配音符（音符级别），也可以为和弦中的所有音符联合分配音符（和弦级别）。经过训练的神经模型使用不同的感知输入特征集，在输入和弦序列的从左到右遍历中将音符greetly分配给语音。当对语音内连续音符对的提取进行评估时，基于包络提取函数的迭代应用，两个模型都超过了强基线，其中和弦级模型始终边缘化音符级模型。这两种模型在分离巴赫音乐中的声音方面也优于以前的方法。
2020-11-05 cs.AI cs.LG cs.SD
Automatic Analysis and Influence of Hierarchical Structure on Melody, Rhythm and Harmony in Popular Music
Carnegie Mellon University（卡内基梅隆大学）
重复是音乐结构的基本指标。这项研究介绍了新的算法，用于识别基于重复的音乐短语。短语组合形成部分，产生两级层次结构。自动检测的层次重复结构揭示了结构和和弦进行，旋律和节奏之间的显着相互作用。不同层次的相互作用不同，提供证据表明，结构层次在音乐中发挥着重要作用，而不仅仅是简单的重复或相似的概念。我们的工作为音乐生成和音乐评价提供了新的应用。
2020-10-15 cs.SD eess.AS
Roman Numeral Analysis with Graph Neural Networks: Onset-wise Predictions from Note-wise Features
Institute of Computational Perception, Johannes Kepler University Linz（约翰开普勒林茨大学计算感知研究所）；LIT AI Lab, Linz Institute of Technology（林茨理工学院LIT人工智能实验室）
提出ChordGNN图神经网络，利用音符级特征与边收缩算法直接处理符号乐谱并输出起音点级罗马数字分析，准确率超过现有最先进模型。
2023-07-12 cs.LG cs.SD
Omnizart: A General Toolbox for Automatic Music Transcription
Academia Sinica（中央研究院）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
我们发布了Omnizart，这是一个新的Python库，为自动音乐转录（AMT）提供了一个简化的解决方案。Omnizart包含构建基于深度学习的AMT的生命周期的模块，并设计为易于使用，具有紧凑的命令行界面。据我们所知，Omnizart是第一个转录工具包，它提供的模型涵盖了广泛的乐器类别，从独奏，乐器合奏，打击乐器到声乐，以及和弦识别和节拍/强拍跟踪模型，这两个音乐信息检索（MIR）任务与AMT高度相关。
2021-06-01 cs.AI cs.SD eess.AS
Structure-Enhanced Pop Music Generation via Harmony-Aware Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent Inc（腾讯公司）；Communication University of China（中国传媒大学）
长期以来，流行音乐生成一直是音乐家和科学家都很感兴趣的话题。然而，自动合成具有令人满意的结构的流行音乐仍然是一个具有挑战性的问题。在本文中，我们提出利用和声感知学习结构增强的流行音乐生成。一方面，和声的参与者之一和弦代表着多个音符的和声集合，它与音乐的空间结构织体紧密结合。另一方面，和声的另一个参与者和弦进行往往伴随着音乐的发展，促进了音乐的时间结构，即形式。而且，当和弦演变为和弦进行时，织体与曲式之间可以自然地通过和声进行衔接，这有助于两种结构的共同学习。此外，我们提出了Harmony-Aware Hierarchical Music Transformer（HAT），它可以从音乐中自适应地利用结构，并使音乐令牌分层交互，以增强多层次音乐元素的结构。实验结果表明，与现有的方法相比，HAT方法对音乐结构有更好的理解，能够提高生成音乐的质量，尤其是在形式和纹理方面。
2022-07-12 cs.LG cs.SD eess.AS
Multi-Channel Automatic Music Transcription Using Tensor Algebra
音乐是一种艺术，每个听众都以独特的方式感知，来自声学信号。同时，有乐谱这样的标准来描述它，即使人类能够进行这种转录，在时间和精力方面也是昂贵的，尤其是随着互联网的兴起，信息爆炸。从这个意义上说，研究的方向是自动音乐转录。虽然这一任务在单音符的情况下被认为是解决了，但当音符叠加在一起形成和弦时，它仍然是开放的。本报告的目的是发展一些现有的技术对音乐转录，特别是矩阵分解，并介绍了多通道自动音乐转录的概念。这个概念将通过被称为张量的数学对象来探索。
2021-07-23 cs.IR cs.LG cs.SD
Using musical relationships between chord labels in automatic chord extraction tasks
Ircam（法国声学/音乐研究和协作学院）；CNRS（法国国家科学研究中心）；University of La Rochelle（拉罗谢尔大学）
近年来，基于机器学习的和弦自动提取模型的改进成为研究的热点。然而，大多数模型仍然没有考虑到标签字母（和弦标签）的先验知识。此外，最近的工作表明，ACE性能正在朝着玻璃天花板收敛。因此，这提示需要把重点放在其他方面的任务，如介绍音乐知识的代表性，改进的模型对更复杂的和弦字母表和更适应的评价方法的发展。在本文中，我们建议利用和弦标签之间的特定属性和关系，以提高统计ACE模型的学习。因此，我们分析了和弦表示及其相关距离的相互依赖性，和弦字母表的精度，以及在模型训练之前或之后减少字母表的影响。此外，我们提出了基于音乐理论的新的训练损失。我们表明，这些改进的ACE系统的基础上卷积神经网络的结果。通过对我们的结果进行深入分析，我们发现了一组基于统计模型的ACE任务的相关见解，并正式确定了一些分类错误的音乐意义。
2019-11-14 cs.IR cs.LG cs.SD
Chord Label Personalization through Deep Learning of Integrated Harmonic Interval-based Representations
Utrecht University（乌得勒支大学）；Chordify
自动和弦估计系统的准确性不断提高，大量异构参考注释的可用性以及注释者主观性研究的见解使得和弦标签个性化变得越来越重要。然而，自动和弦估计系统在历史上仅在单个参考注释上进行训练和评估。我们通过对基于和声音程的和弦标签表示进行深度学习来对主观性进行建模，从而引入自动和弦标签个性化的第一种方法。在集成了来自多个注释器的这些表示之后，我们可以从单个模型和注释器的和弦标签词汇表中准确地个性化各个注释器的和弦标签。此外，我们表明，和弦个性化使用多个参考注释优于使用一个单一的参考注释。
2017-06-29 cs.MM cs.NE cs.SD
Transfer of knowledge among instruments in automatic music transcription
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
针对自动音乐转录模型训练计算成本高的问题，提出用软件合成器生成的合成音频训练通用模型，为迁移学习适配多乐器打基础，验证了合成数据预训练通用转录模型的有效性。
2023-04-30 cs.LG cs.SD eess.AS
Automatic estimation of harmonic tension by distributed representation of chords
Ars Electronica Linz GmbH & Co KG（林茨电子艺术有限公司）；Johannes Kepler University（约翰内斯·开普勒大学）
紧张感的积累和释放是听音乐过程中最重要的方面之一。一个真实的计算模型感知音乐张力将是许多音乐信息学应用的重要组成部分。本文提出了一种新的方法来模拟谐波张力的基础上的分布式表示的弦。最初的假设是，人类听众所感知到的和声张力与当地和声环境中和声单元（和弦）的预期性有关。我们训练一个word2vec类型的神经网络来学习一个向量空间，该向量空间捕获上下文相似性和预期性，并在此基础上定义一个谐波张力的定量度量。为了评估模型的真实性，我们比较了一些定义明确的和弦类和节奏的背景下，从音乐心理学的相关实证研究的结果，其输出。统计分析表明，该模型的预测符合从人类听众获得的经验证据非常好。
2017-07-04 cs.IR cs.SD
Automatic Melody Harmonization with Triad Chords: A Comparative Study
Academia Sinica（中央研究院）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Nihon University（日本大学）；Georgia Institute of Technology（佐治亚理工学院）；KKBOX Inc.（KKBOX公司）
几个先前的作品已经提出了用于自动旋律协调任务的各种方法，其中模型旨在生成和弦序列以用作给定的多小节旋律序列的和声伴奏。在本文中，我们提出了一个比较研究评估和比较一组规范的方法来完成这项任务，包括基于模板匹配的模型，隐马尔可夫模型，基于遗传算法的模型，和两个基于深度学习的模型的性能。评估是在我们为这项研究新收集的9，226个旋律/和弦对的数据集上进行的，考虑了多达48个三和弦，使用标准化的训练/测试分割。我们报告了使用六种不同指标进行客观评估的结果和一项有202名参与者的主观研究。
2021-04-27 cs.LG cs.SD eess.AS
ViTex: Visual Texture Control for Multi-Track Symbolic Music Generation via Discrete Diffusion Models
School of EECS, Peking University（电子工程系，北京大学）；Music X Lab, MBZUAI（音乐X实验室，MBZUAI）；Courant Institute of Mathematical Sciences, New York University（数学科学学院，纽约大学）
ViTex通过离散扩散模型实现多轨符号音乐生成的视觉纹理控制，结合乐器选择、音高时间及笔触属性，生成高质量音乐并支持纹理级操控。
2026-03-02 cs.SC cs.SD
POP909: A Pop-song Dataset for Music Arrangement Generation
New York University（纽约大学）；University of Florida（佛罗里达大学）；Carnegie Mellon University（卡内基梅隆大学）
编曲生成是自动音乐生成的一个子任务，它涉及到用新的作曲技术对作品进行重构和重新概念化。这样的生成过程不可避免地需要参考原始旋律、和弦进行或其他结构信息。尽管有一些很有前途的安排模式，但它们缺乏更精确的数据，无法实现更好的评估和更实际的结果。在本文中，我们提出了POP909，一个数据集，其中包含了多个版本的钢琴安排的909流行歌曲创作的专业音乐家。数据集的主体包含每首歌曲的人声旋律、主乐器旋律和钢琴伴奏，这些都是与原始音频文件对齐的。此外，我们还提供了速度，节拍，基调和和弦的注释，其中速度曲线是手工标记的，其他的是通过MIR算法完成的。最后，我们使用标准的深度音乐生成算法对此数据集进行了几次基线实验。
2020-08-17 cs.IR cs.LG cs.SD
Speech-Mamba: Long-Context Speech Recognition with Selective State Spaces Models
Institute for Infocomm Research, Agency for Science, Technology；Research (A STAR), Singapore
针对Transformer模型处理长语音序列复杂度高的问题，提出Speech-Mamba架构，通过融合选择性状态空间模型与Transformer低层特征，实现近线性扩展并显著提升长程依赖建模能力。
2024-09-27 cs.SD eess.AS
Mamba for Streaming ASR Combined with Unimodal Aggregation
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出将Mamba状态空间模型用于流式ASR，结合预测机制、单模态聚合与提前终止方法，在中文数据集上同时提升识别准确率并降低延迟。
2024-12-27 cs.CL cs.SD eess.AS
Mamba-based Decoder-Only Approach with Bidirectional Speech Modeling for Speech Recognition
本文提出MADEON，一种基于Mamba的仅解码器ASR架构，通过引入语音前缀技术进行双向语音建模以增强上下文信息，在大型数据集上取得了与Transformer模型相当的性能。
2024-11-11 cs.SD eess.AS
MLMA: Towards Multilingual ASR With Mamba-based Architectures
Center for Augmented Intelligence, Fondazione Bruno Kessler, Trento, Italy（增强智能中心，布鲁诺·克塞勒基金会，意大利特伦托）
本文提出MLMA，利用Mamba状态空间模型进行多语言ASR，通过隐式语言感知和共享表示，在标准基准上达到与Transformer相当的竞争力，展现其可扩展高效潜力。
2025-10-23 cs.CL cs.SD
Gaussian Processes for Music Audio Modelling and Content Analysis
Queen Mary University of London（伦敦玛丽女王大学）
真正的音乐信号是高度可变的，但它们具有强大的统计结构。关于声音产生的基本物理机制和构建复杂声音结构的规则（音符，和弦，完整的乐谱）的先验信息可以使用贝叶斯建模技术自然统一。通常，自动音乐转录的算法独立地执行单个任务，例如多个F0检测和节拍跟踪。挑战仍然是执行所有参数的联合估计。我们提出了一种贝叶斯方法来建模音乐音频和内容分析。所提出的方法的基础上高斯过程寻求联合估计的多个音乐概念，通过合并到内核先验信息的非平稳行为，动态，和丰富的频谱内容中存在的建模音乐信号。我们说明了这种方法的好处，通过两个任务：音高估计，并推断丢失的段在复调录音。
2016-06-10 cs.SD stat.ML
XLSR-Mamba: A Dual-Column Bidirectional State Space Model for Spoofing Attack Detection
Fortemedia（富迪科技）
本文提出XLSR-Mamba，结合双列Mamba架构与wav2vec 2.0自监督学习，有效解决有限标签数据下的欺骗攻击检测问题，在多个数据集上实现高精度与快速推理。
2025-03-01 cs.SD eess.AS
Generating Lead Sheets with Affect: A Novel Conditional seq2seq Framework
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）
在过去的几年里，自动音乐合成领域取得了巨大的进步，其中很大一部分可以归功于深度神经网络的进步。有许多研究提出了从零开始生成乐谱的不同策略。包括高层次的音乐特征（例如，然而，作为控制发电输出的条件，感知的情感品质）仍然是一个挑战。在本文中，我们提出了一种新的方法来计算价（积极或消极的情绪感知）的和弦进展内的铅表，使用预定义的情绪标签提出的音乐专家。基于这种方法，我们提出了一种新的策略，有条件的铅片生成，使我们能够引导音乐生成的效价，措辞和时间签名。我们的方法类似于神经机器翻译（NMT）问题，因为我们在所使用的序列到序列架构的编码器部分中包括高级条件（即，长短期记忆网络和Transformer网络）。我们进行了实验，彻底分析这两个架构。结果表明，该策略能够以可控的方式生成铅板，从而使音乐属性的分布与训练数据集相似。我们还验证了通过主观听力测试，我们的方法是有效的控制生成的和弦进行的效价。
2021-04-27 cs.LG cs.SD eess.AS
Joint Transcription of Acoustic Guitar Strumming Directions and Chords
针对吉他扫弦自动转录数据集受限的挑战，本研究提出基于深度学习的CRNN模型，结合90分钟真实与4小时合成数据，仅用麦克风音频即可联合检测扫弦方向与和弦，准确率显著优于基线。
2025-08-11 cs.CL cs.SD eess.AS
ComMU: Dataset for Combinatorial Music Generation
Pozalabs（波扎实验室）；Yonsei Univ.（延世大学）
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐（例如，浪漫电影、动作游戏、餐馆等的音乐）。在本文中，我们介绍了组合音乐生成，一个新的任务，创造不同的背景音乐的基础上，给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本，并将其组合以产生完整的音乐。此外，我们介绍了ComMU，第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是：（1）数据集由专业作曲家手动构建，具有诱导规律性的客观指导原则，（2）它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明，我们可以生成不同的高品质的音乐，只有元数据，我们独特的元数据，如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频（https：//pozalabs.github.io/ComMU）。
2022-11-17 cs.AI cs.MM cs.SD
Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions
UC San Diego（加州大学圣地亚哥分校）；NYU Shanghai（上海纽约大学）
自动音乐生成是一个跨学科的研究课题，它结合了计算创造力和音乐的语义分析来创建自动机器即兴创作。这种系统的重要特性是允许用户指定所生成的音乐的条件和期望的特性。在本文中，我们设计了一个模型，为用户指定的象征性的情况下，结合以前的音乐上下文组成的旋律。我们添加手动标记的矢量表示外部音乐质量的和弦功能，提供了一个低维的谐波张力和分辨率的表示。我们的模型能够以8拍音符序列为基本单位生成长旋律，并与另一首特定的歌曲共享一致的节奏模式结构。该模型包含两个阶段，需要单独的训练，其中第一阶段采用条件变分自编码器（C-VAE）来构建音符序列及其潜在表征之间的双射，第二阶段采用具有结构条件的长短期记忆网络（LSTM）来继续编写未来的旋律。我们进一步利用解开技术，通过C-VAE允许旋律生成的基础上，音高轮廓信息独立于调节节奏模式。最后，我们使用节奏的定量分析和主观听力研究评估所提出的模型。结果表明，我们的模型生成的音乐往往具有显着的重复结构，丰富的动机，和稳定的节奏模式。能够生成更长，更结构化的短语从解纠缠表示结合语义场景规范条件显示了我们的模型的广泛应用。
2020-02-05 cs.AI cs.LG cs.SD
Multi-Step Chord Sequence Prediction Based on Aggregated Multi-Scale Encoder-Decoder Network
IRCAM（法国高等声学与音乐研究学院（IRCAM））；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Kyoto University（京都大学）
研究了基于机器学习模型的爵士乐和弦进行预测。我们研究的动机来自于最近神经网络在自动作曲方面的成功。虽然在单步预测场景中获得了高精度，但大多数模型无法生成准确的多步和弦预测。在本文中，我们假设，这来自音乐信息的多尺度结构，并提出了新的架构的基础上迭代的时间聚合的输入标签。具体来说，输入和地面真值标签合并成越来越大的时间袋，我们训练一个家庭的编码器-解码器网络的每个时间尺度。在第二步中，我们在每个尺度上使用这些预训练的编码器瓶颈特征，以便训练最终的编码器-解码器网络。此外，我们依赖于不同的减少到三个适应和弦字母的初始和弦字母表。我们对几种最先进的模型进行了评估，结果表明，我们的多尺度架构在准确性和复杂性方面优于现有方法，同时需要相对较少的参数。我们分析结果的音乐属性，显示分析窗口内的准确度的重拍位置的影响，并使用音乐通知的距离度量评估错误。
2019-11-12 cs.LG cs.SD eess.AS
Spiking and Event-driven Neuromorphic Mamba Models for Efficient Speech Recognition
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
提出脉冲和事件驱动的神经形态Mamba模型，通过激活稀疏性提升语音识别效率，在LibriSpeech上实现超过60%的激活稀疏性且精度损失小于1%，并开发周期精确的事件驱动模拟器实现算法-硬件协同优化。
2026-05-31 cs.NE cs.SD
Video Background Music Generation: Dataset, Method and Evaluation
Beihang University（北京航空航天大学）；Edinburgh College of Art, University of Edinburgh（爱丁堡大学爱丁堡艺术学院）；Alibaba Group（阿里巴巴集团）
本文针对视频背景音乐自动生成任务，提出首个带丰富音乐标注的数据集SymMV、基准框架V-MusProd和检索式评估指标VMCP，实验证明其在音乐质量与视频对应性上优于现有方法。
2023-08-04 cs.CV cs.MM cs.SD
Tonal harmony and the topology of dynamical score networks
University of North Texas（北德克萨斯大学）；CEMI – Center for Experimental Music and Intermedia, University of North Texas（北德克萨斯大学实验音乐与跨媒体中心）；iARTA – Initiative for Advanced Research in Technology and the Arts, University of North Texas（北德克萨斯大学技术与艺术高级研究计划）
我们引入动态分数网络的概念，用于音调组成的表示和分析：分数被解释为一个动态网络，其中每个和弦是一个节点，每个进展链接连续的和弦。该网络可以被视为非平稳信号的时间序列，因此，可以使用时间序列分析和变化点检测来划分该网络以用于音调区域的自动识别，而不依赖于与预定参考集或广泛语料库的比较。我们证明了音调和谐的基本特征，中心性，指涉性，方向性和层次性，自然地出现在网络拓扑结构及其无标度属性。最后，通过这些图上的路线优化算法求解最小长度路径提供了谐波序列的抽象，其可以被概括为音调组成设计的生成模型的概念。
2021-01-27 cs.SD cs.SI eess.AS
State-Space Models in Efficient Whispered and Multi-dialect Speech Recognition
Department of Computational Linguistics（计算语言学系）；Recognition Technologies（语音识别技术）；Faculty of New Sciences and Technologies（新科学与技术学院）；Faculty of New Sciences（新科学学院）
本文提出基于 Mamba 的状态空间模型结合 Wav2Vec2、WavLM、HuBERT 和 Whisper 四个微调自监督模型，在低量数据与处理负载下解决耳语音与多方言双重识别挑战，并在 wTIMIT 和 CHAINS 数据集上取得最佳性能。
2025-06-27 cs.SD eess.AS
Samba-ASR: State-Of-The-Art Speech Recognition Leveraging Structured State-Space Models
SandLogic Technologies Pvt Ltd（SandLogic科技私人有限公司）
提出以 Mamba SSM 同时作为编码器和解码器的 Samba ASR，在公开基准上以更高效率和更低 WER 超越开源 transformer ASR。
2025-01-08 cs.AI cs.CL cs.SD
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
