Enhancing Music Genre Classification through Multi-Algorithm Analysis and User-Friendly Visualization
BITS Pilani WILP（印度皮拉尼博拉理工学院工学结合项目）
本研究利用五种独立算法分析歌曲的节奏、旋律和音调，以准确分类音乐流派，并通过可视化工具展示结果，便于用户理解与反馈。
2024-05-27 cs.AI cs.SD eess.AS
Bangla Music Genre Classification Using Bidirectional LSTMS
Dept. of Computer Science \& Engineering, Bangladesh Army International University of Science；Technology, Cumilla Cantonment, Cumilla - 3501, Bangladesh Dept. of Computer Science \& Engineering, CCN University of Science；Technology, CCN Road, Cumilla - 3506, Bangladesh. Dept. of Electrical \& Electronic Engineering, International Islamic University Chittagong,Chattogram - 4318, Bangladesh.
本文提出使用双向LSTM对孟加拉音乐进行流派分类，通过MFCC特征提取和实验验证，实现78%的分类准确率。
2026-01-21 cs.LG cs.SD
Improving Automatic Jazz Melody Generation by Transfer Learning Techniques
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Taiwan AI Labs（台湾人工智能实验室）；Research Center for IT Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
在本文中，我们解决了迁移学习的问题，爵士乐自动生成。爵士乐是一种具有代表性的音乐类型，但由于缺乏爵士乐数据，爵士乐生成模型的构建受到了阻碍。迁移学习是一种旨在解决数据不足问题的学习方法，其目的是将一个领域的共性特征迁移到另一个领域。鉴于它在其他机器学习问题上的成功，我们研究它是否可以帮助改善资源不足的音乐类型的自动音乐生成，以及有多大帮助。具体来说，我们使用一个循环的变分自编码器作为生成模型，并使用一个未指定类型的数据集作为源数据集和一个Jazz数据集作为目标数据集。两种迁移学习方法使用六个级别的源目标数据比率进行评估。第一种方法是在源数据集上训练模型，然后在目标数据集上微调结果模型参数。第二种方法是同时在源数据集和目标数据集上训练模型，但向潜在向量添加流派标签并使用流派分类器来改进Jazz生成。评估结果表明，第二种方法似乎整体表现更好，但它不能充分利用类型未指定的数据集。
2019-08-26 cs.LG cs.SD eess.AS
Convolution channel separation and frequency sub-bands aggregation for music genre classification
University of Seoul（首尔大学）
在音乐中，音高和节奏等短期特征构成了旋律和叙事等长期语义特征。音乐流派分类（MGC）系统应该能够分析这些特征。在这项研究中，我们提出了一个新的框架，可以提取和聚合的短期和长期的功能分层。我们的框架基于ECAPA-TDNN，由于反向传播训练，所有提取短期特征的层都会受到提取长期特征的层的影响。为了防止短期特征的失真，我们设计了卷积通道分离技术，将短期特征与长期特征提取路径分离。为了从我们的框架中提取更多不同的特征，我们采用了频率子带聚合方法，该方法将输入频谱图沿频率带宽划分并处理每个段。我们使用Melon Playlist数据集评估了我们的框架，Melon Playlist数据集是一个大规模数据集，包含的数据是MGC研究中广泛使用的数据集GTZAN的600倍。结果，我们的框架实现了70.4%的准确率，与传统框架相比提高了16.9%。
2022-11-03 cs.SD eess.AS
ImprovNet -- Generating Controllable Musical Improvisations with Iterative Corruption Refinement
Electronic Engineering and Computer Science Department, Queen Mary University of London, UK（伦敦大学女王学院电子工程与计算机科学系）；Information Systems, Technology, and Design, Singapore University of Technology and Design, Singapore（新加坡科技设计大学信息系统、科技与设计系）
针对音乐风格迁移数据集有限、缺乏统一多任务模型的问题，提出基于Transformer的ImprovNet，通过自监督损坏-精修策略实现可控的多类型音乐即兴生成，效果优于现有模型且流派转换辨识度高。
2025-05-16 cs.AI cs.SD eess.AS
YMIR: A new Benchmark Dataset and Model for Arabic Yemeni Music Genre Classification Using Convolutional Neural Networks
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Department of Information Science and Technology, Northwest University（西北大学信息科学与技术学院）
本文提出YMIR数据集和YMCM模型，用于也门传统音乐流派分类，通过系统实验验证了基于梅尔频谱图的高准确率。
2026-04-06 cs.AI cs.SD
Exploring Inherent Properties of the Monophonic Melody of Songs
Peking University（北京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
旋律是音乐中最重要的组成部分之一。与音乐理论中的和声、对位等其他成分不同，旋律的可计算特征是一个迫切需要解决的问题。这些功能是非常需要的数据驱动方法占主导地位的领域，如音乐信息检索和自动音乐合成。为了提高与深度学习相关的音乐任务的性能，我们提出了一组用于计算目的的单声道旋律的可解释特征。这些特征不仅以数学形式定义，而且还考虑到作曲家的直觉。例如，旋律重心可以反映旋律的逐段轮廓，局部/全局旋律动态量化在句子中耦合音高和时间的旋律的动态。我们发现，这些特点被人们普遍认为是在许多体裁的歌曲，甚至是无调性的创作实践。希望这些旋律特征能为未来的研究者提供新的灵感，作为MIR和自动作曲领域的工具。
2020-03-20 cs.AI cs.SD eess.AS
Missing Melodies: AI Music Generation and its "Nearly" Complete Omission of the Global South
Research Assoc. at Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed University of Artificial Intelligence研究员）；Professor at Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed University of Artificial Intelligence教授）
该研究分析人工智能音乐生成的训练数据与相关论文，发现全球南方音乐在数据和研究中严重缺失，提出缓解风险以促进包容性的步骤。
2025-08-25 cs.AI cs.CL cs.LG
Embedding a Differentiable Mel-cepstral Synthesis Filter to a Neural Speech Synthesis System
Nagoya Institute of Technology（名古屋工业大学）；Techno-Speech, Inc.（Techno-Speech公司）
本文将经典的梅尔倒谱合成滤波器集成到现代神经语音合成系统中，实现端到端可控的语音合成。由于梅尔倒谱合成滤波器显式地嵌入在所提出的系统中的神经波形模型中，语音特性和合成语音的音高分别通过频率弯曲参数和基频进行高度控制。我们实现了梅尔倒谱合成滤波器作为一个微分和GPU友好的模块，使所提出的系统中的声学和波形模型，以端到端的方式同时优化。实验表明，该系统提高了语音质量从基线系统保持可控性。实验中使用的核心PyTorch模块将在GitHub上公开。
2022-11-21 cs.CL cs.SD eess.AS
MS-SincResNet: Joint learning of 1D and 2D kernels using multi-scale SincNet and ResNet for music genre classification
National Yang Ming Chiao Tung University（国立阳明交通大学）；Chung Hua University（中华大学）
在这项研究中，我们提出了一种新的端到端卷积神经网络，称为MS-SincResNet，用于音乐流派分类。MS-SincResNet将1D多尺度SincNet（MS-SincNet）作为第一个卷积层添加到2D ResNet，试图在训练阶段联合学习1D内核和2D内核。首先，将输入音乐信号划分为多个固定持续时间（本研究中为3秒）的音乐片段，并将每个音乐片段的原始波形馈送到1D MS-SincNet滤波器学习模块中以获得三通道2D表示。与声谱图、和声声谱图、泛音声谱图和梅尔声谱图相比，习得的表征具有丰富的音色、和声和泛音特征。然后使用ResNet从这些2D表示中提取判别嵌入。空间金字塔池化（SPP）模块进一步用于在时间和频率方面增强特征区分度，以获得每个音乐片段的分类标签。最后，投票策略被应用于总结来自所有3秒音乐片段的分类结果。在我们的实验结果中，我们证明了所提出的MS-SincResNet优于基线SincNet和许多众所周知的手工制作的功能。考虑到单独的2D表示，MS-SincResNet还在GTZAN数据集和ISMIR 2004数据集上产生了与最先进方法竞争的结果。代码可在https://github.com/PeiChunChang/MS-SincResNet上获得
2021-09-18 cs.AI cs.SD eess.AS
cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms
University of Toronto（多伦多大学）
在机器学习领域分析音乐是一个非常困难的问题，需要考虑许多限制。音频数据的性质，其非常高的维度和广泛变化的结构尺度，是它如此难以建模的主要原因之一。机器学习在音乐中有许多应用，例如对一段音乐的情绪进行分类，有条件的音乐生成或流行预测。该项目的目标是开发一个基于Mel声谱图的音乐体裁条件生成模型，并通过将其与使用基于音符表示的现有生成音乐模型进行比较来评估其性能。我们最初实现了一个自回归的、基于RNN的生成模型，称为MelNet。然而，由于其速度慢且输出保真度低，我们决定创建一种新的全卷积架构，该架构基于Mel GAN [4]和条件GAN架构，称为cMel GAN。
2022-05-15 cs.AI cs.LG cs.SD
Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs
Georgia Institute of Technology（佐治亚理工学院）
符号音乐的深度生成模型通常被设计为对音乐中的时间依赖性进行建模，以便在给定先前事件的情况下预测下一个音乐事件。在许多情况下，这样的模型被期望从原始音乐数据中学习抽象概念，如和声、节拍和节奏，而不需要任何额外的信息。在这项研究中，我们调查的影响，明确条件反射深生成模型与音乐相关的信息。具体而言，我们研究了四种不同的条件输入的性能上的一个经常性的单声道旋律生成模型的影响。这些调节输入的几种组合用于训练不同的模型变体，然后使用跨两种音乐流派的三个客观评估范例来评估这些模型变体。结果表明，音乐相关的条件反射显着提高学习和性能，并揭示了这些信息如何影响学习的音高和节奏相关的音乐特征。一个非正式的主观评价表明，一代人的审美素质相应提高。
2019-07-10 cs.AI cs.SD eess.AS
An Extensive Analysis of Query by Singing/Humming System Through Query Proportion
S.J.College of Engineering（S.J.工程学院）
QBSH（Query by Singing/Humming）是一个以小音频片段为查询对象的音乐信息检索系统。数字音乐的日益普及为音乐检索提供了有效的方法。此外，MIR系统支持基于内容的音乐搜索，并且不需要熟悉音乐。目前对QBSH的研究主要集中在音高、节奏、音符等旋律特征上，数据库的大小、响应时间、分数匹配和搜索算法。尽管提出了各种QBSH技术，但通过查询摘录来分析QBSH的工作还很缺乏。在这里，我们提出了一个分析，QBSH通过查询摘录。为了证实这一点，我们利用Mel频率倒谱系数（MFCC）、线性预测系数（LPC）和线性预测倒谱系数（LPCC）进行了一系列的实验，以描述知识表示的鲁棒性。建议的实验试图揭示，检索性能以及精度下降，在蜗牛阶段与不断增长的数据库的大小。
2013-01-09 cs.IR cs.MM cs.SD
Deep domain adaptation for polyphonic melody extraction
本文针对复调旋律提取中的跨领域性能下降问题，研究了多种深度领域自适应技术，发现基于元学习的自适应方法优于简单微调及现有非自适应算法。
2023-04-05 cs.SD eess.AS
Progressive Rock Music Classification
University of Florida（佛罗里达大学）
本研究针对渐进摇滚音乐分类这一MIR任务，提取多类音频特征，对比集成方法、定制1D CNN架构及微调AST模型，用赢者通吃投票策略聚合预测，极端随机树等集成方法测试准确率达76.38%，为相关机器学习应用提供见解。
2025-04-15 cs.AI cs.LG cs.SD
HumTrans: A Novel Open-Source Dataset for Humming Melody Transcription and Beyond
Tencent PCG（腾讯平台与内容事业群）
本文介绍公开的HumTrans哼唱旋律转录数据集，含500首作品、1000个片段、56.22小时音频，由10名音乐学生录制，支持转录及音乐生成等下游任务。
2023-10-17 cs.SD eess.AS
Pronunciation recognition of English phonemes /\textipa{@}/, /æ/, /\textipa{A}:/ and /\textipa{2}/ using Formants and Mel Frequency Cepstral Coefficients
National University of Colombia（哥伦比亚国立大学）
华盛顿大学的Vocal Joystick Vowel Corpus用于研究以英语为母语的人发出的单元音。本研究的目的是定量测量语音识别方法可以区分相似发音元音的程度。特别是，分析了音素/ \textipa{@} /、//、/ \textipa{A}：/和/ \textipa{2} /。对748个语音文件进行线性预测编码（LPC）和Mel倒谱系数（MFCC）计算。使用决策树分类器来构建预测模型，该预测模型学习数据集中测量的两个前共振峰的模式以及13个倒谱系数的模式。使用共振峰为提到的音素的准确性达到70%。对于MFCC分析，达到52%的准确度，当/ \textipa{@} /被忽略时，准确度为71%。所获得的结果表明，所研究的算法远不能模仿人类听觉那样区分声音中细微差异的能力。
2017-02-23 cs.CL cs.SD
Music Genre Classification Using Machine Learning Techniques
本文针对音乐流派分类任务，在GTZAN数据集上对比经典分类器与CNN模型，发现借助领域特征工程的SVM准确率更优，指出传统特征提取在中等规模数据集的音频任务中仍具价值。
2025-09-01 cs.LG cs.SD
Dataset of raw and pre-processed speech signals, Mel Frequency Cepstral Coefficients of Speech and Heart Rate measurements
King Khalid University（国王哈利德大学）；Aligarh Muslim University（阿里格尔穆斯林大学）
心率是用于诊断许多医学状况的重要生命体征。常规地，使用诸如脉搏血氧计的医疗设备来测量心率。诸如心率之类的生理参数与个体的语音特性相关。因此，有可能使用机器学习和深度学习从语音信号中测量心率，这也将允许对患者进行非侵入性、非接触式和远程监测。然而，为了设计这种方案并验证其准确性，有必要在记录期间同时收集语音记录以及使用医疗设备测量的心率。本文提供了一个数据集以及用于创建数据集的过程，该数据集可用于促进开发通过观察语音信号来准确估计心率的技术的研究。
2020-02-25 cs.SD eess.AS eess.SP
Combination of Time-domain, Frequency-domain, and Cepstral-domain Acoustic Features for Speech Commands Classification
University of Yamanashi（山梨大学）；Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences（医学、工学与农学综合研究生院）
在语音相关的分类任务中，经常使用诸如对数Mel滤波器组系数（FBANK）的频域声学特征和诸如Mel频率倒谱系数（MFCC）的倒谱域声学特征。然而，时域特征在一些包含非声乐或弱语音相关声音的声音分类任务中表现得更有效。我们之前提出了一种称为位序列表示（BSR）的特征，这是一种基于原始波形的时域二进制声学特征。与MFCC相比，BSR在环境声音检测方面表现更好，并且在有限词汇量的语音识别任务中表现出相当的准确性。在本文中，我们提出了一种新的改进BSR功能称为BSR-float 16更精确地表示浮点值。我们使用Google提出的Speech Commands数据集，通过实验证明了时域，频域和倒谱域特征之间的互补性。因此，我们使用了一个简单的后端分数融合方法，以提高最终的分类精度。融合结果也表现出较好的噪声鲁棒性。
2022-06-17 cs.SD eess.AS
Goniometers are a Powerful Acoustic Feature for Music Information Retrieval Tasks
University of Hamburg（汉堡大学）
本文探讨了角度仪在音乐信息检索中的应用，通过自组织映射验证其在分类和聚类中的有效性，强调其因果性优势。
2023-02-02 cs.IR cs.SD eess.AS
Interactive singing melody extraction based on active adaptation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
提出基于主动适应的交互式歌唱旋律提取方法，利用归一化真实类别概率置信度准则选择需人工标注的区域，并通过处理类别不平衡的元学习使模型适应目标域，同时发布了HAR数据集。
2024-02-12 cs.SD eess.AS
Comparative Analysis of Mel-Frequency Cepstral Coefficients and Wavelet Based Audio Signal Processing for Emotion Detection and Mental Health Assessment in Spoken Speech
Bowie State University（鲍伊州立大学）
本研究比较CNN和LSTM模型在小波特征与MFCCs上的语音情感检测性能，CNN准确率61%优于LSTM的56%，并提出改进建议以助力心理健康评估。
2024-12-12 cs.LG cs.SD eess.AS
Deep Learning Based EDM Subgenre Classification using Mel-Spectrogram and Tempogram Features
Academia Sinica（中央研究院）
随着音乐技术的发展，近年来出现了大量的电子舞曲风格或“子流派”。虽然区分EDM和非EDM的分类任务经常在音乐流派分类的背景下进行研究，但在更具挑战性的EDM子流派分类上几乎没有做过工作。最先进的模型基于极度随机化的树，可以通过深度学习方法进行改进。在本文中，我们将最先进的音乐自动标记模型“short-chunkCNN+Resnet”扩展到EDM子流派分类，并添加了两个中级节奏相关特征表示，称为傅立叶节奏图和自相关节奏图。并且，我们探索了两种融合策略，早期融合和晚期融合，以聚合两种类型的温度图。我们使用包含30个不同EDM子流派的75，000首歌曲的大型数据集来评估所提出的模型，并表明采用深度学习模型和节奏特征确实会导致更高的分类精度。
2021-10-17 cs.LG cs.SD eess.AS
XMusic: Towards a Generalized and Controllable Symbolic Music Generation Framework
Tencent（腾讯）
针对AI生成音乐质量不足、情感控制难的问题，本文提出通用可控的符号音乐生成框架XMusic，搭配大规模标注数据集XMIDI，经评估显著优于现有最优方法，还获WAIC 2023相关奖项。
2025-01-15 cs.AI cs.SD eess.AS
Enhanced Heart Sound Classification Using Mel Frequency Cepstral Coefficients and Comparative Analysis of Single vs. Ensemble Classifier Strategies
National Yunlin University of Science and Technology（云林科技大学）；Sejong University（世宗大学）；Islamic Azad University（伊斯兰阿扎德大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒-阿齐兹亲王大学）；Taif University（塔伊夫大学）；Lebanese French University（黎巴嫩法国大学）；UNSW Sydney（新南威尔士大学）；Duy Tan University（维新大学）
本文研究基于MFCCs的心音分类，对比单一分类器与集成分类器策略，发现集成方法将DT和SVM准确率分别提升4.89%和1.64%，证明MFCCs优于时间、时频和统计特征。
2024-06-30 cs.AI cs.SD eess.AS
Wavelet-Based Mel-Frequency Cepstral Coefficients for Speaker Identification using Hidden Markov Models
Zagazig University（扎加齐克大学）
为了提高说话人辨识系统的性能，提出了一种有效的、鲁棒的、能够在噪声环境下工作的语音特征提取方法。利用小波变换的时频多分辨率特性，将输入的语音信号分解到各个频率通道。为了捕捉信号的特征，计算小波通道的梅尔倒谱系数（MFCC）。隐马尔可夫模型（HHHT）用于识别阶段，因为它们比动态时间规整（DTW）更好地识别说话人的特征。与传统的MFCC特征提取方法的比较表明，该方法不仅有效地降低了噪声的影响，而且提高了识别率。使用所提出的特征提取技术获得了99.3%的识别率相比，98.7%，使用MFCC。当测试模式被信噪比为20 dB的加性高斯白噪声污染时，使用该方法的识别率为97.3%，而使用MFCC的识别率为93.3%。
2010-03-29 cs.LG cs.SD
Large Language Models' Internal Perception of Symbolic Music
本文通过让LLM从文本提示生成MIDI数据集并训练神经网络进行分类与旋律补全，揭示LLM能隐式编码基本音乐结构，同时指出其因缺乏显式音乐语境而存在局限。
2025-07-17 cs.AI cs.CL cs.LG
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题，本文通过探测AudioLDM 2的注意力图，提出无训练技术Melodia，选择性操作自注意力图并利用注意力存储库，实现了音乐特征的准确修改与结构保留，还提出新评估指标，实验效果优异。
2025-11-18 cs.SD eess.AS
Music Information Retrieval on Representative Mexican Folk Vocal Melodies Through MIDI Feature Extraction
本研究通过MIDI特征提取分析墨西哥民间声乐旋律的音域、音级熵和音程分布，发现这些特征与Spotify播放量无显著相关性。
2025-03-31 cs.IR cs.SD
Musical Information Extraction from the Singing Voice
Indian Institute of Technology Bombay（印度理工学院孟买分校）
音乐信息检索是当前一个活跃的研究领域，它致力于从音频信号中提取音乐上重要的信息，以及这些信息的应用。所提取的信息可以用于在推荐系统中搜索和检索音乐，或者帮助音乐学研究，甚至用于音乐学习。复杂的信号处理技术被应用于将低级声学信号特性转换为音乐属性，该音乐属性被进一步嵌入在基于规则的或统计分类框架中以与诸如旋律、流派、情绪和艺术家类型的高级描述相链接。声乐包括一个庞大而有趣的音乐类别，其中主要乐器是歌声。歌声比许多乐器更多才多艺，因此对信息检索系统提出了有趣的挑战。在本文中，我们提供了一个简短的概述，在声乐处理的相关工作在印度理工学院孟买的描述，导致旋律检测的声音在复调的接口的发展研究。
2022-04-07 cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Turkish Voice Commands based Chess Game using Gammatone Cepstral Coefficients
Iskenderun Technical University（伊斯肯德伦技术大学）
这项研究的目的是使行动能力有限的人能够实时的下象棋，并与周围的人一起玩游戏，而不会受到任何社会困扰或压力。对50人（23名男性和27名女性）进行了录音。在记录声音时，使用了每个人的29个单词，这些单词被确定为玩游戏所必需的。使用Mel频率系数（MFCC）和伽马倒谱系数（GTCC）鉴定方法。此外，k-NN，朴素贝叶斯和神经网络分类方法用于分类。采用了两种不同的分类程序，即基于个人的分类和一般分类。按人分类的执行率为75%至98%，而一般分类的执行率超过84%。
2021-01-21 cs.SD eess.AS
Anyone GAN Sing
SRM Institute of Science and Technology（SRM科技学院）
音频合成的问题已经越来越多地使用深度神经网络来解决。随着生成对抗网络（GAN）的引入，另一种有效的形容词路径已经打开来解决这个问题。在本文中，我们提出了一种方法来合成一个人的歌声使用卷积长短期记忆（ConvLSTM）的GAN优化使用Wasserstein损失函数。我们的工作受到WGANSing的启发，我们的模型输入连续帧的语言和频率特征，以及歌手身份和输出声码器特征。我们训练模型的数据集上的48首英文歌曲唱和讲的12个非专业歌手。对于推理，使用一个加法过程将顺序块连接起来。我们使用梅尔倒谱距离度量和18名参与者的主观听力测试来测试该模型。
2021-02-22 cs.LG cs.SD eess.AS
An interactive music infilling interface for pop music composition
University of Sussex（萨塞克斯大学）
人工智能（AI）已广泛应用于音乐生成主题，如延续、旋律/和声生成、流派转移和音乐填充应用。尽管人们对将人工智能应用于音乐的兴趣激增，但音乐家们仍然很少有界面可以利用人工智能技术的最新进展。这使得这些工具在实践中不太有价值，并且如果不在实际场景中使用它们，就很难找到其优点/缺点。本工作建立了一个最大的补丁交互式音乐填充应用程序与不同层次的控制，包括轨道密度/复调/占用率和酒吧音调张力控制。用户可以选择旋律/低音/和声音轨作为最多16小节的填充内容。填充算法基于作者以前的工作，接口向托管在云中的AI系统发送/接收消息。这个界面降低了人工智能技术的门槛，可以生成所选内容的不同变体。这些结果可以为音乐家的创作提供多种选择，交互过程实现了AI填充系统的价值。
2022-03-23 cs.HC cs.MM cs.SD
Towards Computational Analysis of Pansori Singing
Georgia Institute of Technology（佐治亚理工学院）；KAIST（韩国科学技术院）；Sogang University（西江大学）
本文提出基于音频与转录的盘索里计算分析方法，利用现代音乐信息检索任务分析传统音乐并揭示其独特音频特征。
2024-10-16 cs.IR cs.SD eess.AS
MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training
Microsoft Research Asia（微软亚洲研究院）
符号音乐理解，指的是从符号数据中理解音乐（例如，格式，但不是音频），涵盖了许多音乐应用，如流派分类，情感分类和音乐片段匹配。虽然好的音乐表示对这些应用是有益的，但缺乏训练数据阻碍了表示学习。受自然语言处理中预训练模型成功的启发，本文开发了一个用于音乐理解的大规模预训练模型MusicBERT。为此，我们构建了一个大规模的符号音乐语料库，包含超过100万首音乐歌曲。由于象征性音乐包含更多的结构（例如，条、位置）和各种信息（例如，节奏，乐器和音高），简单地采用从NLP到符号音乐的预训练技术只能带来边际收益。因此，我们设计了几种机制，包括八进制编码和小节级掩蔽策略，以增强符号音乐数据的预训练。实验证明了MusicBERT在四个音乐理解任务上的优势，包括旋律完成，伴奏建议，流派分类和风格分类。消融研究也验证了我们设计的八进制编码和酒吧级掩蔽策略在MusicBERT的有效性。
2021-06-10 cs.CL cs.IR cs.MM
Speaker Verification Using Simple Temporal Features and Pitch Synchronous Cepstral Coefficients
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
说话人确认是通过说话人的声音来验证说话人身份的过程。说话人确认是通过使用说话人语音中的一些参数（特征）来完成的，这些参数（特征）可以用来区分许多说话人。说话人确认系统的效率主要取决于提供高说话人间变异性和低说话人内变异性的特征集。说话者验证有很多方法。一些系统使用Mel频率倒谱系数作为特征（MFCC），而另一些系统使用基于隐马尔可夫模型（HMM）的说话人识别、支持向量机（SVM）、GARCH。在本文中，简单的音高内的时间信息结合音高同步倒谱系数形成的特征集。说话人的显著特征是由英语口语中五个基本元音的稳态部分决定的。当这些功能被单独使用时，性能被认为是平均的。但是当这两个特征结合起来形成说话人确认的决定时，观察到非常令人鼓舞的结果。对于每说话人100个话语的20个说话人的数据库，已观察到91.04%的准确率。对识别错误的说话人进行了分析和讨论。
2019-08-15 cs.SD eess.AS
A Study of Acoustic Features in Arabic Speaker Identification under Noisy Environmental Conditions
USTHB（阿尔及尔科技大学）
语音识别领域的主要部分之一是选择声学特征，这些特征必须对语音信号的变化、失配条件和噪声环境具有鲁棒性。因此，已经开发了不同的语音特征提取技术。在本文中，我们研究了几个前端技术在阿拉伯语说话人识别的鲁棒性。我们评估了五个不同的功能，在不同的信号噪声比（SNR）的串音，工厂和地铁条件。实验结果表明，两种听觉特征，即伽玛频率倒谱系数（GFCC）和功率归一化倒谱系数（PNCC），与它们的组合不同，其性能明显优于传统的说话人特征，即梅尔频率倒谱系数（MFCC）。
2021-10-23 cs.SD eess.AS
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra（庞培法布拉大学）
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战，由于其复杂的旋律进展，语调不准确，使用高度的重复和吉他伴奏的存在。在这项研究中，我们探讨了现有的最先进的转录系统的情况下，弗拉门戈歌唱的局限性，并提出了一个具体的解决方案，这种类型：我们首先提取的主要旋律，并应用一种新的轮廓过滤过程，以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合，将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性，发病检测和整体性能评估时，弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
Spectral and Rhythm Features for Audio Classification with Deep Convolutional Neural Networks
Target Innovation AI
研究使用深度卷积神经网络评估多种频谱与节奏特征在音频分类中的表现，发现mel尺度频谱图和MFCCs效果显著最优。
2024-10-18 cs.AI cs.CV cs.LG
Adaptive Frequency Cepstral Coefficients for Word Mispronunciation Detection
Purdue University（普渡大学）
基于自动语音识别（ASR）技术的系统可以在计算机辅助语言学习应用中提供重要的功能。这是一个年轻但不断发展的研究领域，其动机是大量学习外语的学生。在这里，我们提出了一个隐马尔可夫模型（HMM）为基础的方法来检测发音错误。利用语言学习软件中使用的特定对话脚本，Humbers被训练用于不同的发音。新的自适应功能已经开发和获得通过自适应翘曲的频率尺度计算倒谱系数之前。用于翘曲函数的优化标准是在分类率方面最大化两个主要发音组（本地和非本地）的分离。实验结果表明，自适应频率尺度产生一个更好的系数表示导致更高的分类率相比，传统的HISTORY使用梅尔频率倒谱系数。
2016-02-25 cs.CV cs.SD
HouseX: A Fine-grained House Music Dataset and its Potential in the Music Industry
New York University Shanghai（上海纽约大学）
机器声音分类一直是音乐技术的基本任务之一。声音分类的一个主要分支是音乐类型的分类。然而，尽管覆盖了大多数音乐流派，现有的音乐流派数据集通常不包含指示音乐的详细子流派的细粒度标签。考虑到混音带或DJ（现场）集合中歌曲流派的一致性，我们收集并注释了一个house音乐数据集，该数据集提供4个子流派标签，即未来house，bass house，progressive house和melodic house。实验表明，我们的标注很好地体现了不同类别的特点。此外，我们已经建立了基线模型，根据一个轨道的梅尔频谱图分类的子流派，取得了很强的竞争力的结果。此外，我们还提出了我们的数据集和基线模型的几个应用场景，模拟科幻隧道作为一个简短的演示，在3D建模软件中构建和渲染，灯光的颜色由我们的模型输出自动化。
2022-10-12 cs.LG cs.SD eess.AS
Spectral and Rhythm Feature Performance Evaluation for Category and Class Level Audio Classification with Deep Convolutional Neural Networks
Friedrich Wolf-Monheim（独立研究者）
本文使用深度CNN和ESC-50数据集评估了多种频谱与节奏特征在音频分类中的性能，发现梅尔标度频谱图和MFCC特征表现显著优于其他特征。
2025-09-12 cs.AI cs.CV cs.LG
Investigating Multi-Feature Selection and Ensembling for Audio Classification
Mehran University of Engineering and Technology（梅赫拉工程技术大学）；ADAPT – Science Foundation Ireland Research Centre（ADAPT——爱尔兰科学基金会研究中心）；Dublin City University（都柏林城市大学）；Lero – the Irish Software Research Centre（Lero——爱尔兰软件研究中心）；National University of Ireland, Galway（爱尔兰国立高威大学）
深度学习（DL）算法在不同领域都表现出了令人印象深刻的性能。其中，音频在过去的几十年里吸引了许多研究人员，由于一些有趣的模式-特别是在音频数据的分类。为了获得更好的音频分类性能，特征选择和组合起着关键作用，因为它们有可能成就或破坏任何DL模型的性能。为了研究这一作用，我们对几种尖端DL模型的性能进行了广泛的评估（即，卷积神经网络、EfficientNet、MobileNet、超向量机和多感知器）与各种最先进的音频特征（即，Mel频谱图、Mel频率倒谱系数和过零率）独立地或作为组合（即，通过集成）在三个不同的数据集上（即，Free Spoken Digits Dataset、Audio Urdu Digits Dataset和Audio Gujarati Digits Dataset）。总体而言，结果表明特征选择取决于数据集和模型。然而，特征组合应当仅限于在单独使用时已经实现良好性能的特征（即，主要是Mel频谱图、Mel频率倒谱系数）。这样的功能组合/集成使我们能够超越以前的国家的最先进的结果，无论我们选择的DL模型。
2022-06-15 cs.LG cs.SD eess.AS
Toward end-to-end interpretable convolutional neural networks for waveform signals
Monash University（莫纳什大学）；Singapore Management University（新加坡管理大学）
本文提出一种面向原始波形信号的端到端可解释CNN框架，在语音情感识别上优于梅尔频谱特征且可替代MFCC，并在心音数据上验证了其轻量高效与可解释性。
2024-05-03 cs.AI cs.SD eess.AS
Optimization of data-driven filterbank for automatic speaker verification
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）
大多数的语音处理应用程序使用三角形滤波器在梅尔尺度间隔的特征提取。在本文中，我们提出了一种新的数据驱动的滤波器设计方法，优化滤波器参数从一个给定的语音数据。首先，我们介绍了一种基于帧选择的方法，用于开发基于语音信号的频率弯曲尺度。然后，我们提出了一种新的方法来计算滤波器的频率响应，通过使用主成分分析（PCA）。与最近引入的基于深度学习的方法相比，所提出的方法的主要优点是它需要非常有限的未标记语音数据。我们证明，建议的滤波器组有更多的发言人区分能力比常用的梅尔滤波器组以及现有的数据驱动滤波器组。我们进行自动说话人确认（ASV）实验与不同的语料库使用各种分类器后端。我们发现，在大多数情况下，建议的滤波器组创建的声学特征优于现有的梅尔频率倒谱系数（MFCC）和基于语音信号的频率倒谱系数（SFCC）。在VoxCeleb 1和流行的i-vector后端的实验中，我们观察到MFCC的等错误率（EER）相对提高了9.75%。类似地，最近引入的x向量系统的相对改进为4.43%。我们得到进一步的改进，融合所提出的方法与标准的基于MFCC的方法。
2020-07-21 cs.CV cs.SD eess.AS
Pseudo-Cepstrum: Pitch Modification for Mel-Based Neural Vocoders
本文提出了一种基于倒谱的音高修改方法，可直接修改梅尔频谱图特征空间以实现音高调整，适用于各种基于梅尔的神经语音合成器。
2025-12-18 cs.LG cs.SD eess.AS
Tune It Up: Music Genre Transfer and Prediction
University of Hacettepe（哈杰泰佩大学）
本研究改进CycleGAN模型实现爵士乐与古典乐的风格迁移，并训练分类器评估，最佳准确率分别为69.4%和39.3%，同时保留旋律。
2025-03-27 cs.LG cs.SD eess.AS
A text-independent speaker verification model: A comparative analysis
语音生物识别领域最紧迫的挑战是选择最有效的说话人识别技术。每个人的声音都是独特的，像发音器官，口音和发音的物理差异等因素导致了问题的复杂性。在本文中，我们探讨了说话人识别过程中每个块中可用的各种方法，目的是确定可用于获得精确结果的最佳技术。我们在文本无关语料库上研究了这一结果。我们使用MFCC（梅尔频率倒谱系数），LPCC（线性预测倒谱系数）和PLP用于特征提取的感知线性预测算法（主成分分析）和tSNE进行降维和SVM（支持向量机），前馈，最近邻法和决策树算法对说话人识别系统中的分类块进行分类，并对每个分类块进行比较分析，技术
2017-12-04 cs.SD eess.AS
Scream Detection in Heavy Metal Music
Georgia Institute of Technology（佐治亚理工学院）
刺耳的声音效果，如尖叫或咆哮，在重金属声乐中比传统的声乐演唱更常见。本文探讨了重金属音乐中极端发声技术的检测和分类问题，特别是不同尖叫技术的识别。我们调查的各种功能表示，包括倒谱，频谱和时间特征作为输入表示分类的适用性。本研究的主要贡献在于：（i）一个由超过280分钟的不同类型的重金属歌曲组成的人工注释数据集，并对重金属音乐中不同极端声乐技术的出现进行统计分析;（ii）对用于重金属声乐分类的不同输入特征表示进行系统研究
2022-05-11 cs.LG cs.SD eess.AS
Audio Signal Processing Using Time Domain Mel-Frequency Wavelet Coefficient
University of York（约克大学）
针对MFCC缺乏时间信息且小波变换计算复杂的问题，提出时域Mel频率小波系数(TMFWC)方法，结合储备池计算显著提升音频信号处理效率。
2025-10-30 cs.AI cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Choice of Mel Filter Bank in Computing MFCC of a Resampled Speech
Tata Consultancy Services（塔塔咨询服务公司）
梅尔倒谱系数（MFCC）是语音和说话人识别应用中最常用的语音特征。在本文中，我们研究了恢复语音信号对这些语音特征的影响。我们首先推导出重采样语音的MFCC参数与原始语音的MFCC参数之间的关系。本文提出了六种通过变换用于计算原始语音MFCC的Mel滤波器组来计算下采样语音的MFCC参数的方法。然后，我们实验计算下采样语音的MFCC参数使用所提出的方法，并计算下采样语音的MFCC参数和原始语音的MFCC参数之间的Pearson系数，以确定最有效的Mel滤波器频带的选择，使计算的重采样语音的MFCC尽可能接近原始语音样本MFCC。
2014-10-25 cs.CL cs.SD
