Do Orcas Have Semantic Language? Machine Learning to Predict Orca Behaviors Using Partially Labeled Vocalization Data
Shady Side Academy（赛迪赛德学院）
虎鲸（虎鲸）表现出复杂的叫声。它们只持续一秒钟。在一次呼叫中，虎鲸通常同时使用多个频率，改变频率，并改变它们的音量。行为数据很难获得，因为虎鲸生活在水下，移动速度很快。声音数据相对容易捕获。作为一个科学目标，我们想知道虎鲸的发声是否构成一种语义语言。我们通过研究机器学习是否可以从发声中预测行为来做到这一点。这样的预测也将有助于科学研究和安全应用，因为人们希望在只需要捕获声音的情况下预测行为。这个过程中的一个重大挑战是缺乏标记数据。我们使用最近的McMurdo Sound虎鲸记录[Wellard et al. 2020]，其中每个记录都标有记录期间观察到的行为。这产生了一个数据集，其中录音中的声音片段-可以被认为是呼叫序列或更一般的结构的连续发声-被标记为多余的行为。尽管如此，通过仔细结合最近的机器学习技术，我们实现了96.4%的分类准确率。这表明虎鲸确实使用语义语言。这也是有希望的研究和应用。
2023-01-28 cs.CL cs.LG cs.SD
Deep Networks tag the location of bird vocalisations on audio spectrograms
Technological Educational Institute of Crete（克里特技术教育学院）
这项工作的重点是可靠的检测和分割的鸟类发声记录在开放的领域。鸟类声音的声学检测可用于自动化监测多个鸟类类群，并在长期记录中查询感兴趣的物种。在这项工作中，通过提出两种方法来解决这些任务：A）首先，将DenseNets应用于每周标记的数据，以推断数据集的注意力图（即显着性和CAM）。我们通过将注意力地图引导到基于YOLO v2 Deepnet的检测框架来进一步推动这一想法，以定位鸟类发声。B）深度自动编码器，即U网，将鸟类发声的音频频谱图映射到其对应的二进制掩码，该二进制掩码包围发声的频谱斑点，同时抑制其他音频源。我们只专注于需要最少人力参与的程序，适合扫描大量数据，以分析它们，评估见解和假设，并识别鸟类活动的模式。希望这种方法对需要设计生物多样性问题政策的研究人员、保护工作者和决策者有价值。
2017-11-12 cs.SD eess.AS
AVES: Animal Vocalization Encoder based on Self-Supervision
Earth Species Project（地球物种项目）
生物声学中缺乏注释的训练数据阻碍了以监督方式训练的大规模神经网络模型的使用。为了利用大量的未注释的音频数据，我们提出了AVES（基于自我监督的动物发声编码器），一个自我监督的，基于变换的音频表示模型，用于编码动物发声。我们在一组不同的未注释的音频数据集上预训练AVES，并对它们进行微调，以用于下游的生物声学任务。一系列分类和检测任务的综合实验表明，AVES的性能优于所有强基线，甚至优于在带注释的音频分类数据集上训练的有监督的“背线”模型。结果还表明，策划与下游任务相关的小训练子集是训练高质量音频表示模型的有效方法。我们在\url{https://github.com/earthspecies/aves}上开源了我们的模型。
2022-10-26 cs.SD eess.AS
Detection of blue whale vocalisations using a temporal-domain convolutional neural network
Universidad de Chile（智利大学）；Fundación Meri（梅里基金会）
我们提出了一个框架，从声学潜艇录音检测蓝鲸发声。所提出的方法包括三个阶段：i）预处理步骤，其中通过归一化，滤波和去噪来调节音频记录; ii）标签传播机制，以确保鲸鱼发声注释的一致性，以及iii）接收音频样本的卷积神经网络。基于34个真实世界的潜艇记录（28个用于训练，6个用于测试），我们获得了有希望的性能指标，包括85.4%的准确率和93.5%的召回率。此外，即使对于我们的检测器与地面实况标签不匹配的情况，目视检查也验证了我们的方法能够检测到由于不完整的呼叫而未标记的鲸鱼呼叫的可能部分。
2021-10-05 cs.SD eess.AS
Spectrogram-Based Detection of Auto-Tuned Vocals in Music Recordings
University of Brescia（布雷西亚大学）；Polytechnic University of Milan（米兰理工大学）
针对音乐录音中自动修音人声检测的空白，本研究构建含原始与修音片段的数据集，提出基于三元组网络的数据驱动检测方法，其准确率和鲁棒性均优于音频取证常用的Rawnet2模型。
2024-03-08 cs.CV cs.SD eess.AS
Deep learning for detection of bird vocalisations
Technological Educational Institute of Crete（克里特技术教育学院）
这项工作的重点是可靠的检测鸟类的声音发射记录在开放的领域。鸟类声音的声学检测可用于自动化监测多个鸟类类群，并在长期记录中查询研究人员，保护从业者和决策者感兴趣的物种。由于麦克风暴露于源自所有距离和方向的大量音频源，野外录音可能非常嘈杂，其数量和身份无法先验地知道。目标发声与非生物干扰在无约束环境中的共存是低效的音频信号增强的现有方法处理。一种只发现鸟类叫声而忽略其他音频源的技术至关重要。这些困难在这项工作中得到解决，提出了一种深度自动编码器，该编码器将鸟类发声的音频频谱图映射到其对应的二进制掩码，该掩码包围发声的频谱斑点，同时抑制其他音频源。该程序需要最少的人力参与，在执行过程中非常快，因此适合扫描大量数据，以分析它们，评估见解和假设，识别鸟类活动的模式，希望最终导致生物多样性问题的设计政策。
2016-09-25 cs.LG cs.SD
Improving Inference-Time Optimisation for Vocal Effects Style Transfer with a Gaussian Prior
Centre for Digital Music, Queen Mary University of London（女王玛丽大学数字音乐中心）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
针对ST-ITO在音频效果迁移中忽略先验导致结果不真实的问题，提出基于DiffVox数据集的参数高斯先验，实现最大后验优化，显著降低参数误差并提升主观效果。
2025-10-17 cs.LG cs.SD eess.AS
Vocal Tract Area Estimation by Gradient Descent
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
本文提出一种基于逆滤波和梯度下降的白盒优化方法，从元音音频中估计声门源参数与声道形状，并在复现人类发声任务上优于进化算法和神经网络等黑盒基线。
2023-07-10 cs.SD eess.AS
voc2vec: A Foundation Model for Non-Verbal Vocalization
Politecnico di Torino（都灵理工大学）；Kore University of Enna（恩纳科雷大学）；Università degli Studi di Palermo（巴勒莫大学）
本文提出voc2vec，一个基于10个数据集（约125小时音频）训练的非语言发声基础模型，在分类任务上优于语音/音频基础模型及OpenSmile、emotion2vec等强基线，是首个通用发声表示模型。
2025-02-22 cs.SD eess.AS
Advancing Speaker-Based Vocal Effort Classification with WavLM and Data Augmentation in Naturalistic Non-Calibrated Speech Recordings
University of Texas at Dallas (UTDallas)（德克萨斯大学达拉斯分校）
提出使用WavLM结合数据增强和高斯邻域软标签方法，在AVID语料库上实现78.2%的平均准确率，达到新最优。
2026-06-29 cs.LG cs.SD
Deductive Refinement of Species Labelling in Weakly Labelled Birdsong Recordings
Queen Mary University of London（伦敦玛丽女王大学）
许多方法已经被用于从它们的声音进行鸟类种类分类，以便为整个记录提供标签。然而，更精确地分类每一种鸟类的鸣叫将是非常重要的声音档案的使用和管理和鸟类监测。在这项工作中，我们介绍了一种技术，使用两个步骤的过程可以首先自动检测所有的鸟类发声，然后，使用“弱”标记的录音，将它们分类。我们所提出的方法的评估表明，它实现了61%的正确分类时，用于合成数据集，高达89%时，合成数据集只包括大于1000像素的发声。
2016-03-23 cs.SD
Generating Diverse Vocal Bursts with StyleGAN2 and MEL-Spectrograms
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
我们描述了我们的方法生成的情感发声爆发任务（ExVo生成）的ICML表达发声比赛。我们在音频样本的预处理版本的mel频谱图上训练条件StyleGAN 2架构。然后将模型生成的梅尔频谱图反转回音频域。因此，从定性和定量的角度来看，我们生成的样本大大改善了比赛提供的基线。更准确地说，即使对于我们表现最差的情绪（敬畏），我们也获得了1.76的FAD，而基线为4.81（作为参考，敬畏的训练/验证集之间的FAD为0.776）。
2022-06-25 cs.LG cs.SD eess.AS
Audio-based automatic mating success prediction of giant pandas
本文提出了一种基于音频的自动方法，用于预测 giant pandas 的配对成功率，通过提取音频特征并使用深度神经网络进行分类，以辅助大熊猫的繁殖研究。
2020-06-03 cs.LG cs.SD eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université（巴黎声学/音乐研究与协调研究所 - 索邦大学）；Google Research（谷歌研究院）
我们提出了SingSong，一个系统，生成器乐伴奏输入人声，可能提供音乐家和非音乐家一样，一个直观的新方法来创建音乐特色自己的声音。为了实现这一点，我们建立在音乐声源分离和音频生成的最新发展。具体来说，我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频，以产生对齐的对人声和乐器的来源。然后，我们调整AudioLM（Borsos等人，2022）--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务，并在源分离的（声乐、乐器）对上对其进行训练。在成对比较相同的声乐输入，听众表示出显着的偏好相比，从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
Metrical-accent Aware Vocal Onset Detection in Polyphonic Audio
Universitat Pompeu Fabra（庞培法布拉大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本研究的目标是自动检测的歌声在复调音频录音的起始。从一个假设，即在一个节拍周期（即韵律重音）的当前位置的知识可以提高声乐音符开始检测的准确性，我们提出了一种新的概率模型，共同跟踪节拍和声乐音符开始。所提出的模型扩展了最先进的模型的节拍和米跟踪，其中一个音符在一个特定的韵律口音先验概率与观察一个声乐音符发作的概率相互作用。我们进行了不同的收集多乐器数据集从两个音乐传统（英语流行音乐和土耳其makam）与不同类型的韵律周期和演唱风格的评估。结果证实，所提出的模型合理地提高了声乐音符开始检测的准确性相比，基线模型，不考虑测量位置。
2017-07-19 cs.CL cs.MM cs.SD
Acoustically-Driven Phoneme Removal That Preserves Vocal Affect Cues
Stanford University（斯坦福大学）；Stanford School of Medicine（斯坦福大学医学院）
在本文中，我们提出了一种方法，用于从语音中删除语言信息的目的是隔离的影响的语言指标。该方法的直接效用在于不受语言干扰的对声音影响的敏感性的临床测试，语言在各种临床人群中受损。该方法是基于语音音频和电声门图（EGG）信号的同时记录。语音音频信号用于估计平均声道滤波器响应和幅度包络。EGG信号提供了与语音源活动的直接相关性，其主要独立于语音清晰度。语音音频的动态能量和平均声道滤波器被应用于EGG信号，从而创建第三信号，该第三信号被设计为从发声系统捕获尽可能多的非语言信息-最大化生物声学线索的保留以影响-同时消除对言语含义的语音线索。为了评估这种方法的成功，我们研究了感知相应的语音音频和转换EGG信号的影响评级实验与在线听众。结果表明，匹配信号的感知影响具有高度的相似性，表明我们的方法是有效的。
2023-03-14 cs.SD eess.AS
Beyond .WAV: Design and Software Verification of VocalCap, a Traceable Browser-Based Audio Capture System for Vocal Biomarker Research
Institute of Mathematics and Statistics, University of São Paulo（圣保罗大学数学与统计学院）；bluecore（蓝芯科技）
该研究设计并验证了面向语音生物标志物研究的浏览器音频捕获系统VocalCap，其可追溯捕获过程且经测试验证了软件行为，为远程语音研究提供可靠音频数据支持。
2026-09-04 cs.LG cs.SD
VocalAffectBench: Evaluating Vocal Emotion Recognition in AI Audio Models
Besimple AI（贝简单人工智能公司）
本研究推出仅用于测试的公开基准VocalAffectBench，评估AI音频模型的语音情感识别能力，发现现有基线模型仅能提取部分情感信号，离散情感识别仍较脆弱。
2026-09-02 cs.CL cs.SD
A large-scale and PCR-referenced vocal audio dataset for COVID-19
London Centre for Nanotechnology, University College London（伦敦纳米技术中心，伦敦大学学院）；Division of Medicine, University College London（医学系，伦敦大学学院）；King's College London, UK（伦敦国王学院）；The Alan Turing Institute, UK（阿兰·图灵研究所）；Imperial College London, UK（帝国理工学院）；UK Health Security Agency, UK（英国卫生安全局）；Institute of Health Informatics, University College London, UK（健康信息学研究所，伦敦大学学院）；Centre for Stress and Age-Related Disease, School of Applied Sciences, University of Brighton, UK（布莱顿大学应用科学学院压力与年龄相关疾病中心）；University of Oxford, UK（牛津大学）；University of Surrey, UK（萨里大学）；University of Lancaster, UK（兰卡斯特大学）；University of Cambridge, UK（剑桥大学）；University of Augsburg, Germany（奥格斯堡大学）；University of Nottingham, UK（诺丁汉大学）
本文介绍了迄今最大规模、以 PCR 结果为参照的 COVID-19 语音音频数据集，包含咳嗽、呼气和语音及症状、人口统计信息，可用于 SARS-CoV-2 音频分类模型训练评估与生物声学研究。
2023-11-03 cs.LG cs.SD eess.AS
Optimization Techniques for a Physical Model of Human Vocalisation
Universidad Politécnica de Madrid（马德里理工大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文以 Pink Trombone 合成打哈欠声为例，提出无监督参数优化方法，比较多种优化器、神经网络与音频质量指标，发现遗传和群智能方法误差更低但计算更慢。
2023-09-26 cs.SD eess.AS
Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
ByteDance（字节跳动）
本文提出基于频谱图的 Mel-RoFormer，通过梅尔频带投影与交错 RoPE Transformer 建模频时维度，并采用分离模型预训练后微调转写任务的策略，在两项 MIR 基准上达到最先进水平。
2024-09-07 cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis
School of Computer Science（计算机科学学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems（多模态智能系统苏州市重点实验室）；Sun Yat-sen Memorial Hospital of Sun Yat-sen University（中山大学孙逸仙纪念医院）；School of Artificial Intelligent（人工智能学院）；Department of Otorhinolaryngology（耳鼻喉科部门）
本文提出多模态喉镜视频分析系统，结合音频和视频数据自动提取关键片段，用于辅助诊断声带麻痹。
2026-03-07 cs.AI cs.SD eess.AS
Recognizing Ornaments in Vocal Indian Art Music with Active Annotation
Indian Institute of Technology, Kanpur（印度理工学院，坎浦尔）
本文提出Rāga装饰音检测数据集ROD，并开发基于深度时间序列分析的装饰音检测模型，在长音频切块时保留装饰音边界，实验证明其性能优于基线CRNN。
2025-05-07 cs.AI cs.LG cs.SD
Structure Across Voices: Comparing acoustic-event type accumulation and sequence dependence across four vocal corpora using frozen audio encoders
本研究用冻结音频编码器比较四种声音库，发现声学事件累积与序列依赖性差异取决于测量属性与时间尺度，而非单一等级。
2026-10-27 cs.AI cs.SD
Hierarchical Generative Modeling of Melodic Vocal Contours in Hindustani Classical Music
Mila, Quebec Artificial Intelligence Institute（魁北克人工智能研究所Mila）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文提出GaMaDHaNi，一种两级分层音频生成模型，通过精细量化的音高轮廓作为中间表示，解决了印度斯坦音乐中旋律细节捕捉不足的问题，并展示了其在人机协作交互中的潜力。
2024-08-26 cs.AI cs.LG cs.SD
InfantNet: A Deep Neural Network for Analyzing Infant Vocalizations
UC Merced（加州大学默塞德分校）
婴儿发声的声学分析对于研究语音发育和声音分类具有重要意义。以前的研究主要集中在基于语音处理理论的声学特征的测量上，例如基于频谱和倒谱的分析。最近，已经开发了深度学习的端到端模型，以将原始语音信号（声学波形）作为输入，并使用卷积神经网络层来基于分类任务学习语音声音的表示。我们应用了最近的端到端的声音分类模型来分析在实验室外的自然环境中记录的标记婴儿和成人发声的大规模数据库，这些数据库对记录条件没有控制。该模型学习了基本分类，如婴儿与成人发声，婴儿语音相关与非语音发声，以及规范与非规范牙牙学语。该模型是在3至18个月大的婴儿的录音上训练的，随着年龄的增长，分类准确率会随着语音变得更加清晰，牙牙学语变得更加像语音而变化。还需要进一步的工作来验证和探索模型和数据集，但我们的研究结果显示了如何使用深度学习来测量和研究语音获取和发展，并在语音病理学和婴儿监测中具有潜在的应用。
2020-05-25 cs.SD eess.AS
VRDMG: Vocal Restoration via Diffusion Posterior Sampling with Multiple Guidance
Sony（索尼）
本文指出了基于扩散后验采样的音乐修复方法的潜在性能问题，并受RePaint和伪逆引导扩散模型启发提出多重引导缓解策略，在歌声去削波和带宽扩展任务上优于现有基准。
2023-09-13 cs.SD eess.AS
EMVD dataset: a dataset of extreme vocal distortion techniques used in heavy metal
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）；Institut Acte（阿克特研究所）；ENS Louis-Lumière（路易·卢米埃尔高等师范学校）；IRIT（图灵与信息技术研究所）；Université de Toulouse（图卢兹大学）；UT3（图卢兹第三大学）
本文提出重金属极端人声数据集EMVD，包含760个音频片段，涵盖四种失真技术和三种人声效果，并验证了深度学习模型在该数据集上的分类性能。
2024-06-24 cs.AI cs.SD physics.class-ph
Mamba2 Meets Silence: Robust Vocal Source Separation for Sparse Regions
Kwangwoon University（光云大学）
Mamba2模型通过双路径架构和带宽分割策略，在稀疏区域实现更精准的语音分离，取得11.03 dB的cSDR最佳成绩。
2025-12-31 cs.AI cs.SD eess.AS
VocalAgent: Large Language Models for Vocal Health Diagnostics with Safety-Aware Evaluation
Massachusetts Institute of Technology, USA（麻省理工学院, 美国）；Seoul National University Hospital, South Korea（首尔国立大学医院, 韩国）；Doctor Diary, South Korea（Doctor Diary, 韩国）；Google Research, USA（谷歌研究, 美国）；Independent Researcher（独立研究者）
VocalAgent是一种基于Qwen-Audio-Chat微调的音频大语言模型，用于嗓音健康诊断，通过多维度评估框架（含安全评估）在嗓音障碍分类上超越现有基线，提供可扩展的解决方案。
2025-09-25 cs.AI cs.SD eess.AS
Detection of COVID-19 through the analysis of vocal fold oscillations
Carnegie Mellon University（卡内基梅隆大学）
发声，或声带的振动，是人类发声的主要来源。这是一个复杂的生物力学过程，对说话者呼吸参数的变化非常敏感。由于大多数有症状的COVID-19病例存在中度至重度呼吸功能障碍，我们假设COVID-19的特征可以通过检查声带的振动来观察。我们的目标是验证这一假设，并定量描述观察到的变化，以便从语音中检测COVID-19。为此，我们使用一个动力系统模型的声带振荡，并解决它使用我们最近开发的ADLES算法产生声带振荡模式直接从录音讲话。对COVID-19阳性和阴性受试者的临床策划数据集的实验结果揭示了与COVID-19相关的声带振荡的特征模式。我们表明，这些都是突出的和歧视性的，即使是简单的分类，如逻辑回归产生高的检测精度只使用孤立的扩展元音的录音。
2020-10-21 cs.LG cs.SD eess.AS
Snow Mountain: Dataset of Audio Recordings of The Bible in Low Resource Languages
BridgeConn（BridgeConn公司）
针对低资源语言ASR模型不足的问题，作者发布了北印度语言圣经音频数据集Snow Mountain，并训练两个ASR模型作为未来研究的基线。
2023-05-23 cs.LG cs.SD eess.AS
Automatic Classification of OSA related Snoring Signals from Nocturnal Audio Recordings
University of Sydney（悉尼大学）；Charles Perkins Centre（查尔斯·珀金斯中心）；School of Biomedical Engineering（生物医学工程学院）；Northern Clinical School（北部临床学院）；Royal North Shore Hospital（皇家北岸医院）
在这项研究中，提出了一种自动算法的开发，以分类阻塞性睡眠呼吸暂停（OSA）患者的夜间音频记录为OSA相关打鼾，简单打鼾和其他声音。最近的研究已经表明，关于OSA相关打鼾的知识可以帮助识别气道塌陷的部位。在睡眠期间，使用天花板麦克风与整夜多导睡眠图同时记录音频信号。提取夜间音频信号的时间和频率特征，将音频信号分类为OSA相关打鼾、单纯打鼾和其他声音。基于OSA相关打鼾可以帮助识别上气道塌陷部位的假设，开发了两种算法来使用线性判别分析（LDA）分类器提取OSA相关打鼾。使用无偏嵌套留一患者交叉验证过程从全特征集中选择高性能特征集。结果表明，该算法实现了87%的准确度为识别打鼾事件从音频记录和72%的准确度为识别睡眠呼吸暂停相关打鼾事件从打鼾事件。使用多类LDA分类器提取OSA相关打鼾事件的直接方法使用特征选择算法实现了64%的准确度。我们的研究结果清楚地表明，OSA相关的打鼾事件可以从夜间录音中提取，因此可以潜在地用作从夜间录音中识别气道塌陷部位的新工具。
2021-03-02 cs.LG cs.SD eess.AS
Balanced Deep CCA for Bird Vocalization Detection
University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
当事件由两种不同的模态而不是仅一种捕获时，事件检测得到改进。但是在多模态上训练检测系统是具有挑战性的，特别是当存在大量未标记数据但标记数据量有限时。我们开发了一种新的多模态数据的自监督学习技术，学习（隐藏）同时记录的麦克风（声音）信号和加速度计（身体振动）信号之间的相关性。这项工作的主要目标是学习有用的嵌入与高性能的下游事件检测任务时，标记的数据是稀缺的，感兴趣的音频事件（鸣禽发声）是稀疏的。我们的方法基于深典型相关分析（DCCA），遭受事件稀疏。我们首先从标记的数据中学习数据采样模型，并将DCCA应用于它产生的输出，从而克服了正标签的稀疏性。这种方法，我们称之为平衡DCCA（b-DCCA），与经典DCCA相比，提高了无监督嵌入在下游监督音频检测任务上的性能。由于数据标签经常不平衡，我们的方法可能是广泛的实用程序在低资源的情况下。
2022-11-17 cs.LG cs.SD eess.AS
GSEP: A robust vocal and accompaniment separation system using gated CBHG module and loudness normalization
Gaudio Lab, Inc.（Gaudio Lab 公司）
在音频信号处理研究领域，声源分离长期以来一直是热门的研究课题，最近采用的深度神经网络在性能上显示出显著的改善。这一改进使行业能够生产基于音频深度学习的产品和服务，包括音乐流媒体应用程序中的Karaming和UHDTV中的对话增强。对于这些早期市场，我们从鲁棒性、质量和成本方面定义了一套人声和伴奏分离模型的设计原则。在本文中，我们介绍了GSEP（Gaudio声源分离系统），一个强大的人声和伴奏分离系统，采用了一个门控CBHG模块，掩模翘曲，响度归一化，它是通过实验验证，该系统满足所有的三个原则，并优于国家的最先进的系统在客观测量和主观评价。
2021-02-22 cs.MM cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California（南加州大学）
能够对声学场景进行检测和分类的设备具有许多应用，诸如提供上下文感知的用户体验。在本文中，我们解决的任务，从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景，跟踪与蓝牙收发器，动态变化与时间从自我中心的角度来看，移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录，他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录，我们提出了一个基于时间延迟神经网络（TDNN）的分段级建模。实验表明，TDNN在声学场景分类任务中优于其他模型。我们调查的影响，主要发言人的讲话确定声学场景从音频徽章，并提供了不同的模型之间的性能比较。此外，我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系，并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析，动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
MIDI-Informed Singing Accompaniment Generation in a Compositional Song Pipeline
National Taiwan University（国立台湾大学）；Taiwan AI Labs（台湾AI实验室）；University of Rochester（罗切斯特大学）
本文提出基于MIDI的歌唱伴奏生成方法，通过分解任务为旋律创作、人声合成和伴奏生成，提升节奏与和声对齐，实现轻量级高效歌曲创作流水线。
2026-02-24 cs.SD eess.AS
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
EmoGator: A New Open Source Vocal Burst Dataset with Baseline Machine Learning Classification Methodologies
University of Florida（佛罗里达大学）
本文介绍了开源的EmoGator数据集，包含357名说话者的32130个非语音情绪发声样本，并提出了构建分类器识别30种情绪类别的基线机器学习方法。
2023-04-06 cs.LG cs.SD eess.AS
Audio Enhancement from Multiple Crowdsourced Recordings: A Simple and Effective Baseline
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对多个未知位置设备录制同一事件时各自含局部不相关噪声的问题，提出一种先去除各录音局部噪声再对清理信号进行平均的简单众包音频增强方法，并在合成与真实录音上验证其有效性，为后续更复杂方法提供基线。
2024-08-30 cs.SD eess.AS
Low Resource Audio-to-Lyrics Alignment From Polyphonic Music Recordings
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
长音乐记录中的歌词对齐在单遍执行时可能是记忆耗尽的。在这项研究中，我们提出了一种新的方法，执行音频到歌词对齐与低内存消耗的足迹，无论音乐录制的持续时间。所提出的系统首先在音频信号中定位锚定词。对于这些锚点，记录然后被分段，并执行第二遍对齐以获得字定时。我们表明，我们的音频到歌词对齐系统执行竞争力与国家的最先进的，同时需要更少的计算资源。此外，我们利用我们的歌词对齐系统将音乐录音分割成音乐级别的块。值得注意的是，在分段录音中，我们报告了一些基准测试集上的歌词转录分数。最后，我们的实验强调了声源分离步骤对于转录和比对任务的良好性能的重要性。为了可重复性，我们与研究社区公开分享我们的代码。
2021-02-18 cs.SD eess.AS
Spectral Study of the Vocal Tract in Vowel Synthesis: A Comparison between 1D and 3D Acoustic Analysis
University of British Columbia（英属哥伦比亚大学）；University of Alberta（阿尔伯塔大学）；Aalto University（阿尔托大学）
一个国家的最先进的1D声学合成器已被开发出来，并耦合到扬声器特定的生物力学模型的口咽在ArtiSynth。正如预期的那样，合成元音的共振峰频率与录制的音频不同。假设这种差异是由于声道模型的简化几何形状以及Navier-Stokes方程的一维实现。本文利用三维有限元法（FEM）计算了我们的声道几何形状的亥姆霍兹共振，并将其与从一维方法和音频中获得的共振峰频率进行了比较。我们希望这样的比较有助于澄清我们目前的模型和/或语音合成器的局限性。
2015-12-17 cs.SD
On Frequency-Wise Normalizations for Better Recording Device Generalization in Audio Spectrogram Transformers
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
本研究针对声学场景分类中录音设备不匹配问题，提出对音频频谱变换器输入进行频率居中操作，以抑制设备特征，在未见设备上平均提升性能达18.2个百分点。
2023-06-20 cs.LG cs.SD eess.AS
An open dataset for research on audio field recording archives: freefield1010
Queen Mary University of London（伦敦玛丽女王大学）
我们介绍了一个免费和开放的数据集的7690音频剪辑采样从现场录音标签在Freesound音频档案。该数据集旨在用于与现场录音/音景的音频档案中的数据采掘相关的研究。音频是标准化的，音频和元数据是知识共享许可的。我们描述的数据准备过程中，重复的数据集，并说明其使用通过自动标记实验。
2013-10-01 cs.DL cs.SD
Machine Learning Approaches to Vocal Register Classification in Contemporary Male Pop Music
Hamilton College（哈米顿学院）
本文针对男性流行音乐中声区识别难题，提出基于梅尔频谱图纹理特征的SVM和CNN两种分类方法，并开发AVRA自动声区分析软件，实现了稳定的声区分类。
2025-08-20 cs.LG cs.SD eess.AS
Multiple F0 Estimation in Vocal Ensembles using Convolutional Neural Networks
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）
本文讨论了使用卷积神经网络（CNN）从复调和无伴奏合唱演唱中提取多个F0值。我们解决合奏的主要挑战，即，所有的旋律来源都是人声和歌手的和声。我们建立在一个现有的架构，以产生一个音调的输入信号，其中的谐波常数Q变换（HCQT）和其相关的相位差作为一个输入表示的突出功能。随后对音高显著性函数进行阈值化以获得多个F0估计输出。为了训练，我们构建了一个数据集，该数据集包括具有F0注释的声乐四重奏的多个多音轨数据集。这项工作提出并评估了一组CNN，用于在不同的场景和数据配置中执行此任务，包括具有额外混响的录音。我们的模型在使用更高的F0分辨率进行评估时优于用于相同音乐流派的最先进方法，以及用于多F0估计的通用方法。最后，我们对未来的研究方向进行了讨论。
2020-09-09 cs.LG cs.SD eess.AS
Implementing simple spectral denoising for environmental audio recordings
University of São Paulo（圣保罗大学）；University College Cork（科克大学）
本技术报告详细介绍了应用于噪声滤波器的变更，以促进其应用并改善其结果。该滤波器被应用于降噪的自然声音记录在野外，并产生一个用于声景分析的声学指数。
2022-01-06 cs.MM cs.SD eess.AS
Speech event detector: Timestamped detection of non-verbal vocalizations and background sounds for rich speech transcription
本研究提出580万参数的卷积-Transformer语音事件检测器，可检测54类非言语发声与背景声，经多数据集训练调优后，在CPU上运行速度为实时的39倍，能丰富语音转录内容。
2026-10-14 cs.SD
Automatic Stroke Classification of Tabla Accompaniment in Hindustani Vocal Concert Audio
Indian Institute of Technology Bombay（印度理工学院孟买分校）
塔布拉鼓是一种独特的打击乐器，因为它的音色结合了和声和颤音的性质，以及它的两个鼓的对比和声频率范围。这使得塔布拉演奏者能够独特地强调节奏周期（theka）的部分，以标记突出的位置。分析不同周期位置的响度动态和定时偏差是音乐学研究塔布拉伴奏表现力的重要内容。为了在语料库级别实现这一点，而不是将其限制在手动注释可以提供的少数记录中，使用自动Tabla转录系统是有帮助的。虽然已经通过在标记的Tabla笔划上训练模型来构建了一些系统，但所实现的准确性并不一定会传递到看不见的仪器。在这篇文章中，我们报告了我们的工作，建立一个独立于乐器的中风分类系统的基础上更容易获得的塔布拉独奏音轨伴奏塔布拉。我们提出的声学功能，捕捉的独特特征的塔布拉笔画，并建立一个自动系统来预测标签的减少，但音乐动机，目标集四个中风类别之一。为了解决缺乏足够的标记训练数据的问题，我们转向常见的数据增强方法，并发现使用基于音高变换的增强是最有前途的。然后，我们分析了重要的特征，并强调了它们的工具依赖性问题，同时鼓励使用更多针对特定任务的数据增强策略来提高训练数据的多样性。
2021-04-19 cs.SD eess.AS
Latent variable approach to diarization of audio recordings using ad-hoc randomly placed mobile devices
Indian Institute of Science（印度科学学院）
本文考虑了使用空间信息的自组织移动设备的音频记录的日记化。对于每个移动终端假设两信道同步记录，其用于以逐帧方式在每个设备处分别计算方向统计。跨移动设备的记录是异步的，但是通过使用声学事件或实时时钟对准信号来执行粗略同步。然后使用Dirichlet混合模型联合建模为所有设备计算的方向统计，并且使用混合分量上的后验概率来导出日志化信息。使用手机对真实生活录音进行的实验表明，日志化错误率低于14%。
2018-10-31 cs.SD eess.AS
Style Transfer of Audio Effects with Differentiable Signal Processing
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（Adobe研究院）
我们提出了一个框架，可以施加的音频效果和生产风格从一个录音到另一个的例子，以简化音频生产过程的目标。我们训练深度神经网络来分析输入录音和风格参考录音，并预测用于渲染输出的音频效果的控制参数。与过去的工作相比，我们在我们的框架中集成了音频效果作为可微算子，通过音频效果执行反向传播，并使用音频域损失优化端到端。我们使用一个自我监督的训练策略，使音频效果的自动控制，而不使用任何标记或配对的训练数据。我们调查了一系列现有的和新的可微信号处理方法，展示了如何将每种方法集成到我们的框架中，同时讨论它们的权衡。我们在语音和音乐任务上评估了我们的方法，证明我们的方法可以推广到看不见的录音，甚至可以推广到与训练过程中看到的不同的采样率。我们的方法可以产生令人信服的制作风格转换结果，能够将输入录音转换为制作录音，产生音频效果控制参数，从而实现可解释性和用户交互。
2022-07-18 cs.SD eess.AS
A Novel Stochastic Transformer-based Approach for Post-Traumatic Stress Disorder Detection using Audio Recording of Clinical Interviews
LISSI Université Paris-Est Créteil (UPEC)（巴黎东部克雷泰伊大学LISSI实验室）
本文提出一种基于MFCC特征和随机Transformer的深度学习方法，利用临床访谈音频检测PTSD，在eDAIC数据集上取得RMSE 2.92的最新性能。
2024-03-28 cs.LG cs.SD eess.AS
Spectral Mapping of Singing Voices: U-Net-Assisted Vocal Segmentation
Toronto Metropolitan University（多伦多都会大学）
本研究提出一种基于U-Net的歌声分割方法，通过STFT将音乐转为频谱图并利用UNet进行图像分割。实验表明，结合频率轴归一化与MAE损失函数，在MUSDB18数据集上取得7.1 dB的最高SDR，显著优于其他配置，有效实现了人声的高质量分离。
2024-05-30 cs.AI cs.SD eess.AS
