Learning Sound Event Classifiers from Web Audio with Noisy Labels
Universitat Pompeu Fabra（庞培法布拉大学）；Google, Inc.（谷歌公司）
随着声音事件分类向更大的数据集发展，标签噪声问题变得不可避免。网站可以提供大量的用户贡献的音频和元数据，但是从这些元数据中推断标签会引入错误，这是由于不可靠的输入和映射中的限制。然而，很少有人研究这些错误的影响。为了促进对声音事件分类中标签噪声的研究，我们提出了FSDnoisy18k，这是一个包含20个声音类别的42.5小时音频的数据集，包括少量手动标记的数据和大量真实世界的噪声数据。我们根据经验表征标签噪声，并提供了一个CNN基线系统。实验表明，使用大量噪声数据进行训练可以胜过使用少量仔细标记数据进行训练。我们还表明，噪声鲁棒的损失函数可以有效地提高性能，在存在损坏的标签。
2019-03-07 cs.LG cs.SD eess.AS
How to Label Resynthesized Audio: The Dual Role of Neural Audio Codecs in Audio Deepfake Detection
University of Stuttgart, Institute for Natural Language Processing, Germany（斯图加特大学自然语言处理研究所）；AppTek GmbH, Germany（德国AppTek公司）
本研究提出扩展 ASVspoof 5 数据集以探索神经音频编解码器在音频深度伪造检测中的双重功能，并分析不同标记策略对检测性能的影响。
2026-02-18 cs.LG cs.SD
AVA-Speech: A Densely Labeled Dataset of Speech Activity in Movies
Google Inc.（谷歌公司）
语音端点检测是语音识别、语言识别和说话人识别等应用中的重要处理步骤。基于音频和基于视觉的方法都已在各种环境中用于此任务，通常针对最终应用进行定制。然而，以前的许多工作报告都是在合成环境中，在特定于任务的数据集上，或者在不公开的数据集上。这使得很难比较各种方法并了解它们的优缺点。在本文中，我们描述了一个新的数据集，我们将公开发布包含YouTube视频中密集标记的语音活动的数据集，目的是为这项任务创建一个共享的可用数据集。数据集中的标签注释了三种不同的语音活动条件：干净语音、与音乐共现的语音以及与噪声共现的语音，这使得能够基于重叠噪声的存在来分析更具挑战性的条件下的模型性能。我们使用现成的、最先进的音频和视觉模型来报告AVA-Speech的基准性能数据，这些模型可作为促进未来研究的基准。
2018-08-23 cs.SD eess.AS
Robust Audio Tagging under Class-wise Supervision Unreliability
Machine Learning Research Group, Engineering Science, University of Oxford（牛津大学机器学习研究组）；GISP, Harbin Engineering University（哈尔滨工程大学GISP）；EECS, KTH Royal Institute of Technology（皇家理工学院电子工程与计算机科学系）；CVSSP, University of Surrey（萨里大学计算机视觉与模式识别实验室）
本文针对音频标签任务中类依赖性的监督不可靠性问题，提出了一种新的框架CSU，通过在训练过程中控制类级别的监督强度，提高了模型在不同架构和不同监督不可靠性源下的鲁棒性。
2026-05-17 cs.SD eess.AS
The COUGHVID crowdsourcing dataset: A corpus for the study of large-scale cough analysis algorithms
EPFL（洛桑联邦理工学院）
咳嗽音频信号分类已成功用于诊断各种呼吸状况，并且人们对利用机器学习（ML）来提供广泛的COVID-19筛查产生了极大的兴趣。然而，目前还没有经过验证的咳嗽声音数据库来训练这种ML模型。COUGHVID数据集提供了超过20，000个众包咳嗽记录，代表了广泛的受试者年龄，性别，地理位置和COVID-19状态。首先，我们使用我们的开源咳嗽检测算法过滤数据集。其次，经验丰富的肺病学家标记了2,000多个记录，以诊断咳嗽中存在的医学异常，从而贡献了现有最大的专家标记的咳嗽数据集之一，可用于大量的咳嗽音频分类任务。最后，我们确保被标记为有症状和COVID-19的咳嗽来自感染率高的国家，并且他们的专家标签是一致的。因此，COUGHVID数据集为训练ML模型提供了丰富的咳嗽记录，以解决世界上最紧迫的健康危机。
2020-09-24 cs.SD eess.AS
Underwater Source Detection and Classification for Signal-based Surveillance: Audio Dataset Curation and Cross-Domain Evaluation
Department of Electrical and Computer Engineering, Drexel University（德雷塞尔大学电气与计算机工程系）
为解决水下声学标注数据稀缺问题，从开源海事声音档案中整理出包含8类生物和机械声学标签的数据集，并提出带特征对齐的边界增强损失CNN基线，在域内准确率96.35%的同时，零样本舰船检测提升42.60%。
2026-07-08 cs.SD eess.AS eess.SP
A Semi-Supervised Algorithm for Improving the Consistency of Crowdsourced Datasets: The COVID-19 Case Study on Respiratory Disorder Classification
EPFL（洛桑联邦理工学院）；University of the Basque Country (UPV/EHU)（巴斯克大学）
针对众包咳嗽数据集COUGHVID存在的标签错误和专家分歧问题，提出半监督学习方法提升标签一致性，得到类别可分性为原数据3倍的重标注数据集，可用于训练更鲁棒的咳嗽分类模型。
2022-09-09 cs.AI cs.SD eess.AS
Who calls the shots? Rethinking Few-Shot Learning for Audio
New York University（纽约大学）；Adobe Research（奥多比研究院）；New Jersey Institute of Technology（新泽西理工学院）
少样本学习的目标是训练模型，这些模型可以识别出只有少量标记示例（称为支持集）的新类别。虽然该领域近年来取得了显着的进展，但他们通常集中在多类图像分类上。相比之下，音频由于声音重叠而通常是多标签的，从而导致诸如复调和信噪比（SNR）之类的独特属性。这导致了关于这样的音频属性可能对少样本学习系统设计、性能和人机交互具有的影响的未回答的问题，因为通常由用户来收集和提供推理时间支持集示例。我们通过一系列旨在阐明这些问题的答案的实验来解决这些问题。我们介绍了两个新的数据集，FSD-MIX-CLIPS和FSD-MIX-SED，其程序生成允许我们系统地探索这些问题。我们的实验导致了对少样本学习的音频特定见解，其中一些与图像领域的最新发现不一致：没有最好的一刀切的模型，方法和支持集选择标准。相反，它取决于预期的应用场景。我们的代码和数据可在https://github.com/wangyu/rethink-audio-fsl上获得。
2021-10-18 cs.SD eess.AS
Leveraging Audio Representations for Vibration-Based Crowd Monitoring in Stadiums
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
针对体育场振动人群监测标注数据不足的问题，提出ViLA方法，通过无监督音频预训练加少量振动数据微调的跨模态迁移，实现误差最高5.8倍的降低，提供了低干扰的人群监测方案。
2025-03-22 cs.CV cs.SD
jazznet: A Dataset of Fundamental Piano Patterns for Music Audio Machine Learning Research
University of Arizona（亚利桑那大学）
本文介绍了jazznet数据集，一个基本的爵士钢琴音乐模式的数据集，用于开发音乐信息检索（MIR）中的机器学习（ML）算法。该数据集包含162520个标记的钢琴模式，包括和弦，琶音，音阶和和弦进行及其反转，产生超过26k小时的音频和95GB的总大小。本文解释了数据集的组成，创建和生成，并提出了一个开源的模式生成器，使用一种称为基于距离的模式结构（DBPS）的方法，该方法允许研究人员简单地通过定义音乐模式中音高之间的距离来轻松生成新的钢琴模式。我们证明，该数据集可以帮助研究人员使用卷积递归神经网络（CRNN）和深度卷积神经网络对具有挑战性的MIR任务的新模型进行基准测试。数据集和代码可通过https://github.com/tosiron/jazznet获得。
2023-02-17 cs.LG cs.SD eess.AS
CURE Dataset: Ladder Networks for Audio Event Classification
Microsoft Research Labs（微软研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
音频事件分类对于监控、音频、视频和多媒体检索等应用来说是一项重要的任务。大约有300万听力损失的人无法感知周围发生的事件。本文建立了CURE数据集，其中包含与听力损失患者最相关的特定音频事件的精选集。我们提出了一个基于梯形网络的音频事件分类器，利用5S录音来自Freesound项目。我们采用了最先进的卷积神经网络（CNN）嵌入作为这项任务的音频特征。我们还研究了极端学习机（ELM）的事件分类。在这项研究中，建议的分类与支持向量机（SVM）基线进行比较。我们提出了信号和特征归一化，旨在减少不同记录场景之间的不匹配。首先，在弱标记的Audioset数据上训练CNN。接下来，采用预训练的模型作为建议CURE语料库的特征提取器。我们将ESC-50数据集作为第二个评估集。结果和讨论验证了梯形网络的优越性ELM和SVM分类器的鲁棒性和提高分类精度。虽然梯形网络对数据不匹配具有鲁棒性，但更简单的SVM和ELM分类器对这种不匹配很敏感，其中所提出的归一化技术可以发挥重要作用。ESC-50和CURE语料库的实验研究阐明了所提出的方法提供的数据集的复杂性和鲁棒性的差异。
2020-01-12 cs.LG cs.SD eess.AS
Semi-Supervised Audio Classification with Partially Labeled Data
Georgia Institute of Technology（佐治亚理工学院）
随着大规模数据集可用性的提高，音频分类取得了很大的进展。然而，这些大型数据集通常只被部分标记，因为收集完整的注释是一个繁琐而昂贵的过程。本文提出了两种能够在缺失标签的情况下学习的半监督方法，并在两个公开的部分标记数据集上对其进行了评估。第一种方法依赖于标签增强的两个阶段的师生学习过程，而第二种方法利用平均教师半监督学习算法。我们的研究结果证明了不正确处理缺失标签的影响，并比较了使用不同策略利用标签较少的数据的好处。能够使用部分标记的数据进行学习的方法有可能通过利用更大量的数据来改进音频分类模型，而无需完整的注释。
2021-11-24 cs.SD eess.AS
CosyAudio: Improving Audio Generation with Confidence Scores and Synthetic Captions
Northwestern Polytechnical University（西北工业大学）；Hong Kong University of Science and Technology（香港科技大学）；Microsoft Inc.（微软公司）
针对弱标注数据集下文本到音频生成质量不佳的问题，提出CosyAudio框架，利用AudioCapTeller生成合成描述与置信度分数，结合自进化训练策略优化音频生成器，显著提升了音频生成的忠实度与泛化能力。
2025-01-28 cs.SD eess.AS
Self-supervised Graphs for Audio Representation Learning with Limited Labeled Data
University of Warwick（华威大学）；Google Research（谷歌研究院）；University of Glasgow（格拉斯哥大学）
音频领域缺乏具有高质量手动注释的大规模数据库。因此，我们探索了一种自监督图的方法来学习音频表示高度有限的标记数据。考虑到每个音频样本作为一个图节点，我们提出了一个基于子图的框架与新的自我监督任务，可以学习有效的音频表示。在训练期间，通过对可用训练数据的整个池进行采样来构造子图，以利用标记的和未标记的音频样本之间的关系。在推理过程中，我们使用随机边来减轻图构造的开销。我们评估我们的模型在三个基准音频数据库，和两个任务：声学事件检测和语音情感识别。我们的半监督模型表现得更好或与完全监督模型相当，并且优于几个有竞争力的现有模型。我们的模型是紧凑的（240k参数），并可以产生广义的音频表示，是强大的不同类型的信号噪声。
2022-07-16 cs.LG cs.SD
Deep CNN Framework for Audio Event Recognition using Weakly Labeled Web Data
音频事件识别系统的开发需要标记的训练数据，这通常是很难获得的。音频事件的记录的一个有前途的来源是网络上的大量多媒体数据。特别地，如果音频内容分析本身必须对web音频执行，则根据这样的数据训练识别器本身是重要的。然而，从这些网络数据中进行训练带来了几个挑战，最重要的是标签的可用性：可以为数据获得的标签（如果有的话）通常很弱，并且不是训练检测器或分类器所需的那种。我们提出，学习算法，可以利用弱标签提供了一种有效的方法来学习Web数据。然后，我们提出了一个强大而有效的基于深度卷积神经网络（CNN）的框架，以从弱标记数据中学习音频事件识别器。所提出的方法可以训练和分析记录的可变长度，以有效的方式，并优于一个网络训练的强标记的网络数据的相当大的利润。此外，即使我们从弱标记数据中学习，其中记录中的事件时间戳在训练期间不可用，我们提出的框架也能够在推理阶段定位事件。
2022-10-02 cs.LG cs.MM cs.SD
Self-supervised Attention Model for Weakly Labeled Audio Event Classification
Northwestern University（西北大学）；Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱标记的音频事件分类方法的基础上的自监督注意力模型。弱标记框架用于消除对昂贵的数据标记过程的需要，并且部署自监督注意力以帮助模型以与先前注意力模型相比更有效的方式区分弱标记音频片段的相关和不相关部分。我们还提出了一个高效的强监督注意力模型时，强标签。该模型也可以作为自监督模型的上限。具有自监督注意训练的模型的性能与使用强标签训练的强监督模型相当。我们表明，我们的自我监督的注意力方法是特别有益的短音频事件。我们实现了8.8%和17.6%的相对平均平均精度的改善，目前国家的最先进的系统SL-DCASE-17和平衡的AudioSet。
2019-08-07 cs.LG cs.SD eess.AS
Soroll-IA: A Weakly Labeled Audio Dataset for Real-World Industrial Port Monitoring
Instituto Tecnologico de Informatica (ITI)（信息技术学院）
提出一个在西班牙瓦伦西亚真实工业港口环境中录制的弱标注音频数据集，包含22小时音频和26种声音事件类别，用于支持音频标注、弱监督声音事件检测及机器学习研究。
2026-06-26 cs.SD
Audio Event and Scene Recognition: A Unified Approach using Strongly and Weakly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的学习框架，称为监督和弱监督学习，其目标是同时从弱标记和强标记数据中学习。强标记数据可以简单地理解为完全监督的数据，其中所有标记实例都可用。在弱监督学习中，只有数据是弱标记的，这阻止了人们直接应用监督学习方法。我们提出的框架是出于这样一个事实，即少量的强标记的数据可以给相当大的改善，只有弱监督学习。本文的主要问题域焦点是音频记录中的声事件和场景检测。我们首先提出了一个天真的配方，利用标记的数据在这两种形式。然后，我们提出了一个更一般的框架监督和弱监督学习（SWSL）。基于这个框架，我们提出了一个基于图的方法SWSL。我们的主要方法是基于图上的流形正则化，其中我们表明，统一学习可以制定为一个约束优化问题，可以通过迭代凹凸过程（CCCP）来解决。我们的实验表明，我们提出的框架可以解决几个问题的音频内容分析使用弱标记的数据。
2017-02-18 cs.CV cs.LG cs.SD
Large Scale Audiovisual Learning of Sounds with Weakly Labeled Data
Facebook Reality Labs（Facebook现实实验室）
声音识别是计算音频场景分析和机器感知的一个关键方面。在本文中，我们主张，声音识别本质上是一个多模态的视听任务，因为它是更容易区分声音使用音频和视觉形式，而不是一个或另一个。我们提出了一个视听融合模型，学习识别弱标记的视频记录的声音。建议的融合模型利用一个注意力机制，动态地结合各个音频和视觉模型的输出。在大规模声音事件数据集AudioSet上的实验证明了该模型的有效性，其性能优于单模态模型以及最先进的融合和多模态模型。我们在Audioset上实现了46.16的平均精度（mAP），超过现有技术约+4.35 mAP（相对：10.4%）。
2020-05-29 cs.LG cs.SD eess.AS
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance（字节跳动）
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源，但它们难以推广到看不见的源。在本文中，我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的，但弱标记的数据集：AudioSet。首先，我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次，我们设计了一个基于查询的音频分离模型，利用这些数据进行模型训练。第三，我们设计了一个潜在的嵌入处理器来编码查询，指定音频目标分离，允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离，并且仅依赖于弱标记数据进行训练。此外，所提出的音频分离器可以在zero-shot设置中使用，学习分离在训练中从未见过的音频源类型。为了评估分离性能，我们在MUSDB 18上测试了我们的模型，同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型，是从培训。在这两种情况下，该模型都实现了与当前监督模型相当的源失真比（SDR）性能。
2022-02-12 cs.AI cs.LG cs.MM
Audiovisual Transformer Architectures for Large-Scale Classification and Synchronization of Weakly Labeled Audio Events
KU Leuven（鲁汶大学）
我们从机器翻译中使用的Transformer神经网络架构中汲取灵感，解决了环境事件分类的任务。我们修改了这种基于注意力的前馈结构，使得到的模型可以使用音频和视频来计算声音事件预测。我们进行了广泛的实验，这些适应Transformers的视听数据集，通过将相关的视觉信息附加到现有的大规模弱标记的音频集合。所采用的多标签数据包含剪辑级注释，指示17类环境声音的存在或不存在，并且不包括时间信息。我们表明，所提出的修改后的Transformers大大提高了以前介绍的模型，实际上实现了最先进的结果。我们还提出了一个令人信服的情况下，投入更多的注意力在多模态视听分类的研究，通过证明手头的任务，即音频事件识别的视觉信息的有用性。此外，我们可视化的视听Transformers的内部注意力模式，并在这样做证明他们的潜力进行多模态同步。
2019-12-02 cs.LG cs.SD eess.AS
CaReAQA: A Cardiac and Respiratory Audio Question Answering Model for Open-Ended Diagnostic Reasoning
Eindhoven University of Technology（埃因霍温理工大学）；Kyutai France（Kyutai法国分公司）；Eindhoven Artificial Intelligence Systems Institute（埃因霍温人工智能系统研究所）
提出音频-语言模型 CaReAQA 结合基础音频模型与大型语言模型推理能力，并引入基准数据集 CaReSound，在开放式诊断推理任务上达到 86.2% 准确率，有效推动临床决策支持。
2025-06-01 cs.LG
Speaker Fluency Level Classification Using Machine Learning Techniques
Tecnológico de Monterrey（蒙特雷理工学院）
外语学习者的水平评估是将他们归入正确的水平组的必要条件，而且面试学生是一项非常耗时的任务，因此我们提出通过实施机器学习技术来自动评估说话人流利程度。本文提出了一种基于五种不同的机器学习模型的音频处理系统，能够对非英语母语者的流利程度进行分类。作为第一步，我们已经建立了自己的数据集，其中包括不同流利度域/级别（低，中，高）的人之间的英语标记音频对话。我们将音频会话分割成5s非重叠的音频片段，对它们进行特征提取。我们首先从音频中提取Mel倒谱系数，选择20个系数是我们数据的合适数量。此后，我们提取过零率，均方根能量和光谱通量的功能，证明这提高了模型的性能。在总共1424个音频片段中，有70%的训练数据和30%的测试数据，我们的一个训练模型（支持向量机）实现了94.39%的分类准确率，而其他四个模型通过了89%的分类准确率阈值。
2018-08-31 cs.CL cs.LG stat.ML
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
Carnegie Mellon University（卡内基梅隆大学）；Facebook Inc.（脸书公司）
在这项工作中，我们提出了有效地转移弱标记的网络音频数据的知识的方法。我们首先描述了一个基于卷积神经网络（CNN）的框架，用于使用弱标记的音频数据进行声音事件检测和分类。我们的模型从可变长度的音频中有效地训练;因此，它非常适合迁移学习。然后，我们提出了使用该模型学习表示的方法，该模型可以有效地用于解决目标任务。我们研究了转导和归纳迁移学习任务，显示了我们的方法对领域和任务适应的有效性。我们表明，使用所提出的CNN模型的学习表示可以很好地推广到ESC-50声音事件数据集上达到人类水平的准确性，并在该数据集上设置最先进的结果。我们进一步将它们用于声学场景分类任务，并再次表明我们提出的方法也适合这项任务。我们还表明，我们的方法是有助于捕捉语义意义和关系。此外，在这个过程中，我们还在Audioset数据集上设置了最先进的结果，依赖于平衡的训练集。
2018-09-07 cs.MM cs.SD eess.AS
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs（Facebook现实实验室）
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义，而且对标签噪声具有鲁棒性，这在弱标签而不是强注释的情况下更明显。在这项工作中，我们提出了一个新的框架，设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST（发音为Sequest）-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset（最大的弱标记数据集）的评估表明，SeCoST实现了0.383的平均精度，同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
Learning Sound Events From Webly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
在过去的几年里，弱标记学习已经成为音频事件检测的一种令人兴奋的方法。在这项工作中，我们介绍了网络标签学习的声音事件，其目的是消除人类的监督完全从学习过程中。我们首先开发了一种方法，从网络上获得标记的音频数据（虽然嘈杂），其中不涉及手动标记。然后，我们描述了有效地从这些网络标记的音频记录中学习的方法。在我们提出的系统WeblyNet中，两个深度神经网络相互学习，从网络标记的数据中鲁棒地学习，比基线方法相对提高了约17%。该方法还涉及迁移学习，以获得有效的表示
2019-07-14 cs.MM cs.SD eess.AS
The Benefit Of Temporally-Strong Labels In Audio Event Classification
Google Research（谷歌研究院）
为了揭示地面实况音频事件标签中时间精度的重要性，我们为AudioSet数据集的一部分收集了精确（~0.1秒分辨率）的“强”标签。我们设计了一个时间上强的评估集（包括不同难度的显式否定）和一个67 k剪辑的小的强标记训练子集（与原始数据集的1.8M剪辑相比，以10秒的分辨率标记）。我们表明，微调与弱和强标记的数据的混合可以大大提高分类器的性能，即使只使用原来的弱标签进行评估。对于ResNet 50架构，包括显式否定的强评估数据的d'从1.13提高到1.41。新标签可作为AudioSet的更新提供。
2021-05-14 cs.SD eess.AS
Audio Event Detection using Weakly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
声事件检测是多媒体录音内容分析和描述的基础。目前关于该主题的大多数文献都是通过采用强标记数据的全监督技术来学习检测器。然而，可用于大多数多媒体数据的标签通常是弱的，并没有提供足够的细节，这样的方法被采用。在本文中，我们提出了一个框架，学习声事件检测器使用弱标记的数据。我们首先表明，使用弱标签的音频事件检测可以用公式表示为多实例学习问题。然后，我们提出了两个框架来解决多实例学习，一个基于支持向量机，另一个基于神经网络。所提出的方法可以帮助消除手动注释数据的耗时和昂贵的过程，以促进完全监督学习。此外，它不仅可以检测记录中的事件，而且还可以提供记录中事件的时间位置。这有助于获得记录的完整描述，并且值得注意，因为在弱标记数据中，时间信息首先是未知的。
2016-07-06 cs.AI cs.MM cs.SD
A Closer Look at Weak Label Learning for Audio Events
根据声音事件的音频内容分析是各种应用的重要研究问题。近年来，弱标记音频或声音事件检测（AED）方法的发展和大规模弱标记数据集的可用性最终为大规模AED开辟了可能性。然而，弱标签如何影响学习的声音事件的更深入的理解仍然缺乏从文献。在这项工作中，我们首先描述了一种基于CNN的方法，用于弱监督训练音频事件。该方法遵循依赖于弱标记音频的学习方法中所期望的一些基本设计原则。然后，我们描述了重要的特点，自然出现在弱监督学习的声音事件。我们展示了弱标签的这些方面如何影响模型的泛化。更具体地说，我们研究了标签密度和标签损坏等特征如何影响音频事件的弱监督训练。我们还研究了直接从Web上获得弱标记数据而无需任何手动标记的可行性，并将其与已手动标记的数据集进行比较。在未来弱标记学习方法的开发中，应该考虑这些因素的分析和理解。实验中使用了一个大规模的弱标记声音事件数据集AudioSet。
2018-04-24 cs.LG cs.MM cs.SD
AVA-ActiveSpeaker: An Audio-Visual Dataset for Active Speaker Detection
Google AI Perception（谷歌AI感知部门）
主动说话者检测是视频分析算法的重要组成部分，适用于说话者日记化、会议视频重定位、语音增强和人机交互等应用。缺乏一个大的，仔细标记的视听数据集，这项任务的约束算法评估方面的数据多样性，环境和准确性。这使得比较和改进变得困难。在本文中，我们提出了AVA主动扬声器检测数据集（AVA-ActiveSpeaker），该数据集将公开发布，以促进算法开发并进行比较。该数据集包含视频中的时间标记的面部轨迹，其中每个面部实例被标记为说话或不说话，以及语音是否可听见。该数据集包含约365万个人类标记帧或约38.5小时的面部轨迹以及相应的音频。我们还提出了一种新的视听主动说话人检测方法，并分析了其性能，展示了其实力和数据集的贡献。
2019-05-25 cs.CV cs.MM cs.SD
Self-Supervised Multi-View Learning for Disentangled Music Audio Representations
New York University（纽约大学）
针对音乐音频自监督学习中的表示纠缠问题，提出一种多视角学习框架，通过分离私有与共享表示空间，在受控实验中验证了其解纠缠有效性。
2024-11-05 cs.SD eess.AS
Deep Learning-Based Approach for Identification and Compensation of Nonlinear Distortions in Parametric Array Loudspeakers
Key Laboratory of Modern Acoustics, Nanjing University（南京大学现代声学重点实验室）；NJU-Horizon Intelligent Audio Lab, Horizon Robotics（南京大学-Horizon智能音频实验室）
本文首次引入深度学习方法，利用WaveNet前馈变体识别并补偿参量阵扬声器（PAL）的非线性失真，实验表明其总谐波失真和互调失真平均降至4.55%和2.47%，显著优于传统Volterra滤波器方法。
2024-12-02 cs.SD cs.SY eess.AS
Learning Multi-instrument Classification with Partial Labels
多乐器识别是预测音频片段中是否存在不同乐器的任务。将深度学习应用于多仪器识别的一个相当大的挑战是标记数据的稀缺。OpenMIC是一个包含20K复调音频剪辑的最新数据集。该数据集是弱标记的，因为对于每个剪辑，仅知道仪器的存在或不存在，而起始和偏移时间是未知的。数据集也是部分标记的，因为每个片段仅标记仪器的子集。在这项工作中，我们研究了使用基于注意力的递归神经网络来解决弱标记问题。我们还使用不同的数据增强方法来减轻部分标记的问题。我们的实验表明，我们的方法实现了国家的最先进的结果上的OpenMIC多仪器识别任务。
2020-01-24 cs.SD eess.AS
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada（蒙特利尔计算机研究院（CRIM））
本文提出SSAVSV，一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架，无需标注数据，降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
Multiple Instance Deep Learning for Weakly Supervised Small-Footprint Audio Event Detection
Robert Bosch LLC（罗伯特·博世有限责任公司）；University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
现有技术的音频事件检测（AED）系统依赖于使用强标记数据的监督学习。然而，这种依赖性严重限制了大规模数据集的可扩展性，其中精细分辨率注释太昂贵而无法获得。在本文中，我们提出了一个小的足迹多实例学习（MIL）框架多类AED使用弱注释标签。所提出的MIL框架使用从预训练的卷积神经网络提取的音频嵌入作为输入特征。我们表明，通过使用音频嵌入，MIL框架可以使用一个简单的DNN实现，其性能与递归神经网络相当。我们通过使用AudioSet的一个子集训练音频标记系统来评估我们的方法，AudioSet是一个大型的弱标记YouTube视频摘录集合。结合后期融合方法，我们将基线音频标记系统的F1分数提高了17%。我们表明，音频嵌入提取的卷积神经网络显着提高所有MIL模型的性能。该框架降低了AED系统的模型复杂度，并且适用于计算资源有限的应用。
2018-03-26 cs.SD eess.AS
Example-Based Framework for Perceptually Guided Audio Texture Generation
National University of Singapore（新加坡国立大学）；Universitat Pompeu Fabra（庞培法布拉大学）
针对音频纹理缺乏大规模语义标注数据集难以实现可控生成的问题，提出基于示例的框架，利用无监督训练StyleGAN的解耦潜空间，通过少量合成示例推断引导向量实现语义可控生成，还可应用于语义属性迁移。
2024-04-14 cs.AI cs.SD eess.AS
Continuous Learning of Transformer-based Audio Deepfake Detection
Viettel AI, Viettel Group（越南电信人工智能公司，越南电信集团）；Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属机构））
针对音频深度伪造检测，本文提出基于 Audio Spectrogram Transformer 的框架，并结合数据增强与持续学习插件，实现高准确率及少样本新伪造类型更新。
2024-09-09 cs.SD eess.AS
Sound event detection using weakly labeled dataset with stacked convolutional and recurrent neural network
Tampere University of Technology（坦佩雷理工大学）
本文提出了一种神经网络的架构和训练方案，学习的开始和结束时间的声音事件（强标签）在音频记录给定的声音事件列表中存在的音频没有时间信息（弱标签）。我们通过使用堆叠的卷积和循环神经网络来实现这一点，该网络具有两个预测层，一个用于强标签，然后是弱标签。该网络使用逐帧对数梅尔带能量作为输入音频特征进行训练，并使用数据集中提供的弱标签作为弱标签预测层的标签。强标签通过将弱标签复制与输入音频特征中的帧一样多的次数来生成，并且在训练期间用于强标签层。我们建议通过对两个预测层中计算的损失进行不同的加权来控制网络从弱标签和强标签中学习到的内容。所提出的方法进行了评估，公开的数据集155小时，17个声音事件类。该方法实现了最好的出错率为0.84强标签和F-分数为43.3%的弱标签上看不见的测试分裂。
2017-10-09 cs.SD eess.AS
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Inpainting of long audio segments with similarity graphs
Swiss Data Science Center, EPFL and ETH Zürich（瑞士数据科学中心、洛桑联邦理工学院与苏黎世联邦理工学院）；Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）
我们提出了一种新的方法，用于补偿音频信号，特别是音乐中的长时间数据丢失。这种信号缺陷的隐藏是基于一个图，该图根据时间持久的频谱相似性对信号结构进行编码。通过直观的优化方案提出用于替换丢失内容的合适的候选片段，并将其平滑地插入到间隙中，即丢失或失真的信号区域。广泛的听力测试表明，该算法提供了非常有前途的结果时，应用于各种现实世界的音乐信号。
2018-02-23 cs.AI cs.MM cs.SD
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种数据高效且低复杂度的声学场景分类系统，利用BEATs自监督预训练模型提取通用音频表示，并通过集成不同微调策略与知识蒸馏技术，在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Learning audio and image representations with bio-inspired trainable feature extractors
Johann Bernoulli Institute for Mathematics and Computer Science, University of Groningen（格罗宁根大学约翰·伯努利数学与计算机科学研究所）；University of Groningen（格罗宁根大学）；University of Salerno（萨莱诺大学）
模式识别和信号处理的最新进展涉及从标记的训练样本中自动学习数据表示。典型的方法是基于深度学习和卷积神经网络，这需要大量的标记训练样本。在这项工作中，我们提出了新型特征提取器，可用于在自动配置过程中学习单个原型样本的表示。我们采用的音频和图像处理的应用程序中提出的特征提取，并在基准数据集上显示其有效性。
2018-01-02 cs.AI cs.CV cs.SD
Acted vs. Improvised: Domain Adaptation for Elicitation Approaches in Audio-Visual Emotion Recognition
Amazon（亚马逊）
开发通用自动情感识别系统的主要挑战包括标记数据的稀缺性和缺乏黄金标准参考。即使对于被标记为相同情感类别的线索，相关联的表达的可变性也可能很高，这取决于启发上下文，在即兴对话与预先定义的脚本的表演会话期间引发的情感。在这项工作中，我们把情感启发的方法作为领域知识，并探讨领域迁移学习技术在不同的情感启发方法下收集的情感话语，特别是有限的标记目标样本。我们的情感识别模型结合了梯度反转技术和熵损失函数以及软标签损失，实验结果表明，领域迁移学习方法可以用来减轻不同启发方法之间的领域失配。我们的工作提供了新的见解情感数据收集，特别是其启发策略的影响，和领域自适应的重要性，在情感识别的目标是广义系统。
2021-06-07 cs.AI cs.SD eess.AS
SIGNL: A Label-Efficient Audio Deepfake Detection System via Spectral-Temporal Graph Non-Contrastive Learning
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续性研究所，联邦大学澳大利亚）
SIGNL通过频谱-时间图非对比学习实现高效音频深度伪造检测，利用未标记数据预训练编码器并微调，实现低标签数据下的高检测性能。
2026-01-12 cs.SD eess.AS
Towards Robust Family-Infant Audio Analysis Based on Unsupervised Pretraining of Wav2vec 2.0 on Large-Scale Unlabeled Family Audio
University of Illinois（伊利诺伊大学）；Beckman Institute for Advanced Science and Technology（贝克曼先进科学技术研究所）
本文利用 1000 小时无标签家庭音频无监督预训练 W2V2，为 LittleBeats 学习家庭音频表示，在有限标注下提升父母/婴儿说话人日志与发声分类性能。
2023-12-08 cs.SD eess.AS
Supervised contrastive learning from weakly-labeled audio segments for musical version matching
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团公司）
针对现有音乐版本匹配仅支持曲目级、损失函数陈旧的问题，提出弱标注片段学习方法与改进对比损失，在曲目级和片段级评估中均取得优异性能，方法可推广至更多领域。
2025-05-16 cs.AI cs.LG cs.SD
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft（微软）
提出uaMix-MAE，一种基于无监督音频混合的高效实例判别调优策略，通过对比调优对齐预训练MAEs表征，在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
Hierarchical Label Propagation: A Model-Size-Dependent Performance Booster for AudioSet Tagging
针对AudioSet标注不一致问题，提出分层标签传播（HLP）沿本体层级修正标签，提升正标签数量并增强多种模型性能，小模型获益更大，且在FSD50K上验证了泛化性。
2025-03-26 cs.LG cs.SD eess.AS
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
LCANets++: Robust Audio Classification using Multi-layer Neural Networks with Lateral Competition
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对音频分类器易受对抗攻击及标注数据有限的问题，提出多层执行稀疏编码的LCANets++模型，显著提升了模型对背景噪声及黑白盒攻击的鲁棒性。
2024-03-27 cs.CR cs.LG cs.SD
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple（苹果公司）
提出跨语言伪标签方法，利用其他语言的字符级声学模型和目标语言模型约束，在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
Surrey-cvssp system for DCASE2017 challenge task4
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
在这份技术报告中，我们提出了一系列方法，用于2017年声学场景和事件的检测和分类（DCASE 2017）挑战的任务4。该任务评估系统的大规模检测的声音事件使用弱标记的训练数据。这些数据是YouTube视频摘录，重点是交通和警告，因为它们的行业应用。有两个任务，音频标记和声音事件检测从弱标记的数据。卷积神经网络（CNN）和基于门控递归单元（GRU）的递归神经网络（RNN）作为我们的基本框架。我们提出了一个可学习的门控激活函数选择信息的本地功能。基于注意力的方案用于在弱监督模式下定位特定事件。提出了一种新的批级平衡策略来解决数据不平衡问题。不同系统的后验融合可以有效地提高性能。总之，我们在开发集上获得音频标记子任务的61% F值和声音事件检测子任务的0.73出错率（ER）。而官方的多层感知器（MLP）为基础的基线刚刚获得13.1%的F值的音频标记和1.02的声音事件检测。
2017-11-25 cs.SD
YODAS: Youtube-Oriented Dataset for Audio and Speech
Carnegie Mellon University（卡内基梅隆大学）；The University of Tokyo（东京大学）；Tokyo Metropolitan University（东京都立大学）
本研究提出大规模多语言语音数据集YODAS，包含超50万小时、100多种语言的YouTube语音数据，支持监督与自监督学习，并提供了数据收集方法、全面分析及前15种语言的语音识别基线。
2024-06-02 cs.CL cs.SD eess.AS
