First-Shot Unsupervised Anomalous Sound Detection With Unknown Anomalies Estimated by Metadata-Assisted Audio Generation
University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
针对DCASE 2023挑战赛任务2的首次无监督异常声音检测难题，提出元数据辅助音频生成估计未知异常、结合TWFR-GMM主干的FS-TWFR-GMM方法，以极少参数取得顶尖性能。
2024-03-11 cs.SD eess.AS
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；New York University（纽约大学）
针对零样本音频分类性能受限问题，提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法，并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
Leveraging Sound Source Trajectories for Universal Sound Separation
National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（国家级通用人工智能重点实验室，智能科学与技术学院，北京大学）
提出一种利用声源定位与分离相互促进机制的方法，通过迭代跟踪和波束形成实现移动声源的精确分离。
2026-06-15 cs.SD eess.AS
Unsupervised Improved MVDR Beamforming for Sound Enhancement
Université de Sherbrooke（谢尔布鲁克大学）；Google Research（谷歌研究院）
本文提出无监督改进型MVDR波束形成方法UIMVDR，通过无监督训练利用单通道数据实现多通道声音分离，在监督数据有限时优于监督模型并减少数据收集成本。
2024-10-01 cs.SD eess.AS
Transformer-based Autoencoder with ID Constraint for Unsupervised Anomalous Sound Detection
Harbin Engineering University（哈尔滨工程大学）；Bytedance（字节跳动）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出IDC-TransAE，一种基于ID约束的Transformer自编码器，结合加权异常分数计算，用于无监督异常声音检测，在DCASE 2020数据集上验证了其有效性和优越性。
2023-10-13 cs.SD eess.AS
Unsupervised Contrastive Learning of Sound Event Representations
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Insight Centre for Data Analytics, Dublin City University (DCU)（都柏林城市大学洞察数据分析中心）
自监督表示学习可以缓解人工标记数据少而未标记数据多的识别任务的局限性--这是声音事件研究中的一种常见情况。在这项工作中，我们探索无监督的对比学习作为一种学习声音事件表示的方法。为此，我们建议使用的借口任务，对比不同的增强意见的声音事件。视图主要通过将训练样本与不相关的背景混合来计算，然后进行其他数据增强。我们通过烧蚀实验分析了我们的方法的主要组成部分。我们评估学习表示使用线性评估，并在两个域中的下游声音事件分类任务，即，使用有限的手动标记的数据，并使用嘈杂的标记数据。我们的研究结果表明，无监督的对比预训练可以减轻数据稀缺的影响，并提高对噪声标签的鲁棒性，优于有监督的基线。
2020-11-15 cs.LG cs.SD eess.AS
Sound Event Detection with Sequentially Labelled Data Based on Connectionist Temporal Classification and Unsupervised Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
声音事件检测（SED）方法通常依赖于强标记数据或弱标记数据。作为替代方案，提出了顺序标记数据（SLD）。在SLD中，音频片段中的事件和事件的顺序是已知的，而不知道事件的发生时间。本文提出了一种基于连接主义时态分类（CTC）的SED系统，该系统使用SLD代替强标记数据，具有一个新的无监督聚类阶段。对41类声音事件的实验表明，所提出的两阶段方法在SLD上训练达到与先前的最先进的强标记数据上训练的SED系统相当的性能，并且远优于另一种最先进的弱标记数据上训练的SED系统，这表明所提出的两阶段方法在SLD上训练而没有任何声音事件的开始/偏移时间的有效性。
2019-04-27 cs.SD eess.AS
Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds
CCG ZGDV Institute（CCG ZGDV研究所）；Bosch Car Multimedia, Portugal（博世汽车多媒体（葡萄牙）公司）
本技术报告描述了为DCASE 2020挑战任务2开发的两种方法。挑战涉及到无监督学习来检测异常声音，因此在训练过程中只有正常的机器工作条件样本可用。这两种方法涉及深度自动编码器，基于使用melspectogram处理的声音特征的密集和卷积架构。使用挑战的六种机器类型数据集进行实验。总体而言，所提出的密集和卷积AE实现了具有竞争力的结果，优于基线挑战方法。
2020-06-19 cs.LG cs.SD eess.AS
Unsupervised Detection of Anomalous Sound based on Deep Learning and the Neyman-Pearson Lemma
NTT Media Intelligence Laboratories（NTT媒体情报实验室）；NTT Corporation（NTT公司）
本文提出了一种新的优化原理和实现的无监督异常检测声音（ADS）使用自动编码器（AE）。无监督ADS的目标是在没有异常声音训练数据的情况下检测未知的异常声音。使用AE作为正常模型是用于无监督ADS的最先进技术。为了降低假阳性率（FPR），训练AE以最小化正常声音的重建误差，并且计算异常分数作为观察到的声音的重建误差。不幸的是，由于该训练过程没有考虑异常声音的异常评分，因此真阳性率（TPR）不一定增加。在这项研究中，我们定义了一个目标函数的基础上内曼皮尔逊引理考虑ADS作为一个统计假设检验。建议的目标函数训练AE，以最大化TPR在任意低FPR条件下。为了计算目标函数中的TPR，我们认为异常声音的集合是正常声音的互补集合，并通过使用拒绝抽样算法来模拟异常声音。通过使用合成数据的实验，我们发现所提出的方法在低FPR条件下提高了ADS的性能指标。此外，我们证实，所提出的方法可以检测到异常的声音在现实环境中。
2018-10-22 cs.LG cs.SD eess.AS
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy（维苏阿尔公司）
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如，在工业过程中，机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决，因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器（无监督和半监督）和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Lightweight and Optimized Sound Source Localization and Tracking Methods for Open and Closed Microphone Array Configurations
Université de Sherbrooke（舍布鲁克大学）；Interdisciplinary Institute for Technological Innovation (3IT)（跨学科技术创新研究所（3IT））
自然环境中的人机交互需要过滤掉环境中的不同声音源。这种能力通常涉及使用麦克风阵列在线定位、跟踪和分离声源。多麦克风信号处理技术可以提高对噪声的鲁棒性，但是处理成本随着所使用的麦克风的数量而增加，限制了响应时间并且在不同类型的移动机器人上广泛使用。由于声源定位方法在计算资源方面是最昂贵的，因为它们涉及扫描大的3D空间，因此最小化所需的计算量将有助于它们在机器人上的实现和使用。机器人的形状也对麦克风阵列的几何形状和配置带来了约束。此外，声源定位方法通常返回噪声特征，这些噪声特征需要通过跟踪声源来进行平滑和滤波。本文提出了一种新的声源定位方法，称为SRP-PHAT-HDA，扫描空间与粗和细分辨率网格，以减少内存查找的数量。麦克风方向性模型用于减少要扫描的方向的数量并且忽略不重要的麦克风对。还介绍了一种配置方法来自动设置通常根据麦克风阵列的形状经验调谐的参数。对于声源跟踪，本文提出了一种改进的三维卡尔曼（M3 K）方法，能够同时跟踪三维声源的方向。使用16个麦克风阵列和低成本硬件，结果表明，SRP-PHAT-HSA和M3 K执行至少与其他声源定位和跟踪方法一样好，同时分别使用高达4倍和30倍的计算资源。
2018-12-01 cs.SD eess.AS
An unsupervised segmentation of vocal breath sounds
本文提出一种基于呼吸信号能量周期性与动态规划的无监督算法，用于检测发声呼吸音边界，在60名受试者数据上表现优于基线，且哮喘分类性能与真实边界相当。
2023-04-07 eess.AS eess.SP
Description and Discussion on DCASE2020 Challenge Task2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
NTT Corporation（NTT公司）；Hitach, Ltd.（日立有限公司）；Doshisha University（同志社大学）
在本文中，我们介绍了任务描述，并讨论了DCASE 2020挑战任务2的结果：机器状态监测的异常声音的无监督检测。异常声音检测（ASD）的目的是识别目标机器发出的声音是正常还是异常。该任务的主要挑战是在仅提供正常声音样本作为训练数据的条件下检测未知的异常声音。我们设计了这个挑战作为ASD研究的第一个基准，其中包括一个大规模的数据集，评估指标和一个简单的基线系统。我们收到了来自40个团队的117份提交，由于这一挑战，已经开发了几种新方法。在分析评价结果的基础上，讨论了两种新的评价方法及其存在的问题。
2020-08-08 cs.LG cs.SD eess.AS
Differentiable Tracking-Based Training of Deep Learning Sound Source Localizers
Tampere University（坦佩雷大学）
基于数据和基于学习的声源定位（SSL）在具有挑战性的条件下已经显示出有希望的结果，并且通常被设置为分类或回归问题。基于回归的方法比基于分类的方法具有一定的优势，例如静态和运动源的连续波达方向估计。然而，多源场景需要多个回归器，而没有明确的最新训练策略，不依赖于同步声音分类等辅助信息。我们研究了这种方法的端到端的训练与最近提出的视频对象检测器的技术，适用于SSL设置。构建了一个可微分网络，可以插入定位器的输出，以解决预测和参考之间的最佳分配，直接优化流行的CLEAR-MOT跟踪指标。结果表明，直接优化均方误差，在定位误差，检测指标和跟踪能力方面有很大的改善。
2021-10-29 cs.SD eess.AS
MUDAS: Mote-scale Unsupervised Domain Adaptation in Multi-label Sound Classification
The Ohio State University（俄亥俄州立大学）；Microsoft（微软公司）
针对现有UDA算法不适用于多标签任务及资源受限物联网设备的问题，提出MUDAS框架，通过原位选择性重训练、类特定自适应阈值和多样性正则化，在SONYC-UST数据集上提升了多标签声音分类精度。
2025-11-14 cs.AI cs.SD eess.AS
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University（坦佩雷大学）
本文研究了联合定位，检测和跟踪的声音事件使用卷积循环神经网络（CRNN）。我们使用CRNN先前提出的固定源的定位和检测，并表明，经常性的层，使运动源的空间跟踪时，训练与动态场景。CRNN的跟踪性能进行了比较，一个独立的跟踪方法，结合了多源（DOA）估计和粒子滤波。他们各自的性能进行评估，在各种声学条件下，如消声和混响的情况下，固定和移动源在几个角速度，并与不同数量的重叠源。结果表明，CRNN设法跟踪多个源更一致的声学场景比参数的方法，但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Importance-Weighted Domain Adaptation for Sound Source Tracking
针对声源跟踪（SST）中的可变长度序列和方向多样性不匹配挑战，提出一种基于固定维度特征表示和重要性加权对抗训练的无监督领域自适应方法，成功将合成数据训练的模型迁移至真实环境并提升了SST性能。
2025-09-16 eess.AS
Separation of Moving Sound Sources Using Multichannel NMF and Acoustic Tracking
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了一种方法分离的运动声源。该方法首先跟踪源，然后使用多通道非负矩阵分解（NMF）估计源谱图，并通过单通道维纳滤波从混合物中提取源。我们提出了一种新的多通道NMF模型与空间协方差矩阵（SCM）表示的源随时间变化的混合，并提供更新方程优化模型参数最小化平方Frobenius范数。该模型的SCM获得的基础上估计的到达方向的跟踪源在每个时间帧。评估是基于既定的客观分离标准，并使用两个和三个同时移动声源的真实录音。比较的方法包括传统的波束形成和理想比率掩模分离。所提出的方法被证明超过其他评估盲方法的分离质量根据所有测量的数量。此外，我们通过比较使用注释的地面真实源轨迹实现的分离质量来评估该方法对跟踪误差的敏感性。
2017-10-27 cs.SD eess.AS
Sound-to-Imagination: An Exploratory Study on Unsupervised Crossmodal Translation Using Diverse Audiovisual Data
Polytechnic University of Catalonia (UPC)（加泰罗尼亚理工大学（UPC））
我们的研究的动机是探索自动声音到图像（S2 I）翻译的可能性，使人类接收器视觉上推断的声音相关事件的发生。我们期望计算机从捕获的声音中“想象”场景，生成描绘声音发射源的原始图像。以前对类似主题的研究选择了简化的方法，使用低内容多样性和/或健全的类监督的数据。因此，我们建议使用数千个不同和未知的场景执行无监督的S2 I翻译，并稍微预先清理数据，以保证听觉-视觉语义的一致性。为此，我们采用了具有深度密集连接生成器的条件生成对抗网络（GANs）。此外，我们提出了一个解决方案，使用信息量分类器来执行生成的图像的定量评估。这使我们能够分析网络瓶颈变化对翻译的影响，观察信息量和像素空间收敛之间的潜在权衡。尽管指定的S2 I翻译任务很复杂，但我们能够将模型泛化到足以获得平均超过14%的从未知声音翻译的可解释和语义连贯的图像。
2022-03-09 cs.GR cs.MM cs.SD
Description and Discussion on DCASE 2025 Challenge Task 2: First-shot Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
Hitachi, Ltd.（日立株式会社）；NTT, Inc.（日本NTT公司）；STMicroelectronics；Kyoto University（京都大学）
本文介绍DCASE 2025挑战赛任务2，旨在无需超参数调优即可快速部署新机器类型的无监督异常声音检测，并分析35个团队的119份提交，发现多种方法结合适当策略均可取得竞争力。
2025-09-26 cs.SD eess.AS
Unsupervised Sound Localization via Iterative Contrastive Learning
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of California Merced（加州大学默塞德分校）；Snap Inc.（Snap公司）；Google Research（谷歌研究院）
声音定位的目的是在视觉场景中找到音频信号的来源。然而，注释从音频和视觉模态采样的信号之间的相关性是劳动密集型的，因此很难监督机器学习这项任务。在这项工作中，我们提出了一个迭代的对比学习框架，不需要数据注释。在每次迭代时，所提出的方法将1）在先前迭代中预测的图像中的定位结果，以及2）从音频信号推断的语义关系作为伪标签。然后，我们使用伪标签来学习从同一视频中采样的视觉和音频信号之间的相关性（帧内采样）以及跨视频提取的视觉和音频信号之间的关联性（帧间关系）。我们的迭代策略逐渐鼓励发声对象的本地化，并减少非发声区域和参考音频之间的相关性。定量和定性的实验结果表明，该框架表现良好，对现有的无监督和弱监督的声音定位任务的方法。
2021-04-01 cs.CV cs.SD eess.AS
Unsupervised Discriminative Learning of Sounds for Audio Event Classification
UC Berkeley（加州大学伯克利分校）；Bosch Research North America（博世北美研究院）
基于网络的音频事件分类的最新进展已经显示了基于视觉数据（如ImageNet）的预训练模型的好处。虽然这个过程允许跨不同领域的知识转移，但在大规模视觉数据集上训练模型是非常耗时的。在几个音频事件分类基准测试中，我们展示了一种快速有效的替代方案，该方案仅在音频数据上对无监督模型进行预训练，但与ImageNet预训练的性能相当。此外，我们还证明了我们的区别性音频学习可以用于跨音频数据集传输知识，并可选地包括ImageNet预训练。
2021-05-20 cs.CV cs.SD eess.AS
Description and Discussion on DCASE 2021 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring under Domain Shifted Conditions
Hitachi, Ltd.（日立制作所）；Doshisha University（同志社大学）；Google（谷歌）；NTT Corporation（日本电报电话公司）
我们介绍了DCASE 2021挑战任务2的任务描述和结果讨论。2020年，我们组织了一项无监督的异常声音检测（ASD）任务，在没有异常训练数据的情况下识别给定声音是正常还是异常。在2021年，我们组织了一个在领域转移条件下的高级无监督ASD任务，重点关注ASD系统实际使用中不可避免的问题。该任务的主要挑战是检测未知的异常声音，其中训练样本和测试样本的声学特性不同，即，域转移由于季节、制造产品和/或环境噪声的变化，该问题经常发生。我们收到了来自26个团队的75份参赛作品，在这次挑战中开发了几种新颖的方法。在对评估结果进行分析的基础上，我们发现TOP-5获胜团队采用了两种类型的显着方法：1）基于“离群点检测”（OE）的检测器和基于“内点建模”（IM）的检测器的集成方法，以及2）基于IM的机器识别任务中学习的特征检测方法。
2021-09-27 cs.LG cs.SD eess.AS
Unsupervised Sound Separation Using Mixture Invariant Training
Google Research（谷歌研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
近年来，使用深度神经网络的监督训练在单通道声音分离问题上取得了快速进展。在这种监督方法中，模型被训练以从通过将孤立的地面实况源相加而创建的合成混合物中预测分量源。依赖这种合成训练数据是有问题的，因为良好的性能取决于训练数据与真实世界音频之间的匹配程度，特别是在声学条件和源分布方面。声学特性可能难以准确模拟，并且声音类型的分布可能难以复制。在本文中，我们提出了一种完全无监督的方法，混合不变训练（MixIT），它只需要单通道声学混合。在MixIT中，通过将现有混合物混合在一起来构建训练示例，并且模型将它们分离成可变数量的潜在源，以便可以重新混合分离的源以近似原始混合物。我们表明，MixIT可以实现有竞争力的性能相比，监督的语音分离方法。在半监督学习设置中使用MixIT可以实现无监督域自适应和从大量真实数据中学习，而无需地面真实源波形。特别是，我们显着提高混响语音分离性能，通过将混响混合物，训练的语音增强系统从嘈杂的混合物，并提高通用的声音分离，通过将大量的野生数据。
2020-10-24 cs.LG cs.SD eess.AS
Unsupervised Feature Learning for Environmental Sound Classification Using Weighted Cycle-Consistent Generative Adversarial Network
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
在本文中，我们提出了一种新的环境声音分类方法，结合无监督的特征学习的码本通过球形$K$ -Means++算法和一个新的架构，高层次的数据增强。使用离散小波变换（DWT）将音频信号变换成2D表示。然后通过一种新的周期一致性生成对抗网络架构来增强DWT谱图。这种高级增强引导通过将结构特征从样本转换到样本来以类内和类间方式生成谱图。采用加速鲁棒特征检测器（SURF）和K-Means++算法对小波变换谱图进行编码，建立码书。随机森林是我们最终的学习算法，它从码本中的聚类码字中学习环境声音分类任务。在四个基准环境声音数据集（ESC-10，ESC-50，UrbanSound 8 k和DCASE-2017）中的实验结果表明，所提出的分类方法优于该范围内的最先进的分类器，包括高级和密集的卷积神经网络，如AlexNet和GoogLeNet，根据数据集的不同，分类率提高了3.51%至14.34%。
2019-11-25 cs.LG cs.SD eess.AS
Robust Fixed-Filter Sound Zone Control with Audio-Based Position Tracking
本文提出一种基于音频位置跟踪和字典方法的鲁棒声场控制系统，通过实时更新固定滤波器适应听者移动，仿真验证了其在字典覆盖完整时最优，部分覆盖时仍优于传统方案。
2025-01-20 eess.AS eess.SP
Unsupervised Learning of Semantic Audio Representations
Google, Inc.（谷歌公司）
即使在没有任何明确的语义注释的情况下，大量的音频记录也为学习声音的分类结构提供了有价值的信息。我们考虑几个类不可知的语义约束，适用于未标记的非语音音频：（i）噪声和翻译的时间不改变基本的声音类别，（ii）两个声音事件的混合物继承的成分的类别，（iii）在时间上接近的事件类别可能是相同的或相关的。如果没有标签来支持它们，这些约束与分类损失函数不兼容。然而，它们仍然可以被利用来识别卷积神经网络的基于三重丢失的训练所需的几何不等式。其结果是输入频谱图的低维嵌入，当应用于下游按示例查询的声音检索和声音事件分类任务时，分别恢复其完全监督对应物的41%和84%的性能。此外，在有限监督设置中，我们的无监督嵌入将最先进的分类性能提高了一倍。
2017-11-06 cs.SD eess.AS stat.ML
Direction Estimation of Sound Sources Using Microphone Arrays and Signal Strength
Computer Science \& Engineering, Sabancı University, Faculty of Engineering；Robotics, University of Tehran, School of Electrical
本文提出一种基于三个驻极体麦克风的轻量级声音追踪方法，通过比较接收信号的平均功率推断声源方向，实现小于6度的定位误差和98%的精度，为安防、智能家居等领域提供低成本、易集成的定位解决方案。
2025-10-10 cs.SD cs.SY eess.AS
Resonant Processing of Instrumental Sound Controlled by Spatial Position
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种声学乐器，通过另一种声音的共振模型发挥。共振模型作为复合仪器的一部分被实时的控制。我们的实现使用的电小提琴，其空间位置修改的谐振模型的滤波器参数。单纯插值定义了从空间位置到滤波器参数的映射。通过一些努力，音调跟踪也可以控制滤波器参数。运动跟踪、音高跟踪、共振模型等单独的技术很容易适应其他乐器。
2020-10-04 cs.HC cs.SD eess.AS
Self-Supervised Learning from Automatically Separated Sound Scenes
Google Research（谷歌研究院）
真实世界的声音场景由随时间变化的声源集合组成，每个声源都生成在音频记录中混合在一起的特征声音事件。这些组成声音事件与它们的混合物和彼此的关联在语义上受到约束：声音场景包含源类的联合，而不是所有类自然地共同出现。有了这个动机，本文探讨了使用无监督的自动声音分离分解成多个语义链接的意见，用于自我监督的对比学习未标记的声音场景。我们发现，学习将输入混合物与其自动分离的输出相关联，比过去单独使用混合物的方法产生更强的表示。此外，我们发现，最佳的声源分离是不需要成功的对比学习，证明了一系列的分离系统的收敛状态都导致有用的，往往是互补的例子变换。我们最好的系统将这些无监督分离模型集成到一个单一的增强前端中，并联合优化视图中的相似性最大化和重合预测目标。其结果是一个无监督的音频表示，竞争对手的国家的最先进的替代品上建立浅AudioSet分类基准。
2021-09-15 cs.LG cs.SD eess.AS
VarietySound: Timbre-Controllable Video to Sound Generation via Unsupervised Information Disentanglement
Zhejiang University（浙江大学）
视频到声音生成的目的是在给定视频输入的情况下生成逼真和自然的声音。然而，先前的视频到声音生成方法只能生成随机或平均的音色，而没有对生成的音色进行任何控制或专门化，导致人们有时无法在这些方法下获得期望的音色的问题。在本文中，我们提出了一个特定的音色给定的视频输入和参考音频样本生成声音的任务。为了解决这个问题，我们将每个目标声音分解为三个部分：时间信息，声学信息和背景信息。我们首先使用三个编码器分别对这些分量进行编码：1）时间编码器对时间信息进行编码，因为输入视频与原始音频共享相同的时间信息，所以将视频帧馈送到时间编码器; 2）声学编码器对音色信息进行编码，将原始音频作为输入并通过时间破坏操作丢弃其时间信息;以及3）背景编码器，用于编码残留或背景声音，其使用原始音频的背景部分作为输入。为了使生成的结果达到更好的质量和时间对齐，我们还采用了梅尔时间和时间的对抗训练。我们在VAS数据集上的实验结果表明，我们的方法可以生成高质量的音频样本，与视频中的事件具有良好的同步性，与参考音频具有较高的音色相似性。
2022-11-19 cs.CV cs.MM cs.SD
6DoF SELD: Sound Event Localization and Detection Using Microphones and Motion Tracking Sensors on self-motioning human
NTT Corporation（NTT公司）
本文面向运动人体的可穿戴SELD任务，构建首个考虑麦克风6DoF自主运动的数据集，并提出融合音频与运动追踪信号的多模态系统，以条件化声学特征提升定位检测性能。
2024-03-04 cs.SD eess.AS
Unsupervised Classification of Voiced Speech and Pitch Tracking Using Forward-Backward Kalman Filtering
Bucknell University（巴克内尔大学）
浊音语音的检测、基频的估计以及基音值随时间的跟踪是各种语音处理技术的关键子任务。许多不同的算法已经开发了三个子任务。我们提出了一个新的算法，将这三个子任务集成到一个单一的过程。该算法可以应用于预先录制的语音发声在存在大量的背景噪声。我们结合了一系列标准指标，如过零率，例如，制定一个无监督的发声分类。基音值的估计是用基于混合自相关的技术来完成的。我们提出了一个前向-后向卡尔曼滤波器来平滑估计的基音轮廓。在实验中，我们能够表明，所提出的方法相比，目前，国家的最先进的基音检测算法。
2021-03-01 cs.LG cs.SD eess.AS
Unsupervised Learning of Audio Perception for Robotics Applications: Learning to Project Data to T-SNE/UMAP space
Stanford Computer Science Department（斯坦福大学计算机科学系）
音频感知是解决声学景物分析、音乐元数据提取、推荐、合成和分析等问题的关键。它还可以增强计算机执行人类在日常活动中毫不费力地完成的任务。本文建立在关键思想的基础上，在不访问任何地面实况数据的情况下建立对触摸声音的感知。我们展示了如何利用经典信号处理的思想，以高精度获得任何感兴趣的声音的大量数据。然后，这些声音与图像一起被用来将声音映射到这些图像的潜在表示的聚类空间。这种方法不仅允许我们学习可能感兴趣的声音的语义表示，而且还允许将不同的模态与所学习的区别相关联。经过训练将声音映射到这种聚类表示的模型，与收集大量人类注释数据的昂贵方法相比，提供了合理的性能。这样的方法可以用于使用几个信号处理特征来为所描述的任何感兴趣的声音构建现有技术的感知模型。使用信号处理结合神经架构和未标记数据的高维聚类的菊花链高精度声音事件检测器是一个非常强大的想法，并且可以在未来以各种方式进行探索。
2020-02-10 cs.LG cs.RO cs.SD
Jointly Tracking and Separating Speech Sources Using Multiple Features and the generalized labeled multi-Bernoulli Framework
Curtin University（科廷大学）
提出了一种基于广义标记多伯努利（GLMB）多目标跟踪滤波器的多说话人联合跟踪分离方法。标准的多说话人跟踪算法通常只跟踪说话人的位置，当说话人在空间上接近时会出现模糊。该多特征GLMB跟踪滤波器将说话人特征（位置、音高和声音）向量集作为多目标多特征观测，利用相应的过渡模型和整体似然函数表征过渡特征，从而联合跟踪和分离多特征说话人，解决了空间模糊问题。仿真结果表明，该方法能够正确跟踪多个说话人的位置，同时实现语音信号的分离。
2018-04-16 cs.SD eess.AS
Sparse, Efficient, and Semantic Mixture Invariant Training: Taming In-the-Wild Unsupervised Sound Separation
Google Research（谷歌研究院）
有监督的神经网络训练在单通道声音分离方面取得了重大进展。这种方法依赖于地面实况孤立源，这排除了扩展到广泛可用的混合数据，并限制了开放域任务的进展。最近的混合不变训练（MixIT）方法可以在野外数据上进行训练;然而，它存在两个突出的问题。首先，它产生的模型往往过度分离，产生的输出源多于输入源。其次，MixIT损失的指数计算复杂度限制了可行输出源的数量。在本文中，我们解决这两个问题。为了对抗过度分离，我们引入了新的损失：稀疏性损失，有利于更少的输出源和协方差损失，不鼓励相关的输出。我们还通过预测每个混合物的弱类标签来实验语义分类损失。为了处理大量的源，我们引入了一个有效的近似使用快速最小二乘解决方案，投影到MixIT约束集。我们的实验表明，建议的损失削减过分离，提高整体性能。最佳性能是通过使用大量输出源实现的，这得益于我们高效的MixIT损耗，以及稀疏性损耗，以防止过度分离。在FUSS测试集上，我们实现了多源SI-SNR改善超过13 dB，同时将单源重建SI-SNR提高超过17 dB。
2021-10-16 cs.SD eess.AS
Permutation Invariant Recurrent Neural Networks for Sound Source Tracking Applications
Tampere University（坦佩雷大学）；University of Zaragoza（萨拉戈萨大学）
针对传统RNN将多源信息混入有序向量、难以满足置换不变性的问题，本文提出以无序集合表示输入与状态的新型循环架构，实现声源独立嵌入与顺序无关的轨迹分配。
2023-06-14 cs.LG cs.SD eess.AS
Position tracking of a varying number of sound sources with sliding permutation invariant training
Tampere University（坦佩雷大学）；University of Zaragoza（萨拉戈萨大学）
针对声源不断出现和消失的多源跟踪问题，提出基于先前帧最优位置关联均方误差的滑动排列不变训练策略，可在不降低逐帧定位精度的情况下减少身份切换。
2023-06-05 cs.LG cs.SD eess.AS
The Sound of Bounding-Boxes
Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
在利用视觉信息进行声音声源分离的视听声音声源分离任务中，识别图像中的对象是分离声源之前的关键步骤。然而，在检测到的边界框上分配声音的现有方法存在一个问题，即它们的方法严重依赖于预先训练的对象检测器。具体地，当使用这些现有方法时，需要预先确定能够产生声音的对象的所有可能类别，并使用适用于所有这些类别的对象检测器。为了解决这个问题，我们提出了一种完全无监督的方法，可以同时学习检测图像中的对象和分离声源。由于我们的方法不依赖于任何预先训练的检测器，因此我们的方法适用于任意类别，无需任何额外的注释。此外，虽然完全无监督，我们发现我们的方法在分离精度上表现出很大的优势。
2022-03-30 cs.CV cs.MM cs.SD
Description and Discussion on DCASE 2022 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring Applying Domain Generalization Techniques
Hitachi, Ltd.（日立有限公司）；Doshisha University（同志社大学）；NTT Corporation（日本电信电话公司）；Google（谷歌）
我们介绍了DCASE 2022挑战任务2的任务描述和结果讨论：“应用领域泛化技术进行机器状态监测的无监督异常声音检测（ASD）”。域移位是ASD系统应用的关键问题。由于域偏移可以改变数据的声学特性，因此在源域中训练的模型对于目标域表现不佳。在DCASE 2021挑战任务2中，我们组织了一个ASD任务来处理域转移。在这项任务中，假设域移位的发生是已知的。然而，在实践中，可能没有给出每个样本的域，并且域偏移可能隐含地发生。在2022年的任务2中，我们将重点关注领域泛化技术，该技术可以检测异常，而不管领域的变化。具体地，在测试数据中不给出每个样本的域，并且对于所有域仅允许一个阈值。对来自31个团队的81个提交的分析揭示了两种显着类型的领域泛化技术：1）基于域混合的方法，获得广义表示和2）基于域分类的方法，显式或隐式地对不同的域进行分类，以提高每个域的检测性能。
2022-11-22 cs.LG cs.SD eess.AS
Self-supervised Moving Vehicle Tracking with Stereo Sound
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research AI（IBM研究人工智能部门）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
人类能够使用视觉和听觉线索定位环境中的物体，将来自多种模态的信息整合到一个共同的参考系中。我们介绍了一个系统，可以利用未标记的视听数据来学习本地化对象（移动车辆）在视觉参考系，纯粹使用立体声在推理时间。由于手动注释音频和对象边界框之间的对应关系是劳动密集型的，因此我们通过使用未标记视频中的视觉和音频流的共同出现作为自我监督的形式来实现这一目标，而不诉诸于收集地面实况注释。特别是，我们提出了一个框架，由一个视觉“教师”网络和立体声“学生”网络。在训练过程中，知识体现在一个完善的视觉车辆检测模型被转移到音频域使用未标记的视频作为桥梁。在测试时，立体声学生网络可以独立工作，仅使用立体声音频和摄像机元数据来执行对象定位，而无需任何视觉输入。在一个新收集的Auditory车辆跟踪数据集上的实验结果验证了我们提出的方法优于几种基线方法。我们还表明，我们的跨模态听觉定位方法可以帮助在视觉定位的移动车辆在恶劣的照明条件下。
2019-10-25 cs.CV cs.LG cs.SD
Robust Sound Source Tracking Using SRP-PHAT and 3D Convolutional Neural Networks
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一个新的单声源DOA估计和跟踪系统的基础上著名的SRP-PHAT算法和三维卷积神经网络。它使用SRP-PHAT功率图作为全卷积因果架构的输入特征，该架构使用3D卷积层来准确地执行声源跟踪，即使在大多数最先进技术都失败的高度混响场景中也是如此。与以前的方法不同，由于我们不使用双向递归层，并且我们所有的卷积层在时间维度上都是因果关系，因此我们的系统对于实时应用是可行的，并且它为每个新的SRP-PHAT映射提供了新的DOA估计。为了训练模型，我们引入了一个新的过程来模拟随机轨迹，因为它们在训练过程中需要，相当于一个无限大小的数据集具有高度的灵活性，以修改其声学条件，如混响时间。我们使用声学模拟在大范围的混响时间和LOCATA数据集的实际记录，以证明我们的系统的鲁棒性和良好的性能，即使使用低分辨率SRP-PHAT地图。
2020-12-16 cs.LG cs.SD eess.AS
First-shot anomaly sound detection for machine condition monitoring: A domain generalization baseline
NTT Corporation（日本电信电话株式会社）
本文提供了一个基线系统的第一枪兼容的无监督异常检测（ASD）的机器状态监测。First-shot ASD不允许系统基于使用大事实计算的性能度量进行机器类型相关的超参数调整或工具集成。为了展示FirstShot ASD的基准性能，本文提出了一种异常声音检测系统，该系统在声学场景和事件的检测和分类（DCASE）2022挑战任务2中的域泛化任务上工作：“应用领域泛化技术的机器状态监测的无监督异常声音检测”，同时遵守第一-DCASE 2023挑战任务2（DCASE 2023 T2）中引入的镜头要求。一个简单的基于自动编码器的实现与选择性马氏度量相结合的实现作为一个基线系统。进行性能评估是为了为即将推出的DCASE 2023 T2设定目标基准。基线系统的源代码将在GitHub上提供：https://github.com/nttcslab/dcase2023_task2_baseline_ae。
2023-03-01 cs.SD eess.AS
Unsupervised outlier detection to improve bird audio dataset labels
针对Xeno-Canto鸟类音频数据集中因非目标声音导致的标签噪声问题，提出结合音频预处理、神经网络降维与无监督异常值检测的清洗流程，有效降低了标签噪声但效果因物种而异。
2025-04-25 cs.LG cs.SD eess.AS
Description and Discussion on DCASE 2024 Challenge Task 2: First-Shot Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
Hitachi, Ltd.（日立制作所）；NTT Corporation（日本电报电话公司）；STMicroelectronics（意法半导体）；Doshisha University（同志社大学）
本文介绍 DCASE 2024 任务 2 的首次无监督异常声音检测设置，通过跨域机器数据与隐藏属性，评估系统免调参快速部署到新机器的能力。
2024-06-11 cs.LG cs.SD eess.AS
Description and Discussion on DCASE 2023 Challenge Task 2: First-Shot Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
Hitachi, Ltd.（日立制作所）；Doshisha University（同志社大学）；NTT Corporation（日本电信电话公司）；Google（谷歌）
本文介绍DCASE 2023任务2的首次无监督异常声音检测设定，并基于86份提交分析跨机器类型泛化的有效方法。
2023-11-02 cs.LG cs.SD eess.AS
Unsupervised Instantaneous Phase and Frequency Tracking by Inverse Voice Synthesis
Queen Mary University of London（伦敦玛丽女王大学）
针对神经声码器难以端到端学习基频的问题，提出无混叠加性声源的源-滤波器模型，显式建模瞬时相位并求导得瞬时频率，无需外部跟踪器即可实现高精度无监督基频跟踪，在多个数据集上优于神经基线。
2026-10-05 cs.SD eess.AS
Unsupervised classification to improve the quality of a bird song recording dataset
Institut Systématique, Évolution, Biodiversité (ISYEB), Muséum national d’Histoire naturelle, CNRS, Sorbonne Université, EPHE, Université des Antilles（系统学、进化与生物多样性研究所（ISYEB），法国国家自然历史博物馆，法国国家科学研究中心，索邦大学，巴黎高等研究实践学院，安第列斯大学）
Xeno-Canto等开放式音频数据库被广泛用于构建数据集，以探索鸟类的鸣叫曲目，或通过深度学习算法来训练用于自动鸟类声音分类的模型。然而，这样的数据库遭受的事实，鸟类的声音是弱标记：一个物种的名称是归因于每个音频记录没有时间戳，提供了时间定位感兴趣的鸟鸣。手动注释可以解决这个问题，但它们非常耗时，依赖于专家，并且无法在大型数据集上运行。另一种解决方案包括使用标记功能，该标记功能在将标签分配给每个分段的音频样本之前自动地对音频记录进行分段。虽然引入了标签功能以加快强标签分配，但其分类性能仍然是未知的。为了解决这个问题，并减少标签噪声（错误的标签分配）在大型鸟鸣数据集，我们引入了一个以数据为中心的新的标签功能，包括三个连续的步骤：1）时频声音单元分割，2）每个声音单元的特征计算，和3）每个声音单元的分类鸟鸣或噪声与无监督DBSCAN算法或监督BirdNET神经网络。标记功能进行了优化，验证，并测试了44个西方古北常见鸟类的歌曲。我们首先表明，根据物种的不同，仅对鸟鸣的分割就聚集了10%到83%的标签噪声。我们还证明了我们的标签函数能够将数据集中存在的初始标签噪声显著降低高达三倍。最后，我们讨论了不同的机会来设计合适的标签功能，以建立高质量的动物发声与最小的专家注释工作。
2023-02-15 cs.LG cs.SD eess.AS
Proceedings of the LOCATA Challenge Workshop -- a satellite event of IWAENC 2018
用于声源定位和跟踪的算法提供关于声学环境中的有源声源的位置信息的估计，并且对于诸如个人助理、智能家居、电话会议系统、助听器或自主系统的广泛应用是必不可少的。IEEE-AASP声源定位和跟踪挑战赛（LOCATA）的目的是使用音频和声学信号处理应用中通常遇到的场景的开放访问录音数据语料库，客观地对最先进的定位和跟踪算法进行基准测试。挑战性的任务范围从一个单一的源与静态麦克风阵列的定位到多个移动源与移动麦克风阵列的跟踪。
2019-08-20 cs.SD eess.AS
Source Separation-based Data Augmentation for Improved Joint Beat and Downbeat Tracking
National Cheng Kung University（台湾成功大学）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
由于深度学习的进步，近年来音乐音频信号中的自动节拍和强拍跟踪的性能已经有了很大的改善。在训练这种基于深度学习的模型时，数据增强已被发现是一种重要的技术。然而，用于该任务的现有数据增强方法主要针对平衡训练数据相对于其节奏的分布。在本文中，我们研究了另一种数据增强的方法，占的组成的训练数据的振荡和非振荡声源。具体而言，我们建议采用盲鼓分离模型从每个训练音频信号中分离鼓和非鼓声音，过滤掉无鼓的训练信号，然后使用所获得的鼓和非鼓干来增强训练数据。我们报告四个完全看不见的测试集上的实验，验证所提出的方法的有效性，并因此鼓的声音组成的重要性，在训练数据的节拍和强拍跟踪。
2021-06-16 cs.LG cs.SD eess.AS
Coincidence, Categorization, and Consolidation: Learning to Recognize Sounds with Minimal Supervision
人类不像我们训练机器那样获得感知能力。虽然机器学习算法通常在大量随机选择的、明确标记的示例上运行，但人类的学习更依赖于多模态无监督学习（婴儿）和主动学习（儿童）。基于这种动机，我们提出了一个用于声音表示和识别的学习框架，该框架结合了（i）基于单峰和跨模态重合的一般概念的自监督目标，（ii）反映我们需要对我们的经验施加类别结构的聚类目标，以及（iii）基于聚类的主动学习过程，其请求有针对性的弱监督以将类别合并到相关语义类中。通过根据这些标准训练组合的声音嵌入/聚类/分类网络，我们实现了一种新的最先进的无监督音频表示，并证明了达到所需分类性能所需的标签数量减少了20倍。
2019-11-14 cs.SD eess.AS stat.ML
Deep Multimodal Clustering for Unsupervised Audiovisual Learning
Northwestern Polytechnical University（西北工业大学）
看到的鸟儿鸣叫，运行的汽车伴随着噪音等，这些自然的视听对应提供了探索和了解外部世界的可能性。然而，混合的多个对象和声音使得它难以在无约束环境中执行有效的匹配。为了解决这个问题，我们建议充分挖掘音频和视觉成分，并在它们之间进行精心的对应学习。具体地说，提出了一种新的无监督视听学习模型--\Deep多模态聚类（DMC），该模型利用不同共享空间中卷积映射的多模态向量同步执行聚类集合，以捕获多个视听对应。这种集成的多模态聚类网络可以以端到端的方式有效地训练最大边际损失。在特征评估和视听任务中进行了大量的实验。结果表明，DMC可以学习有效的单峰表示，分类器甚至可以超过人类的表现。此外，DMC在声音定位，多频检测和视听理解方面表现出明显的性能。
2019-04-19 cs.CV cs.MM cs.SD
Infrastructure-less Localization from Indoor Environmental Sounds Based on Spectral Decomposition and Spatial Likelihood Model
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院（AIST））
针对室内环境声定位中低信噪比和声音非唯一性问题，提出一种基于有监督频谱分解（NMF）和空间似然模型的麦克风定位方法，在12x30m实验中证明其比MFCC更鲁棒且易于结合先验分布。
2024-03-26 cs.SD eess.AS
