Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);Waseda University(早稻田大学)
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中,发声物体具有大量的种类和不同的外观,在实践中标记所有发声物体是不可能的。这就需要自监督学习,它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像,并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题,提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息,我们的方法训练深度神经网络(DNN)来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明,我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象,包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
DOA Estimation by DNN-based Denoising and Dereverberation from Sound Intensity Vector
NTT Media Intelligence Laboratories(NTT媒体情报实验室);University of Padova(帕多瓦大学)
提出了一种结合基于声强矢量的DOA估计和基于DNN的去噪去混响的波达方向估计方法。由于基于IV的DOA估计的准确性由于环境噪声和混响而降低,因此使用两个DNN来从观察到的IV中去除这种影响。然后,基于波传播的物理学,从改进的IV估计DOA。在开放数据集上的实验表明,该方法的平均DOA误差为0.528度,优于传统的基于IV和基于DNN的DOA估计方法。
2019-10-10 cs.LG cs.SD eess.AS
The Neural-SRP method for positional sound source localization
Imperial College(帝国理工学院)
针对高混响环境下SRP定位性能下降及现有DNN对麦克风拓扑适应性差的问题,提出结合SRP灵活性与DNN性能的Neural-SRP方法,通过模拟数据和迁移学习训练,显著提升定位性能。
2024-03-14 cs.SD eess.AS
DNN-based Source Enhancement to Increase Objective Sound Quality Assessment Score
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报实验室);University of Auckland(奥克兰大学);The University of Electro-Communications(电气通信大学)
我们提出了一种基于深度神经网络(DNN)的源增强训练方法,以提高客观声音质量评估(OSQA)分数,如语音质量感知评估(PESQ)。在许多传统研究中,DNN已被用作映射函数来估计时频掩模,并被训练以最小化分析上易于处理的目标函数,例如均方误差(MSE)。由于OSQA分数已被广泛用于音质评估,因此构建DNN以提高OSQA分数将优于使用最小MSE来创建高质量输出信号。然而,由于大多数OSQA分数在分析上是不可处理的,\textit{i.e.},它们是黑盒,因此不能通过简单地应用反向传播来计算目标函数的梯度。为了计算基于OSQA的目标函数的梯度,我们在\textit{black-box optimization}的基础上制定了DNN优化方案,该方案用于训练玩游戏的计算机。对于黑盒优化方案,我们采用基于抽样算法的策略梯度法计算梯度。为了使用采样算法模拟输出信号,DNN用于估计输出信号的概率密度函数,使OSQA得分最大化。根据模拟输出信号计算OSQA分数,并训练DNN以增加生成实现高OSQA分数的模拟输出信号的概率。通过几个实验,我们发现,OSQA分数显着增加应用所提出的方法,即使MSE没有最小化。
2018-10-22 cs.LG cs.SD eess.AS
Parameterized Channel Normalization for Far-field Deep Speaker Verification
University of Eastern Finland(东芬兰大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
本文提出了一种基于深度神经网络(DNN)的说话人嵌入提取器的远场说话人确认方法,其中注册和测试数据之间的不匹配通常来自卷积效应(例如房间混响)和噪声。为了减轻这些影响,我们专注于两个参数归一化方法:每通道能量归一化(PCEN)和参数化倒谱均值归一化(PCMN)。这两种方法都包含可微分参数,因此可以方便地集成到DNN中,并使用自动微分方法与DNN联合优化。我们考虑每种方法的固定和可训练(数据驱动)变体。我们评估的性能Hi-MIA,最近的大规模远场语音语料库,不同的麦克风和位置设置。我们的方法优于传统的梅尔滤波器组功能,最大的33.5%和39.5%的相对改善相等的出错率匹配麦克风和不匹配的麦克风条件下,分别。
2021-09-24 cs.AI cs.SD eess.AS
Batch Uniformization for Minimizing Maximum Anomaly Score of DNN-based Anomaly Detection in Sounds
NTT Media Intelligence Laboratories(NTT媒体情报实验室);NTT Communication Science Laboratories(NTT通信科学实验室)
使用自动编码器(AE)作为正常模型是用于声音中的无监督异常检测(ADS)的最先进技术。AE被训练以最小化小批量中正常声音的异常分数的样本平均值。这种方法的一个问题是罕见正常声音的异常分数变得高于频率正常声音的异常分数,因为样本均值受到频率正常样本的强烈影响,导致优先降低频率正常样本的异常分数。为了减少频繁和罕见的正常声音的异常分数,我们提出了批量均匀化,一种用于无监督ADS的训练方法,用于最小化小批量中每个样本的异常分数的加权平均值。我们使用每个样本的概率密度的倒数作为权重,更直观地,对于稀有正常声音给出了较大的权重。这样的权重用于为频繁正常声音和罕见正常声音两者给出恒定的异常分数。由于概率密度是未知的,我们估计它通过使用核密度估计每个训练小批量。验证和客观的实验表明,所提出的批量均匀化提高了无监督ADS的性能。
2019-07-19 cs.LG cs.SD eess.AS
On-site Noise Exposure technique for noise-robust machine fault classification
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电气工程学院)
针对工厂噪声环境下机器故障声音分类问题,提出现场噪声暴露(ONE)技术,通过将DNN模型暴露于运行环境噪声中训练,使其能有效识别纯噪声时段并提升对混合噪声的鲁棒性。
2023-04-07 cs.SD eess.AS
Fitting Auditory Filterbanks with Multiresolution Neural Networks
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);University of Vienna(维也纳大学)
本文提出 MuReNN,通过在 DWT 倍频程子带上学习扩张卷积,蒸馏 Gammatone、CQT 和三分之一倍频程滤波器组,在拟合优度与时频局部化上达到最优。
2023-07-25 cs.AI cs.LG cs.SD
RespireNet: A Deep Neural Network for Accurately Detecting Abnormal Lung Sounds in Limited Data Setting
Microsoft Research India(印度微软研究院);Microsoft(微软)
呼吸音听诊是筛查和诊断肺部疾病的主要工具。自动分析加上数字听诊器,可以在实现致命肺部疾病的远程筛查方面发挥关键作用。深度神经网络(DNN)在解决此类问题方面表现出了很大的潜力,是一个显而易见的选择。然而,DNN非常需要数据,最大的呼吸数据集ICBHI只有6898个呼吸周期,这对于训练一个令人满意的DNN模型来说仍然很小。在这项工作中,RespireNet,我们提出了一个简单的基于CNN的模型,以及一套新的技术-设备特定的微调,基于拼接的增强,空白区域裁剪和智能填充-使我们能够有效地使用小型数据集。我们对ICBHI数据集进行了广泛的评估,并将4类分类的最新结果提高了2.2%
2021-05-07 cs.LG cs.SD eess.AS
Reducing Model Complexity for DNN Based Large-Scale Audio Classification
The Chinese University of Hong Kong(香港中文大学)
音频分类是识别与给定音频信号相关联的声音类别的任务。本文提出了一种基于最近发布的AudioSet数据库的大规模音频分类的研究。AudioSet包含来自YouTube的200万个音频样本,这些音频样本使用527个声音类别标签进行人工注释。利用AudioSet的均衡训练集和评价集,应用不同类型的神经网络模型进行了音频分类实验。对这些模型的分类性能和模型复杂度进行了比较和分析。虽然CNN模型表现出比MLP和RNN更好的性能,但其模型复杂度相对较高,不适合实际使用。我们提出了两种不同的策略,旨在构建低维嵌入特征提取器,从而减少模型参数的数量。结果表明,简化后的CNN模型的模型参数仅为原模型的1/22,性能仅略有下降。
2018-10-30 cs.SD eess.AS
Masked Conditional Neural Networks for Automatic Sound Events Recognition
University of York(约克大学)
为除声音之外的应用领域(特别是图像识别)设计的深度神经网络架构在适应声音识别问题时可能无法最佳地利用时频表示。在这项工作中,我们探讨了条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)的多维时间信号识别。CLNN考虑帧间关系,并且MCLNN在网络的链路上实施系统稀疏性,以实现频带而不是bin中的学习,从而允许网络模仿滤波器组而具有频移不变。掩码还允许同时考虑几种特征组合,这通常是通过详尽的手动搜索手工制作的。我们使用ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络相比,MCLNN使用12%的参数并且没有增强,实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Masked Conditional Neural Networks for Environmental Sound Classification
University of York(约克大学)
条件神经网络(CLNN)利用声谱图中表示的声音信号的时间序列的性质,并且其变体掩蔽条件神经网络(MCLNN)通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外,掩蔽同时自动化不同特征组合的探索,类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外,我们提出了一个手动记录的声音为铁路和公路交通,YorNoise,调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果,并使用了12%的可训练参数,这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集,实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Sound reconstruction from human brain activity via a generative model with brain-like auditory features
Kyoto University(京都大学);ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Tokyo Medical and Dental University(东京医科齿科大学)
本研究提出一种结合脑解码与音频生成模型的声音重建方法,利用fMRI和DNN层次特征,实现任意声音的高质量重建,并验证其泛化性和感知相关性。
2023-06-20 cs.HC cs.SD eess.AS
Learnable MFCCs for Speaker Verification
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛里亚实验室);Université de Lorraine(洛林大学);School of Computing(计算机学院);University of Eastern Finland(东芬兰大学)
提出了一种可学习的梅尔频率倒谱系数(MFCC)前端架构,用于基于深度神经网络(DNN)的自动说话人确认。我们的架构保留了基于MFCC的功能的简单性和可解释性,同时允许模型灵活地适应数据。在实践中,我们制定数据驱动版本的四个线性变换的标准MFCC提取器-窗口,离散傅立叶变换(DFT),梅尔滤波器组和离散余弦变换(DCT)。结果报告达到6.7\%(VoxCeleb 1)和9.7\%(SITW)的相对改善方面的平等出错率(EER)从静态MFCC,没有额外的调整工作。
2021-02-20 cs.LG cs.SD eess.AS
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College(国立技术院德山高专);NTT Media Intelligence Laboratories(NTT媒体智能实验室);Waseda University(早稻田大学)
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量,已经提出了与感知激励的客观声音质量评估(OSQA)相关的几种方法,诸如PESQ(语音质量的感知评估)。然而,在大多数情况下,不允许直接使用这些测量来训练深度神经网络(DNN),因为流行的OSQA对于DNN参数是不可微的。因此,先前的研究提出了通过辅助DNN来近似OSQA的得分,以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题,我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明,所提出的方法(i)可以稳定地训练DNN以提高PESQ,(ii)在公共数据集上实现了最先进的PESQ得分,(iii)比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
Robust Binaural Localization of a Target Sound Source by Combining Spectral Source Models and Deep Neural Networks
University of Sheffield(谢菲尔德大学);University of Malaga(马拉加大学)
尽管有明确的证据表明自上而下(例如,注意力)在生物空间听觉中的影响,相对较少的机器听觉系统在声音定位中利用自顶向下的基于模型的知识。本文通过提出一种新的双耳声音定位框架来解决这个问题,该框架结合了关于声源频谱特性的基于模型的信息和深度神经网络(DNN)。首先在训练阶段期间使用从声音信号分离地提取的频谱特征来估计目标源模型和背景源模型。当背景源的身份不可用时,可以使用通用背景模型。在测试过程中,源模型被联合使用来解释混合观测,并通过选择性地加权基于DNN的定位系统输出的源方位后验来改善定位过程。为了解决训练和测试之间可能的不匹配,在测试期间进一步采用模型自适应过程,其以迭代方式直接从噪声观测中调整背景模型参数。因此,拟议的系统结合了基于模型和数据驱动的信息流在一个单一的计算框架。评估任务涉及在存在干扰源和室内混响的情况下定位目标语音源。我们的实验表明,通过利用基于模型的信息,以这种方式,声音定位性能可以大大提高各种噪声和混响条件下。
2019-04-05 cs.SD eess.AS
Room geometry blind inference based on the localization of real sound source and first order reflections
Peking University(北京大学)
传统的基于声信号的房间几何形状盲推断技术是基于环境的先验知识(如房间脉冲响应(RIR)或声源位置)进行的,这将限制其在未知场景下的应用。针对这一问题,本文提出了一种利用直达波与一阶反射波之间的几何关系进行房间几何重建的方法。该方法除了利用小型麦克风阵列本身的信息外,不需要对环境参数进行任何预测。此外,设计并使用了基于学习的DNN模型,以提高直接源和一阶反射定位结果的准确性和完整性。首先利用所提出的DCNN和TD-CNN模型估计直达信号和反射信号的到达方向(DOA)和到达时间差(TDOA)信息,与传统方法相比,该模型具有更高的灵敏度和准确度。然后,使用所提出的DNN模型,通过整合DOA、TDOA和阵列高度来推断声源的位置。然后,根据几何关系推导出图像源的位置和对应的边界。仿真和实测的实验结果验证了所提出的方法在不同混响环境下与传统方法相比的有效性和准确性。
2022-07-22 cs.SD eess.AS
Inference-Adaptive Neural Steering for Real-Time Area-Based Sound Source Separation
本文提出一种推理自适应神经转向技术,通过对麦克风信号施加相移,在无需重新训练DNN的情况下实时调整声源分离目标区域,其性能与针对新区域显式训练的DNN相当。
2024-08-23 eess.AS
Trainingless Adaptation of Pretrained Models for Environmental Sound Classification
NEC Corporation(NEC公司);NEC Laboratories America, Inc.(美国NEC实验室);Doshisha University(同志社大学)
本文提出一种免训练适配方法,通过恢复DNN中间层时频结构并应用免训练频率滤波,使预训练模型在无需梯度优化的情况下适应未见环境声数据,在ESC-50数据集上分类准确率提升20.40个百分点。
2024-12-23 cs.SD eess.AS
Fast computation of loudness using a deep neural network
University of Cambridge(剑桥大学)
本文介绍了一种深度神经网络(DNN),用于从声音的时间波形预测声音的瞬时响度。DNN使用一个更复杂的模型的输出进行训练,称为剑桥响度模型。虽然现代PC可以使用剑桥响度模型每秒执行几百次响度计算,但使用DNN每秒可以执行超过100,000次,允许实时计算响度。使用这两个模型的瞬时响度水平的预测之间的均方根偏差小于0.5 phon看不见的类型的声音。我们认为,通过更快的DNN模拟复杂感知模型的一般方法可以应用于其他感知模型,使它们实时运行。
2019-05-24 cs.LG cs.SD eess.AS
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响,比较单耳与中心处理条件,并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
Deep sound-field denoiser: optically-measured sound-field denoising using deep neural network
NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电信电话株式会社NTT通信科学实验室)
本文提出深度声场降噪器,利用无非线性激活网络对光学测量的复振幅声场图像进行降噪,并在数值与实验数据上显著优于传统方法。
2023-09-21 cs.SD eess.AS eess.IV
Robust Pitch Estimation and Tracking for Speakers Based on Subband Encoding and the Generalized Labeled Multi-Bernoulli Filter
本文提出了一种新的音高估计器和跟踪器,通过子带编码和广义标记多伯努利滤波器提高鲁棒性,实验表明在噪声和回声环境下性能更优。
2026-04-02 eess.AS
Multichannel Audio Source Separation with Independent Deeply Learned Matrix Analysis Using Product of Source Models
The University of Tokyo(东京大学);National Institute of Technology, Kagawa College(国立高等专门学校香川高等专门学校);Yamaha Corporation(雅马哈株式会社)
独立深度学习矩阵分析(IDLMA)是使用基于深度神经网络(DNN)的源功率估计的最先进的多声道音频声源分离方法之一。基于DNN的功率估计对于具有类似于DNN训练数据的音色的声音工作良好。然而,应用IDLMA的声音并不总是具有这样的音色,并且音色失配导致IDLMA的性能下降。为了解决这个问题,我们专注于盲声源分离对应的IDLMA,独立的低秩矩阵分析。它采用非负矩阵分解(NMF)作为源模型,以源谱图的低秩结构为线索,捕获只出现在目标混合物中的源谱成分。因此,我们扩展了基于DNN的源模型,以包含基于NMF的源模型的基础上的产品的专家的概念,我们称之为产品的源模型(PoSM)。对于建议的PoSM为基础的IDLMA,我们推导出一个计算效率的参数估计算法的基础上的优化原则,称为优化最小化算法。实验结果表明了该方法的有效性。
2021-09-02 cs.SD eess.AS
SSLIDE: Sound Source Localization for Indoors based on Deep Learning
本文介绍了SSLIDE,使用深度学习的室内声源定位,它应用具有编码器-解码器结构的深度神经网络(DNN)来定位连续空间中随机位置的声源。每个麦克风接收到的声音信号的空间特征被提取并表示为每个点中声源位置的似然表面。我们的DNN由一个编码器网络和两个解码器组成。编码器获得输入似然的压缩表示。一个解码器解决混响引起的多径,和其他解码器估计源位置。实验结果表明,该方法在混响环境下不仅优于多信号分类(MUSIC)、相位变换引导响应功率(SRP-PHAT)、稀疏贝叶斯学习(SBL)和竞争卷积神经网络(CNN)方法,而且具有良好的泛化性能。
2021-02-15 eess.AS eess.SP
Ultra-Low Latency Speech Enhancement - A Comprehensive Study
National Taiwan University(台湾大学);Microsoft(微软公司)
针对现有低延迟语音增强方法缺乏公平对比、多在小型模拟数据测试的问题,本研究基于大规模数据统一训练,综合探究多种低延迟技术及Mamba架构在真实场景下的性能,为超低延迟语音增强研究提供可靠参考。
2024-09-16 cs.SD eess.AS
Audio Effect Estimation with DNN-Based Prediction and Search Algorithm
本文提出一种结合预测与搜索的方法,通过DNN预测干信号和效果配置,再基于湿信号重建进行搜索,提升音频效果估计的准确性。
2026-04-24 cs.SD eess.AS
DNN-Based Online Source Counting Based on Spatial Generalized Magnitude Squared Coherence
Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all(医学物理与声学系和Hearing4all卓越中心)
本文提出基于空间广义幅度平方相干度的深度神经网络方法,用于在混响声学场景中实现在线声源计数。
2026-01-28 cs.SD eess.AS
Polyphonic Sound Event Detection Using Capsule Neural Network on Multi-Type-Multi-Scale Time-Frequency Representation
University of Nottingham Ningbo China(宁波诺丁汉大学);The Chinese University of Hong Kong(香港中文大学)
复调声音事件检测(PSED)的挑战源于对时间序列中的多个重叠事件的检测。最近的努力利用深度神经网络(DNN)对音频片段的时间-频率表示(TFR)作为模型输入来缓解这些问题。然而,现有的解决方案往往依赖于单一类型的TFR,这会导致输入功能的利用不足。为此,我们提出了一种新的PSED框架,其中包括多类型多尺度TFRs。我们的关键见解是:不同类型或不同尺度的时频反射可以互补地揭示声学模式,因此可以通过组合不同的时频反射来最好地提取重叠事件。此外,我们的框架设计采用了一种新的方法,自适应地融合不同的模型和TFR共生。因此,整体性能可以显著提高。我们使用胶囊神经网络,一个国家的最先进的方法PSED定量检查我们的框架的好处。实验结果表明,与TUT-SED 2016数据集上的最先进解决方案相比,我们的方法实现了出错率的7\%的降低。
2021-11-25 cs.SD eess.AS
Joint Direction and Proximity Classification of Overlapping Sound Events from Binaural Audio
Tampere University(坦佩雷大学)
声源邻近度和距离估计在许多实际应用中具有很大的意义,因为它们为声学景物分析提供了重要的信息。由于这两项任务具有互补性,因此确保这两者之间的有效互动对于完整的听觉环境至关重要。在本文中,我们的目标是研究几种方法来执行联合接近和方向估计从双耳录音,都定义为粗分类问题的基础上深神经网络(DNN)。考虑到双耳音频的局限性,我们提出了两种方法,分裂成角度的领域,以获得一组方向类的球体。对于每种方法,我们研究不同的模型类型,以获取有关到达方向(DoA)的信息。最后,我们提出了各种方法结合的接近和方向估计问题到一个联合任务提供时间信息的出现源的起始和偏移。实验进行合成混响双耳数据集组成的两个重叠的声音事件。
2021-07-26 cs.LG cs.SD eess.AS
Deep Filtering: Signal Extraction and Reconstruction Using Complex Time-Frequency Filters
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
从具有额外不期望信号的单通道混合信号中提取信号最常用时频(TF)掩模来执行。通常,利用深度神经网络(DNN)来估计掩模,并且逐元素地应用于复杂混合短时傅立叶变换(STFT)表示以执行提取。理想的掩模幅度对于TF仓中的单独不期望的信号为零,并且对于总的相消干涉为未定义的。通常,掩码有一个上限,以有限的提取能力为代价提供定义良好的DNN输出。我们提出用DNN估计每个混合TF箱的复TF滤波器,其将相应混合物中的STFT区域映射到期望的TF箱,以解决混合TF箱中的相消干扰。DNN通过最小化所提取的信号与地面实况期望信号之间的误差来优化,从而允许学习TF滤波器而不必指定地面实况TF滤波器。我们将我们的方法与复杂的和实值的TF掩码进行比较,通过从Google AudioSet语料库中分离出各种不同的声音和噪声类来分离语音。我们还处理混合STFT与陷波滤波器和零整个时间帧,模拟传输过程中的数据包丢失,证明我们的方法的重建能力。所提出的方法优于基线,特别是当陷波滤波器和时间帧归零。
2019-12-09 cs.SD eess.AS
SNR-Based Features and Diverse Training Data for Robust DNN-Based Speech Enhancement
在本文中,我们解决了基于深度神经网络(DNN)的语音增强在训练数据大小和多样性有限的情况下对不可见噪声条件的泛化。为了获得更多的见解,我们分析了泛化方面:(1)训练数据的大小和多样性,(2)不同的网络架构,以及(3)选择的特征。为了解决(1),我们在Hu噪声语料库(有限大小)、CHiME 3噪声语料库(有限多样性)上训练网络,并且还提出了基于免费可用的声音收集的大而多样的数据集。为了解决(2),我们比较了全连接前馈和长短期记忆(LSTM)架构。为了解决(3),我们比较了三个输入特征,即量化的噪声周期图,噪声感知训练(NAT)和提出的基于信噪比(SNR)的噪声感知训练(SNR-NAT)。我们证实,丰富的训练数据和改进的网络架构有助于DNN的推广。此外,我们通过实验结果和使用t分布随机邻居嵌入(t-SNE)的分析表明,即使使用简单的网络架构,并且仅在小数据集上训练时,所提出的SNR-NAT特征也会在不可见的噪声中产生鲁棒和水平独立的结果,这是本文的关键贡献。
2021-05-15 cs.LG cs.SD eess.AS
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University(京都大学情报学研究科);National Institute of Advanced Industrial Science and Technology(独立行政法人产业技术综合研究所);Faculty of Science and Engineering, Doshisha University(同志社大学理工学部)
针对声音事件定位与检测中标注数据不足的问题,提出DOA感知的音视频自监督预训练方法,利用无标注音视频数据通过对比学习优化音频特征,有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
ElectrodeNet -- A Deep Learning Based Sound Coding Strategy for Cochlear Implants
National Central University(国立中央大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Cheng Kung University(国立成功大学);Chung Yuan Christian University(中原基督教大学)
本文提出基于深度学习的ElectrodeNet人工耳蜗声音编码策略,用DNN、CNN和LSTM替代传统包络检测模拟ACE策略,并通过ElectrodeNet-CS引入通道选择,实验证明其与ACE高度相关且性能相当或略优。
2023-05-26 cs.AI eess.AS eess.SP
Diffusion Models for Audio Restoration
Universität Hamburg(汉堡大学)
本文提出基于扩散模型的音频修复算法,结合可解释性与数据驱动灵活性,在语音增强和音乐修复中实现高音质恢复。
2024-11-11 cs.LG cs.SD eess.AS
SALT: Standardized Audio event Label Taxonomy
针对固定音频分类体系难以整合新声音且跨数据集兼容性差的问题,提出基于AudioSet层级结构的SALT标准化标签分类体系,覆盖24个数据集,并提供Python包实现统一映射与数据聚合。
2024-09-18 cs.SD eess.AS
A Neural-Network Framework for the Design of Individualised Hearing-Loss Compensation
针对助听器依赖简化模型而无法有效补偿复杂听力损失的问题,提出一种可微分的深度神经网络框架,基于正常与受损听觉系统的生物物理差异训练助听器模型,能补偿外毛细胞损失和耳蜗突触病变,改善噪声中言语理解,支持个性化听力恢复。
2023-06-16 eess.AS eess.SP
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London(伦敦玛丽女王大学)
FM合成是一种众所周知的算法,用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口,从音频源控制它通常是不切实际的。另一方面,可微分数字信号处理(DDSP)通过深度神经网络(DNN)实现了细致入微的音频渲染,该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数,虽然是伟大的匹配频谱幅度,缺乏音调方向,这可能会阻碍FM合成器的参数的联合优化。在本文中,我们采取措施,使一个完善的FM合成架构从音频输入的连续控制。首先,我们讨论了一组设计约束,通过标准的重建损失,简化频谱优化的可微分FM合成器。接下来,我们介绍了可区分DX7(DDX7),这是一种轻量级架构,用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集,并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
Sound Source Separation Using Latent Variational Block-Wise Disentanglement
Amazon Web Services(亚马逊云服务);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种混合DSP/DNN的声源分离方法,通过在潜在空间中将单通道欠定问题转化为多通道超定问题并利用变分块级解耦表示,结合可微排列损失和记忆机制,提升了对分布外数据的鲁棒性并降低过拟合风险。
2024-02-08 cs.LG cs.SD eess.AS
Towards Stealthy Backdoor Attacks against Speech Recognition via Elements of Sound
Hohai University(河海大学);RMIT University(皇家墨尔本理工大学);Sun Yat-sen University(中山大学);Delft University of Technology(代尔夫特理工大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
本文针对语音识别中现有仅投毒后门攻击易被察觉的问题,利用音高与音色等声音要素设计隐蔽触发器,并通过实验验证其在多种设置下的有效性与隐蔽性。
2023-07-17 cs.CR cs.LG cs.SD