A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.(亚马逊公司);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
本文提出了一种主要用于音频标记的网络架构,该架构也可用于弱监督声事件检测(AED)。建议的网络由一个修改后的DenseNet作为特征提取器,和一个全局平均池(GAP)层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发,一个众所周知的框架,使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件,但所提出的网络使用DenseNet提取的特征图直接定位事件,而无需任何递归层。在DCASE 2017的音频标记任务中,我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%,在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务,我们的模型通过使用数据增强和tri-training来利用未标记的数据,在绝对值方面,我们的模型在基于事件的F1中的性能优于最先进的方法8.1%,在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Misalignment Recognition in Acoustic Sensor Networks using a Semi-supervised Source Estimation Method and Markov Random Fields
Friedrich-Alexander-Universität, Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校);Bar-Ilan University(巴伊兰大学)
在本文中,我们认为声源定位的问题,通过声学传感器网络(ASNs)使用一个有前途的,基于学习的技术,适应声学环境。特别是,我们看的情况下,当一个节点在训练过程中从它的位置被移位。由于用于学习定位模型的时间序列与节点位移之后的时间序列之间的失配导致错误的位置估计,因此必须检测位移并且需要识别位移的节点。我们提出了一种方法,考虑由留一节点(LONO)子网络的位置估计的差异,并使用马尔可夫随机场(MRF)框架来推断每个LONO位置估计对齐,未对齐或不可靠的概率,同时考虑固有的噪声估计。这种概率方法优于朴素检测方法,因为它输出归一化值,该归一化值封装了由每个LONO子网络提供的关于读数是否与整个网络不对准的条件信息。实验结果表明,该方法在各种声学条件下识别受损节点的性能是一致的。
2020-11-06 cs.SD eess.AS
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition
University of Edinburgh(爱丁堡大学)
本研究通过逐层分析自监督声学词嵌入(AWEs)与词嵌入的相似性,并在IEMOCAP和ESD语料库上对比实验,证明恰当使用AWEs能有效提升语音情感识别(SER)的准确性。
2024-02-04 cs.CL cs.SD eess.AS
Self-supervised Learning for Acoustic Few-Shot Classification
Monash University(墨尔本大学)
本文提出融合 CNN 预处理与 SSM(S4、Mamba)特征提取的架构,通过任务数据上的对比学习自监督预训练和极少标签微调,提升声学少样本分类性能。
2025-05-15 cs.AI cs.SD eess.AS
Few-shot acoustic event detection via meta-learning
Amazon(亚马逊)
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比,用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题,并探讨了利用传统的监督方法,这种设置以及各种元学习方法,这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比,元学习模型具有更好的性能,从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响,进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Semi-supervised source localization in reverberant environments with deep generative modeling
University of California San Diego(加利福尼亚大学圣迭戈分校);Bar-Ilan University(巴伊兰大学);Technical University Denmark(丹麦技术大学)
提出了一种基于深度生成模型的混响环境下声源定位的半监督方法。混响环境中的定位仍然是一个开放的挑战。即使数据量很大,在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积变分自编码器(VAE)对麦克风阵列记录的混响语音信号进行半监督学习(SSL)来解决这个问题。VAE被训练以生成麦克风之间的相对传递函数(RTF)的相位,与基于RTF相位的到达波达方向(DOA)分类器并行。这些模型使用标记和未标记的RTF相位序列进行训练。在学习执行这些任务时,VAE-SSL明确地学习分离RTF阶段的物理原因(即,源位置)不受诸如噪声和语音活动的干扰信号特性的影响。相对于声学中现有的半监督定位方法,VAE-SSL是一种有效的端到端处理方法,其依赖于对RTF相位特征的最小预处理。据我们所知,我们的论文提出了第一种方法来建模的物理声学传播使用深生成建模。VAE-SSL方法与两种基于信号处理的方法进行了比较,这两种方法是相位变换的转向响应功率(SRP-PHAT)和多信号分类(MUSIC),以及完全监督的CNN。我们发现,VAE-SSL可以优于传统的方法和CNN在标签有限的情况下。此外,经过训练的VAE-SSL系统可以生成新的RTF相位样本,这表明VAE-SSL方法学习了声学环境的物理特性。因此,VAE-SSL中的生成建模提供了一种解释学习表示的方法。
2021-04-01 cs.LG cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK(爱丁堡大学)
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调,揭示了情感语音与音乐间的声学相似性及模型情感偏差,并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Joint Analysis of Acoustic Scenes and Sound Events with Weakly labeled Data
Doshisha University(同志社大学);Tokyo Metropolitan University(东京都立大学)
考虑到声学场景和声音事件之间的紧密联系,在以前的一些论文中,提出了利用基于多任务学习(MTL)的神经网络对声学场景和声音事件进行联合分析。在传统方法中,强监督方案被应用于MTL模型中的声音事件检测,这需要模型训练中的声音事件的强标签;然而,注释强事件标签是相当耗时的。因此,在本文中,我们提出了一种方法的联合分析的声学场景和声音事件的MTL框架的基础上与弱标签的声音事件。特别是,在所提出的方法中,我们引入了多实例学习计划弱监督训练的声音事件检测和评估四个池功能,即,最大池,平均池,指数softmax池,注意力池。使用部分TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017数据集获得的实验结果表明,所提出的基于弱标签的MTL方法在场景分类和事件检测性能方面优于传统的基于单任务的场景分类和事件检测模型。
2022-07-10 cs.SD eess.AS
Hearing in a shoe-box : binaural source position and wall absorption estimation using virtually supervised learning
Inria Rennes - Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文介绍了一种新的框架监督声源定位称为虚拟监督学习。声学鞋盒房间模拟器用于生成大量的双耳单源音频场景。这些场景用于构建空间双耳特征的数据集,该数据集用诸如3D源位置和墙壁的吸收系数之类的声学属性进行注释。一个概率的高到低维的回归框架被用来学习从这些特征到声学特性的映射。结果表明,这种映射成功地估计了方位角和仰角的新的来源,而且他们的范围,甚至墙壁的吸收系数仅基于双耳信号。结果还表明,将随机扩散效应的数据显着提高了所有参数的估计。
2017-03-20 cs.SD
Recognizing More Emotions with Less Data Using Self-supervised Transfer Learning
Wonder Technology
我们提出了一种新的语音情感识别的迁移学习方法,使我们能够获得有希望的结果时,只有很少的训练数据。每个情感类的样本数低至125个,我们能够达到比在8倍以上数据上训练的强基线更高的准确率。我们的方法利用了预先训练的语音表示中包含的知识,这些语音表示是从更一般的自监督任务(不需要人工注释,如wav2vec模型)中训练的模型中提取的。我们通过改变训练数据大小来详细了解我们方法的好处,这可以帮助标签团队更有效地工作。我们在IEMOCAP数据集上与其他流行方法进行了性能比较,IEMOCAP数据集是语音情感识别(SER)研究社区中的一个基准数据集。此外,我们证明,结果可以大大改善结合声学和语言知识的迁移学习。我们通过基于注意力的循环神经网络将声学预训练表示与来自BERT模型的语义表示对齐。当将模态和尺度与数据量相结合时,性能显着提高。当在完整的IEMOCAP数据集上进行训练时,我们达到了73.9%的最新技术水平。
2020-11-11 cs.LG cs.SD eess.AS
Multi-Speaker DOA Estimation Using Deep Convolutional Networks Trained with Noise Signals
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
用于源定位的基于监督学习的方法是数据驱动的,可以通过训练来适应不同的声学条件,并且已经被证明对不利的声学环境是鲁棒的。提出了一种基于卷积神经网络(CNN)的监督学习方法,用于多个说话人的波达方向(DOA)估计。将多说话人DOA估计问题转化为多类多标签分类问题,将每个DOA标签对输入特征的分配问题转化为一个单独的二进制分类问题。接收到的麦克风信号的短时傅里叶变换(STFT)系数的相位分量直接被馈送到CNN中,并且在训练期间学习用于DOA估计的特征。利用短时傅里叶变换域中说话人活动不相交的假设,提出了一种用合成噪声信号训练CNN的新方法。通过仿真和实测声脉冲响应的实验评估,证明了所提出的DOA估计方法适应未知声学条件的能力和对未知噪声类型的鲁棒性。通过额外的实证研究,它也表明,与M麦克风阵列,我们提出的框架产生最好的定位性能与M-1卷积层。所提出的方法,以准确地定位扬声器在一个动态的声学场景与不同数量的源的能力也示出。
2018-07-31 cs.LG cs.SD eess.AS
Device-Directed Speech Detection: Regularization via Distillation for Weakly-Supervised Models
Apple(苹果公司)
我们解决的问题,检测语音指向一个设备,不包含一个特定的唤醒词。具体来说,我们专注于音频来自基于触摸的调用。减少由于意外按下按钮而导致的虚拟助理(VA)激活对于用户体验至关重要。虽然大多数用于错误触发缓解(FTM)的方法被设计为检测目标关键字的存在,但是在不存在关键字的情况下推断用户意图是困难的。由于用户数据中固有的模糊性,这在为此类系统创建训练/评估数据时也构成了挑战。为此,我们提出了一种新的FTM方法,该方法使用新引入的数据采样策略获得的弱标记训练数据。虽然这种采样策略减少了数据注释工作,但数据标签是嘈杂的,因为数据不是手动注释的。我们使用这些数据来训练一个仅用于FTM任务的声学模型,通过从基于ASR的(LatticeRNN)模型中进行知识蒸馏来正则化其损失函数。这改善了模型决策,导致66%的准确性增益,如通过等误差率(EER)测量的,超过基础声学模型。我们还表明,LatticeRNN和声蒸馏模型的集成带来了20%的进一步准确性提高。
2022-03-30 cs.HC cs.LG cs.SD
Lightweight and Generalizable Acoustic Scene Representations via Contrastive Fine-Tuning and Distillation
Meta Reality Labs(Meta现实实验室);Carnegie Mellon University(卡内基梅隆大学)
ContrastASC通过对比微调和蒸馏实现轻量且通用的声学场景表示,提升少样本适应能力的同时保持闭合集性能。
2026-02-11 cs.LG cs.SD eess.AS
A multi-device dataset for urban acoustic scene classification
Tampere University of Technology(坦佩雷理工大学)
本文介绍了DCASE 2018挑战赛的声学场景分类任务以及为该任务提供的TUT Urban Acoustic Scenes 2018数据集,并评估了任务中基线系统的性能。与前几年的挑战一样,该任务被定义为使用监督的闭集分类设置将短音频样本分类为预定义的声学场景类之一。新记录的TUT Urban Acoustic Scenes 2018数据集由十个不同的声学场景组成,并在六个欧洲大城市进行了记录,因此它具有比以前用于此任务的数据集更高的声学可变性,除了高质量的双耳录音外,它还包括使用移动设备记录的数据。我们还介绍了由卷积神经网络组成的基线系统,以及使用推荐的交叉验证设置在子任务中的性能。
2018-10-11 cs.SD eess.AS
Semi-Supervised Sound Source Localization Based on Manifold Regularization
Bar-Ilan University(巴伊兰大学);The Technion-Israel Institute of Technology(以色列理工学院)
传统的扬声器定位算法仅基于接收到的麦克风信号,通常对不利条件敏感,例如:高混响或低信噪比(SNR)。在一些场景中,例如在会议室或汽车中,可以假设源位置被限制在预定义区域,并且环境的声学参数近似固定。这样的场景引起来自感兴趣区域的声学样本具有不同几何结构的假设。在本文中,我们证明了高维声学样本确实位于一个低维流形上,并可以嵌入到一个低维空间。基于这一结果,我们提出了一种半监督源定位算法,该算法恢复了声学样本与其相应位置之间的逆映射。我们的想法是使用基于流形正则化的优化框架,其中涉及相对于流形的可能的解决方案的平滑约束。所提出的算法,称为流形正则化定位(MRL),实现自适应的方式。初始化仅用几个标记的样本与它们各自的源位置连接来进行,然后随着接收到新的未标记的样本(具有未知源位置),系统逐渐适应。实验结果表明,优越的定位性能相比,最近提出的算法的基础上的流形学习方法和广义互相关(GCC)算法作为基线。
2015-08-13 cs.SD
Mind the Microphone Gap: Benchmarking Array Upsampling Strategies for Latent Acoustic Mapping
研究潜在声学映射在稀疏4通道阵列中退化问题,对多种上采样架构进行基准测试,包括卷积网络等。通过不同训练方式研究与LAM对齐效果,发现原始全分辨率LAM最强,单独训练的轻量级模型最具竞争力,且表示对齐比模型复杂性更重要。
2026-07-28 cs.SD
Lattice-Free MMI Adaptation Of Self-Supervised Pretrained Acoustic Models
Idiap Research Institute(伊迪亚普研究所)
在这项工作中,我们提出了无格MMI(LFMMI)用于自监督预训练声学模型的监督自适应。我们在数千小时的未转录Librispeech数据上预训练了一个Transformer模型,然后在三个不同的数据集上使用LFMMI进行监督适应。我们的研究结果表明,使用LFMMI进行微调,与仅使用监督数据训练的基线相比,我们在Librispeech(100小时)的清洁和其他测试集上始终获得10%和35.3%的相对WER改进,在Switchboard(300小时)上获得10.8%的相对WER改进,在Swahili(38小时)上获得4.3%的相对WER改进,在Taglets(84小时)上获得4.4%的相对WER改进。
2021-04-06 cs.LG cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI(亚马逊Alexa人工智能部门);Google Research(谷歌研究院)
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行,并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性,如语言内容,说话者身份和节奏。在这项工作中,我们引入了一个自我监督的方法来解开房间声学语音,并使用设备仲裁的下游任务的声学表示。我们的结果表明,当标记的训练数据稀缺时,我们提出的方法比基线显着提高了性能,这表明我们的预训练方案学会了对房间声学信息进行编码,同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
Semi-supervised Learning for Singing Synthesis Timbre
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组)
我们提出了一个半监督的歌唱合成器,它能够学习新的声音,从音频数据,没有任何注释,如语音分割。我们的系统是一个编码器解码器模型,有两个编码器,语言和声学,和一个(声学)解码器。在第一步中,使用标记的多歌手数据集以监督的方式训练系统。在这里,我们确保两个编码器产生的嵌入是相似的,这样我们以后就可以使用具有声学或语言输入特征的模型。为了以无监督的方式学习新的语音,使用预训练的声学编码器来训练目标歌手的解码器。最后,在推理时,预先训练的语言编码器与新语音的解码器一起使用,以从语言输入中产生声学特征。我们评估我们的系统与听力测试,并表明,结果是相当的监督的方法所获得的。
2020-11-05 cs.LG cs.SD eess.AS
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University(斯泰伦博斯大学)
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu,英语-isiXhosa,英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明,TDNN-F声学模型受益于额外的半监督数据,并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型,半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低,第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的,但当所有自动转录的数据都用于训练时,而不仅仅是被归类为英语-祖鲁语的话语时,获得了最好的结果。尽管减少了困惑,半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Supervised Acoustic Embeddings And Their Transferability Across Languages
UAE University(阿联酋大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
在语音识别中,必须对输入信号的语音内容进行建模,同时丢弃诸如说话人变化和噪声之类的不相关因素,这在低资源环境中是具有挑战性的。自监督预训练已经被提出作为一种改进监督和无监督语音识别的方式,包括帧级特征表示和用于可变长度段的声学词嵌入(AWE)。然而,自我监督模型无法单独学习语言内容的完美分离,因为它们被训练来优化间接目标。在这项工作中,我们使用不同的预训练自监督特征作为AWE模型的输入进行了实验,并表明它们在监督框架中工作得最好。在英语上训练的模型可以被转移到其他语言上,而不需要适应,并且优于仅在目标语言上训练的自监督模型。
2023-01-03 cs.CL cs.SD eess.AS
Federated Self-Supervised Learning for Acoustic Event Classification
Massachusetts Institute of Technology(麻省理工学院);Amazon.com Inc(亚马逊公司)
标准声学事件分类(AEC)解决方案需要从客户端设备大规模收集数据以进行模型优化。联邦学习(FL)是一个引人注目的框架,它将数据汇集和模型训练结合起来,以增强客户隐私。在这项工作中,我们调查的可行性,应用FL,以提高AEC性能,而没有客户数据可以直接上传到服务器。我们假设没有伪标签可以从设备上的用户输入中推断出来,与AEC的典型用例保持一致。我们将自监督学习适应于FL框架,用于表示的设备上持续学习,并且在没有标记/伪标记数据的情况下,它可以提高下游AEC分类器的性能。与基线w/o FL相比,该方法在保持召回率的同时,相对提高了准确率高达20.3%。我们的工作与FL之前的工作不同,因为我们的方法不需要用户生成的学习目标,我们使用的数据是从我们的Beta程序中收集的,并且是去识别的,以最大限度地模拟生产环境。
2022-03-22 cs.LG cs.SD eess.AS
Exploiting Large-scale Teacher-Student Training for On-device Acoustic Models
Amazon(亚马逊);University of Edinburgh(爱丁堡大学)
我们展示了Alexa语音团队对声学模型(AM)的半监督学习(SSL)的结果,实验时间超过3000小时,使我们的研究成为同类研究中最大的研究之一。我们讨论了在一个小的足迹设置的AM的SSL,表明一个较小的容量模型训练100万小时的无监督数据可以超过基线监督系统的14.3%字出错率减少(WERR)。当监督数据增加到7倍时,我们的收益减少到7.1%WERR;为了在更大的监督数据制度下提高SSL效率,我们采用逐步蒸馏到一个更小的模型,获得14.4%的WERR。然后,我们在低数据状态下使用更大的学生模型切换到SSL;虽然使用无监督数据的学习效率更高,但在这种设置下,学生模型可能优于教师模型。我们开发了一个理论草图来解释这种行为。
2021-06-11 cs.LG cs.SD eess.AS
SAR: Self-Supervised Anti-Distortion Representation for End-To-End Speech Model
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
针对TTS中预测声学特征易受失真影响的问题,提出自监督SAR框架,在自动编码器预训练中引入失真先验以学习抗失真表示,并通过主客观评估验证其优于梅尔频谱图。
2023-04-23 cs.SD eess.AS
Improved acoustic-to-articulatory inversion using representations from pretrained self-supervised learning models
Indian Institute of Technology Madras(马德拉斯印度理工学院)
在这项工作中,我们研究了预训练的自我监督学习(SSL)功能的有效性,用于学习声学到发音反转(AAI)的映射。基于信号处理的声学特征(例如MFCC)已主要用于具有深度神经网络的AAI任务。由于SSL特性对于诸如语音识别、情感分类等各种其他语音任务工作良好,我们试验了它对AAI的疗效。我们使用3种不同模型复杂度的基于Transformer神经网络的AAI模型对SSL特征进行训练,并使用来自10个受试者的数据在特定于受试者(SS),合并和微调(FT)配置中与MFCC进行性能比较,并使用相关系数(CC)评分对看不见的句子测试集进行评估。我们发现,声学特征重建的目标为基础的SSL功能,如TERA和DeCoAR工作良好的AAI,这些SSL功能的SS CC达到接近最好的FT CC的MFCC。我们还发现不同模型尺寸的结果一致。
2022-10-30 cs.SD eess.AS
Fully Learnable Front-End for Multi-Channel Acoustic Modeling using Semi-Supervised Learning
Amazon(亚马逊)
在这项工作中,我们研究了教师-学生培训范式训练一个完全可学习的多通道声学模型的远场自动语音识别(ASR)。使用在波束成形音频上训练的大型离线教师模型,我们训练了在语音识别系统中使用的更简单的多通道学生声学模型。对于学生,多通道特征提取层和更高的分类层都使用来自教师模型的logits进行联合训练。在我们的实验中,与在约600小时的转录数据上训练的基线模型相比,当使用额外的1800小时的未转录数据时,实现了约27.3%的相对字出错率(WER)降低。我们还研究了预训练多通道前端以使用L2损耗输出波束成形的对数梅尔滤波器组能量(LFBE)的益处。我们发现,预训练提高了10.7%的字出错率相比,直接初始化的波束形成器和梅尔滤波器组系数的前端的多通道模型。最后,与我们的基线相比,将预培训和师生培训相结合,WER降低了31%。
2020-02-01 cs.LG cs.SD eess.AS
End-to-end Acoustic-linguistic Emotion and Intent Recognition Enhanced by Semi-supervised Learning
Cognitive Systems Lab, University of Bremen(布雷斯特大学认知系统实验室);Institute of Science Tokyo(东京科学研究所)
针对语音情感与意图识别中标注数据成本高昂的问题,提出结合大规模未标记数据的半监督学习方法,训练端到端声学与语言学多任务模型,实验表明该方法显著提升了识别性能,最佳模型后期融合在联合识别平衡指标上分别比声学和文本基线提升12.3%和10.4%。
2025-07-10 cs.SD eess.AS
Self-Supervised Learning of Spatial Acoustic Representation with Cross-Channel Signal Reconstruction and Multi-Channel Conformer
School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
针对空间声学参数估计中模拟到现实泛化与真实标注不足的问题,提出基于 CCSR 自监督前置任务和 MC-Conformer 的表征学习方法,并在五项任务上验证有效。
2024-09-09 cs.SD eess.AS
Deep Contextualized Acoustic Representations For Semi-Supervised Speech Recognition
Amazon AWS AI(亚马逊AWS人工智能)
提出了一种新的半监督自动语音识别方法。我们首先通过表示学习利用大量未标记的音频数据,在那里我们从过去和未来的上下文帧中重建滤波器组特征的时间切片。然后使用所得到的深度情境化声学表示(DeCoAR)来使用较少量的标记音频数据训练基于CTC的端到端ASR系统。在我们的实验中,我们表明,在DeCoAR上训练的系统始终优于在传统滤波器组特征上训练的系统,在WSJ eval 92和LibriSpeech test-clean上分别比基线提高了42%和19%。我们的方法可以大大减少所需的标记数据量;在LibriSpeech上进行无监督训练,然后用100小时的标记数据进行监督,其性能与直接在所有960小时上进行训练的性能相当。预训练的模型和代码将在线发布。
2020-04-09 cs.CL cs.LG cs.SD
Analyzing Acoustic Word Embeddings from Pre-trained Self-supervised Speech Models
The University of Edinburgh(爱丁堡大学)
考虑到自监督模型在各种任务上的强大结果,很少有研究探索声学词嵌入(AWE)的自监督表示,表示可变长度口语词段的固定维向量。在这项工作中,我们研究了几种预训练模型和池化方法,用于构建具有自监督表示的AWE。由于自监督表示的上下文性质,我们假设简单的池化方法,如平均,可能已经用于构建AWE。当评估一个标准的单词歧视任务,我们发现,休伯特表示与均值池的竞争对手的最先进的英语AWE。更令人惊讶的是,尽管只在英语上训练,但在Xitsonga,普通话和法语上评估的HuBERT表示始终优于多语言模型XLSR-53(以及在英语上训练的Wav 2 Vec 2.0)。
2023-03-14 cs.CL cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像语音信号自动化实验室);Univ. Savoie Mont Blanc(萨瓦勃朗峰大学);LPNC(认知神经科学实验室)
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数,基于DNN的内部正向模型预测发音命令的感官后果,和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价,显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Semi-supervised acoustic model training for five-lingual code-switched ASR
Stellenbosch University(斯泰伦博斯大学);National University of Singapore(新加坡国立大学)
本文介绍了在声学建模的资源不足的代码切换(CS)语音在多种南非语言的最新进展。我们考虑两种方法。第一个构造单独的双语声学模型,对应于语言对(英语-isiZulu,英语-isiXhosa,英语-Sethem和英语-Seshem)。第二个构建了一个统一的五种语言的声学模型,代表所有的语言(英语,isiZulu,isiXhosa,Seturan和Sesuran)。对于这两种方法,我们考虑半监督训练的有效性,以增加非常稀疏的声学训练集的大小。使用大约11个小时的未转录语音,我们表明这两种方法都受益于半监督训练。双语TDNN-F声学模型也受益于添加CNN层(CNN-TDNN-F),而五种语言系统没有显示出任何显著的改进。此外,由于英语对我们数据中的所有语言对都是通用的,因此在训练统一的语言模型时,它占主导地位,从而以牺牲其他语言为代价提高英语ASR性能。尽管如此,五种语言模型提供了灵活性,因为它可以同时处理两种以上的语言,因此作为半监督训练管道中的自动转录系统是一个有吸引力的选择。
2019-10-15 cs.CL cs.SD eess.AS
Online Supervised Acoustic System Identification exploiting Prelearned Local Affine Subspace Models
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
在本文中,我们提出了一种新的算法改进块在线监督声学系统辨识在不利的噪声情况下,利用先验知识的空间的房间脉冲响应(RIR)。该方法基于这样的假设,即未知RIR的可变性仅由少数物理参数控制,例如,源位置移动,因此被限制到由仿射子空间的并集建模的低维流形。仿射子空间的偏移量和基是通过无监督聚类和主成分分析从训练数据中预先学习的。我们建议去噪的任何监督自适应滤波器的参数更新投影到一个最佳的仿射子空间,这是基于一个新的计算效率的近似相关联的证据。所提出的方法显着提高了系统辨识性能的最先进的算法在不利的噪声情况下。
2020-07-03 cs.SD eess.AS
Semi-supervised acoustic modelling for five-lingual code-switched ASR using automatically-segmented soap opera speech
Stellenbosch University(斯泰伦博斯大学);National University of Singapore(新加坡国立大学)
本文考虑了自动分割的影响,全自动,半监督训练的自动语音识别(ASR)系统的五种语言的代码切换(CS)的语音。四个自动分割技术进行了评估,在识别性能的ASR系统训练所产生的部分在半监督的方式。该系统的输出进行了比较,实现了人工分配的段训练的半监督系统的识别率。三种自动技术使用新提出的卷积神经网络(CNN)模型进行逐帧分类,并包括一种新形式的CNN输出的HMM平滑。自动分割与自动说话人日志化相结合。性能最好的分割技术也进行了测试,没有发言人日记。基于248个未分割的肥皂剧集的评估表明,基于CNN的语音活动检测(VAD),然后是高斯混合模型隐马尔可夫模型平滑(CNN-GMM-HMM)产生最好的ASR性能。与使用手动创建的片段训练的系统相比,使用所得片段训练的半监督系统实现了1.1%的总体WER绝对改善。此外,我们发现,系统的性能进一步提高时,自动分割与说话人日记。
2020-04-08 cs.LG cs.SD eess.AS
Cross-modal supervised learning for better acoustic representations
iQiYi, Inc.(爱奇艺公司)
获取大规模的人类标记数据集来训练声学表示模型是一项非常具有挑战性的任务。相反,我们可以很容易地用机器生成的标签收集数据。在这项工作中,我们建议利用机器生成的标签来学习更好的声学表示,基于视觉和音频之间的同步。首先,我们收集了一个大规模的视频数据集,有1500万个样本,总共持续了16,320小时。每个视频的长度为3到5秒,并由公开的视觉和音频分类模型自动注释。其次,我们训练各种经典的卷积神经网络(CNN),包括VGGish,ResNet 50和Mobilenet v2。我们还对VGGish进行了一些改进,并取得了更好的效果。最后,我们将我们的模型转移到三个外部标准基准上进行音频分类任务,并在最先进的结果上实现了显着的性能提升。型号和代码可在https://github.com/Deeperjia/vgg-like-audio-models上获得。
2020-01-01 cs.CV cs.LG cs.SD
Acoustic-to-articulatory inversion for dysarthric speech: Are pre-trained self-supervised representations favorable?
University of Southern California(南加州大学)
本研究针对构音障碍语音的声学到发音反演任务,在低资源条件下使用预训练自监督学习模型表征结合x-vectors训练BLSTM网络,发现DeCoAR等SSL特征在微调方案下显著优于MFCCs,能有效预测构音障碍发音轨迹。
2024-02-09 cs.LG cs.SD eess.AS
Self-supervised pre-training with acoustic configurations for replay spoofing detection
University of Seoul(首尔市立大学);Naver Corporation(Naver公司)
构建用于重放欺骗检测的数据集需要播放话语并重新记录它的物理过程,这对大规模数据集的收集提出了挑战。在这项研究中,我们提出了一个自我监督的框架,用于使用为其他任务(如说话人验证)发布的数据集进行预训练声学配置。这里,声学配置是指在语音录制过程中产生的环境因素,而不是语音本身,包括麦克风类型、地点和环境噪声水平。具体来说,我们从话语中选择成对的片段,并训练深度神经网络来确定两个片段的声学配置是否相同。我们基于ASVspoof 2019物理访问数据集,利用两个性能良好的系统验证了所提出方法的有效性。实验结果表明,该方法优于基线方法的30%。
2020-08-19 cs.LG eess.AS stat.ML
Improved low-resource Somali speech recognition by semi-supervised acoustic and language model training
Stellenbosch University(斯泰伦博斯大学)
我们提出了改进的自动语音识别(ASR)索马里,目前资源极其不足的语言。这是联合国(UN)继续努力使用基于ASR的关键字识别系统来支持非洲农村地区的人道主义救济计划的一部分。仅使用1.57小时的注释语音数据作为种子语料库,我们通过将半监督训练应用于17.55小时的未转录语音来增加训练数据的池。我们利用因式分解的时间延迟神经网络(TDNN-F)的声学建模,因为这些最近被证明是有效的资源稀缺的情况下。执行三个半监督训练通道,其中来自每个通道的解码输出用于后续通道中的声学模型训练。从表现最好的一遍中自动转换用于语言模型增强。为了保证自动翻译的质量,采用了解码器置信度作为阈值。从半监督方法获得的声学和语言模型在WER和困惑度方面与基线相比显示出显著的改善。对自动生成的transmittance进行验证,语言模型的复杂度提高了6.55%.在半监督训练中使用17.55小时的索马里声学数据显示相对于基线的7.74%的改进。
2019-07-06 cs.CL cs.LG eess.AS
Adaptive Speech Quality Aware Complex Neural Network for Acoustic Echo Cancellation with Supervised Contrastive Learning
MediaTek Singapore(联发科新加坡)
声学回声消除(AEC)旨在从麦克风信号中消除回声、混响和不需要的附加声音,同时保持近端扬声器的语音质量。本文提出了自适应语音质量复杂神经网络,专注于实时声学回声消除的特定任务。具体而言,我们提出了一个复杂的模块化神经网络,具有不同的阶段,分别专注于特征提取,声学分离和掩模优化。此外,我们采用了对比学习框架和新的语音质量感知损失函数,以进一步提高性能。该模型经过72小时的预训练,然后进行72小时的微调。所提出的模型优于国家的最先进的性能。
2022-11-09 cs.AI cs.SD eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University(剑桥大学)
在本文中,我们提出了一种用于训练深度神经网络(DNN)的半监督学习(SSL)技术,以生成说话人区分的声学嵌入(说话人嵌入)。获取大量的说话人识别训练数据对于期望的目标域可能是困难的,特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练(VAT)[1]的一种变体,其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性,如余弦距离所测量的。因此,我们将该技术称为余弦距离虚拟对抗训练(CD-VAT)。与许多现有的SSL技术相比,未标记的数据不必来自与标记数据相同的类(这里是扬声器)。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示,在说话人验证任务中,相对于纯监督基线,它实现了11.1%的等错误率(EER)降低。如果未标记数据的说话人标签可用,这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
Self-Supervised Visual Acoustic Matching
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta人工智能研究院)
提出自监督视觉声学匹配方法,仅用目标图像和音频,通过条件GAN和新指标解耦声学并重合成音频,在多数据集上超越现有技术。
2023-11-24 cs.CV cs.MM cs.SD
Noise-Robust Adaptation Control for Supervised Acoustic System Identification Exploiting A Noise Dictionary
Signal Processing,\ -Alexander University Erlangen-N\"urnberg,\ . 7, 91058 Erlangen, Germany,\ .
提出了一种基于噪声字典的块在线监督声学系统辨识噪声鲁棒自适应控制策略。该算法利用了显著的频谱结构,其特征在于许多类型的干扰噪声信号。我们采用线性高斯离散傅里叶变换域状态空间模型对噪声观测进行建模,其参数由在线广义期望最大化算法估计。与所有其他国家的最先进的方法,我们建议通过字典模型的观测概率密度函数的协方差矩阵建模。我们建议从训练数据中学习噪声字典,这些数据可以在系统不兴奋时离线或在线收集,同时我们不断地推断激活。该算法代表了一种新的基于机器学习的噪声鲁棒自适应控制方法,该方法可以在具有高水平和非平稳干扰噪声信号和突然系统变化的应用中实现更快的收敛。
2021-02-03 cs.SD eess.AS
Self-Supervised Learning for Audio-Based Emotion Recognition
针对音频情感识别训练标签稀缺问题,提出将自监督学习预训练应用于编码声学数据,通过掩码时间戳预训练+少量标注微调,在CMU-MOSEI数据集上全面提升性能,小样本及易分类情感提升更显著。
2023-07-23 cs.LG cs.SD eess.AS
VQTTS: High-Fidelity Text-to-Speech Synthesis with Self-Supervised VQ Acoustic Feature
MoE Key Lab of Artificial Intelligence, AI Institute(教育部人工智能重点实验室 人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
本文提出 VQTTS,以自监督 VQ 声学特征替代梅尔频谱图,并用 txt2vec 分类模型与 vec2wav 声码器实现高保真、自然度达到 SOTA 的 TTS。
2024-10-24 cs.SD eess.AS
Lattice-based lightly-supervised acoustic model training
University of Edinburgh(爱丁堡大学)
在广播领域中,存在大量的相关文本数据和部分传输,例如隐藏字幕和字幕。该文本数据可以用于轻度监督训练,其中使用现有的语音识别模型来选择与音频匹配的文本。当前的光监控方法通常基于瞬态和偏置解码假设之间的匹配出错率来过滤数据。相比之下,半监督训练不需要匹配文本数据,而是使用背景语言模型生成假设。最先进的半监督训练使用基于格的监督和无格MMI(LF-MMI)目标函数。我们提出了一种技术,将不准确的transmittance与为半监督训练生成的格相结合,从而在适当的情况下保留格中的不确定性。我们证明,这种结合的方法降低了预期的出错率的格子,并减少了字出错率(WER)的广播任务。
2019-07-13 cs.CL cs.SD eess.AS
Acoustic Non-Stationarity Objective Assessment with Hard Label Criteria for Supervised Learning Models
Speech Processing Team \, - \, SiDi - Intelligence \& Innovation Center \, - \, São Paulo, Brazil
本文提出基于硬标签标准的声学非平稳性评估方法,通过NANSA网络实现高准确率的非平稳性分类,解决传统方法的计算限制问题。
2026-01-21 eess.AS eess.SP
Supervised and Self-supervised Pretraining Based COVID-19 Detection Using Acoustic Breathing/Cough/Speech Signals
University of Science and Technology of China (USTC)(中国科学技术大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
在这项工作中,我们提出了一种基于双向长短期记忆(BiLSTM)网络的COVID-19检测方法,该方法使用呼吸/语音/咳嗽信号。通过使用声学信号分别对网络进行训练,我们可以为三个任务建立单独的模型,将其参数平均以获得平均模型,然后将其用作每个任务的BiLSTM模型训练的初始化。这种初始化方法可以显着提高三个任务的性能,超过了官方的基线结果。此外,我们还使用了一个公共的预训练模型wav2vec2.0,并使用官方的DiCOVA数据集对其进行预训练。该wav2vec2.0模型用于提取声音的高级特征作为模型输入,以取代传统的梅尔频率倒谱系数(MFCC)特征。实验结果表明,使用高层次的功能与MFCC功能可以提高性能。为了进一步提高性能,我们还部署了一些预处理技术,如无声段删除,幅度归一化和时频掩模。在DiCOVA数据集上对所提出的检测模型进行了评估,结果表明,我们的方法在融合轨迹的盲测试中实现了88.44%的曲线下面积(AUC)得分。
2022-01-22 cs.SD eess.AS
Realistic sources, receivers and walls improve the generalisability of virtually-supervised blind acoustic parameter estimators
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用实验室)
盲声学参数估计包括从未知声源的记录推断环境的声学特性。由于真实注释测量的可用性有限,该领域的最新工作利用了部分或完全基于模拟数据训练的深度神经网络。在本文中,我们研究了一个纯粹使用快速图像源房间脉冲响应模拟器训练的模型是否可以推广到真实数据。我们提出了一个消融研究精心制作的模拟训练集,占不同层次的现实主义的来源,接收器和墙壁的反应。现实主义的程度是由墙壁的吸收系数的采样,并通过应用测得的指向性模式的麦克风和源控制。在这些数据集上训练的最先进的模型在联合估计来自多个多通道语音记录的房间体积、总表面积和倍频程混响时间的任务上进行评估。结果表明,在训练时间的仿真现实的每一个增加的层显着提高对真实信号的所有量的估计。
2022-07-19 cs.SD eess.AS
End-to-end ASR: from Supervised to Semi-Supervised Learning with Modern Architectures
Facebook
我们研究了ResNet,时间深度可分离ConvNets和语音识别的Transformers的半监督训练的伪标记,使用CTC或Seq2Seq损失函数。我们在标准LibriSpeech数据集上进行实验,并通过伪标签利用LibriVox中的其他未标记数据。我们表明,虽然基于transformer的声学模型具有优越的性能与监督数据集单独,半监督提高了所有模型的架构和损失函数和桥梁之间的性能差距。通过这样做,我们在标准监督学习设置中使用外部语言模型解码的端到端声学模型达到了新的最先进水平,并且使用半监督训练达到了新的绝对最先进水平。最后,我们研究了利用不同数量的未标记音频的效果,提出了几种方法来评估未标记音频的特性,从而改进了声学建模,并表明使用更多音频训练的声学模型对外部语言模型的依赖性更小。
2020-07-15 cs.CL cs.SD eess.AS
Semi-supervised and Active-learning Scenarios: Efficient Acoustic Model Refinement for a Low Resource Indian Language
International Institute of Information Technology – Bangalore (IIIT-B)(班加罗尔国际信息技术学院(IIIT-B))
我们解决的问题,有效的声学模型细化(连续再培训)使用半监督和主动学习的低资源的印度语言,其中低资源的限制有i)一个小的标记语料库,从其中训练的基线“种子”声学模型和ii)一个大的训练语料库没有正字法标记或从其中执行数据选择手动标记在低成本。所提出的半监督学习使用种子模型并通过各种协议对未标记的大型训练语料库进行解码,使用置信水平(与解码话语的WER相关)和迭代自举来选择具有高可靠性的解码话语。所提出的主动学习协议使用基于置信度的度量从大型未标记语料库中选择解码的话语进行进一步标记。半监督学习协议可以从训练不良的种子模型中提供WER减少,如果大语料库被标记并用于声学模型训练,则减少多达从种子模型的WER可实现的最佳WER减少的50%。主动学习协议允许仅对整个训练语料库的60%进行手动标记,以达到与整个数据相同的性能。
2018-10-02 cs.CL cs.CV cs.SD
Comparing CTC and LFMMI for out-of-domain adaptation of wav2vec 2.0 acoustic model
Idiap Research Institute(Idiap 研究院)
在这项工作中,我们调查了wav 2 vec 2.0自监督预训练是否有助于缓解连接主义时间分类(CTC)训练的过拟合问题,以缩小其与平坦开始无格MMI(E2 E-LFMMI)的性能差距,用于在有限的情况下进行自动语音识别训练数据。为了实现这一目标,我们使用预训练的wav 2 vec 2.0 BASE模型,并在三个不同的数据集上对其进行微调,包括域外(Switchboard)和跨语言(Babel)场景。我们的研究结果表明,对于wav 2 vec 2.0模型的监督适应,E2 E-LFMMI和CTC都取得了类似的结果;显著优于仅使用监督数据训练的基线。使用E2 E-LFMMI和CTC微调wav 2 vec 2.0模型,我们获得了以下相对于使用E2 E-LFMMI训练的监督基线的WER改进。在clean-set和Librispeech测试集(100 h)上分别获得了40%和44%的相对改进和64%和58%的相对改进。在交换机(300小时),我们分别获得33%和35%的相对改善。最后,对于巴别塔语言,我们在斯瓦希里语(38小时)上分别获得了26%和23%的相对改进,在塔吉语(84小时)上分别获得了18%和17%的相对改进。
2021-04-06 cs.LG cs.SD eess.AS
Can Self-Supervised Neural Representations Pre-Trained on Human Speech distinguish Animal Callers?
Idiap Research Institute(伊迪亚普研究所);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本文研究人类语音预训练的自监督神经表示向生物声学的跨领域迁移,使用 11 个 SSL 模型在狨猴发声上完成发声者辨别与检测,证明无需微调即可识别个体身份。
2023-06-08 cs.LG cs.SD eess.AS
Acoustic scattering AI for non-invasive object classifications: A case study on hair assessment
本文提出了一种利用声学散射进行非侵入式物体分类的新方法,通过头发评估的案例研究进行演示。通过发射声学刺激并捕捉带有头发样本的头部对象散射信号,利用AI驱动的深度学习声学分类技术对头发类型和湿度进行分类。我们评估了包括(i)完全监督深度学习、(ii)嵌入式分类、(iii)监督基础模型微调和(iv)自监督模型微调在内的全面方法。我们的最佳策略通过微调自监督模型的所有参数实现了接近90%的分类准确率。这些结果凸显了声学散射作为隐私保护、非接触替代视觉分类的潜力,为各行业应用提供了巨大前景。
2026-05-19 cs.CL cs.SD eess.AS
Automated data curation for self-supervised learning in underwater acoustic analysis
Center of Mathematics and Computer Science(数学与计算机科学中心);Vrije Universiteit(阿姆斯特丹自由大学);Naturalis Biodiversity Center(自然生物多样性中心)
针对水下声学分析中PAM数据量大且未标记的问题,提出一种全自动数据策展流水线,集成AIS数据并利用层次k均值聚类构建平衡多样数据集,以支持自监督学习模型开发,用于海洋哺乳动物监测和声污染评估。
2025-05-26 cs.AI cs.SD eess.AS