A Framework for Robust Speaker Verification in Highly Noisy Environments Leveraging Both Noisy and Enhanced Audio
针对高噪声环境下说话人验证性能下降及语音增强可能扭曲说话人信息的问题,提出基于孪生架构结合带噪与增强语音嵌入的轻量框架,提升验证鲁棒性且兼容多种先进技术,实验证明其性能更优。
2025-08-26 eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University(东南大学);Centre de Recherche en Information Biomédicale Sino-français (CRIBs)(中法生物医学信息研究中心);The 28th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第二十八研究所);Univ Rennes(雷恩大学)
在传统的语音去噪任务中,通常使用干净的音频信号作为训练目标,但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点,我们提出了一个端到端的自监督语音去噪训练方案,只使用嘈杂的音频信号,名为Only-Noisy Training(ONT),没有额外的训练条件。该策略仅从单个噪声音频中构造训练对,包含两个模块:训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对,然后送入一个新的复值语音去噪模块。实验结果表明,该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性,而且与其他训练策略相比,其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Audio Representation Learning by Distilling Video as Privileged Information
Queen’s University(女王大学)
与单模态方法相比,使用多模态视听数据的深度音频表示学习通常会导致更好的性能。然而,在现实世界的场景中,这两种模态在推理时并不总是可用的,从而导致针对多模态推理训练的模型的性能下降。在这项工作中,我们提出了一种新的方法,深度音频表示学习使用视听数据时,视频模态是缺席的推理。为此,我们在利用特权信息学习的框架下采用师生知识蒸馏。虽然以前为LUPI提出的方法使用教师生成的软标签,但在我们提出的方法中,我们使用教师学习的嵌入来训练学生网络。我们将我们的方法集成在两种不同的设置中:连续数据,其中特征在整个时间内被划分为多个段,以及非连续数据,其中整个特征被视为一个完整的段。在非顺序设置中,教师和学生网络都由编码器组件和任务头组成。我们使用教师的编码器组件产生的嵌入来训练学生的编码器,而学生的任务头使用地面实况标签进行训练。在顺序设置中,网络具有放置在编码器和任务头之间的附加聚合组件。我们使用教师的编码器和聚合组件产生的两组嵌入来训练学生。与非顺序设置类似,学生网络的任务头使用地面实况标签进行训练。我们测试了我们的框架上两个不同的视听任务,即说话人识别和语音情感识别,并显示出相当大的改进,在单一的基于音频的识别,以及以前的作品,使用LUPI。
2023-02-06 cs.LG cs.SD eess.AS
Modality-Independent Teachers Meet Weakly-Supervised Audio-Visual Event Parser
National Taiwan University(国立台湾大学);Microsoft(微软);NVIDIA(英伟达)
针对弱监督非对齐视听事件解析任务,提出VALOR方法,利用模态无关对比预训练教师模型生成模态标签,在LLP数据集及视听事件定位任务上均刷新最优性能。
2023-10-02 cs.CV cs.SD eess.AS
CMKD: CNN/Transformer-Based Cross-Model Knowledge Distillation for Audio Classification
Massachusetts Institute of Technology(麻省理工学院)
音频分类是一个非常活跃的研究领域,有着广泛的应用。在过去的十年中,卷积神经网络(CNN)已经成为端到端音频分类模型的事实标准构建块。最近,仅基于自注意力机制的神经网络,如音频频谱图Transformer(AST),已被证明优于CNN。在本文中,我们发现了两个非常不同的模型之间有趣的相互作用- CNN和AST模型是彼此的好老师。当我们使用其中一个作为教师,并通过知识蒸馏(KD)训练另一个模型作为学生时,学生模型的性能显著提高,在许多情况下,优于教师模型。在我们使用这种CNN/Transformer跨模型知识蒸馏(CMKD)方法的实验中,我们在FSD 50 K、AudioSet和ESC-50上实现了新的最先进性能。
2022-03-13 cs.AI cs.SD eess.AS
NABEATs: Noise-Aware Audio Representation Learning
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Nagoya University(名古屋大学)
该研究提出噪声感知音频自监督学习概念,介绍基于BEATs的NABEATs。针对音频SSL模型在噪声环境下性能不佳的问题,通过辅助参考噪声输入训练NABEATs,能在推理时考虑噪声特征,提升下游任务性能并泛化到未见噪声类型。
2026-07-21 eess.AS
How does the teacher rate? Observations from the NeuroPiano dataset
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
本文分析NeuroPiano数据集,统计专业钢琴家对学生演奏的评分与文字反馈,并研究音频特征与评分之间的机器学习预测关系。
2024-10-04 cs.SD eess.AS
Self-Supervised Audio-Visual Speech Representations Learning By Multimodal Self-Distillation
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院)
在这项工作中,我们提出了一种新的方法,名为AV 2 vec,学习视听语音表示多模态自蒸馏。AV 2 vec有一个学生和一个教师模块,其中学生使用教师在线生成的多模态目标特征执行掩蔽的潜在特征回归任务。教师模型的参数是学生的动量更新。由于我们的目标特征是在线生成的,AV 2 vec不需要像AV-HuBERT那样的迭代步骤,总训练时间成本减少到不到五分之一。在这项研究中,我们进一步提出了AV 2 vec-MLM,它使用多任务学习通过掩蔽语言模型(MLM)风格的损失来增强AV 2 vec。我们的实验结果表明,AV 2 vec实现了与AV-HuBERT基线相当的性能。当与MLM类型的损失相结合时,AV 2 vec-MLM的性能优于基线,并在下游任务上实现了最佳性能。
2022-12-06 cs.SD eess.AS
Voice activity detection in the wild: A data-driven approach using teacher-student training
语音活动检测是自动语音识别(ASR)等语音相关任务的重要预处理组件。传统的监督式VAD系统通过使用例如隐马尔可夫模型这些ASR模型通常在干净和完全转录的数据上训练,限制VAD系统在干净或合成噪声数据集上训练。因此,有监督的VAD系统的一个主要挑战是它们对有噪声的真实世界数据的泛化。这项工作提出了一种数据驱动的教师-学生的VAD方法,它利用大量的和不受约束的音频数据进行训练。与以前的方法不同,在教师培训期间只需要弱标签,从而可以利用任何真实世界的潜在噪声数据集。我们的方法首先使用剪辑级监督在源数据集(Audioset)上训练教师模型。训练后,教师在未标记的目标数据集上为学生模型提供帧级指导。研究了在中型到大型数据集上训练的大量学生模型(Audioset,Voxceleb,NIST SRE)。然后,我们的方法分别在干净的,人为噪声和真实世界的数据进行评估。我们观察到显着的性能增益在人为噪声和现实世界的情况下。最后,我们将我们的方法与其他无监督和有监督的VAD方法进行了比较,证明了我们方法的优越性。
2021-05-10 cs.SD eess.AS
Dual Mean-Teacher: An Unbiased Semi-Supervised Framework for Audio-Visual Source Localization
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对视听源定位现有方法定位精度低、半监督方法未充分利用未标注数据的问题,提出含双师生结构的DMT无偏半监督框架,通过教师预测共识过滤噪声、取置信度图交集生成伪标签,仅用3%标注即大幅超越现有最优方法并可提升其他AVSL方法性能。
2024-03-05 cs.CV cs.LG cs.MM
Teaching Audio Models to Reason: A Unified Framework for Source- and Layer-wise Distillation
Jiutian Artificial Intelligence Research Institute, China Mobile, Beijing, China(九天人工智能研究院,中国移动,北京);The State Key Laboratory of Multimedia Information Processing, Peking University, Beijing, China(多媒体信息处理国家重点实验室,北京大学,北京)
本文提出统一知识蒸馏框架,通过源级与层级双维度蒸馏将文本模型的推理能力迁移到音频模型,在保持声学能力的同时显著提升音频推理性能。
2025-09-23 cs.CL cs.SD eess.AS
Semi-Supervised Audio Classification with Partially Labeled Data
Georgia Institute of Technology(佐治亚理工学院)
随着大规模数据集可用性的提高,音频分类取得了很大的进展。然而,这些大型数据集通常只被部分标记,因为收集完整的注释是一个繁琐而昂贵的过程。本文提出了两种能够在缺失标签的情况下学习的半监督方法,并在两个公开的部分标记数据集上对其进行了评估。第一种方法依赖于标签增强的两个阶段的师生学习过程,而第二种方法利用平均教师半监督学习算法。我们的研究结果证明了不正确处理缺失标签的影响,并比较了使用不同策略利用标签较少的数据的好处。能够使用部分标记的数据进行学习的方法有可能通过利用更大量的数据来改进音频分类模型,而无需完整的注释。
2021-11-24 cs.SD eess.AS
Audio tagging with noisy labels and minimal supervision
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Google, Inc.(谷歌公司)
本文介绍了DCASE 2019挑战赛的任务2,题为“带噪声标签和最小监督的音频标记”。该任务在Kaggle平台上作为“Freesound Audio Tagging 2019”托管。该任务评估系统的多标签音频标记使用一个大的噪声标记的数据集,和一个小得多的手动标记的数据集,在一个大的词汇设置的80个日常的声音类。此外,由于噪声训练集和测试集来自不同的网络音频源,因此所提出的数据集在噪声训练集和测试集之间造成声学失配问题。这可以对应于由收集大量手动标记的数据的困难给出的现实场景。我们介绍了任务设置,为这项科学评估准备的FSDKaggle2019数据集,以及由卷积神经网络组成的基线系统。所有这些资源都是免费提供的。
2020-01-20 cs.LG cs.SD eess.AS
Supervised Classifiers for Audio Impairments with Noisy Labels
Microsoft Corporation(微软公司)
由于环境和网络条件,互联网协议语音(VoIP)呼叫容易出现各种语音损伤,从而导致不良的用户体验。可靠的音频损伤分类器有助于识别音频质量差的原因。呼叫之后的用户反馈可以充当用于在大型音频数据集上训练监督分类器的地面实况标签。然而,标签是嘈杂的,因为大多数用户缺乏专业知识来精确地表达所感知的语音中的损伤。在本文中,我们分析了标签中的大量噪声在训练密集网络和卷积神经网络(CNN)中的影响,这些网络使用工程特征,频谱图和原始音频样本作为输入。我们证明了CNN可以更好地推广具有大量噪声标签的训练数据,并给出显着更高的测试性能。分类器在随机生成的标签噪声和人为错误引入的标签噪声上进行训练。我们还表明,使用噪声标签进行训练需要显著增加训练数据集的大小,这与标签中的噪声量成比例。
2019-07-03 cs.LG cs.SD eess.AS
Attention-weighted Centered Kernel Alignment for Knowledge Distillation in Large Audio-Language Models Applied to Speech Emotion Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Harbin Institute of Technology(哈尔滨工业大学)
PL-Distill通过结合投影层和输出层蒸馏方法,有效压缩大音频-语言模型并提升语音情感识别性能。
2026-02-02 cs.SD eess.AS
Building a Noisy Audio Dataset to Evaluate Machine Learning Approaches for Automatic Speech Recognition Systems
Pontifícia Universidade Católica do Rio de Janeiro(里约热内卢天主教大学)
自动语音识别系统是人们日常生活的一部分,嵌入在个人助理和移动电话中,有助于促进人机交互,同时允许以实际直观的方式访问信息。这样的系统通常使用机器学习技术来实现,特别是使用深度神经网络。即使其在从语音转录文本的任务中具有高性能,也很少有作品解决其在嘈杂环境中的识别问题,并且通常,所使用的数据集不包含嘈杂的音频示例,而仅使用数据增强技术来缓解该问题。这项工作的目的是建立一个嘈杂的音频数据集的过程中,在一个特定的情况下,退化的音频由于干扰,通常存在于无线电传输。此外,我们还展示了使用此类数据进行评估的分类器的初始结果,表明在识别器的训练过程中使用该数据集的好处。这样的识别器在噪声集合(SNR = 30)中的字符出错率方面实现了0.4116的平均结果。
2021-10-04 cs.CL cs.SD eess.AS
Audio Tagging by Cross Filtering Noisy Labels
National University of Defense Technology(国防科技大学);University of Surrey(萨里大学)
高质量的标记数据集使深度学习在许多声音分析任务上取得了令人印象深刻的结果。然而,准确地注释大量的音频数据是劳动密集型的,并且在实际设置中数据集可能包含噪声标签。同时,由于其出色的记忆能力,深度神经网络对那些不正确的标记数据具有抵抗力。在本文中,我们提出了一种新的框架,名为交叉过滤器,以打击嘈杂的标签问题的音频标记。多个表示(如Logmel和MFCC)被用作我们的框架的输入,以提供更多的音频补充信息。然后,通过两个神经网络的合作和交互,我们将数据集分为策划和噪声子集,通过增量式地从噪声数据中挑选出可能正确标记的数据。此外,我们的方法利用具有不同损失函数的精选和噪声子集的多任务学习来充分利用整个数据集。噪声鲁棒的损失函数,以减轻不正确的标签的不利影响。在音频标记数据集FSDKaggle2018和FSDKaggle2019上,实证结果表明,与其他竞争方法相比,性能有所提高。在FSDKaggle2018数据集上,我们的方法达到了最先进的性能,甚至超过了集成模型。
2020-07-16 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University(清华大学);Universität Hamburg(汉堡大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
本文提出轻量级音视频迭代模型AVLIT,采用渐进学习和共享权重的A-FRCNN块,在噪声环境下实现高效音视频语音分离,实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);OriginAI
针对单麦克风含噪语音分离问题,提出一种基于扩散模型的无监督音视频分离方法,通过显式建模语音与噪声分布并利用逆向扩散过程采样,在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
Evaluating robustness of You Only Hear Once(YOHO) Algorithm on noisy audios in the VOICe Dataset
Manipal Institute of Technology(曼尼帕尔理工学院)
机器监听中的声音事件检测(SED)需要识别音频文件中的不同声音并识别音频中特定声音事件的开始和结束时间。SED可用于各种应用,例如音频监视、语音识别以及多媒体数据库中的数据的基于上下文的索引和检索。然而,在现实生活中,来自各种来源的音频很少没有任何干扰噪声或干扰。在本文中,我们测试的性能,你只听到一次(YOHO)算法对嘈杂的音频数据。受计算机视觉中You Only Look Once(YOLO)算法的启发,YOHO算法可以在音乐语音检测数据集、TUT声音事件和Urban-SED数据集等数据集上与各种最先进算法的性能相匹配,但推理时间更短。在本文中,我们探讨了YOHO算法的VOICe数据集上的性能,包含在不同的声音噪声比(SNR)的噪声的音频文件。YOHO可以超越或至少匹配VOICe数据集论文中报告的最佳性能SED算法,并在更短的时间内进行推断。
2021-11-01 cs.CL cs.SD eess.AS
Room Impulse Response Embeddings for Speech Enhancement in Noisy and Reverberant Environments
Paderborn University(帕德博恩大学)
提出自监督方法学习房间冲激响应嵌入,用于在混响和噪声环境中提升语音增强性能,并在所有指标上取得一致改进。
2026-09-28 cs.SD eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University(西交利物浦大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
本文提出一种数据高效且低复杂度的声学场景分类系统,利用BEATs自监督预训练模型提取通用音频表示,并通过集成不同微调策略与知识蒸馏技术,在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Audio-Visual Model Distillation Using Acoustic Images
Istituto Italiano di Tecnologia(意大利理工学院);Università degli Studi di Genova(热那亚大学);Università di Verona(维罗纳大学);Huawei Technologies Ltd.(华为技术有限公司)
在本文中,我们研究了如何学习丰富和强大的特征表示的音频分类从视觉数据和声学图像,一种新的音频数据形态。以前的模型从单个麦克风获取的原始信号或频谱数据中学习音频表示,在分类和检索方面取得了显着的效果。然而,这样的表示对于可变的环境声音条件不是那么鲁棒。我们通过利用混合视听传感器获取的新的多模态标记动作识别数据集来解决这个缺点,该传感器提供RGB视频,原始音频信号和空间化声学数据,也称为声学图像,其中视觉和声学图像在空间上对齐并在时间上同步。利用这些更丰富的信息,我们以师生模式训练音频深度学习模型。特别是,我们从视觉和声学图像教师中提取知识到音频网络中。我们的实验表明,学习到的表示比从仅使用单麦克风音频数据训练的模型中学习到的特征更强大,并且具有更好的泛化能力。
2020-02-11 cs.CV cs.SD eess.AS
Exploring Audio-Visual Information Fusion for Sound Event Localization and Detection In Low-Resource Realistic Scenarios
本研究针对低资源场景下的声音事件定位与检测问题,提出跨模态师生学习框架、两阶段视听融合策略及视频像素交换增强技术,在DCASE 2023挑战赛SELD任务中取得第一名。
2024-06-21 eess.AS eess.SP
Source-Aware Neural Speech Coding for Noisy Speech Compression
本文介绍了一种新的基于神经网络的语音编码系统,可以有效地处理含噪语音。所提出的源感知神经音频编码(SANAC)系统协调了基于深度自动编码器的源分离模型和神经编码系统,使得它可以在潜在空间中显式地执行源分离和编码。该系统的另一个好处是,编解码器可以将不同数量的比特分配给底层源,使得更重要的源在解码信号中听起来更好。我们的目标是一个新的用例,其中接收方的用户关心语音通信中非语音分量的质量,而语音源仍然携带最关键的信息。客观和主观评价测试表明,SANAC可以恢复原始的噪声语音比基线神经音频编码系统,这是没有源感知编码机制,和两个传统的编解码器。
2020-11-10 eess.AS
MI-Fuse: Label Fusion for Unsupervised Domain Adaptation with Closed-Source Large-Audio Language Model
National Taiwan University, Taiwan(国立台湾大学)
针对无源数据且仅API可用的LALM场景,提出MI-Fuse去噪标签融合框架,结合互信息加权与EMA教师,使学生模型在目标域超越LALM,并在六种跨域迁移中比最强基线高3.9%。
2025-09-25 cs.CL cs.SD eess.AS
Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4
Gwangju Institute of Science and Technology(光州科学技术院)
本报告为DCASE 2021挑战任务4提出了一种复音声音事件检测(SED)方法。建议的SED模型由两个阶段组成:一个平均教师模型,用于提供关于弱标记或未标记数据的目标标签,以及一个基于自我训练的嘈杂学生模型,用于预测声音事件的强标签。均值-教师模型基于教师和学生模型的残差卷积递归神经网络(RCRNN),首先使用来自弱标记数据集、未标记数据集和强标记合成数据集的所有训练数据进行训练。然后,训练好的均值-教师模型预测每个弱标记和未标记数据集的强标记,并在所提出的SED模型的第二阶段将其带入噪声学生模型。这里,噪声学生模型的结构与第一阶段中的均值-教师模型的基于RCRNN的学生模型相同。然后,通过添加特征噪声(如时频偏移,mixup,SpecAugment和基于dropout的模型噪声)进行自训练。此外,半监督损失函数被应用于训练噪声学生模型,其充当标签噪声注入。在DCASE 2021 Challenge Task 4的验证集上对所提出的SED模型的性能进行了评估,然后,最终选择了将五重验证模型与半监督损失函数的不同超参数相结合的几个集成模型作为我们的最终模型。
2021-07-06 cs.LG cs.SD eess.AS
Addressing Missing Labels in Large-Scale Sound Event Recognition Using a Teacher-Student Framework With Loss Masking
Universitat Pompeu Fabra(庞培法布拉大学);Google Research(谷歌研究院)
最近,随着更大和噪声更大的数据集的出现,声音事件识别中的标签噪声的研究得到了关注。这项工作解决了缺失标签的问题,这是大型音频数据集的一大弱点,也是AudioSet最突出的问题之一。我们提出了一个简单的模型不可知的方法,基于教师-学生框架与损失掩蔽,首先确定最关键的缺失标签候选人,然后忽略他们的贡献在学习过程中。我们发现,一个简单的优化训练标签集提高识别性能,而无需额外的计算。我们发现,大部分的改进来自于忽略了一小部分关键的缺失标签。我们还表明,随着训练集变小,缺失标签造成的损害也会变大,但即使在使用大量音频进行训练时,仍然可以观察到。我们相信这些见解可以推广到其他大规模数据集。
2020-07-25 cs.LG cs.SD eess.AS
Robust Knowledge Distillation from RNN-T Models With Noisy Training Labels Using Full-Sum Loss
Google(谷歌)
本文研究了知识蒸馏(KD)问题,并针对递归神经网络转换器(RNN-T)模型提出了知识蒸馏的约束条件。在硬蒸馏中,教师模型转录大量未标记的语音来训练学生模型。软蒸馏是另一种流行的KD方法,它提取教师模型的输出logits。由于RNN-T比对的性质,在具有不同后验分布的RNN-T架构之间应用软蒸馏是具有挑战性的。此外,高错字率的差教师会降低KD的效能。我们研究如何有效地提取知识的可变质量ASR教师,这还没有被研究之前,我们的知识。我们证明了序列级KD,全和蒸馏,优于RNN-T模型的其他蒸馏方法,特别是对于糟糕的教师。我们还提出了一个变种的全和蒸馏,蒸馏的顺序判别知识的老师,导致进一步改善WER。我们在公共数据集SpeechStew和LibriSpeech以及内部生产数据上进行实验。
2023-03-10 cs.CL cs.SD eess.AS
Improving the Robustness and Clinical Applicability of Automatic Respiratory Sound Classification Using Deep Learning-Based Audio Enhancement: Algorithm Development and Validation
本研究提出将基于深度学习的音频增强步骤融入自动呼吸音分类系统,通过在ICBHI和FABS数据集上的实验及医生验证,证明该方法显著提升了系统在嘈杂环境下的分类性能、诊断敏感性与临床信任度。
2025-04-30 eess.AS
Learning Sound Event Classifiers from Web Audio with Noisy Labels
Universitat Pompeu Fabra(庞培法布拉大学);Google, Inc.(谷歌公司)
随着声音事件分类向更大的数据集发展,标签噪声问题变得不可避免。网站可以提供大量的用户贡献的音频和元数据,但是从这些元数据中推断标签会引入错误,这是由于不可靠的输入和映射中的限制。然而,很少有人研究这些错误的影响。为了促进对声音事件分类中标签噪声的研究,我们提出了FSDnoisy18k,这是一个包含20个声音类别的42.5小时音频的数据集,包括少量手动标记的数据和大量真实世界的噪声数据。我们根据经验表征标签噪声,并提供了一个CNN基线系统。实验表明,使用大量噪声数据进行训练可以胜过使用少量仔细标记数据进行训练。我们还表明,噪声鲁棒的损失函数可以有效地提高性能,在存在损坏的标签。
2019-03-07 cs.LG cs.SD eess.AS
SwiftAudio: Data-Efficient Caption-Only Distillation for One-Step Text-to-Audio Diffusion-based Generation
Posts and Telecommunications Institute of Technology(邮电技术学院)
提出SwiftAudio框架,通过仅使用文本描述从预训练扩散教师模型进行无音频蒸馏,实现一步式文本到音频生成,在AudioCaps和Clotho上达到最优性能。
2026-07-01 cs.AI cs.MM cs.SD
Structural and Statistical Audio Texture Knowledge Distillation for Acoustic Classification
Department of Electrical and Computer Engineering, Texas A&M University(得克萨斯大学电气与计算机工程系)
本文提出SSATKD框架,结合高层上下文信息与低层结构统计音频纹理,提升复杂声学环境下的分类性能,实验验证其在多个数据集上的有效性。
2026-03-23 cs.SD eess.AS
A Training and Inference Strategy Using Noisy and Enhanced Speech as Target for Speech Enhancement without Clean Speech
North Co., Ltd.(北方有限公司);Academia Sinica(中央研究院)
针对纯净语音缺乏导致训练准则与评估指标不匹配的问题,提出一种改进含噪目标训练(NyTT)的训练与推理策略,通过重新混合教师模型估计的语音和噪声来训练学生模型,实验证明该方法优于多个基线,尤其在教师/学生推理中表现突出。
2023-05-22 cs.AI cs.CL cs.LG
Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford(计算机科学系,牛津大学)
本文提出通过比较噪声正样本与负样本音频提取目标说话人,提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
Large-vocabulary Audio-visual Speech Recognition in Noisy Environments
Ruhr University Bochum(波鸿鲁尔大学)
视听语音识别(AVSR)可以有效地和显着地提高识别率的小词汇量系统,相比他们的纯音频同行。然而,对于大词汇量系统,仍然存在许多困难,例如视频识别精度不令人满意,这使得它很难在仅音频的基础上进行改进。在本文中,我们专门考虑了这种情况,重点是LRS 2数据库的大词汇量任务,其中仅音频性能远远优于仅视频精度,这使得这成为多模态集成的有趣且具有挑战性的设置。为了解决固有的困难,我们提出了一种新的融合策略:一个经常性的集成网络进行训练,融合多个单模态模型的状态后验,一组基于模型和基于信号的流可靠性措施的指导下。在解码过程中,该网络用于混合识别器内的流集成,从而可以处理其多个特征输入的时变可靠性和信息内容。我们将结果与端到端AVSR系统以及具有竞争力的混合基线模型进行比较,发现新的融合策略显示出优越的结果,平均甚至优于Oracle动态流加权,这标志着标准流加权的上限-实际上无法实现。即使纯粹的唇读性能很低,视听整合在所有-干净,嘈杂和混响-条件下都是有帮助的。平均而言,新的系统实现了相对字错误率降低42.18%相比,仅音频模型,在所提出的集成方法的高效率。
2021-09-10 cs.SD eess.AS eess.IV
Multimodal Magic Elevating Depression Detection with a Fusion of Text and Audio Intelligence
University of Sanya(三亚学院);Academician Workstation of Chunming Rong, University of Sanya(三亚学院戎春明院士工作站)
本研究提出基于师生架构的多模态融合模型,结合多头注意力与加权迁移学习,在 DAIC-WOZ 数据集上 F1 达 99.1%,有效提升了抑郁症分类准确率。
2025-01-31 cs.CL cs.SD eess.AS
Self-Supervised Audio-and-Text Pre-training with Extremely Low-Resource Parallel Data
TAL Education Group(好未来教育集团);Tencent(腾讯)
音频和文本的多模态预训练最近被证明是有效的,并显着提高了许多下游语音理解任务的性能。然而,这些最先进的预训练音频文本模型只有在提供大量的并行音频和文本数据时才能很好地工作,这给许多拥有丰富的单模态语料库但缺乏并行跨模态语料库的语言带来了挑战。在本文中,我们研究是否有可能预训练音频文本多模态模型与极低资源的并行数据和额外的非并行单峰数据。我们的预训练框架由以下组件组成:(1)模态内去噪自动编码(IDAE),它能够从自身的噪声版本中重建输入文本(音频)表示。(2)跨模态去噪自动编码(CDAE),预先训练以重建输入文本(音频),给定输入文本(音频)的噪声版本和相应的翻译噪声音频特征(文本嵌入)。(3)迭代去噪过程(IDP),迭代地将原始音频(文本)和从先前迭代转换的相应文本嵌入(音频特征)转换为新的噪声较小的文本嵌入(音频特征)。我们采用双交叉模态Transformer作为我们的骨干模型,它包括两个IDAE的单峰编码器和两个CDAE和IDP的交叉模态编码器。与在完全并行数据上预训练的模型相比,我们的方法在多个下游语音理解任务上实现了相当的性能,证明了所提出的方法的巨大潜力。我们的代码可从以下网址获得:\url{https://github.com/KarlYuKang/Low-Resource-Multimodal-Pre-training}。
2022-04-10 cs.LG cs.SD eess.AS
Dual-Branch Knowledge Distillation for Noise-Robust Synthetic Speech Detection
Anhui University(安徽大学);CASIA(中国科学院自动化研究所);Tsinghua University(清华大学)
针对噪声导致合成语音检测性能下降的问题,提出DKDSSD双分支知识蒸馏方法,通过干净教师与含噪学生并行建模、交互融合及响应蒸馏提升噪声鲁棒性与跨数据集性能。
2024-04-16 cs.SD eess.AS
SpeedySpeech: Efficient Neural Speech Synthesis
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院)
虽然最近的神经序列到序列模型已经极大地提高了语音合成的质量,但是还没有能够同时进行快速训练、快速推理和高质量音频合成的系统。我们提出了一个学生-教师网络,能够高质量的比实时更快的频谱图合成,对计算资源和快速训练时间的要求低。我们表明,自我注意层是不必要的生成高质量的音频。我们在学生网络和教师网络中使用具有剩余连接的简单卷积块,并且在教师模型中仅使用单个注意力层。再加上MelGAN声码器,我们的模型的语音质量被评为显着高于Tacotron 2。我们的模型可以在单个GPU上有效地训练,甚至可以在CPU上实时运行。我们在GitHub存储库中提供源代码和音频样本。
2020-08-09 cs.CL cs.LG cs.SD
Visual-Aware Speech Recognition for Noisy Scenarios
IIIT-Hyderabad(印度国际信息技术学院海得拉巴分校);Whissle Inc.(惠斯勒公司)
本文提出一种利用环境视觉线索与噪声源关联来改进噪声场景语音转录的模型,通过重新利用预训练语音和视觉编码器并结合多头注意力,显著优于纯音频模型。
2025-04-09 cs.CL eess.AS eess.SP
Overcoming label noise in audio event detection using sequential labeling
Sogang University(西江大学);Naver Corporation(NAVER公司)
针对音频事件检测(AED)中的噪声标签问题,将强标签细化为去除不准确时间戳的序列标签。在AED中,强标签包含特定事件的发生及其与音频片段中事件的开始和结束相对应的时间戳。时间戳依赖于每个注释者的主观性,它们的标签噪声是不可避免的。与强标签相反,弱标签仅指示特定事件的发生。它们不具有由时间戳引起的标签噪声,但是时间信息被排除在外。为了充分利用现有的强标签和弱标签的信息,我们提出了一个AED计划,训练与顺序标签,除了给定的强标签和弱标签后,强标签转换成顺序标签。使用顺序标签始终提高了性能,特别是通过关注事件的发生,使用基于片段的F分数。在用于半监督学习的基于平均教师的方法中,除了具有顺序标签的监督学习之外还包括具有顺序预测的早期步骤,减轻了标签噪声和教师模型的不准确预测,并且在保持基于事件的F分数的同时显著提高了基于片段的F分数。
2020-07-10 cs.SD eess.AS
Leveraging Unlabeled Audio-Visual Data in Speech Emotion Recognition using Knowledge Distillation
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对语音情感识别标注数据成本高的问题,提出基于知识蒸馏的LiSER框架,借助大型教师模型利用未标记音视频数据将情绪知识迁移到轻量学生模型,降低对标注数据的依赖。
2025-06-26 cs.HC cs.LG cs.MM
Visually Supervised Speaker Detection and Localization via Microphone Array
University of Surrey(萨里大学)
主动说话人检测(ASD)是一个多模态任务,旨在从一组候选人中识别谁在说话。用于ASD的当前视听方法通常依赖于视觉上预提取的面部轨迹(连续面部裁剪的序列)和相应的单声道音频。然而,他们的召回率往往是低的,因为只有可见的面孔包括在候选人的集合。单声道音频可以成功地检测语音活动的存在,但由于缺乏空间线索而无法定位说话者。我们的解决方案使用麦克风阵列扩展音频前端。我们训练一个音频卷积神经网络(CNN)结合波束成形技术,直接在视频帧中回归扬声器的水平位置。我们建议使用预训练的主动说话人检测器在预提取的人脸轨迹上生成弱标签。我们的管道采用了“学生-教师”模式,其中经过训练的“教师”网络用于在视觉上产生伪标签。“学生”网络是一个经过训练的音频网络,可以生成相同的结果。在推理时,学生网络可以直接从音频输入独立地定位视觉帧中的说话者。新收集的数据的实验结果证明,我们的方法显着优于各种其他基线以及教师网络本身。它也是一个优秀的语音活动检测器。
2022-03-07 cs.SD eess.AS eess.IV
Robust Active Speaker Detection in Noisy Environments
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种以音视频语音分离为引导、端到端联合优化的鲁棒主动说话人检测框架,并引入动态加权损失处理语音噪声,有效提升了噪声环境下的ASD性能。
2024-03-30 cs.CV cs.MM cs.SD
Music Augmentation and Denoising For Peak-Based Audio Fingerprinting
Deezer(迪泽公司)
本文针对噪声环境下音频指纹识别失效问题,提出并发布逼真音乐噪声增强流程及频谱图去噪深度学习模型,实验证明该模型能提升常用峰值指纹系统在噪声条件下的识别性能。
2023-10-29 cs.IR cs.LG cs.SD
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London(帝国理工学院);Meta Reality Labs Research(Meta现实实验室);Meta
视听语音增强的目的是从噪声环境中提取干净的语音,不仅利用音频本身,而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强,特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展,但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频,通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中,我们提出了LA-VocE,一种新的两阶段方法,通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图,然后使用神经声码器(HiFi-GAN)将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估,并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明,LA-VocE优于现有的方法,根据多个指标,特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition
Imperial College London(帝国理工学院伦敦分校);NatWest AI Research(NatWest人工智能研究)
提出VIB-AVSR,通过在LLM骨干中插入变分信息瓶颈层来正则化表示,无需架构修改或额外数据,即可在多种噪声条件下提升AVSR鲁棒性。
2026-06-28 cs.CV cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation(索尼集团公司);University of California San Diego(加州大学圣地亚哥分校)
近年来,已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而,有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外,现有数据集中提供的音频通常是在受控环境中记录的,这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中,我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁,学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练(CLIP)模型将输入查询编码成查询向量,然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的,但在测试时,我们可以在zero-shot设置中使用文本输入查询模型,这要归功于CLIP模型学习的联合语言-图像嵌入。此外,野外视频通常包含屏幕外声音和背景噪声,这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题,我们进一步提出了一种称为噪声不变训练的方法,用于在噪声数据上训练基于查询的声音分离模型。实验结果表明,所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频,甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Audio Signal Enhancement with Learning from Positive and Unlabelled Data
The University of Tokyo(东京大学)
针对音频信号增强中并行训练数据合成失真、干净信号难获取的问题,提出用噪声频谱块作正样本、含噪信号频谱块作无标记样本的PU学习方法,训练卷积神经网络分类频谱块以实现增强。
2023-04-26 cs.SD eess.AS
Global-Local Distillation Network-Based Audio-Visual Speaker Tracking with Incomplete Modalities
针对遮挡、噪声和传感器故障导致的多模态缺失问题,提出师生蒸馏驱动的GLDTracker,通过GAN全局特征重建与多级注意力融合实现鲁棒音视说话人跟踪。
2025-02-17 cs.CV cs.SD eess.AS
Wakeword Detection under Distribution Shifts
Alexa, Amazon(亚马逊Alexa)
我们提出了一种新的半监督学习(SSL)方法,旨在克服关键字定位(KWS)任务中出现的训练和真实世界数据之间的分布偏移。从训练数据分布的转变是现实世界的KWS任务的一个关键挑战:当一个新的模型部署在设备上时,接受的数据的门控经历了分布的转变,使得通过后续部署及时更新的问题变得困难。尽管有这种变化,我们假设标签上的边缘分布不会改变。我们利用修改后的教师/学生训练框架,标记的训练数据与未标记的数据增强。请注意,教师也不能访问新的分发版。为了有效地使用人类和教师标记数据的混合进行训练,我们开发了一种基于置信度统计的教师标记策略,以减少教师模型中标签分布的熵;然后对数据进行采样以匹配标签上的边缘分布。大规模实验结果表明,在远场音频上训练的卷积神经网络(CNN),并在从不同分布提取的远场音频上进行评估,在相等的错误拒绝率(FRR)下,错误发现率(FDR)获得了14.3%的相对改善,而在没有分布偏移的情况下,FDR获得了5%的改善。在更严重的分布偏移从远场到近场音频与一个较小的全连接网络(FCN),我们的方法实现了52%的相对改善,在FDR在相同的FRR,而产生一个20%的相对改善,在FDR的原始分布。
2022-07-13 cs.AI cs.LG cs.SD
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University(爱丁堡龙比亚大学计算学院);Center for Information Technology and Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
本文提出一种情感感知的音视频语音增强系统,通过从面部关键点提取情感特征并与音视频模态融合,输入基于UNet的编码器-解码器网络,在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS