Masking Kernel for Learning Energy-Efficient Representations for Speaker Recognition and Mobile Health
Worcester Polytechnic Institute(伍斯特理工学院)
针对智能手机语音采集与 DNN 推理的能耗问题,提出在训练中结合梯度下降、掩码函数和低通滤波器的掩码核,以优化语音长度与采样率,实现 57% 节能并保持检测性能。
2023-08-15 cs.SD eess.AS
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University(亚琛工业大学)
本文提出了,在多通道ASR的背景下,一种方法来适应基于掩模的,统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算,所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器,其中包括掩模估计网络,和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定,掩模估计网络因此可以通过再训练来微调。因此,感兴趣的说话者的话语可以在两遍方法中使用,以针对该特定说话者的语音特性优化波束成形。结果表明,这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外,估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
An Effective Energy Mask-based Adversarial Evasion Attacks against Misclassification in Speaker Recognition Systems
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(人工智能系,韩国大学,首尔,大韩民国)
本研究提出了一种基于能量掩码的对抗性逃避攻击方法,旨在提高语音识别系统中对抗攻击的有效性和音频质量。
2026-01-29 cs.CR cs.SD eess.AS
Optimization of Speaker Extraction Neural Network with Magnitude and Temporal Spectrum Approximation Loss
National University of Singapore(新加坡国立大学)
提出了一种基于SpeakerBeam-FE(SBF)的说话人提取方法。它试图克服的问题,未知数量的发言人在音频记录在源分离。SBF的掩蔽近似损失是次优的,它没有计算直接信号重构误差,也没有考虑语音上下文。为了解决这些问题,本文提出了一种幅度和时间谱近似损失估计的相位敏感掩模的目标说话人的说话人的特性。此外,本文探索了一种级联框架,而不是SBF方法中的上下文自适应深度神经网络,以将说话人嵌入到掩码估计网络中。开放评价条件下的实验结果表明,该方法在信失真比(SDR)和语音质量感知评价(PESQ)上分别比SBF基线提高了70.4%和17.7%。进一步的分析表明,69.1%和72.3%的相对SDR的改善所提出的方法获得不同和相同的性别混合。
2019-03-24 cs.CL cs.SD eess.AS
Signal-informed DNN-based DOA Estimation combining an External Microphone and GCC-PHAT Features
Jade University of Applied Sciences(雅德应用科学大学);University of Oldenburg(奥尔登堡大学)
针对麦克风阵列在多人环境中估计期望说话人的波达方向(DOA)问题,提出了一种基于麦克风阵列的信号通知方法。所提出的方法将二进制掩码应用于卷积神经网络的GCC-PHAT输入特征,其中二进制掩码基于外部麦克风信号的功率分布来计算。混响的情况下,多达四个干扰扬声器的实验结果表明,信号通知掩蔽提高定位精度,而不需要任何知识的干扰扬声器。
2022-06-11 cs.SD eess.AS
Discrete Unit based Masking for Improving Disentanglement in Voice Conversion
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对语音转换中说话人特征依赖语音内容、解耦效果受限的问题,提出输入层面对齐音素类的离散语音单元掩码机制,可适配各类编解码VC框架,显著提升解耦与转换性能,注意力类方法的客观可懂度相对提升44%。
2024-09-17 cs.LG cs.SD eess.AS
VoiceID Loss: Speech Enhancement for Speaker Verification
MIT Computer Science;Artificial Intelligence Laboratory, Cambridge, MA, USA
在本文中,我们提出了VoiceID损失,一个新的损失函数训练的语音增强模型,以提高说话人确认的鲁棒性。与用于语音增强的常用损失函数(例如L2损失)相比,VoiceID损失基于来自说话者验证模型的反馈以生成比率掩码。将生成的比率掩码逐点乘以原始频谱图,以过滤掉用于说话人验证的不必要分量。在实验中,我们观察到增强网络在使用VoiceID丢失进行训练后,能够忽略大量的时频点,例如那些由噪声主导的时频点,以进行验证。所得到的模型一致地提高了说话人确认系统在干净和嘈杂的条件。
2019-07-05 cs.SD eess.AS
META-CAT: Speaker-Informed Speech Embeddings via Meta Information Concatenation for Multi-talker ASR
NVIDIA(英伟达)
提出端到端多说话人ASR框架Meta-Cat,通过拼接说话人监督信息掩蔽编码器激活,同时支持多说话人和目标说话人识别,性能优异且架构精简。
2024-09-18 cs.SD eess.AS
Mask-based Neural Beamforming for Moving Speakers with Self-Attention-based Tracking
NTT Corporation(日本电信电话株式会社)
波束形成是一种强大的工具,旨在增强来自目标源方向的语音信号。计算波束成形滤波器需要估计源信号和噪声信号的空间协方差矩阵(SCM)。时频掩模通常用于计算这些SCM。基于掩模的波束形成的大多数研究都假设源不移动。然而,在实际应用中,源经常移动,这会导致性能下降。在本文中,我们解决的问题,基于掩模的波束形成运动源。我们首先回顾经典的方法来跟踪一个移动的源,它执行在线或块计算的SCM。我们表明,这些方法可以被解释为计算注意权重加权的瞬时SCM的总和。这些权重指示在SCM计算中要考虑信号的哪些时间帧。在线或分块计算假设一种启发式和确定性的方式来计算这些注意力权重,虽然简单,但可能不会产生最佳性能。因此,我们引入了一个基于学习的框架,计算波束成形的最佳注意力权重。我们使用一个带有自我注意层的神经网络来实现这一点。我们的实验表明,我们提出的框架可以大大提高波束形成的性能在移动源的情况下,同时保持高性能在非移动的情况下,从而使基于掩模的波束形成器的发展源运动鲁棒。
2022-05-07 cs.SD eess.AS
MC-SpEx: Towards Effective Speaker Extraction with Multi-Scale Interfusion and Conditional Speaker Modulation
Tsinghua University(清华大学);Tencent(腾讯);The Chinese University of Hong Kong(香港中文大学)
针对SpEx+对多尺度信息和说话人嵌入利用不足的问题,本文提出MC-SpEx说话人提取系统,通过设计多尺度融合器、交互掩码生成器及ConSM模块,在Libri2Mix数据集上实现了最先进的性能。
2023-06-28 cs.SD eess.AS
Applying Speech Tempo-Derived Features, BoAW and Fisher Vectors to Detect Elderly Emotion and Speech in Surgical Masks
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);University of Szeged(塞格德大学)
2020年INTERSPEECH计算副语言学挑战赛(ComparE)由三个子挑战组成,其中的任务是识别老年人说话者的唤醒水平和效价,确定实际说话者是否戴着外科口罩,以及估计说话者的实际呼吸。在我们对挑战的贡献中,我们专注于老年人情绪和面具子挑战。除了利用标准或接近标准的功能,如ComparE泛函,Bag-of-Audio-Words和Fisher向量,我们利用情绪与语速(即语速)。为了利用这一点,我们使用ASR系统执行语音级识别,并从输出中提取特征,如发音节奏,语音节奏和测量停顿量的各种属性。我们还假设戴着外科口罩会让说话者感到不安,导致语速变慢和更多犹豫;因此,我们也在口罩子挑战中尝试了相同的功能。虽然这一理论并没有被面具子挑战的实验结果所证明,但在老年人情绪子挑战中,我们在开发集和交叉验证中都获得了这种特征类型的显著改善的唤醒和效价值。
2020-08-07 cs.CL cs.SD eess.AS
LMD: A Learnable Mask Network to Detect Adversarial Examples for Speaker Verification
School of Marine Science and Technology, Northwestern Polytechnical University(海洋科学与技术学院,西北工业大学);Research & Development Institute of Northwestern Polytechnical University(西北工业大学研发院);Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学);Ocean Institute of Northwestern Polytechnical University(西北工业大学海洋学院)
本文提出可学习掩码检测器LMD,利用ASV分数变化检测对抗样本,仅需真实样本训练且具备可解释性,在12种攻击和两个ASV系统上优于五个基线方法。
2023-06-14 cs.LG cs.SD eess.AS
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而,这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题,这有几个缺点,包括信号的相位和幅度的解耦,用于语音分离的时频表示的次优性,以及计算频谱图的长延迟。为了解决这些缺点,我们提出了一个全卷积时域音频分离网络(Conv-TasNet),这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示,该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数(掩码)来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络(TCN)来找到掩码,这允许网络对语音信号的长期依赖性进行建模,同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外,Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模,这是通过客观失真测量和人类听众的主观质量评估来评估的。最后,Conv-TasNet具有更小的模型大小和更短的最小延迟,使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);University of Waterloo(滑铁卢大学);Oregon State University(俄勒冈州立大学)
语音表征学习提高了语音理解和语音合成任务的单一语言。然而,它在跨语言场景中的能力还没有被探索。在本文中,我们扩展了跨语言多说话人语音合成任务的预训练方法,包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架,在这个框架中,我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分,我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外,我们的框架对于训练和推理都是端到端的,无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中,我们的实验表明,我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Face Landmark-based Speaker-Independent Audio-Visual Speech Enhancement in Multi-Talker Environments
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Istituto Italiano di Tecnologia(意大利理工学院)
在本文中,我们解决的问题,增强感兴趣的演讲者在鸡尾酒会的情况下,当感兴趣的演讲者的视觉信息是可用的。与大多数以前的研究相反,我们没有在通常较小的视听数据集上学习视觉特征,而是使用已经可用的人脸地标检测器(在单独的图像数据集上训练)。基于LSTM的模型使用地标来生成应用于声学混合语音谱图的时频掩模。结果表明:(i)界标运动特征对于该任务是非常有效的特征,(ii)类似于先前的工作,通过掩蔽介导的目标说话者的声谱图的重建比直接声谱图重建明显更准确,以及(iii)最佳掩模取决于运动界标特征和输入混合语音声谱图两者。据我们所知,我们提出的模型是第一个在有限大小的GRID和TCD-TIMIT数据集上训练和评估的模型,它在多说话者环境中实现了与说话者无关的语音增强。
2019-05-02 cs.CL cs.LG cs.SD
OSSEM: one-shot speaker adaptive speech enhancement using meta learning
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所)
尽管深度学习(DL)在语音增强(SE)方面取得了显著的进展,但是仍然需要进一步的研究来使基于DL的SE系统有效地且高效地适应特定说话者。在这项研究中,我们提出了一种新的基于元学习的说话人自适应SE方法(称为OSSEM),旨在实现SE模型自适应在一个单一的方式。OSSEM由改进的Transformer SE网络和特定于说话人的掩蔽(SSM)网络组成。在实践中,SSM网络采用ECAPA-TDNN提取的注册说话人嵌入,通过掩蔽来调整输入的噪声特征。为了评估OSSEM,我们设计了一个修改后的语音银行DEMAND数据集,其中一个话语从测试集用于模型自适应,其余话语用于测试性能。此外,我们设置的限制,使增强过程中进行实时,从而设计OSSEM是一个因果SE系统。实验结果首先表明,OSSEM可以有效地适应一个预先训练的SE模型,以特定的扬声器只有一个发言,从而产生改进的SE结果。同时,OSSEM表现出竞争力的性能相比,国家的最先进的因果SE系统。
2021-11-10 cs.SD eess.AS
Classification of Speech with and without Face Mask using Acoustic Features
Department of Electrical and Computer Engineering National University of Singapore(新加坡国立大学电气与计算机工程系)
言语的理解和解释会受到各种外部因素的影响。口罩的使用就是这样一个因素,它会在交流时造成言语障碍。这可能导致语音处理的退化并影响人类的感知。知道说话者是否戴着面具可能对针对不同应用建模语音有用。有了这个动机,从给定的演讲中找出说话者是否戴着面具被列为计算副语言学评估(ComparE)2020的一项任务。我们研究了基于线性滤波器组、瞬时相位和长期信息的新的声学特征,这些特征可以捕获用于有和没有面罩的语音分类的伪影。这些声学特征与CompParE 2020的CompParE泛函、音频词袋、DeepSpectrum和auDeep特征的最新基线一起使用。这些研究揭示了声学特征的有效性,并且它们与ComparE 2020基线的得分水平融合导致测试集上73.50%的未加权平均召回率。
2020-10-08 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一个新的框架,共同执行三个任务:说话人日记,语音分离,说话人计数。我们提出的框架集成了基于端到端神经日记化(EEND)模型的说话人日记化,基于编码器-解码器的吸引子(EDA)的说话人计数,以及使用Conv-TasNet的语音分离。此外,我们提出了一个多个1x 1卷积层架构,用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术,用于细化分离的语音信号与获得的扬声器diarization信息,以改善联合框架。使用LibriMix数据集的实验表明,我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线,并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
Speech denoising by parametric resynthesis
The CUNY Graduate Center(纽约市立大学研究生中心);Brooklyn College(布鲁克林学院)
这项工作提出了使用干净的语音声码器参数作为目标的神经网络执行语音增强。这些参数已经被设计用于文本到语音合成,使得它们都产生高质量的再合成,并且还可以直接用神经网络建模,但是直到现在还没有被用于语音增强。与匹配的文本到语音系统相比,该系统给出了嘈杂语音的地面真实成绩单,我们的模型能够产生更自然的语音,因为它可以访问嘈杂语音中的真实韵律。在比较两个去噪系统,甲骨文维纳面具和基于DNN的面具预测器,我们的模型等于甲骨文维纳面具的主观质量和可懂度,并超越了现实的系统。一个基于声码器的上限表明,这种方法仍然有改进的空间,超越了甲骨文维纳掩码。我们用两个扬声器测试扬声器依赖性,并表明单个模型可用于多个扬声器。
2019-04-02 cs.LG cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
FedSpeech: Federated Text-to-Speech with Continual Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
提出基于持续学习的联邦文本到语音合成架构FedSpeech,通过渐进剪枝掩码、选择性掩码和私有说话人嵌入解决少样本与隐私挑战,在多说话人质量和相似度上表现优异。
2023-05-22 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University(信息科学与工程学院,山东大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题,提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架,在多基准上优于现有基线,兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Incorporating Spatial Cues in Modular Speaker Diarization for Multi-channel Multi-party Meetings
University of Science and Technology of China (USTC)(中国科学技术大学);iFlytek Research(讯飞研究院)
本文提出一种三阶段模块化说话人日志系统,利用多通道语音空间线索为NSD解码各阶段提供准确初始化,在CHiME-8 NOTSOFAR-1挑战赛中获第一名并提升了识别性能。
2024-09-25 cs.SD eess.AS
Exploratory Evaluation of Speech Content Masking
University of Southampton(南安普顿大学);Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Technical University Munich(慕尼黑工业大学);University of Avignon(阿维尼翁大学);Technical University of Denmark(丹麦技术大学)
本文探索语音内容掩码隐私问题,基于VQ-VAE和WaveRNN评估噪声替换、单词删除和音素序列反转等基线掩码技术对ASR和ASV下游任务的影响。
2024-01-08 cs.CR cs.LG cs.SD
Dilated U-net based approach for multichannel speech enhancement from First-Order Ambisonics recordings
Orange Labs(奥兰治实验室)
我们提出了一个CNN架构的语音增强从多通道一阶高保真度立体声复制混合。从基于掩码的方法推导出的数据相关的空间滤波器用于帮助自动语音识别引擎面对混响和竞争扬声器的不利条件。掩模预测由神经网络提供,在已知到达方向的假设下,馈入语音和噪声幅度谱的粗略估计。这项研究评估了在压力更大的条件下,用额外的第二个竞争性发言人替换先前由卷积U网研究的递归LSTM网络。我们发现,由于更准确的短期掩码预测,U-网络架构在字错误率方面带来了一些改善。此外,结果表明,在具有两个干扰扬声器的困难情况下,和/或在目标和干扰在角距离方面彼此接近的情况下,使用扩张卷积层是有益的。此外,这些结果的参数数量减少了两倍。
2020-06-02 cs.SD eess.AS eess.SP
Speaker independence of neural vocoders and their effect on parametric resynthesis speech enhancement
The Graduate Center, CUNY(纽约市立大学研究生院);Brooklyn College(布鲁克林学院)
传统的语音增强系统产生具有折衷质量的语音。在这里,我们建议使用高质量的语音生成能力的神经声码器更好的质量语音增强。我们称之为参数再合成(PR)。在以前的工作中,我们证明了PR系统使用两个神经声码器WaveNet和WaveGlow为单个扬声器生成高质量的语音。这两种声码器传统上都依赖于扬声器。在这里,我们首先表明,当训练足够多的说话者的数据时,这些声码器可以从看不见的说话者(男性和女性)生成语音,其质量与训练中看到的说话者相似。接下来,使用这两个声码器和一个新的声码器LPCNet,我们评估了PR对看不见的扬声器的降噪质量,并表明客观信号和整体质量高于最先进的语音增强系统Wave-U-Net,Wavenet-denoise和SEGAN。此外,在主观质量,多扬声器PR优于甲骨文维纳面具。
2019-11-14 cs.LG cs.SD eess.AS
Residual Tokens Enhance Masked Autoencoders for Speech Modeling
Inria at Univ. Grenoble Alpes, CNRS, LJK, France(Inria 与格勒诺布尔阿尔卑斯大学、CNRS、LJK 在法国)
RT-MAE通过引入残差可训练标记提升语音建模,增强语音重建质量与表达性,并适用于噪声抑制任务。
2026-01-27 cs.AI cs.SD
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司)
最近,自监督学习(SSL)在说话人识别中表现出了很强的性能,即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验,研究了自监督学习在说话人相关任务(如说话人确认)中的成功因素。我们在Voxceleb-1数据集上的实证结果表明,SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合,而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
LocSelect: Target Speaker Localization with an Auditory Selective Hearing Mechanism
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种基于听觉选择性机制的目标说话人定位算法LocSelect,通过生成说话人依赖的频谱图掩码消除干扰并利用LSTM提取目标位置,在低信噪比下显著提升了定位精度。
2023-10-17 cs.AI cs.SD eess.AS
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据,提高了标记效率,并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域,语言和模态,这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT,一个自监督学习框架,推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量,分离和理解上下文,并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%,在日记化上的DER降低了31%,并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University(哈利法大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学);University of Sharjah(沙迦大学)
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法,将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件,从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法,使用预先训练的深度神经网络掩码和语音VGG,在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能,在瑞尔森视听数据集(RAVDESS)、模拟和实际压力下的语音数据集(SUSAS)和阿拉伯口音语音数据集(ESD)上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Simultaneous Speech Extraction for Multiple Target Speakers under the Meeting Scenarios
School of Computer Science, Wuhan University(武汉大学计算机学院);Duke Kunshan University(昆山杜克大学);Data & AI Engineering System, OPPO(OPPO数据与人工智能工程系统)
针对会议场景多说话人语音分离问题,提出多目标语音分离模型MTSS及说话人日志感知系统SD-MTSS,利用TSVAD决策与估计掩码实现无需注册音频的并发语音提取,在多个数据集上显著提升了分离与识别性能。
2023-11-18 cs.SD eess.AS
Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);University of Oldenburg(奥尔登堡大学)
在多说话人环境下,语音增强算法的性能取决于正确识别要增强的目标说话人。听觉注意解码(AAD)方法允许从单次试验EEG记录中识别听者正在注意的目标说话者。针对增强目标说话人和抑制干扰说话人、混响和环境噪声的问题,本文提出了一种认知驱动的多麦克风语音增强系统,该系统结合了基于神经网络的掩蔽估计器、加权最小功率无失真响应卷积波束形成器和AAD。为了控制干扰扬声器的抑制,我们还提出了一个扩展,将干扰抑制约束。实验结果表明,该系统优于国家的最先进的认知驱动的语音增强系统在具有挑战性的混响和噪声条件。
2020-05-10 cs.SD eess.AS eess.SP
Improving Speech Representation Learning via Speech-level and Phoneme-level Masking Approach
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);School of Software, Fudan University(复旦大学软件学院)
恢复被掩蔽语音帧在语音表示学习中有着广泛的应用。然而,这些模型中的大多数在预训练中使用随机掩蔽。在这项工作中,我们提出了两种掩蔽方法:(1)语音级掩蔽,使模型掩蔽更多的语音段比沉默段,(2)音素级掩蔽,迫使模型掩蔽整个帧的音素,而不是音素片。我们通过这两种方法对模型进行了预训练,并对两个下游任务进行了评估,即音素分类和说话人识别。实验结果表明,所提出的掩蔽方法有利于提高语音表示的性能。
2022-10-25 cs.CL cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA(英伟达)
本文提出CONF-TSASR,一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构,通过CTC损失和尺度不变语谱图重建损失联合优化,在多个混合语音数据集上取得最先进的目标说话人词错误率,并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
LM-VC: Zero-shot Voice Conversion via Speech Generation based on Language Models
Northwestern Polytechnical University(西北工业大学);ByteDance(字节跳动)
本文提出 LM-VC,用两阶段语言建模完成零样本语音转换,通过掩码前缀 LM 保持内容并解耦音色,同时引入窗口注意力外部 LM 缓解采样误差。
2023-08-21 cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University(西北工业大学)
近年来,基于深度学习的自组织麦克风阵列的研究备受关注,特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域,以至于多个说话人可能相距很远并且独立地说话,所以目标相关语音分离(其目的是从混合语音中提取目标说话人)对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而,这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法,这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先,提出了一种基于说话人提取的有监督信道选择框架,该框架利用目标语音的话语级信噪比作为信道选择的依据。其次,我们将所选择的通道应用于基于深度学习的MVDR算法,其中,将单通道说话人提取算法应用于每个所选择的通道,以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
NeuroSpex: Neuro-Guided Speaker Extraction with Cross-Modal Attention
University of Bremen(不来梅大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本研究提出神经引导说话人提取模型NeuroSpex,以EEG反应为唯一辅助线索,通过新型EEG编码器和交叉注意力机制从单耳混合语音中提取注意言语,在公开数据集上多项指标优于基线。
2024-09-16 cs.AI cs.SD eess.AS
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
自监督学习(SSL)在单声道语音增强中取得了巨大的成功,但在现有的预处理任务下,目标语音估计的准确性,特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息,因此语音增强的潜在表征成为一项艰巨的任务。在本文中,我们研究了语音增强中常用的每个特征的有效性,并在SSL的情况下开发了特征组合。此外,我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示,同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外,为了研究预任务之间的有效性,我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性,这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
Cleanformer: A multichannel array configuration-invariant neural enhancement frontend for ASR in smart speakers
Google LLC(谷歌有限责任公司)
本研究提出适配不同麦克风阵列、无需重训的流式多通道ASR神经增强前端Cleanformer,基于conformer架构与自注意力生成时频掩码,在-6dB信噪比下相对WER降低约80%,性能优于理想导向波束形成方法。
2023-05-03 cs.SD eess.AS
CabinSep: IR-Augmented Mask-Based MVDR for Real-Time In-Car Speech Separation with Distributed Heterogeneous Arrays
Northwestern Polytechnical University(西北工业大学);Shanghai ZEEKR Blue New Energy Technology Co., Ltd.(上海ZEKR蓝新能源科技有限公司)
针对车内多说话人重叠语音导致ASR识别错误的问题,本文提出轻量级CabinSep方法,结合空间特征、推理阶段MVDR与IR数据增强,以极低计算量实现了优于SOTA模型的识别错误率降低效果。
2025-09-01 cs.AI cs.HC cs.SD
Exploring Disentanglement with Multilingual and Monolingual VQ-VAE
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心);National Institute for Informatics(国立情报学研究所)
这项工作研究的内容和实用性的分离电话和扬声器表示从两个单独训练的VQ-VAE系统:一个多语言数据和另一个单语数据训练。我们使用四个小的概念验证任务来探索多语言和单语言模型:复制合成,语音转换,语言代码切换和基于内容的隐私掩蔽。从这些任务中,我们反映如何解开电话和扬声器表示可以用来操纵语音在一个有意义的方式。我们的实验表明,VQ表示适合这些任务,包括通过将扬声器表示混合在一起来创建新的声音。我们还提出了我们的新技术来隐藏的内容,通过操纵电话VQ码的话语中的目标词,同时保留扬声器的身份和周围的话的可理解性。最后,我们讨论了进一步增加的可行性,解开表示的建议。
2021-06-28 cs.SD eess.AS
What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis
NTT Corporation(日本电信电话公司)
本文通过SUPERB探测任务和逐层跨模型对比分析,探究语音与说话人自监督模型的表征差异,发现内容表征与说话人表征能力关联弱、语音SSL部分层专于语言信息、说话人SSL重说话人表征而轻语言信息,为模型优化提供依据。
2024-01-31 cs.CL cs.SD eess.AS
Mask Detection and Breath Monitoring from Speech: on Data Augmentation, Feature Representation and Modeling
Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学);Lenovo Research(联想研究院);Sun Yat-sen University(中山大学)
本文介绍了我们在Interspeech COMPARE Challenge 2020中的面罩和呼吸子挑战的方法。对于面具检测任务,我们训练具有滤波器组能量、性别感知特征和说话者感知特征的深度卷积神经网络。支持向量机作为后端分类器,用于对提取的深度嵌入进行二进制预测。为了增加训练数据的数量和提高模型的鲁棒性,我们使用了几种数据增强方案,包括速度扰动、SpecAugment和随机擦除。对于语音呼吸监测任务,我们研究了基于Bi-LSTM结构的不同瓶颈特征。实验结果表明,我们提出的方法优于基线,并实现0.746 PCC和78.8%的UAR的呼吸和面具评估集,分别。
2020-08-14 cs.LG cs.SD eess.AS
MFCCA:Multi-Frame Cross-Channel attention for multi-speaker ASR in Multi-party meeting scenario
Northwestern Polytechnical University(西北工业大学);Zhejiang University(浙江大学)
最近,跨通道注意力,更好地利用来自麦克风阵列的多通道信号,在多方会议场景中显示出有希望的结果。跨通道的注意力集中在学习不同通道序列之间的全局相关性或在每个时间步有效地利用细粒度的通道信息。考虑到麦克风阵列接收声音的延迟,我们提出了一种多帧跨通道注意力,它模型相邻帧之间的跨通道信息,利用帧和通道的知识互补。此外,我们还提出了一种多层卷积机制来融合多通道输出和通道掩蔽策略,以解决训练和推理之间的通道数不匹配问题。在AliMeeting真实语料库上的实验表明,该模型在Eval和Test集上的CER降低率分别比单通道模型提高了31.7%和37.0%。此外,具有可比的模型参数和训练数据,我们提出的模型实现了一个新的SOTA性能的AliMeeting语料库相比,在ICASSP2022 M2MeT挑战赛,最近举行的多声道多扬声器ASR挑战赛的顶级系统。
2022-10-11 cs.SD eess.AS
Probing Self-supervised Learning Models with Target Speech Extraction
Brno University of Technology(布尔诺理工大学);NTT Corporation(NTT公司)
本文提出将目标语音提取作为评估预训练自监督学习模型的新下游任务,通过基于同一冻结SSL模型的两个轻量级模块同时实现说话人识别与语音分离,并在Libri2mix上验证了该任务对探究SSL模型的独特价值。
2024-02-17 cs.SD eess.AS
Deep Speech Denoising with Vector Space Projections
Lab41(Lab41实验室);In-Q-Tel(In-Q-Tel公司)
我们提出了一种算法,从一个单一的麦克风在非平稳和动态噪声的存在下去噪扬声器。我们的方法受到最近成功的神经网络模型的启发,该模型将扬声器与其他扬声器和歌手与乐器伴奏分开。与现有技术不同,我们利用利用源对比估计产生的嵌入空间,源对比估计是从自然语言处理中的负采样技术导出的技术,同时获得连续推理掩码。我们的嵌入空间直接优化的歧视扬声器和噪声共同建模他们的特点。这个空间是可推广的,因为它不是特定于说话者或噪声的,并且即使模型在训练集中没有看到说话者,也能够对语音进行去噪。参数的训练有两个目标:一个是促进选择性带通滤波器,消除超过信号功率的时频位置处的噪声,另一个是按比例分割信号和噪声之间的时频内容。我们比较国家的最先进的算法,以及传统的稀疏非负矩阵分解的解决方案。由此产生的算法避免了严重的计算负担,提供了一个更直观,更容易优化的方法,同时实现竞争力的准确性。
2018-04-27 cs.AI cs.SD eess.AS
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI(亚马逊 AWS 人工智能)
我们介绍BERTphone,一个Transformer编码器训练的大型语音语料库,输出语音感知的上下文表示向量,可用于扬声器和语言识别。这是通过对两个目标的训练来实现的:第一个目标,受BERT适应连续域的启发,涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标,受ASR瓶颈特征的成功启发,是应用于音素标签的序列级CTC损失,用于语音表示学习。我们预训练了两个BERTphone模型(一个在Fisher上,一个在TED-LIUM上),并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中,我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中,我们看到在BERTphone向量而不是MFCC上训练时,说话人EER相对降低了18%。一般来说,BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg(汉堡大学)
目标语音分离是指通过条件化有关目标说话人的辅助信息,从多说话人混合信号中分离出目标语音。不同于主流的视听方法,通常需要同时的视觉流作为额外的输入,例如相应的嘴唇运动序列,在我们的方法中,我们提出了一种新的使用目标扬声器的一个单一的面部轮廓,以分离预期的干净的语音。我们利用的事实是,一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比,面部图像更容易通过预注册或在网站上获得,这使得系统能够推广到没有摄像头的设备。为此,我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中,从而指导系统在时频域中预测目标说话人掩码。实验结果表明,预注册的人脸图像能够有利于分离预期的语音信号。此外,人脸信息是语音参考的补充,我们表明,当结合人脸和语音嵌入时,可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
AnCoGen: Analysis, Control and Generation of Speech with a Masked Autoencoder
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院);Grenoble INP(格勒诺布尔理工学院);Télécom Paris(巴黎电信学院);Institut polytechnique de Paris(巴黎综合理工学院)
提出 AnCoGen 模型,利用掩码自编码器统一语音属性分析、可控生成与增强,并在多项语音任务中验证其有效性。
2025-01-09 cs.AI cs.SD eess.AS
CampNet: Context-Aware Mask Prediction for End-to-End Text-Based Speech Editing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于文本的语音编辑器允许通过直观的剪切、复制和粘贴操作来编辑语音,以加快编辑语音的过程。然而,当前系统的主要缺点是,由于剪切-复制-粘贴操作,编辑后的语音通常听起来不自然。此外,如何根据一个没有出现在成绩单中的新词来合成记录也不明显。本文提出了一种新的端到端的基于文本的语音编辑方法,称为上下文感知掩码预测网络(CampNet)。该模型通过随机掩蔽部分语音,然后通过感知语音上下文来预测掩蔽区域,从而模拟基于文本的语音编辑过程。它可以解决编辑区域中的不自然韵律,并合成与转录本中未见过的单词相对应的语音。其次,针对基于文本的语音编辑的可能操作,设计了基于CampNet的三种基于文本的操作:删除、插入和替换。这些操作可以涵盖语音编辑的各种情况。第三,针对长文本插入和替换时的语音合成问题,提出了一种词级自回归生成方法。第四,提出了一种基于CampNet的单句说话人自适应方法,并探索了基于CampNet的少样本学习能力,为语音伪造任务提供了新的思路。在VCTK和LibriTTS数据集上进行的主观和客观实验表明,基于CampNet的语音编辑效果优于TTS技术、人工编辑和VoCo方法。我们还进行了详细的烧蚀实验,以探讨其性能的CampNet结构的影响。实验结果表明,单句话的说话人自适应可以进一步提高语音的自然度。生成的语音的示例可以在https://hairuo55.github.io/CampN…
2022-03-22 cs.CL cs.SD eess.AS
Investigation of Zero-shot Text-to-Speech Models for Enhancing Short-Utterance Speaker Verification
Tsinghua University(清华大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Cambridge(剑桥大学)
本研究首次探索将零样本文本转语音系统用于短语音说话人验证的测试时数据增强,在VoxCeleb 1数据集上实验证实可显著降低等错误率,同时指出合成语音的局限性,为相关研究提供参考。
2025-06-17 cs.SD
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology(格拉茨技术大学);Ruperts Karls University(海德堡大学)
虽然机器学习技术传统上是资源密集型的,但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中,我们提供了一种基于深度神经网络(DNN)的多通道语音增强的资源高效方法。特别是,我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应(MVDR)或广义特征值(GEV)波束形成器。在二进制权重和精度降低的激活的极端情况下,可以显著减少执行时间和内存占用,同时仍然获得几乎与单精度DNN相当的音频质量,并且使用WSJ0语音语料库的单个说话者场景的字错误率(WER)略高。
2020-07-22 cs.LG cs.SD eess.AS
End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction
MERL(三菱电机研究实验室)
本文提出了一种用于单通道说话者无关多说话者语音分离的端到端方法,其中时频(T-F)掩蔽、短时傅立叶变换(STFT)及其逆变换被表示为深度网络中的层。先前的方法不是计算重构信号的损失,而是使用基于目标STFT幅度的替代损失。这忽略了由相位不一致性引入的重构误差。在我们的方法中,损失函数直接定义在重建的信号,这是最佳的分离优化。此外,我们训练通过展开迭代的相位重建算法,表示为一系列的STFT和逆STFT层。虽然对于使用混合相位进行重建的方法,掩模值通常被限制在零和一之间,但是如果估计的幅度要与相位重建一起使用,则这种限制不太相关。因此,我们提出了几个新的激活函数的输出层的T-F掩蔽,允许掩码值超过1。在公开的wsj 0 - 2 mix数据集上,我们的方法实现了最先进的12.6 dB尺度不变信号失真比(SI-SDR)和13.1 dB SDR,揭示了基于深度学习的相位重建的新可能性,并代表了解决众所周知的鸡尾酒会问题的根本性进展。
2018-04-26 cs.CL cs.LG cs.SD