Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学)
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中,与语音自然同步的协同语音手势也有助于语音感知。在这项工作中,我们探索使用共同的语音手势序列,例如手和身体的动作,作为说话人提取的说话人线索,这可以很容易地从低分辨率的视频记录中获得,因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索,以执行专注的听目标扬声器,一个隐式融合的共同语音手势线索在扬声器提取过程中,另一个执行语音分离第一,然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明,协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
Listen only to me! How well can target speech extraction handle false alarms?
NTT Corporation(NTT公司);Brno University of Technology(布尔诺理工大学)
目标语音提取(TSE)是在给定表征说话人的辅助线索(例如登记话语)的情况下,从混合语音中提取目标说话人的语音。因此,TSE解决了同时执行分离和说话人识别的挑战性问题。随着神经网络在语音增强和分离方面的发展,语音信号的提取性能也有了很大的提高。大多数研究都集中在处理目标说话人主动说话的混合声。然而,目标说话者在实践中有时是沉默的,即,非活动扬声器(IS)。典型的TSE系统将倾向于在IS情况下输出信号,从而导致错误警报。这对于TSE系统的实际部署是一个严重的问题。本文旨在更好地了解TSE系统如何处理IS案件。我们考虑两种方法来处理IS,(1)训练系统直接输出零信号或(2)检测IS与额外的说话人验证模块。我们使用LibriMix数据集在提取性能和IS检测方面对这些方案进行了广泛的实验比较,并揭示了它们的优缺点。
2022-07-14 cs.SD eess.AS
On the effectiveness of enrollment speech augmentation for Target Speaker Extraction
The Hong Kong Polytechnic University(香港理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
该研究针对训练数据不足时目标说话人提取算法的泛化与鲁棒性问题,探究注册语音增强的有效性,提出自估计语音增强(SSA)方法,在Libri2Mix测试集上最高实现2.5 dB的性能提升。
2024-09-15 cs.SD eess.AS
Probing Self-supervised Learning Models with Target Speech Extraction
Brno University of Technology(布尔诺理工大学);NTT Corporation(NTT公司)
本文提出将目标语音提取作为评估预训练自监督学习模型的新下游任务,通过基于同一冻结SSL模型的两个轻量级模块同时实现说话人识别与语音分离,并在Libri2mix上验证了该任务对探究SSL模型的独特价值。
2024-02-17 cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
当测试语音被干扰说话人破坏时,说话人确认的性能会显著下降。如果说话人在时间上重叠,说话人日记可以很好地分离说话人。然而,如果多个说话者同时说话,我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地,给定目标说话人信息,首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后,提取的语音被传递到说话人验证系统。实验结果表明,该方法显著提高了重叠多说话人说话人确认的性能,相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University(信息科学与工程学院,山东大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题,提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架,在多基准上优于现有基线,兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Beyond Speaker Identity: Text Guided Target Speech Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Prime Video(亚马逊Prime Video)
针对传统目标语音提取依赖说话人身份显式线索的局限,提出融合语音风格文本描述的StyleTSE模型,搭配新建的TextrolMix数据集,实现基于身份和说话风格的语音提取,提升了线索缺失场景下的性能。
2025-01-15 cs.SD eess.AS
Enroll-on-Wakeup: A First Comparative Study of Target Speech Extraction for Seamless Interaction in Real Noisy Human-Machine Dialogue Scenarios
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound人工智能技术有限公司)
提出Enroll-on-Wakeup框架,利用唤醒词片段作为注册参考,无需预录语音,实现无缝交互;首次系统比较了判别式和生成式模型在真实噪声条件下的性能,并探索了基于LLM的TTS注册增强。
2026-06-08 cs.SD eess.AS
Supervised Speech Representation Learning for Parkinson's Disease Classification
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
最近提出的自动病理语音分类技术使用无监督的自动编码器,以获得一个高层次的抽象表示的语音。由于这些表示是基于重建输入来学习的,因此不能保证它们对诸如说话者身份信息之类的与病理无关的线索是鲁棒的。此外,这些表示对于病理检测不一定是有区别的。在本文中,我们利用监督自动编码器提取强大的和歧视性的语音表示帕金森氏病分类。为了减少与病理学无关的说话人变量的影响,我们建议通过对抗训练自动编码器和说话人识别任务来获得说话人身份不变的表示。为了获得有区别的表示,我们建议联合训练自动编码器和病理语音分类器。在西班牙语数据库上的实验结果表明,所提出的监督表示学习方法产生更强大的和歧视性的表示自动分类帕金森氏病的语音,优于基线无监督表示学习系统。
2021-07-21 cs.SD eess.AS
NEST: Self-supervised Fast Conformer as All-purpose Seasoning to Speech Processing Tasks
NVIDIA(英伟达)
提出NEST,一种基于FastConformer的高效自监督语音学习框架,采用固定随机投影和噪声增强,在多项语音任务上达到最先进性能。
2025-01-18 cs.SD eess.AS
Improved Feature Extraction Network for Neuro-Oriented Target Speaker Extraction
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);National University of Singapore(新加坡国立大学);University of Science and Technology of China (USTC)(中国科学技术大学)
本文提出IFENet,通过双路径Mamba语音编码器和KAN脑电编码器提取特征,利用EEG注意力信息定位目标说话人,在KUL和AVED数据集上取得显著性能提升。
2025-01-03 cs.SD eess.AS
Contextual Speech Extraction: Leveraging Textual History as an Implicit Cue for Target Speech Extraction
Meta AI;Imperial College London(帝国理工学院)
本文提出仅利用文本对话历史作为隐式线索的上下文语音提取(CSE)方法,设计三种模型并在三个数据集上验证,仅两轮历史即可达到90%以上准确率,且可与注册语音结合进一步提升性能。
2025-03-11 cs.LG cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Brno University of Technology(布尔诺理工大学)
目标语音提取是指在给定目标说话人信息的情况下,从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam,它利用目标说话者的自适应话语来提取他/她的声音特征,然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案,因为它能够跨话语跟踪目标说话人的语音,并实现有希望的语音提取性能。然而,当说话人具有相似的语音特征时,例如在同性混合中,它有时会失败,因为很难区分目标说话人和干扰说话人。在本文中,我们调查的战略,提高扬声器的区分能力的SpeakerBeam。首先,我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络(TasNet),它已经实现了最先进的语音分离性能。此外,我们还研究了(1)当麦克风阵列记录可用时,使用空间特征来更好地区分说话者,(2)添加辅助说话者识别损失,以帮助学习更多有区别的语音特征。我们的实验表明,这些策略大大提高了语音提取的性能,特别是对于同性混合,并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们提出了一种新的多通道语音提取系统,同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上,采用说话人嵌入来识别和提取多个目标,而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型,我们提出了一个新的扬声器调节机制,通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR!数据表明,在强多通道基线上,所提出的系统相对于源分离性能提高了9%,并且相对于相同基线,它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University(西北工业大学)
近年来,基于深度学习的自组织麦克风阵列的研究备受关注,特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域,以至于多个说话人可能相距很远并且独立地说话,所以目标相关语音分离(其目的是从混合语音中提取目标说话人)对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而,这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法,这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先,提出了一种基于说话人提取的有监督信道选择框架,该框架利用目标语音的话语级信噪比作为信道选择的依据。其次,我们将所选择的通道应用于基于深度学习的MVDR算法,其中,将单通道说话人提取算法应用于每个所选择的通道,以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology(布尔诺理工大学);NTT Corporation(日本电信电话株式会社)
近年来,语音盲分离和目标语音提取的性能有了很大的提高。然而,大多数工作集中在相对良好控制的条件下,例如,读演讲稿。在更现实的情况下,性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性,如情绪,通常发生在现实的语音。在本文中,我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库(RAVDESS)。通过控制实验,分析不同情绪对BSS和TSE绩效的影响。我们观察到,BSS是相对强大的情绪,而TSE,它需要识别和提取的语音的目标扬声器,是更敏感的情绪。在比较说话人确认实验中,我们发现,识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果,我们概述了未来可能的方向,可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University(西安交通大学)
本文提出AVSepChain,将音视频目标语音提取分为语音感知与生成两阶段,通过交换音视频模态主导地位并引入对比语义匹配损失,缓解模态不平衡,在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction
Du Xiaoman(度小满)
针对目标语音提取中的说话人混淆问题,提出自监督解耦表示学习方法,通过两阶段网络分离说话人身份信息,并引入自适应调制Transformer进行条件指导,有效降低了说话人混淆率。
2024-08-24 cs.AI cs.LG cs.SD
Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training
National Taiwan University(国立台湾大学);University of Edinburgh(爱丁堡大学)
语音分离已经得到了很好的发展,非常成功的排列不变训练(PIT)的方法,虽然频繁的标签分配切换发生在PIT训练过程中仍然是一个问题,当需要更好的收敛速度和可实现的性能。在本文中,我们建议进行自我监督的预训练,以稳定训练语音分离模型中的标签分配。在几种自监督方法、几种典型的语音分离模型和两个不同的数据集上的实验表明,如果选择适当的自监督方法,可以取得很好的效果。
2021-08-22 cs.CL cs.SD eess.AS
Enhanced Neural Beamformer with Spatial Information for Target Speech Extraction
Ocean University of China(中国海洋大学);Xiaomi Inc.(小米公司)
本文提出一种结合空间信息的目标语音提取网络,通过引入UNet-TCN结构提升语音预分离精度,并利用多头交叉注意力机制增强神经波束形成器对空间信息的感知,有效提升了语音分离性能。
2023-06-28 cs.AI cs.SD eess.AS
Two-stage Framework for Robust Speech Emotion Recognition Using Target Speaker Extraction in Human Speech Noise Conditions
Nagoya University(名古屋大学)
针对噪声下语音情感识别受人类语音干扰的问题,提出级联目标说话人提取与情感识别的两阶段框架,联合训练提升未加权准确率14.33%,尤其擅长不同性别混合场景。
2024-12-17 cs.CL cs.SD eess.AS
Muse: Multi-modal target speaker extraction with visual cues
University of Bremen(不来梅大学)
说话人提取算法依靠目标说话人的语音样本作为参考点来集中注意力。这种参考语音通常是预先录制的。另一方面,语音和嘴唇运动之间的时间同步也可以作为一个信息线索。基于这一思想,我们研究了一种新的技术,使用语音唇视觉线索直接从混合语音中提取参考目标语音在推理时间,而不需要预先录制的参考语音。我们提出了一个多模态说话人提取网络,名为MuSE,这是只对嘴唇图像序列的条件。MuSE不仅在SI-SDR和PESQ方面优于其他竞争基准,而且在跨数据集评估方面也显示出持续的改进。
2021-02-10 cs.MM cs.SD eess.AS
Neural Speech Extraction with Human Feedback
University of Washington(华盛顿大学);Sesame AI
本文提出首个基于人类反馈的神经目标语音提取系统,通过用户标记生成编辑掩码进行迭代细化,实验表明该方法能有效提升提取性能并获得用户偏好。
2025-08-05 cs.LG cs.SD eess.AS
Coarse-to-Fine Recursive Speech Separation for Unknown Number of Speakers
The Chinese University of Hong Kong(香港中文大学)
绝大多数语音分离方法都假设说话者的数量是预先已知的,因此它们特定于说话者的数量。相比之下,一个更现实和更具挑战性的任务是分离一个混合,其中说话人的数量是未知的。将说话人个数未知的语音分离问题转化为多通道源提取问题,提出了一种由粗到精的递归语音分离方法。该方法包括两个阶段,即递归线索提取和目标说话人提取。递归提示提取阶段确定需要执行多少次计算迭代,并通过监视混合中的统计数据来输出粗略提示语音。随着递归迭代次数的增加,失真的累积最终进入提取的语音和提醒。因此,在第二阶段,我们使用一个目标说话人提取网络提取一个精细的语音的基础上,粗目标线索和原始的无失真的混合。实验表明,该方法在不同数量的说话人的WSJ0数据集上取得了最佳的性能。此外,它很好地推广到一个看不见的大量发言者。
2022-03-30 cs.LG cs.SD eess.AS
DDTSE: Discriminative Diffusion Model for Target Speech Extraction
Microsoft(微软)
针对多说话人带噪场景下目标语音提取研究不足、传统扩散模型推理慢的问题,提出DDTSE判别式扩散模型,采用扩散前向过程加判别式重构损失与两阶段训练策略,兼具更高音质与3倍推理提速,还可提升现有判别式模型性能。
2024-10-06 cs.LG cs.SD eess.AS
Strategies to Improve Robustness of Target Speech Extraction to Enrollment Variations
NTT Corporation(日本电报电话公司)
目标语音提取是一种利用预先记录的表征目标说话人语音特征的登记话语从混合信号中提取目标说话人语音的技术。目标语音提取的一个主要困难在于处理“说话者内”特征的可变性,即,目标语音与登记话语之间的特征失配。虽然大多数常规方法集中于在给定一组登记话语的情况下改善{ \it平均性能},但在此我们提出保证{ \it最差性能},我们相信这具有很大的实际重要性。在这项工作中,我们提出了一个评估指标,称为最坏的注册源失真比(SDR),以定量地衡量对注册变化的鲁棒性。我们还介绍了一种新的训练方案,旨在通过专注于训练难以注册的情况下,提取不表现良好,直接优化最坏情况下的性能。此外,我们调查的有效性,辅助扬声器识别损失(SI损失)作为另一种方式来提高鲁棒性超过注册。实验验证表明,最差注册目标训练和SI损失训练的有效性,以提高对注册变化的鲁棒性,通过增加说话人的可辨别性。
2022-06-16 cs.SD eess.AS eess.SP
Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们介绍了一种新的半监督学习框架的端到端的语音分离。该方法首先使用未分离源的混合物和混合不变训练(MixIT)准则来训练教师模型。然后,教师模型估计分离的源,这些源用于通过标准排列不变训练(PIT)来训练学生模型。学生模型可以用监督数据进行微调,即,配对的人工混合物和干净的语音源,并通过模型蒸馏进一步改进。单通道和多通道混合的实验表明,师生培训解决了在原始MixIT方法中观察到的过度分离问题。此外,半监督的性能与使用十倍的监督数据量训练的全监督分离系统相当。
2021-09-09 cs.CL cs.SD eess.AS
SpeechGLUE: How Well Can Self-Supervised Speech Models Capture Linguistic Knowledge?
NTT Corporation(NTT公司)
本文提出SpeechGLUE基准以评估语音自监督模型捕捉语言学知识的能力,实验表明语音SSL模型虽不及文本模型,但优于基线,能从无标签语音数据中获取一定的通用语言学知识。
2024-08-27 cs.CL cs.SD eess.AS
Breaking Shortcut Learning for Cross-Trial EEG-Guided Target Speech Extraction via Two-Stage Training
Department of Intelligence and Information(智能信息系);Seoul National University(首尔国立大学);Department of Communication Sciences and Disorders(沟通科学与障碍系);University of Iowa(爱荷华大学);Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Artificial Intelligence Institute(人工智能研究所)
针对EEG引导目标语音提取中模型依赖试验特定结构导致泛化差的问题,提出两阶段框架TRUST-TSE,通过对比预训练和置信加权提取目标抑制捷径学习,在跨试验协议下优于端到端基线。
2026-06-24 cs.AI cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司)
最近,自监督学习(SSL)在说话人识别中表现出了很强的性能,即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验,研究了自监督学习在说话人相关任务(如说话人确认)中的成功因素。我们在Voxceleb-1数据集上的实证结果表明,SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合,而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Exploring a Single Autoregressive LLM for Unified Target Speech Extraction across Synchronous and Asynchronous Cues
TSE-Omni利用单一自回归LLM,通过自注册的下一令牌预测统一处理同步和异步线索的目标语音提取,在干净和损坏视觉下均保持高性能,支持流式推理。
2026-09-25 cs.MM cs.SD eess.AS
Using Optimal Ratio Mask as Training Target for Supervised Speech Separation
Inner Mongolia University(内蒙古大学)
监督语音分离使用监督学习算法来学习从输入噪声信号到输出目标的映射。随着深度学习的快速发展,有监督语音分离已成为近年来语音分离领域的重要研究方向。对于有监督算法,训练目标对算法性能有重要影响。理想比率模板是一种常用的训练目标,它可以提高语音可懂度和分离语音的质量。然而,它没有考虑噪声和干净语音之间的相关性。在本文中,我们使用最佳比率掩模作为训练目标的深度神经网络(DNN)的语音分离。实验在各种噪声环境和信噪比条件下进行。实验结果表明,最优比例掩模总体上优于其他训练目标。
2017-09-04 cs.CL cs.SD
ConceptBeam: Concept Driven Target Speech Extraction
NTT Corporation(日本电信电话株式会社)
我们提出了一个新的框架,目标语音提取的语义信息的基础上,称为ConceptBeam。目标语音提取是指从混合语音中提取目标说话人的语音。典型的方法已经利用音频信号的属性,诸如谐波结构和到达的波达方向。相比之下,ConceptBeam通过语义线索来解决问题。具体地说,我们提取说话者谈论一个概念的语音,即,感兴趣的主题,使用概念说明符,如图像或语音。解决这个新问题将为创新应用打开大门,例如专注于对话中讨论的特定主题的听力系统。与关键字不同,概念是抽象的概念,这使得直接表示目标概念具有挑战性。在我们的方案中,一个概念被编码为一个语义嵌入的概念说明映射到一个共享的嵌入空间。这种独立于模态的空间可以通过深度度量学习来构建,使用由图像及其语音字幕组成的配对数据。我们用它来桥接模态相关信息,即,混合物中的语音片段以及指定的模态无关概念。作为我们的方案的证明,我们进行了实验,使用一组与口头字幕相关的图像。也就是说,我们从这些语音字幕生成语音混合,并使用图像或语音信号作为概念说明符。然后,我们提取的目标语音使用的声学特性的识别段。我们比较ConceptBeam与两种方法:一种是基于从识别系统中获得的关键字,另一种是基于声源分离。我们表明,ConceptBeam明显优于基线方法,并有效地提取语音的语义表示的基础上。
2022-07-25 cs.LG cs.MM cs.SD
Supervised Speech Separation Based on Deep Learning: An Overview
The Ohio State University(俄亥俄州立大学);Northwestern Polytechnical University(西北工业大学);Baidu Research(百度研究院)
语音分离是将目标语音从背景干扰中分离出来的任务。传统上,语音分离是作为信号处理问题来研究的。最近的方法将语音分离公式化为监督学习问题,其中从训练数据学习语音、说话者和背景噪声的判别模式。在过去的十年中,许多监督分离算法被提出。特别是,最近将深度学习引入到监督语音分离中,大大加快了进展并提高了分离性能。本文综述了近几年来基于深度学习的有监督语音分离的研究进展。首先介绍了语音分离的背景和监督分离的概念。然后,我们讨论了监督分离的三个主要组成部分:学习机,训练目标和声学特征。大部分概述是关于分离算法的,我们回顾了单声道方法,包括语音增强(语音-非语音分离),扬声器分离(多说话者分离)和语音去混响,以及多麦克风技术。推广的重要问题,独特的监督学习,进行了讨论。这一概述提供了一个历史的角度来看,如何取得进展。此外,我们还讨论了一些概念问题,包括什么构成目标源。
2018-06-15 cs.CL cs.LG cs.NE
Incorporating Linguistic Constraints from External Knowledge Source for Audio-Visual Target Speech Extraction
Department of SEEM(SEEM系);SRIBD, School of Data Science(数据科学学院);School of Intelligence Science and Technology(智能科学与技术学院);Department of ECE(电子工程系)
受人类利用语言知识辅助语音感知启发,本研究提出将预训练语音语言模型、预训练语言模型的语言约束作为额外监督信号融入视听目标语音提取模型,推理无额外成本,在多场景下均稳定提升语音质量与可懂度。
2025-06-15 cs.LG cs.MM cs.SD
VorTEX: Various overlap ratio for Target speech EXtraction
Department of Artificial Intelligence, Chung-Ang University, Republic of Korea(人工智能系, Chung-Ang 大学,韩国)
VorTEX通过Decoupled Adaptive Multi-branch融合模块实现了目标语音提取,针对不同重叠比构建PORTE数据集,并提出SuRe指标,实验显示其在20%-100%重叠比下分离效果最佳,无抑制残留干扰。
2026-03-23 cs.AI cs.CL cs.SD
Real-time Speech Extraction Using Spatially Regularized Independent Low-rank Matrix Analysis and Rank-constrained Spatial Covariance Matrix Estimation
The University of Tokyo(东京大学);The National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文提出一种基于ILRMA和RCSCME的实时语音提取方法,通过引入两种空间正则化器提升扩散噪声环境下的提取性能,实验验证了其实时性和有效性。
2024-03-19 cs.SD eess.AS
Efficient Independent Vector Extraction of Dominant Target Speech
当只需要一个特定目标说话人的语音时,由盲声源分离执行的完全分解在计算上是苛刻的并且是多余的。在本文中,我们提出了一种计算效率的盲语音提取方法的基础上,通常使用的独立向量分析算法的适当修改,温和的假设下,感兴趣的信号的平均功率超过干扰语音源。考虑到最小失真原则不能实现,因为完整的混合矩阵是不可用的,我们还设计了一个单位的缩放操作来解决缩放模糊。仿真结果验证了该方法在提取语音主导成分方面的有效性。
2020-08-01 cs.SD eess.AS
Target Speech Extraction with Conditional Diffusion Model
NTT Corporation(日本电报电话公司)
针对多人混合语音中的目标说话人提取问题,提出以说话人线索为条件的扩散模型,并引入集成推理减少误差,在Libri2mix上优于判别式TSE系统。
2023-08-17 cs.SD eess.AS
USEV: Universal Speaker Extraction with Visual Cue
National University of Singapore(新加坡国立大学);Tianjin University(天津大学);the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学);Kriston AI(Kriston人工智能)
说话人提取算法试图从多说话人语音混合中提取目标说话人的语音。现有的研究主要集中在从高度重叠的多说话人混合语音中提取说话人。然而,在自然语音通信中,目标说话人与干扰说话人的重叠率可能在0%~ 100%的范围内变化,而且目标说话人可能不存在于语音混合中,因此将这种通用多说话人情况下的语音混合描述为通用语音混合。说话人提取算法需要辅助参考,例如视频记录或预先录制的语音,以形成对目标说话人的自上而下的听觉注意。我们提倡视觉提示,即,嘴唇运动比音频提示更能提供信息,即,预先录制的语音,作为辅助参考的讲话者提取在解开目标说话者从一个一般的语音混合。在本文中,我们提出了一个通用的说话人提取网络与视觉提示,适用于所有多说话人的情况。此外,我们提出了一个基于目标感知的差异化损失函数用于网络训练,以平衡不同目标-干扰说话人配对场景下的网络性能。实验结果表明,我们提出的方法优于各种竞争基线的一般语音混合信号的保真度。
2022-08-30 cs.SD eess.AS
All Neural Low-latency Directional Speech Extraction
Meta Platforms Inc.(元平台公司)
本文提出一种全神经低延迟定向语音提取模型,通过从零训练DOA嵌入并与循环神经网络融合,实现高帧率下对动态声学场景的快速适应和鲁棒提取。
2024-07-05 cs.SD eess.AS
Speaker activity driven neural speech extraction
NTT Corporation(日本电报电话公司);Brno University of Technology(布尔诺理工大学);IT4I Center of Excellence(IT4I卓越中心)
目标语音提取,即在给定辅助说话人线索的情况下,从混合语音中提取目标说话人的语音,近来受到越来越多的关注。已经调查了各种线索,例如预先录制的注册话语、方向信息或目标说话者的视频。在本文中,我们探索使用说话人活动信息作为辅助线索的单通道神经网络的语音提取。我们提出了一个说话人活动驱动的语音提取神经网络(ADeNet),并表明它可以实现性能水平的竞争力与基于注册的方法,而不需要预先录制。我们进一步证明了所提出的方法的潜力,用于处理类似会议的录音,其中的扬声器活动是从日记系统。我们表明,这种简单而实用的方法可以成功地提取扬声器后,日记,从而提高ASR性能,特别是在高重叠的条件下,与相对字错误率降低高达25%。
2021-02-09 cs.SD eess.AS
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo(东京大学)
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据,因此其不能充分地表示真实数据的声学失真,从而限制了适用性。我们的模型包括分析,合成和通道模块,模拟退化语音的记录过程,并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征,而合成模块合成恢复的语音波形,并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输,其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明,我们的方法实现了显着更高质量的语音恢复比以前的监督方法,表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University(名古屋大学)
我们研究了用于自动语音识别(ASR)的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练,但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练,然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习(SSL),它只使用语音数据训练网络,在训练数据要求方面提供了更大的灵活性,并允许在预训练中使用更多的语音数据。我们研究SSL框架,如wav2vec 2.0和WavLM模型使用不同的设置,并比较它们的性能与不同的监督预训练设置,使用两种类型的病理语音,即日语electrolaryngeal和英语dysarthric。我们的研究结果表明,虽然SSL已显示出成功的最低限度的资源健康的语音,我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
A fully recurrent feature extraction for single channel speech enhancement
University of Crete(克里特大学);Sonova AG(索诺瓦公司)
卷积神经网络(CNN)模块被广泛用于构建高端语音增强神经模型。然而,普通CNN模块的特征提取能力受到被集成的卷积核的维度约束的限制-因此,它们在特征提取阶段对噪声上下文信息进行充分建模方面存在局限性。为此,在特征提取层CNN中加入递归因子,提出了一种鲁棒的上下文感知的单通道语音增强特征提取策略。如图所示,添加递归导致在所提取的特征级别捕获噪声属性的局部统计,因此,所建议的模型即使在非常嘈杂的条件下也能有效地区分语音线索。当使用香草CNN模块对增强模型进行评估时,在看不见的噪声条件下,在特征提取层中具有递归性的建议模型产生了高达1.5 dB的分段SNR(SSNR)增益,在平均意见得分量表中主观质量提高了0.4,而要优化的参数减少了25%。
2021-06-03 cs.SD eess.AS
Generative Speech Foundation Model Pretraining for High-Quality Speech Extraction and Restoration
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
提出一种生成式预训练语音基础模型,直接处理复数值STFT系数以避免声码器限制,在语音去噪、带宽扩展和目标说话人提取等恢复任务中超越强基线。
2024-09-25 cs.SD eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
提高单通道自动语音识别(ASR)在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的,然而,它们通常需要重新训练ASR模型以应对处理伪影。在本文中,我们探讨了扬声器增强策略,提高识别性能,而无需重新训练的声学模型(AM)。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法,该语音去噪器使用感知动机损失函数进行训练。结果表明,(没有AM再训练)我们的方法产生约23%和25%的相对精度增益相比,未经处理的单声道模拟和真实的CHiME-4评估集,分别,并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
Weakly-Supervised Speech Pre-training: A Case Study on Target Speech Recognition
MoE Key Lab of Artificial Intelligence, AI Institute(人工智能研究院教育部人工智能重点实验室);Department of Computer Science and Engineering(计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学)
针对弱监督数据在语音预训练中探索不足的问题,提出引入目标说话人注册信息作为辅助输入的弱监督预训练方法,在重叠语音下引导表征向目标说话人,在目标语音识别任务上显著优于WavLM。
2023-06-29 cs.SD eess.AS
Self-supervised Learning for Speech Enhancement
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院)
单通道语音增强的监督学习需要仔细标记的训练示例,其中将噪声混合输入到网络中,并训练网络以产生接近理想目标的输出。为了放松对训练数据的条件,我们考虑以自监督的方式训练语音增强网络的任务。我们首先使用有限的干净语音训练集,并通过对其幅度谱图进行自动编码来学习潜在表示。然后,我们自动编码的语音混合记录在嘈杂的环境和训练产生的自动编码器共享一个潜在的代表性与干净的例子。我们表明,使用这种训练模式,我们现在可以使用一个可自主训练的网络将嘈杂的语音映射到其干净的版本,而不需要标记的训练示例或人工干预。
2020-06-18 cs.SD eess.AS
TESSP: Text-Enhanced Self-Supervised Speech Pre-training
Northwestern Polytechnical University(西北工业大学);Microsoft Corporation(微软公司)
自监督语音预训练为模型赋予语音信号中固有的上下文结构,而自监督文本预训练为模型赋予语言信息。这两种方法都有利于下游语音任务,如ASR。然而,不同的预训练目标使得在同一模型中联合优化语音和文本表示具有挑战性。为了解决这个问题,我们提出了文本增强的自监督语音预训练(TESSP),旨在将语言信息纳入语音预训练。我们的模型由三部分组成,即,语音编码器、文本编码器和共享编码器。该模型以无监督的语音和文本数据作为输入,并分别利用常见的HuBERT和MLM损失。我们还提出了音素上采样和表示交换,使联合建模的语音和文本信息。具体来说,为了解决语音和文本数据之间的长度不匹配问题,我们将文本序列音素化,并使用从一小组监督数据中提取的对齐信息对音素进行上采样。此外,为了缩小学习的语音和文本表示之间的差距,我们根据对齐信息将文本表示与由相应的私有编码器提取的语音表示交换。在Librispeech数据集上的实验结果表明,与WavLM相比,TESSP模型在测试干净集和测试其他集上的性能提高了10%以上.在SUPERB基准测试中,我们对模型进行了测试,结果表明,与WavLM相比,我们的模型在音素识别、声学语音识别和语音翻译方面有更好的性能。
2022-11-24 cs.SD eess.AS
Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-talker Speech
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
针对稀疏重叠多说话人场景,提出音视频模型ActiveExtract,利用主动说话人检测提供帧级活动信息并判别语音-唇形同步实现说话人分离,在SI-SNR上平均提升超4 dB。
2023-09-15 cs.SD eess.AS
Self-supervised Learning with Speech Modulation Dropout
Johns Hopkins University(约翰斯·霍普金斯大学)
我们证明,训练一个基于多头自我注意力的深度网络来预测1.5秒内被删除的、信息密集的2-8 Hz语音调制,是一种有效的方法,可以让机器学习使用时域上下文信息来提取语音调制。我们的工作表明,一旦在大量未标记的数据上进行训练,自我注意层的输出会随着时间的推移而变化,调制峰值为4 Hz。这些预训练的层可用于初始化自动语音识别系统的部分,以大大减少其对标记语音数据的依赖。
2023-03-22 cs.SD eess.AS
A Supervised Speech enhancement Approach with Residual Noise Control for Voice Communication
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
对于语音通信,重要的是从其噪声版本中提取语音而不引入不自然的人工噪声。通过研究非监督语音增强方法的子带均方误差(MSE),揭示其与已有的有监督语音增强方法的损失函数之间的关系,导出了考虑残余噪声控制的有监督语音增强方法的广义损失函数。我们的广义损失函数包含著名的MSE损失函数和许多其他常用的损失函数作为特殊情况。与传统的损失函数相比,本文提出的广义损失函数能够更灵活地在语音失真和噪声抑制之间进行权衡。这是因为可以引入一组经过充分研究的噪声整形方案来控制实际应用中的残余噪声。客观和主观测试结果验证了残余噪声控制对有监督语音增强方法的重要性。
2019-12-08 cs.SD eess.AS