Listen only to me! How well can target speech extraction handle false alarms?
NTT Corporation(NTT公司);Brno University of Technology(布尔诺理工大学)
目标语音提取(TSE)是在给定表征说话人的辅助线索(例如登记话语)的情况下,从混合语音中提取目标说话人的语音。因此,TSE解决了同时执行分离和说话人识别的挑战性问题。随着神经网络在语音增强和分离方面的发展,语音信号的提取性能也有了很大的提高。大多数研究都集中在处理目标说话人主动说话的混合声。然而,目标说话者在实践中有时是沉默的,即,非活动扬声器(IS)。典型的TSE系统将倾向于在IS情况下输出信号,从而导致错误警报。这对于TSE系统的实际部署是一个严重的问题。本文旨在更好地了解TSE系统如何处理IS案件。我们考虑两种方法来处理IS,(1)训练系统直接输出零信号或(2)检测IS与额外的说话人验证模块。我们使用LibriMix数据集在提取性能和IS检测方面对这些方案进行了广泛的实验比较,并揭示了它们的优缺点。
2022-07-14 cs.SD eess.AS
On the effectiveness of enrollment speech augmentation for Target Speaker Extraction
The Hong Kong Polytechnic University(香港理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
该研究针对训练数据不足时目标说话人提取算法的泛化与鲁棒性问题,探究注册语音增强的有效性,提出自估计语音增强(SSA)方法,在Libri2Mix测试集上最高实现2.5 dB的性能提升。
2024-09-15 cs.SD eess.AS
Probing Self-supervised Learning Models with Target Speech Extraction
Brno University of Technology(布尔诺理工大学);NTT Corporation(NTT公司)
本文提出将目标语音提取作为评估预训练自监督学习模型的新下游任务,通过基于同一冻结SSL模型的两个轻量级模块同时实现说话人识别与语音分离,并在Libri2mix上验证了该任务对探究SSL模型的独特价值。
2024-02-17 cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
当测试语音被干扰说话人破坏时,说话人确认的性能会显著下降。如果说话人在时间上重叠,说话人日记可以很好地分离说话人。然而,如果多个说话者同时说话,我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地,给定目标说话人信息,首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后,提取的语音被传递到说话人验证系统。实验结果表明,该方法显著提高了重叠多说话人说话人确认的性能,相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University(信息科学与工程学院,山东大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题,提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架,在多基准上优于现有基线,兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Beyond Speaker Identity: Text Guided Target Speech Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Prime Video(亚马逊Prime Video)
针对传统目标语音提取依赖说话人身份显式线索的局限,提出融合语音风格文本描述的StyleTSE模型,搭配新建的TextrolMix数据集,实现基于身份和说话风格的语音提取,提升了线索缺失场景下的性能。
2025-01-15 cs.SD eess.AS
Enroll-on-Wakeup: A First Comparative Study of Target Speech Extraction for Seamless Interaction in Real Noisy Human-Machine Dialogue Scenarios
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound人工智能技术有限公司)
提出Enroll-on-Wakeup框架,利用唤醒词片段作为注册参考,无需预录语音,实现无缝交互;首次系统比较了判别式和生成式模型在真实噪声条件下的性能,并探索了基于LLM的TTS注册增强。
2026-06-08 cs.SD eess.AS
Improved Feature Extraction Network for Neuro-Oriented Target Speaker Extraction
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);National University of Singapore(新加坡国立大学);University of Science and Technology of China (USTC)(中国科学技术大学)
本文提出IFENet,通过双路径Mamba语音编码器和KAN脑电编码器提取特征,利用EEG注意力信息定位目标说话人,在KUL和AVED数据集上取得显著性能提升。
2025-01-03 cs.SD eess.AS
Contextual Speech Extraction: Leveraging Textual History as an Implicit Cue for Target Speech Extraction
Meta AI;Imperial College London(帝国理工学院)
本文提出仅利用文本对话历史作为隐式线索的上下文语音提取(CSE)方法,设计三种模型并在三个数据集上验证,仅两轮历史即可达到90%以上准确率,且可与注册语音结合进一步提升性能。
2025-03-11 cs.LG cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Brno University of Technology(布尔诺理工大学)
目标语音提取是指在给定目标说话人信息的情况下,从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam,它利用目标说话者的自适应话语来提取他/她的声音特征,然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案,因为它能够跨话语跟踪目标说话人的语音,并实现有希望的语音提取性能。然而,当说话人具有相似的语音特征时,例如在同性混合中,它有时会失败,因为很难区分目标说话人和干扰说话人。在本文中,我们调查的战略,提高扬声器的区分能力的SpeakerBeam。首先,我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络(TasNet),它已经实现了最先进的语音分离性能。此外,我们还研究了(1)当麦克风阵列记录可用时,使用空间特征来更好地区分说话者,(2)添加辅助说话者识别损失,以帮助学习更多有区别的语音特征。我们的实验表明,这些策略大大提高了语音提取的性能,特别是对于同性混合,并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们提出了一种新的多通道语音提取系统,同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上,采用说话人嵌入来识别和提取多个目标,而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型,我们提出了一个新的扬声器调节机制,通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR!数据表明,在强多通道基线上,所提出的系统相对于源分离性能提高了9%,并且相对于相同基线,它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Inter-Speaker Relative Cues for Text-Guided Target Speech Extraction
Tampere University(塔尔库大学);Audio Research Group(音频研究组)
提出利用说话人之间相对线索区分目标说话人的文本引导语音提取方法,实验验证多类线索及微调 WavLM Base+ CNN 编码器的性能增益。
2025-06-08 cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University(西北工业大学)
近年来,基于深度学习的自组织麦克风阵列的研究备受关注,特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域,以至于多个说话人可能相距很远并且独立地说话,所以目标相关语音分离(其目的是从混合语音中提取目标说话人)对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而,这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法,这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先,提出了一种基于说话人提取的有监督信道选择框架,该框架利用目标语音的话语级信噪比作为信道选择的依据。其次,我们将所选择的通道应用于基于深度学习的MVDR算法,其中,将单通道说话人提取算法应用于每个所选择的通道,以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Enhancing Target Speaker Extraction with Explicit Speaker Consistency Modeling
School of Information and Electronics(信息与电子学院)
本文从说话人一致性角度提出一种引入基于中心的说话人一致性损失和条件损失抑制的TSE方法,确保注册与提取语音的说话人一致性,有效提升了目标说话人提取性能。
2025-08-09 cs.SD eess.AS
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology(布尔诺理工大学);NTT Corporation(日本电信电话株式会社)
近年来,语音盲分离和目标语音提取的性能有了很大的提高。然而,大多数工作集中在相对良好控制的条件下,例如,读演讲稿。在更现实的情况下,性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性,如情绪,通常发生在现实的语音。在本文中,我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库(RAVDESS)。通过控制实验,分析不同情绪对BSS和TSE绩效的影响。我们观察到,BSS是相对强大的情绪,而TSE,它需要识别和提取的语音的目标扬声器,是更敏感的情绪。在比较说话人确认实验中,我们发现,识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果,我们概述了未来可能的方向,可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University(西安交通大学)
本文提出AVSepChain,将音视频目标语音提取分为语音感知与生成两阶段,通过交换音视频模态主导地位并引入对比语义匹配损失,缓解模态不平衡,在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Dual-path Transformer Based Neural Beamformer for Target Speech Extraction
SenseTime Research(商汤科技研究院)
提出一种基于双路径Transformer的神经波束形成器,利用时域交叉注意力和频域自注意力机制,规避预分离模块影响,在端到端目标语音提取中以更少参数超越现有算法。
2023-09-07 cs.SD eess.AS
USED: Universal Speaker Extraction and Diarization
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学);Saw Swee Hock School of Public Health, National University of Singapore(新加坡国立大学苏瑞福公共卫生学院);Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本研究提出统一模型USED,解决说话人提取与说话人日志任务的输出不一致和场景不匹配问题,可处理不同重叠度、不同说话人数的混合语音,在多个数据集上性能优于现有基线与近期方法。
2025-01-16 cs.SD eess.AS
Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction
Du Xiaoman(度小满)
针对目标语音提取中的说话人混淆问题,提出自监督解耦表示学习方法,通过两阶段网络分离说话人身份信息,并引入自适应调制Transformer进行条件指导,有效降低了说话人混淆率。
2024-08-24 cs.AI cs.LG cs.SD
Enhanced Neural Beamformer with Spatial Information for Target Speech Extraction
Ocean University of China(中国海洋大学);Xiaomi Inc.(小米公司)
本文提出一种结合空间信息的目标语音提取网络,通过引入UNet-TCN结构提升语音预分离精度,并利用多头交叉注意力机制增强神经波束形成器对空间信息的感知,有效提升了语音分离性能。
2023-06-28 cs.AI cs.SD eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec(利贝雷茨工业大学)
该手稿提出了一种新的鲁棒性的程序,用于从混合音频源中提取感兴趣的扬声器(SOI)。SOI的估计通过独立向量提取(IVE)来执行。由于盲IVE本身无法区分目标源,因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此,由于引导失败,特别是在处理具有挑战性的数据时,可能会提取不正确的说话者。为了识别这种情况下,我们提出了一个标准,非侵入性地评估估计扬声器。它使用与说话人识别相同的模型,因此不需要额外的训练。当检测到不正确的提取时,我们提出了一个“放气”步骤,其中从混合物中减去不正确的来源,随后,进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试,人工和现实世界的数据集包含具有挑战性的现象:源运动,混响,瞬态噪声,或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
Two-stage Framework for Robust Speech Emotion Recognition Using Target Speaker Extraction in Human Speech Noise Conditions
Nagoya University(名古屋大学)
针对噪声下语音情感识别受人类语音干扰的问题,提出级联目标说话人提取与情感识别的两阶段框架,联合训练提升未加权准确率14.33%,尤其擅长不同性别混合场景。
2024-12-17 cs.CL cs.SD eess.AS
Target Speech Extraction with Pre-trained AV-HuBERT and Mask-And-Recover Strategy
The Chinese University of Hong Kong(香港中文大学)
本文将预训练 AV-HuBERT 集成到音视频目标语音提取系统,并提出自监督的掩码与恢复(MAR)策略,在 VoxCeleb2 数据集上主客观指标均优于基线,验证了方法的有效性。
2024-03-24 cs.SD eess.AS
Muse: Multi-modal target speaker extraction with visual cues
University of Bremen(不来梅大学)
说话人提取算法依靠目标说话人的语音样本作为参考点来集中注意力。这种参考语音通常是预先录制的。另一方面,语音和嘴唇运动之间的时间同步也可以作为一个信息线索。基于这一思想,我们研究了一种新的技术,使用语音唇视觉线索直接从混合语音中提取参考目标语音在推理时间,而不需要预先录制的参考语音。我们提出了一个多模态说话人提取网络,名为MuSE,这是只对嘴唇图像序列的条件。MuSE不仅在SI-SDR和PESQ方面优于其他竞争基准,而且在跨数据集评估方面也显示出持续的改进。
2021-02-10 cs.MM cs.SD eess.AS
Simultaneous Speech Extraction for Multiple Target Speakers under the Meeting Scenarios
School of Computer Science, Wuhan University(武汉大学计算机学院);Duke Kunshan University(昆山杜克大学);Data & AI Engineering System, OPPO(OPPO数据与人工智能工程系统)
针对会议场景多说话人语音分离问题,提出多目标语音分离模型MTSS及说话人日志感知系统SD-MTSS,利用TSVAD决策与估计掩码实现无需注册音频的并发语音提取,在多个数据集上显著提升了分离与识别性能。
2023-11-18 cs.SD eess.AS
Target Speech Extraction with Pre-trained Self-supervised Learning Models
Brno University of Technology(布尔诺理工大学);NTT Corporation(NTT公司)
本文研究如何利用预训练自监督学习模型提升目标语音提取性能,提出自适应输入增强器和说话人编码器两个SSL模块,在LibriMix上取得14.0 dB的SI-SDR改进。
2024-02-17 cs.SD eess.AS
Continuous Target Speech Extraction: Enhancing Personalized Diarization and Extraction on Complex Recordings
College of ISEE Zhejiang University(浙江大学信息与电子工程学院);Tencent AI Lab(腾讯AI实验室)
针对真实场景中说话人重叠多变、目标缺失等复杂情况,提出含A-TSVAD和TSE模型的连续目标语音提取框架,可直接生成目标说话人时间戳,级联整合方式能提升分离与提取准确率,增强个性化性能。
2024-01-29 cs.SD eess.AS
Neural Speech Extraction with Human Feedback
University of Washington(华盛顿大学);Sesame AI
本文提出首个基于人类反馈的神经目标语音提取系统,通过用户标记生成编辑掩码进行迭代细化,实验表明该方法能有效提升提取性能并获得用户偏好。
2025-08-05 cs.LG cs.SD eess.AS
Single-Channel Target Speech Extraction Utilizing Distance and Room Clues
Department of Systems and Control Engineering, Institute of Science Tokyo(系统与控制工程系,科学东京研究所)
针对仅依赖距离线索的单通道目标语音提取系统跨房间泛化性差的问题,提出融合房间尺寸、混响时间信息且带可学习嵌入的时频域TSE模型,经模拟与真实数据集验证有效。
2025-05-20 cs.SD eess.AS
Coarse-to-Fine Recursive Speech Separation for Unknown Number of Speakers
The Chinese University of Hong Kong(香港中文大学)
绝大多数语音分离方法都假设说话者的数量是预先已知的,因此它们特定于说话者的数量。相比之下,一个更现实和更具挑战性的任务是分离一个混合,其中说话人的数量是未知的。将说话人个数未知的语音分离问题转化为多通道源提取问题,提出了一种由粗到精的递归语音分离方法。该方法包括两个阶段,即递归线索提取和目标说话人提取。递归提示提取阶段确定需要执行多少次计算迭代,并通过监视混合中的统计数据来输出粗略提示语音。随着递归迭代次数的增加,失真的累积最终进入提取的语音和提醒。因此,在第二阶段,我们使用一个目标说话人提取网络提取一个精细的语音的基础上,粗目标线索和原始的无失真的混合。实验表明,该方法在不同数量的说话人的WSJ0数据集上取得了最佳的性能。此外,它很好地推广到一个看不见的大量发言者。
2022-03-30 cs.LG cs.SD eess.AS
SpEx+: A Complete Time Domain Speaker Extraction Network
Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学)
说话人提取的目的是在给定目标说话人的参考语音的情况下,从多说话人环境中提取目标语音信号。我们最近提出了一种时域解决方案,SpEx,避免了频域方法中的相位估计。不幸的是,SpEx并不是一个完全的时域解决方案,因为它执行时域语音编码用于说话人提取,同时将频域说话人嵌入作为参考。时域分析窗口的大小和频域输入的大小也不同。这种失配对系统性能具有不利影响。为了消除这种不匹配,我们提出了一个完整的时域说话人提取解决方案,这是所谓的SpEx+。具体来说,我们将两个相同的语音编码器网络的权重联系起来,一个用于编码器-提取器-解码器管道,另一个作为扬声器编码器的一部分。实验结果表明,在WSJ 0 - 2 mix-extr数据库上,SpEx+在不同性别和相同性别条件下,比SpEx基线分别提高了0.8dB和2.1dB的SDR。
2020-08-18 cs.SD eess.AS
DDTSE: Discriminative Diffusion Model for Target Speech Extraction
Microsoft(微软)
针对多说话人带噪场景下目标语音提取研究不足、传统扩散模型推理慢的问题,提出DDTSE判别式扩散模型,采用扩散前向过程加判别式重构损失与两阶段训练策略,兼具更高音质与3倍推理提速,还可提升现有判别式模型性能。
2024-10-06 cs.LG cs.SD eess.AS
The Multimodal Information Based Speech Processing (MISP) 2023 Challenge: Audio-Visual Target Speaker Extraction
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern Polytechnical University(西北工业大学);Carnegie Mellon University(卡内基梅隆大学);Kore University of Enna(恩纳科雷大学);Delft University of Technology(代尔夫特理工大学);iFlytek(科大讯飞)
本文介绍了MISP 2023挑战赛,该挑战赛首次聚焦真实场景下的音视频目标说话人提取任务,通过结合视觉线索的前端语音处理来提升后端语音识别的准确性,并提供了任务设置、数据集和基线系统。
2023-09-15 cs.SD eess.AS
Strategies to Improve Robustness of Target Speech Extraction to Enrollment Variations
NTT Corporation(日本电报电话公司)
目标语音提取是一种利用预先记录的表征目标说话人语音特征的登记话语从混合信号中提取目标说话人语音的技术。目标语音提取的一个主要困难在于处理“说话者内”特征的可变性,即,目标语音与登记话语之间的特征失配。虽然大多数常规方法集中于在给定一组登记话语的情况下改善{ \it平均性能},但在此我们提出保证{ \it最差性能},我们相信这具有很大的实际重要性。在这项工作中,我们提出了一个评估指标,称为最坏的注册源失真比(SDR),以定量地衡量对注册变化的鲁棒性。我们还介绍了一种新的训练方案,旨在通过专注于训练难以注册的情况下,提取不表现良好,直接优化最坏情况下的性能。此外,我们调查的有效性,辅助扬声器识别损失(SI损失)作为另一种方式来提高鲁棒性超过注册。实验验证表明,最差注册目标训练和SI损失训练的有效性,以提高对注册变化的鲁棒性,通过增加说话人的可辨别性。
2022-06-16 cs.SD eess.AS eess.SP
Neural Target Speech Extraction: An Overview
Brno University of Technology(布尔诺理工大学);NTT Corporation(日本电报电话公司);Tencent(腾讯)
本文综述了神经目标语音提取(TSE)领域,介绍利用空间、视觉或语音线索从混合信号中分离目标说话人语音的主要方法、框架相似性及未来方向。
2023-01-31 cs.SD eess.AS
Breaking Shortcut Learning for Cross-Trial EEG-Guided Target Speech Extraction via Two-Stage Training
Department of Intelligence and Information(智能信息系);Seoul National University(首尔国立大学);Department of Communication Sciences and Disorders(沟通科学与障碍系);University of Iowa(爱荷华大学);Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Artificial Intelligence Institute(人工智能研究所)
针对EEG引导目标语音提取中模型依赖试验特定结构导致泛化差的问题,提出两阶段框架TRUST-TSE,通过对比预训练和置信加权提取目标抑制捷径学习,在跨试验协议下优于端到端基线。
2026-06-24 cs.AI cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
M3ANet: Multi-scale and Multi-Modal Alignment Network for Brain-Assisted Target Speaker Extraction
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Alibaba group(阿里巴巴集团);Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for lnformation Science and Technology, Tsinghua University(清华大学信息科学与技术国家研究中心)
本文提出M3ANet,通过对比学习模态对齐模块解决EEG与语音时间不对齐问题,并采用结合GroupMamba的多尺度卷积编码器提取深层语音特征,在三个数据集上优于现有方法。
2025-05-31 cs.SD eess.AS
Exploring a Single Autoregressive LLM for Unified Target Speech Extraction across Synchronous and Asynchronous Cues
TSE-Omni利用单一自回归LLM,通过自注册的下一令牌预测统一处理同步和异步线索的目标语音提取,在干净和损坏视觉下均保持高性能,支持流式推理。
2026-09-25 cs.MM cs.SD eess.AS
An audio-quality-based multi-strategy approach for target speaker extraction in the MISP 2023 Challenge
Northwestern Polytechnical University(西北工业大学);Mashang Consumer Finance Co., Ltd(马上消费金融股份有限公司)
针对MISP 2023挑战赛的音视频目标说话人提取任务,提出基于音频质量的多策略提取方法,平衡干扰消除与语音保留,在开发集和评估集分别取得24.2%、33.2%的字符错误率,获挑战赛第二名。
2024-03-07 cs.SD eess.AS
SoloSpeech: Enhancing Intelligibility and Quality in Target Speech Extraction through a Cascaded Generative Pipeline
Johns Hopkins University(约翰霍普金斯大学);Chinese University of Hong Kong(香港中文大学);NVIDIA;Tsinghua University(清华大学);Brno University of Technology(布拉格技术大学)
SoloSpeech提出级联生成式流程,集成压缩、提取、重建与校正,采用免说话人嵌入的对齐潜在空间提取器,在Libri2Mix上达到SOTA可懂度与质量,并具强泛化性。
2025-09-06 cs.AI cs.SD eess.AS
PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);University of Eastern Finland(东芬兰大学)
语音增强旨在通过抑制背景噪声来改善语音信号的感知质量。然而,过度的抑制可能会导致语音失真和说话人信息丢失,从而降低说话人嵌入提取的性能。为了缓解这个问题,我们提出了一个端到端的深度学习框架,称为PL-EESR,用于鲁棒的说话人表示提取。该框架基于说话人辨识任务的反馈和原始语音信号与其噪声版本之间的高级感知偏差进行优化。我们分别在嘈杂和干净的环境中进行说话人确认任务,以评估我们的系统。与基线相比,我们的方法在干净和嘈杂的环境中都表现出更好的性能,这意味着我们的方法不仅可以增强说话人相关信息,而且可以避免增加失真。
2021-10-03 cs.AI cs.SD eess.AS
ConceptBeam: Concept Driven Target Speech Extraction
NTT Corporation(日本电信电话株式会社)
我们提出了一个新的框架,目标语音提取的语义信息的基础上,称为ConceptBeam。目标语音提取是指从混合语音中提取目标说话人的语音。典型的方法已经利用音频信号的属性,诸如谐波结构和到达的波达方向。相比之下,ConceptBeam通过语义线索来解决问题。具体地说,我们提取说话者谈论一个概念的语音,即,感兴趣的主题,使用概念说明符,如图像或语音。解决这个新问题将为创新应用打开大门,例如专注于对话中讨论的特定主题的听力系统。与关键字不同,概念是抽象的概念,这使得直接表示目标概念具有挑战性。在我们的方案中,一个概念被编码为一个语义嵌入的概念说明映射到一个共享的嵌入空间。这种独立于模态的空间可以通过深度度量学习来构建,使用由图像及其语音字幕组成的配对数据。我们用它来桥接模态相关信息,即,混合物中的语音片段以及指定的模态无关概念。作为我们的方案的证明,我们进行了实验,使用一组与口头字幕相关的图像。也就是说,我们从这些语音字幕生成语音混合,并使用图像或语音信号作为概念说明符。然后,我们提取的目标语音使用的声学特性的识别段。我们比较ConceptBeam与两种方法:一种是基于从识别系统中获得的关键字,另一种是基于声源分离。我们表明,ConceptBeam明显优于基线方法,并有效地提取语音的语义表示的基础上。
2022-07-25 cs.LG cs.MM cs.SD
USEF-TSE: Universal Speaker Embedding Free Target Speaker Extraction
School of Computer Science, Wuhan University(武汉大学计算机学院);Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University(多模态智能系统苏州市重点实验室、创新数字研究中心、杜克昆山大学)
针对传统目标说话人提取依赖说话人识别模型及嵌入的问题,提出无需说话人嵌入的USEF-TSE框架,以多头交叉注意力提取帧级特征,可适配多种分离模型,在多个标准基准及分布外数据上取得SOTA性能。
2025-05-20 cs.SD eess.AS
Leveraging Language Information for Target Language Extraction
Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);School of Artificial Intelligence, Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学深圳研究院人工智能学院)
针对传统语音提取系统缺乏特定语言先验知识的问题,提出一种端到端框架利用语音预训练模型的语言知识指导提取,并构建了首个多语言数据集,使英语和德语提取的SI-SNR分别提升1.22 dB和1.12 dB。
2025-11-03 cs.SD eess.AS
Incorporating Linguistic Constraints from External Knowledge Source for Audio-Visual Target Speech Extraction
Department of SEEM(SEEM系);SRIBD, School of Data Science(数据科学学院);School of Intelligence Science and Technology(智能科学与技术学院);Department of ECE(电子工程系)
受人类利用语言知识辅助语音感知启发,本研究提出将预训练语音语言模型、预训练语言模型的语言约束作为额外监督信号融入视听目标语音提取模型,推理无额外成本,在多场景下均稳定提升语音质量与可懂度。
2025-06-15 cs.LG cs.MM cs.SD
Audio-Visual Target Speaker Extraction with Reverse Selective Auditory Attention
National University of Singapore(新加坡国立大学);University of Science and Technology Beijing(北京科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big data(深圳大数据研究院);University of Bremen(不来梅大学)
本文提出一种新颖的选择性听觉注意力机制,通过估计并利用不期望的含噪信号设计SEANet框架,有效抑制干扰说话人和非语音信号,在五个数据集上取得最先进的音视频目标说话人提取性能。
2025-03-03 cs.SD eess.AS
Improving curriculum learning for target speaker extraction with synthetic speakers
National Institute of Informatics(国立信息学研究所);Sokendai(综合研究大学院大学)
针对说话人特征相似时目标说话人提取性能下降的问题,提出用基于$k$-近邻的语音转换生成多样化干扰说话人语音,融入课程学习以提升多个TSE系统的性能。
2024-10-05 cs.SD eess.AS
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg(汉堡大学)
目标语音分离是指通过条件化有关目标说话人的辅助信息,从多说话人混合信号中分离出目标语音。不同于主流的视听方法,通常需要同时的视觉流作为额外的输入,例如相应的嘴唇运动序列,在我们的方法中,我们提出了一种新的使用目标扬声器的一个单一的面部轮廓,以分离预期的干净的语音。我们利用的事实是,一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比,面部图像更容易通过预注册或在网站上获得,这使得系统能够推广到没有摄像头的设备。为此,我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中,从而指导系统在时频域中预测目标说话人掩码。实验结果表明,预注册的人脸图像能够有利于分离预期的语音信号。此外,人脸信息是语音参考的补充,我们表明,当结合人脸和语音嵌入时,可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation
Department of Computer Science and Technology, Institute for AI, BNRist, Tsinghua University(计算机科学与技术系、人工智能研究院、BNRist、清华大学);Tsinghua Laboratory of Brain and Intelligence (THBI), IDG/McGovern Institute for Brain Research, Tsinghua University(脑智能实验室(THBI)、IDG/麦克戈文脑科学研究院、清华大学);Chinese Institute for Brain Research (CIBR), Beijing(中国脑科学研究院)
TIGER通过时间-频率交织增益提取与重建技术,在降低参数和计算成本的同时,实现了超越SOTA模型的语音分离性能。
2026-02-27 cs.AI cs.SD eess.AS
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories(NTT人类信息学研究所);NTT Corporation(NTT公司)
本文提出一种基于语音节奏的说话人嵌入提取方法,通过音素及其时长建模目标说话人特征,实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
VorTEX: Various overlap ratio for Target speech EXtraction
Department of Artificial Intelligence, Chung-Ang University, Republic of Korea(人工智能系, Chung-Ang 大学,韩国)
VorTEX通过Decoupled Adaptive Multi-branch融合模块实现了目标语音提取,针对不同重叠比构建PORTE数据集,并提出SuRe指标,实验显示其在20%-100%重叠比下分离效果最佳,无抑制残留干扰。
2026-03-23 cs.AI cs.CL cs.SD
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft(微软);University of Michigan(密歇根大学)
针对在线音视频目标说话人提取的听感质量与前瞻限制问题,提出AV-PVQE方法,通过个性化语音增强模型引入口型特征并联合微调,将目标混淆率从46%降至1.6%,延迟仅20毫秒,在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
ELEGANCE: Efficient LLM Guidance for Audio-Visual Target Speech Extraction
本文提出ELEGANCE框架,通过输出约束、中间预测和输入先验三种策略将大语言模型的语言知识融入音视频目标语音提取模型,在视觉受损、语言未见、说话人切换等困难场景下显著提升性能。
2025-11-09 cs.CL cs.MM cs.SD