USED: Universal Speaker Extraction and Diarization
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学苏瑞福公共卫生学院）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出统一模型USED，解决说话人提取与说话人日志任务的输出不一致和场景不匹配问题，可处理不同重叠度、不同说话人数的混合语音，在多个数据集上性能优于现有基线与近期方法。
2025-01-16 cs.SD eess.AS
Speaker Embedding Extraction with Phonetic Information
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
说话人嵌入在许多说话人确认任务中取得了令人满意的结果。语音信息作为语音的重要组成部分，在说话人嵌入提取中很少被考虑。本文将语音信息引入到基于x向量结构的说话人嵌入提取中。提出了语音矢量和多任务学习两种方法。在Fisher数据集上，我们的最佳系统在EER中比原始x向量方法高出20%，在minDCF 08和minDCF 10中分别高出15%和15%。在NIST SRE 10上进行的实验进一步验证了所提方法的有效性。
2018-06-14 cs.SD eess.AS
An Investigation on Speaker Augmentation for End-to-End Speaker Extraction
Beijing University of Posts and TelecommunicationsChina（北京邮电大学中国）；Tsinghua UniversityChina（清华大学中国）；School of Artificial Intelligence（人工智能学院）；Center for Speech and Language Technologies, BNRist（语音与语言技术中心）
针对端到端说话人提取中的目标混淆问题，提出时域重采样与重缩放的说话人增强策略以构建泛化嵌入空间，实验证明其能有效提升提取性能并可与度量学习结合。
2025-05-27 cs.SD eess.AS
USEF-TSE: Universal Speaker Embedding Free Target Speaker Extraction
School of Computer Science, Wuhan University（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University（多模态智能系统苏州市重点实验室、创新数字研究中心、杜克昆山大学）
针对传统目标说话人提取依赖说话人识别模型及嵌入的问题，提出无需说话人嵌入的USEF-TSE框架，以多头交叉注意力提取帧级特征，可适配多种分离模型，在多个标准基准及分布外数据上取得SOTA性能。
2025-05-20 cs.SD eess.AS
Speaker activity driven neural speech extraction
NTT Corporation（日本电报电话公司）；Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
目标语音提取，即在给定辅助说话人线索的情况下，从混合语音中提取目标说话人的语音，近来受到越来越多的关注。已经调查了各种线索，例如预先录制的注册话语、方向信息或目标说话者的视频。在本文中，我们探索使用说话人活动信息作为辅助线索的单通道神经网络的语音提取。我们提出了一个说话人活动驱动的语音提取神经网络（ADeNet），并表明它可以实现性能水平的竞争力与基于注册的方法，而不需要预先录制。我们进一步证明了所提出的方法的潜力，用于处理类似会议的录音，其中的扬声器活动是从日记系统。我们表明，这种简单而实用的方法可以成功地提取扬声器后，日记，从而提高ASR性能，特别是在高重叠的条件下，与相对字错误率降低高达25%。
2021-02-09 cs.SD eess.AS
Improving RNN Transducer With Target Speaker Extraction and Neural Uncertainty Estimation
Tencent AI Lab（腾讯AI实验室）
目标说话人语音识别的目的是从含有背景噪声和干扰说话人的噪声环境中识别出目标说话人的语音。本文提出了一种结合时域目标说话人语音提取和递归神经网络转换器（RNN-T）的联合框架。为了稳定联合训练，我们提出了一种多阶段的训练策略，在联合训练之前对系统中的每个模块进行预训练和微调。同时，说话人身份和语音增强的不确定性措施，提出了补偿残余噪声和文物从目标语音提取模块。实验结果表明，与基于目标语音提取模型的识别器相比，加入神经元不确定性模块后，在有背景噪声的多说话人信号中，相对特征出错率（CER）降低了17%.多条件实验表明，我们的方法可以实现9%的相对性能增益在噪声条件下，而保持在清洁条件下的性能。
2021-02-26 cs.SD eess.AS
Semi-supervised Time Domain Target Speaker Extraction with Attention
Amazon Web Services（亚马逊云科技）
在这项工作中，我们提出了Exformer，目标说话人提取的时域架构。它由一个预先训练的扬声器嵌入器网络和一个分离器网络的基础上Transformer编码器块。我们研究了多种方法将说话人信息与输入混合信号相结合，与现有的时域网络相比，所得到的Exformer架构获得了更好的提取性能。此外，我们研究了一个两阶段的过程，训练模型使用混合物没有参考信号上的预训练的监督模型。实验结果表明，所提出的半监督学习过程提高了监督基线的性能。
2022-06-18 cs.SD eess.AS
Improving curriculum learning for target speaker extraction with synthetic speakers
National Institute of Informatics（国立信息学研究所）；Sokendai（综合研究大学院大学）
针对说话人特征相似时目标说话人提取性能下降的问题，提出用基于$k$-近邻的语音转换生成多样化干扰说话人语音，融入课程学习以提升多个TSE系统的性能。
2024-10-05 cs.SD eess.AS
Hierarchical speaker representation for target speaker extraction
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
针对目标说话人提取中说话人嵌入表示过于简单导致分离网络难以有效利用的问题，提出分层表示（HR）方法，将锚点数据融合至分离网络的5个层级，显著提升提取精度并在ICASSP 2023挑战赛中夺冠。
2024-01-05 cs.SD eess.AS
NeuroHeed+: Improving Neuro-steered Speaker Extraction with Joint Auditory Attention Detection
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
针对神经引导说话人提取中说话人混淆错误高的问题，提出结合联合微调辅助听觉注意检测模型的NeuroHeed+方法，增强提取语音与EEG表征一致性并优化EEG表征，在双说话人场景下性能显著优于基线。
2023-12-12 cs.SD eess.AS
MC-SpEx: Towards Effective Speaker Extraction with Multi-Scale Interfusion and Conditional Speaker Modulation
Tsinghua University（清华大学）；Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）
针对SpEx+对多尺度信息和说话人嵌入利用不足的问题，本文提出MC-SpEx说话人提取系统，通过设计多尺度融合器、交互掩码生成器及ConSM模块，在Libri2Mix数据集上实现了最先进的性能。
2023-06-28 cs.SD eess.AS
Time-domain speaker extraction network
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
说话人提取是指从多说话人的语音中提取出目标说话人的声音。它模拟了人类的鸡尾酒会效应或选择性倾听能力。以往的工作主要是在频域进行说话人提取，然后用一定的相位近似进行信号重构。相位估计的不准确性是频域处理所固有的，影响了信号重构的质量。在本文中，我们提出了一个时域说话人提取网络（TseNet），不分解的语音信号的幅度和相位谱，因此，不需要相位估计。TseNet由一堆膨胀的dependency可分离卷积网络组成，这些网络通过可管理的参数数量捕获语音信号的长程依赖性。它还以来自目标说话人的参考语音为条件，该参考语音由说话人i向量表征，以执行对目标说话人的选择性收听。实验结果表明，在开放评价条件下，TseNet在信失真比（SDR）和语音质量感知评价（PESQ）方面比基线分别提高了16.3%和7.0%.
2020-04-29 cs.SD eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec（利贝雷茨工业大学）
该手稿提出了一种新的鲁棒性的程序，用于从混合音频源中提取感兴趣的扬声器（SOI）。SOI的估计通过独立向量提取（IVE）来执行。由于盲IVE本身无法区分目标源，因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此，由于引导失败，特别是在处理具有挑战性的数据时，可能会提取不正确的说话者。为了识别这种情况下，我们提出了一个标准，非侵入性地评估估计扬声器。它使用与说话人识别相同的模型，因此不需要额外的训练。当检测到不正确的提取时，我们提出了一个“放气”步骤，其中从混合物中减去不正确的来源，随后，进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试，人工和现实世界的数据集包含具有挑战性的现象：源运动，混响，瞬态噪声，或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
Multi-Level Speaker Representation for Target Speaker Extraction
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）；Tencent（腾讯）；University of Bremen（不来梅大学）；National University of Singapore（新加坡国立大学）
针对预训练说话人嵌入易出现身份混淆的问题，本研究提出多层级说话人表示方法，融合频谱级原始特征与基于交叉注意力的上下文嵌入，在Libri2mix测试集上显著提升目标说话人提取的性能与准确率。
2024-12-11 cs.SD eess.AS
Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题，提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器，跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
SpEx+: A Complete Time Domain Speaker Extraction Network
Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）
说话人提取的目的是在给定目标说话人的参考语音的情况下，从多说话人环境中提取目标语音信号。我们最近提出了一种时域解决方案，SpEx，避免了频域方法中的相位估计。不幸的是，SpEx并不是一个完全的时域解决方案，因为它执行时域语音编码用于说话人提取，同时将频域说话人嵌入作为参考。时域分析窗口的大小和频域输入的大小也不同。这种失配对系统性能具有不利影响。为了消除这种不匹配，我们提出了一个完整的时域说话人提取解决方案，这是所谓的SpEx+。具体来说，我们将两个相同的语音编码器网络的权重联系起来，一个用于编码器-提取器-解码器管道，另一个作为扬声器编码器的一部分。实验结果表明，在WSJ 0 - 2 mix-extr数据库上，SpEx+在不同性别和相同性别条件下，比SpEx基线分别提高了0.8dB和2.1dB的SDR。
2020-08-18 cs.SD eess.AS
Speaker-Aware Mixture of Mixtures Training for Weakly Supervised Speaker Extraction
Peking University（北京大学）
主流的说话人提取研究多采用有监督的训练方法，很少考虑理想纯净语料的缺乏和通道失配问题。为此，我们提出了说话人感知混合训练（SAMoM），利用目标源，注册话语和目标估计之间的说话人身份的一致性来弱监督深度说话人提取器的训练。在SAMoM中，输入是通过混合不同的说话者感知混合物（SAM）来构建的，每个SAM包含多个说话者，其身份已知并且可以注册话语。通过注册话语通知，从输入中逐个提取目标语音，使得估计的目标能够根据身份一致性在混音后近似于原始SAM。此外，在具有一定量的清洁源的半监督设置中使用SAMoM使得能够在噪声场景中应用。在Libri 2 Mix上的大量实验表明，该方法在不访问任何干净源的情况下取得了令人满意的结果（11.06dB SI-SDRi）。通过域自适应，我们的方法在AISHELL-1的跨域评估中甚至优于监督框架。
2022-04-15 cs.SD eess.AS
A Hybrid Continuity Loss to Reduce Over-Suppression for Time-domain Target Speaker Extraction
Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
说话人提取算法从含有干扰语音和背景噪声的混合语音中提取目标语音。提取过程有时会过度抑制所提取的目标语音，这不仅在收听期间产生伪像，而且还会损害下游自动语音识别算法的性能。针对时域说话人提取算法中的过抑制问题，提出了一种混合连续性损失函数。在用于优良信号质量的波形电平损失之上，即，在SI-SDR中，我们在频域中引入了多分辨率的delta谱损失，以保证提取的语音信号的连续性，从而减轻过抑制。我们使用YouTube LRS 2-BBC数据集上的时域视听扬声器提取算法来检查混合连续性损失函数。实验结果表明，该损失函数在不影响重建语音质量的前提下，降低了过抑制现象，提高了语音识别的误识率。
2022-06-20 cs.SD eess.AS
Listen to Extract: Onset-Prompted Target Speaker Extraction
Department of Computer Science, Inner Mongolia University（内蒙古大学计算机科学系）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）
本文提出LExt方法，通过在波形层面将目标说话人注册语音与混合信号拼接来提示深度神经网络进行目标说话人提取，在多个公开数据集上取得优异性能。
2025-11-05 cs.SD eess.AS
Improved Feature Extraction Network for Neuro-Oriented Target Speaker Extraction
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China (USTC)（中国科学技术大学）
本文提出IFENet，通过双路径Mamba语音编码器和KAN脑电编码器提取特征，利用EEG注意力信息定位目标说话人，在KUL和AVED数据集上取得显著性能提升。
2025-01-03 cs.SD eess.AS
AvaTr: One-Shot Speaker Extraction with Transformers
Upload AI LLC（Upload AI 有限责任公司）；Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
为了提取目标说话人的声音时，与各种其他声音，如白噪声和环境噪声或干扰扬声器的声音混合，我们扩展了Transformer网络出席最相关的信息相对于目标说话人给出的特点，他或她的声音作为一种形式的上下文信息。这一观点在选择性注意理论中有一个自然的解释。具体来说，我们提出了两个模型，将语音特性在Transformer的基础上不同的见解的特征选择应该发生。这两种模型都具有出色的性能，在说话人提取任务上与已发表的最先进的模型相当或更好，包括分离训练期间未看到的新说话人的语音。
2021-05-03 cs.SD eess.AS
Beamformer-Guided Target Speaker Extraction
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们提出了一种波束形成器引导的目标说话人提取（BG-TSE）的方法来提取目标说话人的声音从多通道录音通知的波达方向的目标。所提出的方法采用前端波束形成器转向目标扬声器提供一个辅助信号的单通道TSE系统。通过允许在单通道TSE块中进行时变嵌入，所提出的方法充分利用了前端波束形成器输出与麦克风信号中的目标语音之间的对应关系。在消声和混响条件下对模拟多通道2扬声器混合的实验评估表明，与最近的单通道和多通道基线相比，所提出的方法具有优势。
2023-03-15 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
Rethinking the visual cues in audio-visual speaker extraction
Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对AVSE中说话人身份与同步性两类视觉线索作用不明的问题，提出解耦学习策略，并构建可解释的DAVSE模型，证实同步性线索贡献更高。
2023-06-05 cs.SD eess.AS
A two-stage speaker extraction algorithm under adverse acoustic conditions using a single-microphone
Bar-Ilan University（巴伊兰大学）；OriginAI
在这项工作中，我们提出了一个两阶段的方法，混响和噪声条件下的说话人提取。给定期望扬声器的参考信号，首先从噪声混合信号中提取干净但仍然混响的期望扬声器。在第二阶段中，通过联合去混响和残余噪声和干扰减少来进一步增强所提取的信号。所提出的架构包括两个子网络，一个用于提取任务，第二个用于去混响任务。我们提出了一个训练策略，这种架构，并表明，所提出的方法的性能是与其他国家的最先进的（SOTA）的方法时，适用于WHAMR！数据集。此外，我们提出了一个新的数据集更现实的不利的声学条件，并表明我们的方法优于竞争的方法时，应用到这个数据集以及。
2023-03-13 cs.SD eess.AS
Continuous Target Speech Extraction: Enhancing Personalized Diarization and Extraction on Complex Recordings
College of ISEE Zhejiang University（浙江大学信息与电子工程学院）；Tencent AI Lab（腾讯AI实验室）
针对真实场景中说话人重叠多变、目标缺失等复杂情况，提出含A-TSVAD和TSE模型的连续目标语音提取框架，可直接生成目标说话人时间戳，级联整合方式能提升分离与提取准确率，增强个性化性能。
2024-01-29 cs.SD eess.AS
Universal Speaker Embedding Free Target Speaker Extraction and Personal Voice Activity Detection
School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University, Kunshan, China（多模态智能系统苏州市重点实验室、数字创新研究中心、杜克昆山大学）
针对说话人日志与目标说话人提取存在的输出不一致和场景不匹配问题，提出联合执行TSE和PVAD的USEF-TP模型，采用交叉注意力帧级特征与场景感知多任务学习，在多个数据集上取得优异或有竞争力的性能。
2025-05-19 cs.SD eess.AS
Target Speaker Extraction with Curriculum Learning
National Institute of Informatics（信息学国立研究院）；Sokendai（综合研究大学院大学）；Singapore Institute of Technology（新加坡理工学院）
本文提出将课程学习引入目标说话人提取任务，通过设计基于说话人相似度、性别、信失真比及TSE目标函数的难度递增训练策略，在Libri2talker数据集上相比无课程学习基线提升约1 dB。
2024-06-12 cs.SD eess.AS
Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-talker Speech
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对稀疏重叠多说话人场景，提出音视频模型ActiveExtract，利用主动说话人检测提供帧级活动信息并判别语音-唇形同步实现说话人分离，在SI-SNR上平均提升超4 dB。
2023-09-15 cs.SD eess.AS
ImagineNET: Target Speaker Extraction with Intermittent Visual Cue through Embedding Inpainting
National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
说话人提取技术试图从语音混合中的干扰语音中挑出目标说话人的语音。通常，目标说话人的辅助参考用于形成自愿注意。预先录制的话语或视频剪辑中的同步嘴唇运动可以用作辅助参考。视觉提示的使用不仅可行，而且由于其对噪声的鲁棒性而有效，并且越来越流行。然而，很难保证这种并行视觉提示在可能发生视觉遮挡或间歇性通信的现实世界应用中总是可用的。本文研究了具有间歇性视觉提示的视听说话人提取算法。我们提出了一个联合的说话人提取和视觉嵌入修复框架，以探索双方的利益。为了鼓励两个任务之间的交互，它们以交错结构交替执行并联合优化。我们还提出了两种类型的视觉修复损失和研究我们提出的方法与两种类型的常用的视觉嵌入。实验结果表明，我们优于基线的信号质量，感知质量和可懂度。
2023-03-09 cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Two-stage Audio-Visual Target Speaker Extraction System for Real-Time Processing On Edge Device
College of Computer Science, Inner Mongolia University, China（内蒙古大学计算机科学学院）；Lenovo, China（联想公司）
针对现有AVTSE方法因同时编码视音特征导致计算复杂、无法在边缘设备实时处理的问题，提出两阶段超紧凑系统，通过视觉VAD与视音结合分离语音，实现低资源消耗下的有效噪声及干扰抑制。
2025-11-12 cs.SD eess.AS
Binaural Target Speaker Extraction using Individualized HRTF
Faculty of Engineering, Bar-Ilan University, Israel（工程学院，巴伊兰大学，以色列）
本文提出利用个体化HRTF的双耳目标说话人提取方法，通过复值神经网络在无回声和混响条件下均实现高效提取，保留双耳线索并提升语音清晰度。
2026-02-24 cs.SD eess.AS
Speaker Reinforcement Using Target Source Extraction for Robust Automatic Speech Recognition
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
提高单通道自动语音识别（ASR）在噪声条件下的准确性是具有挑战性的。强大的语音增强前端是可用的，然而，它们通常需要重新训练ASR模型以应对处理伪影。在本文中，我们探讨了扬声器增强策略，提高识别性能，而无需重新训练的声学模型（AM）。这是通过将增强的信号与未处理的输入重新混合以减轻处理伪影来实现的。我们使用基于DNN说话人提取的语音去噪器来评估所提出的方法，该语音去噪器使用感知动机损失函数进行训练。结果表明，（没有AM再训练）我们的方法产生约23%和25%的相对精度增益相比，未经处理的单声道模拟和真实的CHiME-4评估集，分别，并优于一个国家的最先进的参考方法。
2022-05-09 cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中，与语音自然同步的协同语音手势也有助于语音感知。在这项工作中，我们探索使用共同的语音手势序列，例如手和身体的动作，作为说话人提取的说话人线索，这可以很容易地从低分辨率的视频记录中获得，因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索，以执行专注的听目标扬声器，一个隐式融合的共同语音手势线索在扬声器提取过程中，另一个执行语音分离第一，然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明，协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
Listen only to me! How well can target speech extraction handle false alarms?
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
目标语音提取（TSE）是在给定表征说话人的辅助线索（例如登记话语）的情况下，从混合语音中提取目标说话人的语音。因此，TSE解决了同时执行分离和说话人识别的挑战性问题。随着神经网络在语音增强和分离方面的发展，语音信号的提取性能也有了很大的提高。大多数研究都集中在处理目标说话人主动说话的混合声。然而，目标说话者在实践中有时是沉默的，即，非活动扬声器（IS）。典型的TSE系统将倾向于在IS情况下输出信号，从而导致错误警报。这对于TSE系统的实际部署是一个严重的问题。本文旨在更好地了解TSE系统如何处理IS案件。我们考虑两种方法来处理IS，（1）训练系统直接输出零信号或（2）检测IS与额外的说话人验证模块。我们使用LibriMix数据集在提取性能和IS检测方面对这些方案进行了广泛的实验比较，并揭示了它们的优缺点。
2022-07-14 cs.SD eess.AS
SLT 2026 REAL-TSE Challenge: Real-world Target Speaker Extraction from Conversational Recordings
Nanjing University（南京大学）；Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Brno University of Technology（布拉格技术大学）；Northwestern Polytechnical University（西北工业大学）；NTT, Inc.（NTT公司）；Shanghai Jiao Tong University（上海交通大学）
介绍SLT 2026的REAL-TSE挑战，从真实对话录音提取目标说话人，有在线和离线赛道，评估指标多样，描述了任务定义等多方面内容及经验教训。
2026-10-27 cs.SD eess.AS
Target Confusion in End-to-end Speaker Extraction: Analysis and Approaches
Peking University（北京大学）
近年来，端到端说话人提取受到越来越多的关注，并显示出良好的效果。然而，它的性能往往不如具有类似网络架构的盲源分离（BSS）对应物，这是由于辅助说话人编码器有时可能产生模糊的说话人嵌入。这种模糊的指导信息可能会混淆分离网络，从而导致错误的提取结果，这会降低整体性能。我们称之为目标混淆问题。本文对这一问题进行了分析，并分两个阶段加以解决。在训练阶段，我们建议整合度量学习方法，以提高由扬声器编码器产生的嵌入的可识别性。对于推理，设计了一种新的后过滤策略来修正错误的结果。具体来说，我们首先通过测量输出估计和注册话语之间的相似性来识别这些混淆样本，之后通过减法操作来恢复真正的目标源。实验结果表明，该方法能使目标检测性能提高1dB以上，验证了该方法的有效性，突出了目标混淆问题的影响。
2022-04-04 cs.SD eess.AS
3S-TSE: Efficient Three-Stage Target Speaker Extraction for Real-Time and Low-Resource Applications
Inner Mongolia University（内蒙古大学）；Southern University of Science and Technology（南方科技大学）
针对实时低资源场景下目标说话人提取计算量大问题，提出基于麦克风阵列的三阶段解耦方案（方向估计、GSC提取、ICRN去噪），在大幅降低计算负荷的同时实现卓越性能。
2024-01-05 cs.SD eess.AS
A Single Speech Enhancement Model Unifying Dereverberation, Denoising, Speaker Counting, Separation, and Extraction
Waseda University（早稻田大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
提出MUSE模型，集成内部分离与目标提取模块，以单一模型统一完成去混响、降噪、分离、提取及说话人计数五项语音增强任务。
2023-10-12 cs.SD eess.AS
LiMuSE: Lightweight Multi-modal Speaker Extraction
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tianjin University（天津大学）；University of Chinese Academy of Sciences（中国科学院大学）
多模态线索，包括空间信息，面部表情和声纹，被引入到语音分离和说话人提取任务，作为补充信息，以实现更好的性能。然而，这些线索的引入带来了越来越多的参数和模型的复杂性，这使得更难在资源受限的设备上部署这些模型。在本文中，我们缓解了上述问题，提出了一个轻量级的多模态框架的扬声器提取（LiMuSE）。我们建议使用GC装备的TCN，它将组通信（GC）和时间卷积网络（TCN）的上下文编解码器模块，音频块和融合块。在MC_GRID数据集上的实验表明，LiMuSE以更少的参数和更低的模型复杂度获得了同等或更好的性能。我们进一步研究了LiMuSE量化的影响。提供了我们的代码和数据集。
2022-10-11 cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
Libri2Vox Dataset: Target Speaker Extraction with Diverse Speaker Conditions and Synthetic Data
National Institute of Informatics（信息学研究科）；Singapore Institute of Technology（新加坡科技学院）
针对目标说话人提取数据多样性和鲁棒性不足，提出Libri2Vox数据集，结合真实噪声与合成说话人，并采用课程学习，显著提升SDR性能。
2024-12-17 cs.SD eess.AS
PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；University of Eastern Finland（东芬兰大学）
语音增强旨在通过抑制背景噪声来改善语音信号的感知质量。然而，过度的抑制可能会导致语音失真和说话人信息丢失，从而降低说话人嵌入提取的性能。为了缓解这个问题，我们提出了一个端到端的深度学习框架，称为PL-EESR，用于鲁棒的说话人表示提取。该框架基于说话人辨识任务的反馈和原始语音信号与其噪声版本之间的高级感知偏差进行优化。我们分别在嘈杂和干净的环境中进行说话人确认任务，以评估我们的系统。与基线相比，我们的方法在干净和嘈杂的环境中都表现出更好的性能，这意味着我们的方法不仅可以增强说话人相关信息，而且可以避免增加失真。
2021-10-03 cs.AI cs.SD eess.AS
Exploiting spatial information with the informed complex-valued spatial autoencoder for target speaker extraction
本研究针对传统多通道音频增强分步滤波的局限，扩展复值空间自编码器COSPA为iCOSPA，通过注入目标说话人位置信息实现联合频谱-空间滤波，可有效提取目标说话人并学习空间选择性模式。
2023-03-14 cs.SD eess.AS
DualStream Contextual Fusion Network: Efficient Target Speaker Extraction by Leveraging Mixture and Enrollment Interactions
Beijing Institute of Technology（北京理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对现有目标说话人提取方法忽略上下文信息及混合与注册语音交互的问题，提出时频域双流上下文融合网络（DCF-Net），通过双流融合块捕获空间和通道维度交互，在基准数据集上SI-SDRi达21.6 dB，目标混淆率仅0.4%，性能优于SOTA且鲁棒性强。
2025-02-12 cs.SD eess.AS
Inter-Speaker Relative Cues for Text-Guided Target Speech Extraction
Tampere University（塔尔库大学）；Audio Research Group（音频研究组）
提出利用说话人之间相对线索区分目标说话人的文本引导语音提取方法，实验验证多类线索及微调 WavLM Base+ CNN 编码器的性能增益。
2025-06-08 cs.SD eess.AS
New Insights on Target Speaker Extraction
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希·亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
本文重新评估辅助信息在目标说话人提取中的作用，发现与无信息说话人分离相比，辅助信息并不总是带来更好的提取性能。
2023-09-15 cs.SD eess.AS
Audio-Visual Target Speaker Extraction with Reverse Selective Auditory Attention
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big data（深圳大数据研究院）；University of Bremen（不来梅大学）
本文提出一种新颖的选择性听觉注意力机制，通过估计并利用不期望的含噪信号设计SEANet框架，有效抑制干扰说话人和非语音信号，在五个数据集上取得最先进的音视频目标说话人提取性能。
2025-03-03 cs.SD eess.AS
ParaNoise-SV: Integrated Approach for Noise-Robust Speaker Verification with Parallel Joint Learning of Speech Enhancement and Noise Extraction
School of Electrical Engineering（电气工程学院）
提出ParaNoise-SV框架，通过双U-Net并行联合学习显式提取噪声与语音增强，有效保留说话人特征，使等错误率较以往联合模型相对降低8.4%。
2025-08-10 cs.SD eess.AS
Conditional Diffusion Model for Target Speaker Extraction
University of Cambridge Research Computing Service（剑桥大学研究计算服务中心）
本研究提出基于条件扩散模型的目标说话人提取方法DiffSpEx，在复短时傅里叶变换域建模扩散过程，结合说话人嵌入提取目标语音，在WSJ0-2mix数据集取得良好效果，微调可实现个性化提取。
2023-10-07 cs.LG cs.SD eess.AS
On the effectiveness of enrollment speech augmentation for Target Speaker Extraction
The Hong Kong Polytechnic University（香港理工大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
该研究针对训练数据不足时目标说话人提取算法的泛化与鲁棒性问题，探究注册语音增强的有效性，提出自估计语音增强（SSA）方法，在Libri2Mix测试集上最高实现2.5 dB的性能提升。
2024-09-15 cs.SD eess.AS
WeSep: A Scalable and Flexible Toolkit Towards Generalizable Target Speaker Extraction
Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)（香港中文大学（深圳）数据科学学院）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
本文介绍了WeSep，一个专为目标说话人提取（TSE）研究和实际应用设计的开源工具包，提供灵活的说话人建模、可扩展数据管理、实时数据模拟及部署支持，填补了该领域易用工具和预训练模型的空白。
2024-09-24 cs.SD eess.AS
HRTF-guided Binaural Target Speaker Extraction with Real-World Validation
Faculty of Engineering, Bar Ilan University, Israel（巴伊兰大学工程学院，以色列）
本文提出基于HRTF的双耳目标说话人提取框架，通过现实验证提升语音质量和可懂度，利用HRTF作为空间先验，增强双耳 cues 保留。
2026-03-17 cs.SD eess.AS
