Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
Signal Processing (SP), University of Hamburg, Germany（信号处理系，汉堡大学）
本文提出一种自适应旋转定向联合自回归框架，通过引入处理后的录音作为指导，提高动态场景中紧密移动说话人跟踪和增强效果。
2026-01-21 cs.LG cs.SD eess.AS
FlowTSE: Target Speaker Extraction with Flow Matching
aiOla Research（aiOla研究机构）；Israel（以色列）
针对现有生成式目标说话人提取方法流程复杂、计算开销大的问题，本文提出基于条件流匹配的FlowTSE方法，搭配新型条件声码器优化相位估计，在标准基准上性能达到或超过强基线。
2025-05-20 cs.LG cs.SD eess.AS
Improving Target Speaker Extraction with Sparse LDA-transformed Speaker Embeddings
Huawei Technologies Co., Ltd.（华为技术有限公司）；AI Application Research Center（人工智能应用研究中心）
作为语音分离的一种实用方法，目标说话人提取（TSE）的目的是利用从说话人中提取的附加说话人线索从期望的说话人中提取语音。它的主要挑战在于如何正确地提取和利用说话人线索，以利于提取的语音质量。现有的大多数TSE研究所采用的线索提取方法是直接利用区分性说话人嵌入，这是从预先训练的模型中提取的用于说话人确认。虽然高的说话人区分度是一个最理想的属性的说话人确认任务，我们认为，这可能是太复杂的TSE。在这项研究中，我们建议，一个简化的扬声器提示，明确的类可分性可能是首选TSE。为了验证我们的建议，我们介绍了几种形式的扬声器线索，包括朴素的扬声器嵌入（如，x-向量和xi-向量）和新的扬声器嵌入产生的稀疏LDA变换。将这些说话人线索与SOTA语音分离模型SepFormer相结合，建立了相应的TSE模型。这些TSE模型的性能在基准WSJ 0 - 2 mix数据集上进行了检查。实验结果验证了我们的建议的有效性和通用性，显示高达9.9%的相对改善SI-SDRi。此外，SI-SDRi为19.4 dB，PESQ为3.78，我们最好的TSE系统明显优于当前的SOTA系统，并提供了迄今为止在WSJ 0 - 2 mix上报告的最佳TSE结果。
2023-01-16 cs.AI cs.LG cs.SD
USED: Universal Speaker Extraction and Diarization
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学苏瑞福公共卫生学院）；Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出统一模型USED，解决说话人提取与说话人日志任务的输出不一致和场景不匹配问题，可处理不同重叠度、不同说话人数的混合语音，在多个数据集上性能优于现有基线与近期方法。
2025-01-16 cs.SD eess.AS
Speaker Embedding Extraction with Phonetic Information
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
说话人嵌入在许多说话人确认任务中取得了令人满意的结果。语音信息作为语音的重要组成部分，在说话人嵌入提取中很少被考虑。本文将语音信息引入到基于x向量结构的说话人嵌入提取中。提出了语音矢量和多任务学习两种方法。在Fisher数据集上，我们的最佳系统在EER中比原始x向量方法高出20%，在minDCF 08和minDCF 10中分别高出15%和15%。在NIST SRE 10上进行的实验进一步验证了所提方法的有效性。
2018-06-14 cs.SD eess.AS
Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；STMS（科学与音乐技术实验室）
基于行为风格的虚拟Agent建模是实现人类Agent交互个性化的重要因素之一。我们提出了一种高效而有效的机器学习方法来合成由韵律特征和不同说话者风格的文本驱动的手势，包括那些在训练过程中看不见的手势。我们的模型执行zero shot多模态风格传输驱动的多模态数据从PATS数据库包含各种扬声器的视频。我们认为风格在说话时是普遍存在的，它为交际行为的表现性赋予了色彩，而言语内容则是由多模态信号和语篇来承载的。这种内容和风格的解纠缠方案允许我们直接推断即使是其数据不是训练阶段的一部分的说话者的风格嵌入，而不需要任何进一步的训练或微调。我们的模型的第一个目标是基于两个音频和文本模态的内容生成源扬声器的手势。第二个目标是在目标说话人的多模态行为风格嵌入上调节源说话人预测的手势。第三个目标是允许在训练期间看不见的说话者的zero shot风格转移，而无需重新训练模型。我们的系统包括：（1）说话者风格编码器网络，其学习从目标说话者多模态数据生成固定维度的说话者嵌入风格;以及（2）序列到序列合成网络，其基于源说话者的输入模态的内容并以说话者风格嵌入为条件来合成手势。我们评估，我们的模型可以合成手势的源扬声器和目标扬声器的风格变化的知识转移到手势生成任务中的zero shot设置。我们将2D手势转换为3D姿势并生成3D动画。我们进行客观和主观的评估，以验证我们的方法，并将其与基线进行比较。
2022-08-03 cs.HC cs.LG cs.SD
An Investigation on Speaker Augmentation for End-to-End Speaker Extraction
Beijing University of Posts and TelecommunicationsChina（北京邮电大学中国）；Tsinghua UniversityChina（清华大学中国）；School of Artificial Intelligence（人工智能学院）；Center for Speech and Language Technologies, BNRist（语音与语言技术中心）
针对端到端说话人提取中的目标混淆问题，提出时域重采样与重缩放的说话人增强策略以构建泛化嵌入空间，实验证明其能有效提升提取性能并可与度量学习结合。
2025-05-27 cs.SD eess.AS
USEF-TSE: Universal Speaker Embedding Free Target Speaker Extraction
School of Computer Science, Wuhan University（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University（多模态智能系统苏州市重点实验室、创新数字研究中心、杜克昆山大学）
针对传统目标说话人提取依赖说话人识别模型及嵌入的问题，提出无需说话人嵌入的USEF-TSE框架，以多头交叉注意力提取帧级特征，可适配多种分离模型，在多个标准基准及分布外数据上取得SOTA性能。
2025-05-20 cs.SD eess.AS
Improving RNN Transducer With Target Speaker Extraction and Neural Uncertainty Estimation
Tencent AI Lab（腾讯AI实验室）
目标说话人语音识别的目的是从含有背景噪声和干扰说话人的噪声环境中识别出目标说话人的语音。本文提出了一种结合时域目标说话人语音提取和递归神经网络转换器（RNN-T）的联合框架。为了稳定联合训练，我们提出了一种多阶段的训练策略，在联合训练之前对系统中的每个模块进行预训练和微调。同时，说话人身份和语音增强的不确定性措施，提出了补偿残余噪声和文物从目标语音提取模块。实验结果表明，与基于目标语音提取模型的识别器相比，加入神经元不确定性模块后，在有背景噪声的多说话人信号中，相对特征出错率（CER）降低了17%.多条件实验表明，我们的方法可以实现9%的相对性能增益在噪声条件下，而保持在清洁条件下的性能。
2021-02-26 cs.SD eess.AS
Semi-supervised Time Domain Target Speaker Extraction with Attention
Amazon Web Services（亚马逊云科技）
在这项工作中，我们提出了Exformer，目标说话人提取的时域架构。它由一个预先训练的扬声器嵌入器网络和一个分离器网络的基础上Transformer编码器块。我们研究了多种方法将说话人信息与输入混合信号相结合，与现有的时域网络相比，所得到的Exformer架构获得了更好的提取性能。此外，我们研究了一个两阶段的过程，训练模型使用混合物没有参考信号上的预训练的监督模型。实验结果表明，所提出的半监督学习过程提高了监督基线的性能。
2022-06-18 cs.SD eess.AS
Improving curriculum learning for target speaker extraction with synthetic speakers
National Institute of Informatics（国立信息学研究所）；Sokendai（综合研究大学院大学）
针对说话人特征相似时目标说话人提取性能下降的问题，提出用基于$k$-近邻的语音转换生成多样化干扰说话人语音，融入课程学习以提升多个TSE系统的性能。
2024-10-05 cs.SD eess.AS
Hierarchical speaker representation for target speaker extraction
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
针对目标说话人提取中说话人嵌入表示过于简单导致分离网络难以有效利用的问题，提出分层表示（HR）方法，将锚点数据融合至分离网络的5个层级，显著提升提取精度并在ICASSP 2023挑战赛中夺冠。
2024-01-05 cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）；Brno University of Technology（布尔诺理工大学）
目标语音提取是指在给定目标说话人信息的情况下，从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam，它利用目标说话者的自适应话语来提取他/她的声音特征，然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案，因为它能够跨话语跟踪目标说话人的语音，并实现有希望的语音提取性能。然而，当说话人具有相似的语音特征时，例如在同性混合中，它有时会失败，因为很难区分目标说话人和干扰说话人。在本文中，我们调查的战略，提高扬声器的区分能力的SpeakerBeam。首先，我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络（TasNet），它已经实现了最先进的语音分离性能。此外，我们还研究了（1）当麦克风阵列记录可用时，使用空间特征来更好地区分说话者，（2）添加辅助说话者识别损失，以帮助学习更多有区别的语音特征。我们的实验表明，这些策略大大提高了语音提取的性能，特别是对于同性混合，并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
MC-SpEx: Towards Effective Speaker Extraction with Multi-Scale Interfusion and Conditional Speaker Modulation
Tsinghua University（清华大学）；Tencent（腾讯）；The Chinese University of Hong Kong（香港中文大学）
针对SpEx+对多尺度信息和说话人嵌入利用不足的问题，本文提出MC-SpEx说话人提取系统，通过设计多尺度融合器、交互掩码生成器及ConSM模块，在Libri2Mix数据集上实现了最先进的性能。
2023-06-28 cs.SD eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec（利贝雷茨工业大学）
该手稿提出了一种新的鲁棒性的程序，用于从混合音频源中提取感兴趣的扬声器（SOI）。SOI的估计通过独立向量提取（IVE）来执行。由于盲IVE本身无法区分目标源，因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此，由于引导失败，特别是在处理具有挑战性的数据时，可能会提取不正确的说话者。为了识别这种情况下，我们提出了一个标准，非侵入性地评估估计扬声器。它使用与说话人识别相同的模型，因此不需要额外的训练。当检测到不正确的提取时，我们提出了一个“放气”步骤，其中从混合物中减去不正确的来源，随后，进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试，人工和现实世界的数据集包含具有挑战性的现象：源运动，混响，瞬态噪声，或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
Multi-Level Speaker Representation for Target Speaker Extraction
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）；Tencent（腾讯）；University of Bremen（不来梅大学）；National University of Singapore（新加坡国立大学）
针对预训练说话人嵌入易出现身份混淆的问题，本研究提出多层级说话人表示方法，融合频谱级原始特征与基于交叉注意力的上下文嵌入，在Libri2mix测试集上显著提升目标说话人提取的性能与准确率。
2024-12-11 cs.SD eess.AS
Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题，提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器，跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
SpEx+: A Complete Time Domain Speaker Extraction Network
Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）
说话人提取的目的是在给定目标说话人的参考语音的情况下，从多说话人环境中提取目标语音信号。我们最近提出了一种时域解决方案，SpEx，避免了频域方法中的相位估计。不幸的是，SpEx并不是一个完全的时域解决方案，因为它执行时域语音编码用于说话人提取，同时将频域说话人嵌入作为参考。时域分析窗口的大小和频域输入的大小也不同。这种失配对系统性能具有不利影响。为了消除这种不匹配，我们提出了一个完整的时域说话人提取解决方案，这是所谓的SpEx+。具体来说，我们将两个相同的语音编码器网络的权重联系起来，一个用于编码器-提取器-解码器管道，另一个作为扬声器编码器的一部分。实验结果表明，在WSJ 0 - 2 mix-extr数据库上，SpEx+在不同性别和相同性别条件下，比SpEx基线分别提高了0.8dB和2.1dB的SDR。
2020-08-18 cs.SD eess.AS
Speaker-Aware Mixture of Mixtures Training for Weakly Supervised Speaker Extraction
Peking University（北京大学）
主流的说话人提取研究多采用有监督的训练方法，很少考虑理想纯净语料的缺乏和通道失配问题。为此，我们提出了说话人感知混合训练（SAMoM），利用目标源，注册话语和目标估计之间的说话人身份的一致性来弱监督深度说话人提取器的训练。在SAMoM中，输入是通过混合不同的说话者感知混合物（SAM）来构建的，每个SAM包含多个说话者，其身份已知并且可以注册话语。通过注册话语通知，从输入中逐个提取目标语音，使得估计的目标能够根据身份一致性在混音后近似于原始SAM。此外，在具有一定量的清洁源的半监督设置中使用SAMoM使得能够在噪声场景中应用。在Libri 2 Mix上的大量实验表明，该方法在不访问任何干净源的情况下取得了令人满意的结果（11.06dB SI-SDRi）。通过域自适应，我们的方法在AISHELL-1的跨域评估中甚至优于监督框架。
2022-04-15 cs.SD eess.AS
Speaker Extraction with Co-Speech Gestures Cue
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
说话人提取的目的是从多说话人的混合语音中提取出目标说话人的纯净语音。已经有研究使用预先录制的语音样本或目标说话者的面部图像作为说话者线索。在人类交流中，与语音自然同步的协同语音手势也有助于语音感知。在这项工作中，我们探索使用共同的语音手势序列，例如手和身体的动作，作为说话人提取的说话人线索，这可以很容易地从低分辨率的视频记录中获得，因此比人脸记录更可用。我们提出了两个网络使用的共同语音手势线索，以执行专注的听目标扬声器，一个隐式融合的共同语音手势线索在扬声器提取过程中，另一个执行语音分离第一，然后明确使用共同语音手势线索相关联的分离语音的目标扬声器。实验结果表明，协同语音手势提示在与目标说话人的关联中具有一定的信息量。
2022-05-10 cs.CV cs.SD eess.AS
A Hybrid Continuity Loss to Reduce Over-Suppression for Time-domain Target Speaker Extraction
Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
说话人提取算法从含有干扰语音和背景噪声的混合语音中提取目标语音。提取过程有时会过度抑制所提取的目标语音，这不仅在收听期间产生伪像，而且还会损害下游自动语音识别算法的性能。针对时域说话人提取算法中的过抑制问题，提出了一种混合连续性损失函数。在用于优良信号质量的波形电平损失之上，即，在SI-SDR中，我们在频域中引入了多分辨率的delta谱损失，以保证提取的语音信号的连续性，从而减轻过抑制。我们使用YouTube LRS 2-BBC数据集上的时域视听扬声器提取算法来检查混合连续性损失函数。实验结果表明，该损失函数在不影响重建语音质量的前提下，降低了过抑制现象，提高了语音识别的误识率。
2022-06-20 cs.SD eess.AS
Text Independent Speaker Identification System for Access Control
University of Ibadan（伊巴丹大学）
即使是人类智能系统也无法100%准确地识别特定个人的讲话。机器智能试图通过各种语音特征提取和语音建模技术来模拟说话人识别问题。本文提出了一个与文本无关的说话人识别系统，采用梅尔频率倒谱系数（MFCC）的特征提取和k-最近邻（kNN）的分类。交叉验证的最大准确度为60%。这将在后续研究中得到改进。
2022-09-26 cs.LG cs.SD eess.AS
Listen to Extract: Onset-Prompted Target Speaker Extraction
Department of Computer Science, Inner Mongolia University（内蒙古大学计算机科学系）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院）
本文提出LExt方法，通过在波形层面将目标说话人注册语音与混合信号拼接来提示深度神经网络进行目标说话人提取，在多个公开数据集上取得优异性能。
2025-11-05 cs.SD eess.AS
Improved Feature Extraction Network for Neuro-Oriented Target Speaker Extraction
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China (USTC)（中国科学技术大学）
本文提出IFENet，通过双路径Mamba语音编码器和KAN脑电编码器提取特征，利用EEG注意力信息定位目标说话人，在KUL和AVED数据集上取得显著性能提升。
2025-01-03 cs.SD eess.AS
Beamformer-Guided Target Speaker Extraction
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们提出了一种波束形成器引导的目标说话人提取（BG-TSE）的方法来提取目标说话人的声音从多通道录音通知的波达方向的目标。所提出的方法采用前端波束形成器转向目标扬声器提供一个辅助信号的单通道TSE系统。通过允许在单通道TSE块中进行时变嵌入，所提出的方法充分利用了前端波束形成器输出与麦克风信号中的目标语音之间的对应关系。在消声和混响条件下对模拟多通道2扬声器混合的实验评估表明，与最近的单通道和多通道基线相比，所提出的方法具有优势。
2023-03-15 cs.SD eess.AS
Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction
Du Xiaoman（度小满）
针对目标语音提取中的说话人混淆问题，提出自监督解耦表示学习方法，通过两阶段网络分离说话人身份信息，并引入自适应调制Transformer进行条件指导，有效降低了说话人混淆率。
2024-08-24 cs.AI cs.LG cs.SD
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
Spectron: Target Speaker Extraction using Conditional Transformer with Adversarial Refinement
Technical University of Munich（慕尼黑工业大学）
本文提出Spectron，一种基于条件Transformer和对抗细化的端到端目标说话人提取模型，通过联合训练说话人编码与语音分离，并引入多尺度判别器，在单声道混合语音提取任务中平均超越现有方法4.1 dB。
2024-09-02 cs.LG cs.MM cs.SD
Continuous Target Speech Extraction: Enhancing Personalized Diarization and Extraction on Complex Recordings
College of ISEE Zhejiang University（浙江大学信息与电子工程学院）；Tencent AI Lab（腾讯AI实验室）
针对真实场景中说话人重叠多变、目标缺失等复杂情况，提出含A-TSVAD和TSE模型的连续目标语音提取框架，可直接生成目标说话人时间戳，级联整合方式能提升分离与提取准确率，增强个性化性能。
2024-01-29 cs.SD eess.AS
Time-Domain Speech Extraction with Spatial Information and Multi Speaker Conditioning Mechanism
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们提出了一种新的多通道语音提取系统，同时提取多个干净的个人来源的混合在嘈杂和混响的环境。该方法建立在改进的多通道时域语音分离网络的基础上，采用说话人嵌入来识别和提取多个目标，而不会产生标签排列模糊。为了有效地通知扬声器信息的提取模型，我们提出了一个新的扬声器调节机制，通过设计一个额外的扬声器分支接收外部扬声器嵌入。2通道WHAMR！数据表明，在强多通道基线上，所提出的系统相对于源分离性能提高了9%，并且相对于相同基线，它将语音识别准确度提高了16%以上。
2021-02-07 cs.CL cs.SD eess.AS
PL-EESR: Perceptual Loss Based END-TO-END Robust Speaker Representation Extraction
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；University of Eastern Finland（东芬兰大学）
语音增强旨在通过抑制背景噪声来改善语音信号的感知质量。然而，过度的抑制可能会导致语音失真和说话人信息丢失，从而降低说话人嵌入提取的性能。为了缓解这个问题，我们提出了一个端到端的深度学习框架，称为PL-EESR，用于鲁棒的说话人表示提取。该框架基于说话人辨识任务的反馈和原始语音信号与其噪声版本之间的高级感知偏差进行优化。我们分别在嘈杂和干净的环境中进行说话人确认任务，以评估我们的系统。与基线相比，我们的方法在干净和嘈杂的环境中都表现出更好的性能，这意味着我们的方法不仅可以增强说话人相关信息，而且可以避免增加失真。
2021-10-03 cs.AI cs.SD eess.AS
Universal Speaker Embedding Free Target Speaker Extraction and Personal Voice Activity Detection
School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University, Kunshan, China（多模态智能系统苏州市重点实验室、数字创新研究中心、杜克昆山大学）
针对说话人日志与目标说话人提取存在的输出不一致和场景不匹配问题，提出联合执行TSE和PVAD的USEF-TP模型，采用交叉注意力帧级特征与场景感知多任务学习，在多个数据集上取得优异或有竞争力的性能。
2025-05-19 cs.SD eess.AS
Target Speaker Extraction with Curriculum Learning
National Institute of Informatics（信息学国立研究院）；Sokendai（综合研究大学院大学）；Singapore Institute of Technology（新加坡理工学院）
本文提出将课程学习引入目标说话人提取任务，通过设计基于说话人相似度、性别、信失真比及TSE目标函数的难度递增训练策略，在Libri2talker数据集上相比无课程学习基线提升约1 dB。
2024-06-12 cs.SD eess.AS
ImagineNET: Target Speaker Extraction with Intermittent Visual Cue through Embedding Inpainting
National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
说话人提取技术试图从语音混合中的干扰语音中挑出目标说话人的语音。通常，目标说话人的辅助参考用于形成自愿注意。预先录制的话语或视频剪辑中的同步嘴唇运动可以用作辅助参考。视觉提示的使用不仅可行，而且由于其对噪声的鲁棒性而有效，并且越来越流行。然而，很难保证这种并行视觉提示在可能发生视觉遮挡或间歇性通信的现实世界应用中总是可用的。本文研究了具有间歇性视觉提示的视听说话人提取算法。我们提出了一个联合的说话人提取和视觉嵌入修复框架，以探索双方的利益。为了鼓励两个任务之间的交互，它们以交错结构交替执行并联合优化。我们还提出了两种类型的视觉修复损失和研究我们提出的方法与两种类型的常用的视觉嵌入。实验结果表明，我们优于基线的信号质量，感知质量和可懂度。
2023-03-09 cs.SD eess.AS
Two-stage Audio-Visual Target Speaker Extraction System for Real-Time Processing On Edge Device
College of Computer Science, Inner Mongolia University, China（内蒙古大学计算机科学学院）；Lenovo, China（联想公司）
针对现有AVTSE方法因同时编码视音特征导致计算复杂、无法在边缘设备实时处理的问题，提出两阶段超紧凑系统，通过视觉VAD与视音结合分离语音，实现低资源消耗下的有效噪声及干扰抑制。
2025-11-12 cs.SD eess.AS
Multimodal Clustering with Role Induced Constraints for Speaker Diarization
University of Southern California（南加州大学）
说话人聚类是传统说话人日志化系统中的一个重要步骤，通常被视为纯音频语音处理任务。然而，参与者在对话中使用的语言携带了可以帮助提高聚类性能的附加信息。这在会话互动中尤其如此，例如商务会议，面试和讲座，其中对话者（经理，客户，教师等）承担的特定角色。通常与可区分的语言模式有关。在本文中，我们建议采用一个监督的基于文本的模型来提取扬声器的角色，然后使用这些信息来指导基于音频的谱聚类步骤，通过施加必须链接和不能链接段之间的约束。所提出的方法被应用在两个不同的领域，即医疗互动和播客节目，并产生改进的结果相比，只有音频的方法。
2022-07-11 cs.SD eess.AS
Binaural Target Speaker Extraction using Individualized HRTF
Faculty of Engineering, Bar-Ilan University, Israel（工程学院，巴伊兰大学，以色列）
本文提出利用个体化HRTF的双耳目标说话人提取方法，通过复值神经网络在无回声和混响条件下均实现高效提取，保留双耳线索并提升语音清晰度。
2026-02-24 cs.SD eess.AS
Listen only to me! How well can target speech extraction handle false alarms?
NTT Corporation（NTT公司）；Brno University of Technology（布尔诺理工大学）
目标语音提取（TSE）是在给定表征说话人的辅助线索（例如登记话语）的情况下，从混合语音中提取目标说话人的语音。因此，TSE解决了同时执行分离和说话人识别的挑战性问题。随着神经网络在语音增强和分离方面的发展，语音信号的提取性能也有了很大的提高。大多数研究都集中在处理目标说话人主动说话的混合声。然而，目标说话者在实践中有时是沉默的，即，非活动扬声器（IS）。典型的TSE系统将倾向于在IS情况下输出信号，从而导致错误警报。这对于TSE系统的实际部署是一个严重的问题。本文旨在更好地了解TSE系统如何处理IS案件。我们考虑两种方法来处理IS，（1）训练系统直接输出零信号或（2）检测IS与额外的说话人验证模块。我们使用LibriMix数据集在提取性能和IS检测方面对这些方案进行了广泛的实验比较，并揭示了它们的优缺点。
2022-07-14 cs.SD eess.AS
SLT 2026 REAL-TSE Challenge: Real-world Target Speaker Extraction from Conversational Recordings
Nanjing University（南京大学）；Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Brno University of Technology（布拉格技术大学）；Northwestern Polytechnical University（西北工业大学）；NTT, Inc.（NTT公司）；Shanghai Jiao Tong University（上海交通大学）
介绍SLT 2026的REAL-TSE挑战，从真实对话录音提取目标说话人，有在线和离线赛道，评估指标多样，描述了任务定义等多方面内容及经验教训。
2026-10-27 cs.SD eess.AS
The exploitation of Multiple Feature Extraction Techniques for Speaker Identification in Emotional States under Disguised Voices
University of Sharjah（沙迦大学）
由于人工智能的进步，说话人辨识（SI）技术带来了一个很大的方向，现在被广泛应用于各个部门。特征提取是语音识别的重要组成部分，它对语音识别的过程和性能有着重要的影响。因此，许多特征提取策略进行了深入的研究，对比和分析。本文利用五种不同的特征提取方法对情感环境下的伪装语音进行说话人辨识。为了评估这项工作显着，三个效果使用：高音，低音和电子语音转换（EVC）。实验结果表明，级联的梅尔频率倒谱系数（MFCC），MFCC的增量，和MFCC的增量是最好的特征提取方法。
2021-12-15 cs.CL cs.SD eess.AS
Target Confusion in End-to-end Speaker Extraction: Analysis and Approaches
Peking University（北京大学）
近年来，端到端说话人提取受到越来越多的关注，并显示出良好的效果。然而，它的性能往往不如具有类似网络架构的盲源分离（BSS）对应物，这是由于辅助说话人编码器有时可能产生模糊的说话人嵌入。这种模糊的指导信息可能会混淆分离网络，从而导致错误的提取结果，这会降低整体性能。我们称之为目标混淆问题。本文对这一问题进行了分析，并分两个阶段加以解决。在训练阶段，我们建议整合度量学习方法，以提高由扬声器编码器产生的嵌入的可识别性。对于推理，设计了一种新的后过滤策略来修正错误的结果。具体来说，我们首先通过测量输出估计和注册话语之间的相似性来识别这些混淆样本，之后通过减法操作来恢复真正的目标源。实验结果表明，该方法能使目标检测性能提高1dB以上，验证了该方法的有效性，突出了目标混淆问题的影响。
2022-04-04 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec（利贝雷茨技术大学）
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析，并利用辅助函数优化，以实现高收敛速度。该算法部分地由与感兴趣的源（SOI）相关的导频信号监督，这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI，静态干扰扬声器，和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
3S-TSE: Efficient Three-Stage Target Speaker Extraction for Real-Time and Low-Resource Applications
Inner Mongolia University（内蒙古大学）；Southern University of Science and Technology（南方科技大学）
针对实时低资源场景下目标说话人提取计算量大问题，提出基于麦克风阵列的三阶段解耦方案（方向估计、GSC提取、ICRN去噪），在大幅降低计算负荷的同时实现卓越性能。
2024-01-05 cs.SD eess.AS
$C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction
针对视听目标说话人提取中局部依赖导致的性能次优与质量不一致问题，提出模型无关的MAR策略整合上下文相关性，并引入FCS模型评估提取质量以指导改进低质量片段，在VoxCeleb2上验证了六种骨干网络的一致性能提升。
2025-04-01 cs.LG cs.MM cs.SD
Differentiable Supervector Extraction for Encoding Speaker and Phrase Information in Text Dependent Speaker Verification
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一个新的可微神经网络对齐机制，文本相关的说话人确认，使用对齐模型，以产生一个超向量表示的话语。与以前的作品类似的方法，我们不提取嵌入的话语的时间维度的平均减少。我们的系统用短语对齐模型代替均值，以保持每个短语的时间结构，因为语音信息是验证任务中身份的一部分。此外，我们可以应用卷积神经网络作为前端，并且由于对齐过程是可区分的，我们可以训练整个网络来为每个话语产生一个超向量，该超向量将同时区分说话者和短语。正如我们所示，这种选择的优点是，超向量编码的短语和说话人信息提供良好的性能，在文本相关的说话人验证任务。在这项工作中，验证的过程是使用一个基本的相似性度量，由于简单，相比其他更复杂的模型，通常使用。使用对齐来产生超向量的新模型在RSR 2015-Part I数据库上进行了测试，用于文本相关的说话人验证，与使用均值提取嵌入的类似规模的网络相比，提供了具有竞争力的结果。
2018-12-22 cs.LG cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；Kriston AI Lab（Kriston AI实验室）
说话人提取的目的是模仿人类的选择性听觉注意，从多说话人环境中提取目标说话人的声音。通常在频域中进行提取，并从提取的幅度谱和估计的相位谱重建时域信号。然而，这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发，我们提出了一种时域说话人提取网络（SpEx），它将混合语音转换为多尺度嵌入系数，而不是将语音信号分解为幅度和相位谱。通过这种方式，我们避免了相位估计。SpEx网络由四个网络组件组成，即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说，语音编码器将混合语音转换成多尺度嵌入系数，说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入，并估计接收掩码。最后，语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明，在开放评价条件下，该算法在信失真比（SDR）、尺度不变SDR（SI-SDR）和语音质量感知评价（PESQ）方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
LiMuSE: Lightweight Multi-modal Speaker Extraction
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tianjin University（天津大学）；University of Chinese Academy of Sciences（中国科学院大学）
多模态线索，包括空间信息，面部表情和声纹，被引入到语音分离和说话人提取任务，作为补充信息，以实现更好的性能。然而，这些线索的引入带来了越来越多的参数和模型的复杂性，这使得更难在资源受限的设备上部署这些模型。在本文中，我们缓解了上述问题，提出了一个轻量级的多模态框架的扬声器提取（LiMuSE）。我们建议使用GC装备的TCN，它将组通信（GC）和时间卷积网络（TCN）的上下文编解码器模块，音频块和融合块。在MC_GRID数据集上的实验表明，LiMuSE以更少的参数和更低的模型复杂度获得了同等或更好的性能。我们进一步研究了LiMuSE量化的影响。提供了我们的代码和数据集。
2022-10-11 cs.SD eess.AS
Binaural Selective Attention Model for Target Speaker Extraction
The University of New South Wales（新南威尔士大学）
针对鸡尾酒会场景下的目标说话人提取问题，受人类双耳选择性听觉启发，提出基于FaSNet、引入多头选择性注意模块的双耳时域模型，对比两种双耳交互方法，在无回声双说话人测试中取得优于现有模型的最优性能。
2024-06-18 cs.SD eess.AS eess.SP
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Muse: Multi-modal target speaker extraction with visual cues
University of Bremen（不来梅大学）
说话人提取算法依靠目标说话人的语音样本作为参考点来集中注意力。这种参考语音通常是预先录制的。另一方面，语音和嘴唇运动之间的时间同步也可以作为一个信息线索。基于这一思想，我们研究了一种新的技术，使用语音唇视觉线索直接从混合语音中提取参考目标语音在推理时间，而不需要预先录制的参考语音。我们提出了一个多模态说话人提取网络，名为MuSE，这是只对嘴唇图像序列的条件。MuSE不仅在SI-SDR和PESQ方面优于其他竞争基准，而且在跨数据集评估方面也显示出持续的改进。
2021-02-10 cs.MM cs.SD eess.AS
Libri2Vox Dataset: Target Speaker Extraction with Diverse Speaker Conditions and Synthetic Data
National Institute of Informatics（信息学研究科）；Singapore Institute of Technology（新加坡科技学院）
针对目标说话人提取数据多样性和鲁棒性不足，提出Libri2Vox数据集，结合真实噪声与合成说话人，并采用课程学习，显著提升SDR性能。
2024-12-17 cs.SD eess.AS
Optimization of Speaker Extraction Neural Network with Magnitude and Temporal Spectrum Approximation Loss
National University of Singapore（新加坡国立大学）
提出了一种基于SpeakerBeam-FE（SBF）的说话人提取方法。它试图克服的问题，未知数量的发言人在音频记录在源分离。SBF的掩蔽近似损失是次优的，它没有计算直接信号重构误差，也没有考虑语音上下文。为了解决这些问题，本文提出了一种幅度和时间谱近似损失估计的相位敏感掩模的目标说话人的说话人的特性。此外，本文探索了一种级联框架，而不是SBF方法中的上下文自适应深度神经网络，以将说话人嵌入到掩码估计网络中。开放评价条件下的实验结果表明，该方法在信失真比（SDR）和语音质量感知评价（PESQ）上分别比SBF基线提高了70.4%和17.7%。进一步的分析表明，69.1%和72.3%的相对SDR的改善所提出的方法获得不同和相同的性别混合。
2019-03-24 cs.CL cs.SD eess.AS
Exploiting spatial information with the informed complex-valued spatial autoencoder for target speaker extraction
本研究针对传统多通道音频增强分步滤波的局限，扩展复值空间自编码器COSPA为iCOSPA，通过注入目标说话人位置信息实现联合频谱-空间滤波，可有效提取目标说话人并学习空间选择性模式。
2023-03-14 cs.SD eess.AS
