Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Erik Jonsson School of Engineering（埃里克·琼森工程学院）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心（CRSS））
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制，从而只识别期望的说话人。仿射变换层被插入到声学模型网络中，以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法，可以应用于任何声学模型架构。在这里，我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明，该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法，与原始ResNet声学模型基线相比，在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
Steering Deep Non-Linear Spatially Selective Filters for Weakly Guided Extraction of Moving Speakers in Dynamic Scenarios
University of Hamburg（汉堡大学）
针对动态场景中移动说话人提取因空间特征时变、存在歧义且手动追踪不现实的问题，提出仅依赖目标初始位置的弱引导提取方法，结合自研深度追踪算法与合成数据集联合训练，性能优于不匹配场景的强引导方法。
2025-05-20 cs.LG cs.SD eess.AS
Guided Speaker Embedding
NTT Corporation（NTT公司）
本文提出引导式说话人嵌入提取方法，利用目标与干扰说话人的活动线索从重叠语音中直接提取嵌入，并通过条件注意力机制抑制非目标区间，在说话人验证和日志任务中验证了有效性。
2025-01-01 cs.SD eess.AS
Guided-TTS 2: A Diffusion Model for High-quality Adaptive Text-to-Speech with Untranscribed Data
Seoul National University（首尔国立大学）
我们提出了Guided-TTS 2，一个基于扩散的生成模型，用于使用未转录数据的高质量自适应TTS。Guided-TTS 2将说话者条件扩散模型与说话者相关音素分类器相结合，用于自适应文本到语音。我们训练的扬声器条件扩散模型的大规模未转录的数据集的无分类器引导方法，并进一步微调的扩散模型的参考语音的目标扬声器的适应，这只需要40秒。我们证明，引导TTS 2表现出相当的性能，高质量的单扬声器TTS基线的语音质量和扬声器相似性，只有十秒的未转录数据。我们进一步表明，即使使用zero-shot自适应设置，Guided-TTS 2在多说话者数据集上的性能也优于自适应TTS基线。Guided-TTS 2仅使用未转录的语音就能适应广泛的语音，这使得能够使用\textit{"The Lord of the Rings"}中的咕噜等非人类角色的语音进行自适应TTS。
2022-05-30 cs.AI cs.SD eess.AS
Beamformer-Guided Target Speaker Extraction
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们提出了一种波束形成器引导的目标说话人提取（BG-TSE）的方法来提取目标说话人的声音从多通道录音通知的波达方向的目标。所提出的方法采用前端波束形成器转向目标扬声器提供一个辅助信号的单通道TSE系统。通过允许在单通道TSE块中进行时变嵌入，所提出的方法充分利用了前端波束形成器输出与麦克风信号中的目标语音之间的对应关系。在消声和混响条件下对模拟多通道2扬声器混合的实验评估表明，与最近的单通道和多通道基线相比，所提出的方法具有优势。
2023-03-15 cs.SD eess.AS
Speaker-Guided Encoder-Decoder Framework for Emotion Recognition in Conversation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
会话中的情感识别（ERC）任务旨在预测会话中话语的情感标签。由于说话人之间的依赖关系是复杂的、动态的，包括说话人内部和说话人之间的依赖关系，因此说话人特定信息的建模在ERC中起着至关重要的作用。尽管已有的研究者提出了多种说话人交互建模方法，但他们不能同时研究说话人内和说话人间的动态依赖关系，导致对语境的理解不足，进一步阻碍了情感预测。为此，我们设计了一种新的扬声器建模方案，探讨内和扬声器间的依赖关系，以动态的方式共同。此外，我们提出了一个演讲者引导的编码器-解码器（SGED）框架ERC，充分利用说话者信息的情感解码。我们使用不同的现有方法作为我们的框架的会话上下文编码器，显示出所提出的框架的高可扩展性和灵活性。实验结果证明了SGED的优越性和有效性。
2022-06-07 cs.CL cs.SD eess.AS
MK-SGC-SC: Multiple Kernel Guided Sparse Graph Construction in Spectral Clustering for Unsupervised Speaker Diarization
Institute for Advancing Intelligence, TCG CREST（先进智能研究所）；Department of Computer Science, RKMVERI（计算机科学系）；Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究所电子与通信科学单元）
本文提出基于多核引导的稀疏图构建方法，用于无监督语音说话人分离，通过多项式核和反余弦核测量嵌入相似性，提升局部相似性，实现高性能的说话人区域分割。
2026-01-29 cs.LG cs.SD eess.AS
DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding
KAIST（韩国科学技术院）
本文提出 DiffV2S，利用自监督模型与提示微调从视频中提取视觉引导说话人嵌入，并结合扩散模型完成无需参考音频的视频转语音合成，实现音素与身份保持的最优效果。
2023-08-15 cs.CV cs.LG cs.SD
Guided Training: A Simple Method for Single-channel Speaker Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
深度学习在语音分离，特别是语音和非语音分离方面显示出巨大的潜力。然而，它遇到的置换问题的多说话人分离的目标和干扰都是语音。排列不变训练（PIT）通过排列多个说话人的顺序来解决这个问题。另一种方法是使用锚语音，目标说话人的短语音，来建模说话人身份。在本文中，我们提出了一个简单的策略来训练一个长短期记忆（LSTM）模型，以解决说话人分离中的置换问题。具体地说，我们在一个混合的开始插入一个目标说话人的短语音作为指导信息。因此，第一个出现的说话者被定义为目标。由于强大的序列建模能力，LSTM可以使用其存储单元来跟踪和分离目标语音与干扰语音。实验结果表明，该训练策略对说话人分离是有效的。
2021-03-26 cs.AI cs.SD eess.AS
Confidence Score Guided Incremental and Speaker Adaptive Pseudo-Labeling for Semi-Supervised Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种置信度评分引导的增量式和说话人自适应伪标注方法，通过渐进式高质量伪标签选择和说话人自适应训练，在老年人语音识别中分别降低词错误率1.45%和字符错误率2.27%。
2026-06-16 cs.SD eess.AS
Weakly Guided and Autoregressive Beamformer Parameterization for Generalizable Moving Speaker Extraction in Higher-Order Ambisonics
Signal Processing (SP) Group, University of Hamburg（信号处理组，汉堡大学）
针对多未知方向移动说话人场景下波束形成器性能下降问题，提出仅需目标初始方向估计的数据驱动波束形成流水线，实现可泛化的说话人提取。
2026-07-07 cs.LG cs.SD eess.AS
Cotatron: Transcription-Guided Speech Encoder for Any-to-Many Voice Conversion without Parallel Data
Seoul National University（首尔国立大学）；MINDsLab Inc.（MINDsLab公司）
我们提出了Cotatron，一个转录引导的语音编码器，用于与说话者无关的语言表示。Cotatron基于多扬声器TTS架构，可以使用传统的TTS数据集进行训练。我们训练了一个语音转换系统来重建语音与Cotatron特征，这是类似于以前的方法基于语音后验图（PPG）。通过使用来自VCTK数据集的108个说话者训练和评估我们的系统，我们在自然度和说话者相似性方面都优于以前的方法。我们的系统还可以转换训练过程中看不见的说话者的语音，并利用ASR来自动转录，同时最大限度地降低性能。音频样本可在https：//mindslab-ai.github.io/cotatron上获得，带有预训练模型的代码将很快提供。
2020-08-14 cs.LG cs.SD eess.AS
End-to-end Multichannel Speaker-Attributed ASR: Speaker Guided Decoder and Input Feature Analysis
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Vivoka（Vivoka公司）
本文提出一种端到端多通道说话人归属ASR系统，结合Conformer编码器与说话人引导解码器，在模拟和真实数据上显著降低词错误率，并分析了输入特征的影响。
2023-10-16 cs.CL cs.SD eess.AS
Cluster-Guided Unsupervised Domain Adaptation for Deep Speaker Embedding
Shanghai Acoustics Laboratory, Chinese Academy of Sciences（中国科学院上海声学实验室）；University of Chinese Academy of Sciences（中国科学院大学）；The Shenzhen Research Institute, The Hong Kong Polytechnic University（香港理工大学深圳研究院）；The Hong Kong Polytechnic University（香港理工大学）
本文提出聚类引导的无监督域适应框架，通过聚类打标签并联合训练说话人嵌入网络，在CN-Celeb1上达到8.10%的EER，优于监督基线39.6%。
2023-03-28 cs.LG cs.SD eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
SIG-VC: A Speaker Information Guided Zero-shot Voice Conversion System for Both Human Beings and Machines
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
本文提出SIG-VC，一种面向人类和机器的说话人信息引导零样本语音转换系统，通过说话人-内容解耦和说话人信息控制模块，在减少零样本语音转换权衡问题的同时保持高欺骗能力。
2023-04-02 cs.AI cs.SD eess.AS
Inter-Speaker Relative Cues for Text-Guided Target Speech Extraction
Tampere University（塔尔库大学）；Audio Research Group（音频研究组）
提出利用说话人之间相对线索区分目标说话人的文本引导语音提取方法，实验验证多类线索及微调 WavLM Base+ CNN 编码器的性能增益。
2025-06-08 cs.SD eess.AS
Asymmetric Clean Segments-Guided Self-Supervised Learning for Robust Speaker Verification
针对无标签下说话人验证数据增强易破坏说话人信息的问题，提出干净片段引导的对比自监督框架，通过构建额外正负对、加权对比损失，在Voxceleb1上较传统方法提升19%，超越多项现有SOTA。
2024-03-11 eess.AS
NeuroSpex: Neuro-Guided Speaker Extraction with Cross-Modal Attention
University of Bremen（不来梅大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究提出神经引导说话人提取模型NeuroSpex，以EEG反应为唯一辅助线索，通过新型EEG编码器和交叉注意力机制从单耳混合语音中提取注意言语，在公开数据集上多项指标优于基线。
2024-09-16 cs.AI cs.SD eess.AS
Lightweight speech enhancement guided target speech extraction in noisy multi-speaker scenarios
MiLM Plus, Xiaomi Inc（小米公司 MiLM 实习项目）
本文提出轻量语音增强模型GTCRN，通过改进目标语音提取方法，在噪声多说话人场景中提升语音增强性能，实验显示SISDR、PESQ和STOI均有显著提升。
2026-03-13 eess.AS
Distinctive and Natural Speaker Anonymization via Singular Value Transformation-assisted Matrix
针对现有说话人匿名化方法自然度、独特性不足及隐私泄露问题，提出基于奇异值变换辅助矩阵的方法，通过帧级向量、注意力机制及SVD变换隐藏身份，在VoicePrivacy Challenge数据集上验证了有效性。
2024-05-17 eess.AS
VoiceExtender: Short-utterance Text-independent Speaker Verification with Guided Diffusion Model
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
针对短语音下说话人验证性能下降的问题，提出VoiceExtender架构，通过内置与外置两种说话人嵌入引导的扩散模型增强语音特征，在VoxCeleb1数据集不同短语音时长下均实现等错误率的显著相对提升。
2023-10-07 cs.AI cs.SD eess.AS
Detect, Attend and Extract: Keyword Guided Target Speaker Extraction
Nanjing University（南京大学）；X-LANCE Lab, MoE Key Lab of Artificial Intelligence, School of Computer Science（X-LANCE实验室，人工智能教育部重点实验室，计算机学院）；ALTA Institute, Machine Intelligence Lab, Department of Engineering, University of Cambridge（剑桥大学工程系机器智能研究所ALTA研究所）；National University of Singapore（新加坡国立大学）；Shenzhen Loop Area Institute（深圳河套学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）
提出DAE-TSE框架，利用关键词作为线索，通过检测-关注-提取范式实现目标说话人提取，无需干净注册语音，性能优于传统系统。
2026-06-07 eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec（利贝雷茨工业大学）
该手稿提出了一种新的鲁棒性的程序，用于从混合音频源中提取感兴趣的扬声器（SOI）。SOI的估计通过独立向量提取（IVE）来执行。由于盲IVE本身无法区分目标源，因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此，由于引导失败，特别是在处理具有挑战性的数据时，可能会提取不正确的说话者。为了识别这种情况下，我们提出了一个标准，非侵入性地评估估计扬声器。它使用与说话人识别相同的模型，因此不需要额外的训练。当检测到不正确的提取时，我们提出了一个“放气”步骤，其中从混合物中减去不正确的来源，随后，进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试，人工和现实世界的数据集包含具有挑战性的现象：源运动，混响，瞬态噪声，或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
I-vector Transformation Using Conditional Generative Adversarial Networks for Short Utterance Speaker Verification
Tokyo Institute of Technology（东京工业大学）
基于i向量的文本无关说话人确认（SV）系统在短话语下通常具有较差的性能，因为短话语中的有偏语音分布使得提取的i向量不可靠。本文提出了一种使用生成对抗网络（GAN）的i向量补偿方法，其中生成器网络被训练为从短话语i向量生成补偿的i向量，而生成器网络被训练为确定i向量是由生成器生成的还是从长话语中提取的i向量。此外，我们还为GAN分配了另外两个学习任务，以稳定其训练，并使生成的向量更具说话者特定性。在NIST SRE 2008“10 sec-10 sec”条件下的说话人确认实验表明，该方法较传统的i-vector和PLDA系统等误率降低了11.3%.
2018-04-01 cs.LG cs.SD eess.AS
HRTF-guided Binaural Target Speaker Extraction with Real-World Validation
Faculty of Engineering, Bar Ilan University, Israel（巴伊兰大学工程学院，以色列）
本文提出基于HRTF的双耳目标说话人提取框架，通过现实验证提升语音质量和可懂度，利用HRTF作为空间先验，增强双耳 cues 保留。
2026-03-17 cs.SD eess.AS
SALT: Distinguishable Speaker Anonymization Through Latent Space Transformation
Northwestern Polytechnical University（西北工业大学）；Ximalaya Inc.（喜马拉雅公司）；Xizhang (Shanghai) Network Technology Co., Ltd.（希壤（上海）网络科技有限公司）
针对现有说话人匿名化方法对分布外说话人存在伪说话人区分度、语音质量及可懂度下降的问题，提出基于潜在空间变换的SALT系统，通过潜在向量插值与外推实现匿名化，在Voice Privacy Challenge数据集上取得最优区分度且保留语音质量与可懂度。
2023-10-08 cs.SD eess.AS
Enhancing Speaker Verification with w2v-BERT 2.0 and Knowledge Distillation guided Structured Pruning
本文提出利用w2v-BERT 2.0和知识蒸馏引导的结构化剪枝提升语音验证性能，实现模型压缩与精度平衡。
2026-03-09 cs.SD eess.AS
Typing to Listen at the Cocktail Party: Text-Guided Target Speaker Extraction
The Hong Kong Polytechnic University（香港理工大学）；Tencent AI Lab（腾讯AI实验室）
针对传统目标说话人提取依赖声纹的隐私与性能问题，提出文本引导的LLM-TSE范式，用LLaMA 2提取文本语义线索，实现灵活鲁棒的提取，结合预注册线索达SOTA，拓展了应用场景。
2024-10-07 cs.CL eess.AS
Beyond Speaker Identity: Text Guided Target Speech Extraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Prime Video（亚马逊Prime Video）
针对传统目标语音提取依赖说话人身份显式线索的局限，提出融合语音风格文本描述的StyleTSE模型，搭配新建的TextrolMix数据集，实现基于身份和说话风格的语音提取，提升了线索缺失场景下的性能。
2025-01-15 cs.SD eess.AS
PromptSpeaker: Speaker Generation Based on Text Descriptions
Northwestern Polytechnical University（西北工业大学）；Shanghai Mobvoi Information Technology Co., Ltd（上海出门问问信息技术有限公司）
本研究探索文本引导的说话人生成任务，提出由提示编码器、零样本VITS和Glow模型组成的PromptSpeaker系统，可基于文本描述生成训练集外的新说话人语音，兼具客观有效性与合理的主观匹配度。
2023-10-08 cs.SD eess.AS
Monotonicity-Guided Semantic Alignment for Zero-shot Multispeaker Image-to-Speech Synthesis
针对图像到语音合成中的对齐难题，提出MGSA框架，利用语义语音单元和软单调先验实现零样本多说话人合成，在Flickr8k-Audio上表现优异，并支持未见说话人。
2026-10-01 eess.AS
Towards Understanding and Mitigating Audio Adversarial Examples for Speaker Recognition
说话人识别系统（SRS）最近被证明是脆弱的对抗攻击，提出了重大的安全问题。在这项工作中，我们系统地研究了基于转换和对抗训练的防御措施，以保护SRS。根据SRS的特点，我们提出了22种不同的转换，并使用最近的7个有前途的对抗攻击（4个白盒和3个黑盒）对说话人识别进行全面评估。在防御评估中，我们仔细考虑了最佳实践，分析了转换的强度，以抵御自适应攻击。我们还评估和理解了它们在与对抗性训练相结合时对抗自适应攻击的有效性。我们的研究提供了许多有用的见解和发现，其中许多是新的或与图像和语音识别领域的结论不一致，例如，可变比特率和恒定比特率语音压缩具有不同的性能，并且某些不可微的变换对于当前有希望的规避技术仍然有效，该规避技术通常在图像域中工作得很好。我们证明，与完全白盒设置中的单独对抗训练相比，所提出的新颖特征级变换与对抗训练相结合是相当有效的，例如，准确率提高了13.62%，攻击代价提高了两个数量级，而其他改造并不一定能提高整体防御能力。这项工作进一步阐明了该领域的研究方向。我们还发布了我们的评估平台SPEAKERGUARD，以促进进一步的研究。
2022-06-07 cs.AI cs.CR cs.LG
Creating Personalized Synthetic Voices from Post-Glossectomy Speech with Guided Diffusion Models
针对舌切除术后语音发音受损问题，提出用引导扩散模型构建个性化语音合成系统，通过音素分类器引导扩散模型推理，在提升发音清晰度的同时更好保留说话人个性。
2023-05-27 eess.AS
Align2Speak: Improving TTS for Low Resource Languages via ASR-Guided Online Preference Optimization
NVIDIA Corporation, USA（NVIDIA公司，美国）
提出Align2Speak框架，利用GRPO和ASR奖励优化多语言TTS，在低资源语言上超越微调，在高资源语言上优于DPO。
2025-09-26 cs.AI cs.LG eess.AS
End-to-End DOA-Guided Speech Extraction in Noisy Multi-Talker Scenarios
针对噪声多说话人场景，提出融合DOA与波束宽度嵌入的端到端TSE模型，可增强目标语音、抑制空间干扰并提升下游ASR性能。
2025-07-28 eess.AS
Generative Adversarial Networks for Unpaired Voice Transformation on Impaired Speech
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文主要研究如何利用语音转换（VC）来提高切除部分发音器官的手术患者的语音清晰度。由于数据采集的困难，VC中没有并行数据是非常可取的。虽然已经开发了用于非并行VC的技术，例如CycleGAN，但它们通常专注于转换说话者身份，并直接将一个说话者的语音转换为另一个说话者的语音，因此不解决这里的任务。在本文中，我们提出了一种新的方法，非并行VC。该方法将受损语音转换为正常语音，同时保留语言内容和说话人特征。据我们所知，这是第一个应用于受损语音的端到端基于GAN的无监督VC模型。实验结果表明，该方法优于CycleGAN。
2019-08-22 cs.LG cs.SD eess.AS
Speech-Aware Neural Diarization with Encoder-Decoder Attractor Guided by Attention Constraints
National Taiwan Normal University（国立台湾师范大学）
本研究提出一种辅助损失方法，利用说话人活动信息引导EEND-EDA模型底层Transformer编码器增强自注意力效果，在Mini LibriSpeech上将Diarization Error Rate从30.95%降至28.17%，有效改善了局部说话人动态捕捉能力。
2024-03-21 cs.SD eess.AS
Inter-Speaker Relative Cues for Two-Stage Text-Guided Target Speech Extraction
Tampere University（坦佩雷大学）
本文提出一种两阶段文本引导的目标语音提取框架，利用相对线索提升分类和提取性能，实验表明相对线索在分类准确性和提取效果上优于独立线索。
2026-09-23 eess.AS
Tracking Listener Attention: Gaze-Guided Audio-Visual Speech Enhancement Framework
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
本文提出基于注视的音频视觉语音增强框架，通过结合注视方向与面部检测提取目标说话人特征，提升多说话人环境中的语音增强效果。
2026-04-09 eess.AS
Lightweight Speaker Verification Using Transformation Module with Feature Partition and Fusion
针对低资源终端说话人验证部署难题，提出即插即用的特征划分与融合变换模块，可在 AMCRN、ResNet34 和 ECAPA-TDNN 中显著降低复杂度并保持较低等错误率。
2023-12-06 eess.AS
DEFINE: Exemplar-Guided Accent Control for Zero-Shot TTS
DEFINE通过解耦说话人身份与口音，利用范例编码器和引导权重，在零样本TTS中实现口音独立控制，提升口音准确率并泛化至未见口音。
2026-10-02 cs.SD eess.AS
SEC4SR: A Security Analysis Platform for Speaker Recognition
ShanghaiTech University（上海科技大学）；Tianjin University（天津大学）；Nankai University（南开大学）；Nanyang Technological University（南洋理工大学）
对抗攻击已经扩展到说话人识别（SR）。然而，现有的攻击通常使用不同的SR模型，识别任务和数据集进行评估，并且只考虑了从计算机视觉借用的少数对抗性防御。然而，这些防御措施尚未针对自适应攻击进行彻底评估。因此，对对抗攻击和防御的优势和局限性仍然缺乏定量的了解。为了保护SR系统，还需要更有效的防御。为了弥补这一差距，我们提出了SEC 4SR，这是第一个使研究人员能够系统和全面地评估SR中的对抗攻击和防御的平台。SEC 4SR包含4种白盒攻击和2种黑盒攻击，24种防御，包括我们新颖的特征级转换。它还包含安装自适应攻击的技术。使用SEC 4SR，我们进行了迄今为止最大规模的实证研究对抗攻击和防御SR，涉及23防御，15攻击和4攻击设置。我们的研究提供了许多有用的发现，可能会推动未来的研究：如（1）所有的转换都轻微降低了良性样本的准确性，并且它们的有效性随攻击而变化;（2）大多数转换在自适应攻击下变得不那么有效，但有些转换变得更有效;（3）很少有转换与对抗性训练相结合，对某些但不是所有攻击产生更强的防御，而我们的特征级转换与对抗性训练相结合，可以对所有攻击进行最强的防御。大量的实验证明了SEC 4SR的能力和优势，这将有利于未来的研究在SR。
2021-09-04 cs.CR cs.LG cs.MM
TGAVC: Improving Autoencoder Voice Conversion with Text-Guided and Adversarial Training
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）；Aquinas International Academy（阿奎那国际学院）
非并行多对多语音转换仍然是一个有趣但具有挑战性的语音处理任务。最近，AutoVC，一种基于条件自动编码器的方法，通过使用信息约束瓶颈解开说话人身份和语音内容，实现了出色的转换结果。然而，由于纯自动编码器训练方法，很难评估内容和说话人身份的分离效果。提出了一种新的语音转换框架$\boldsymbol T$ ext $\boldsymbol G$ guided $\boldsymbol A$ utoVC（TGAVC），能够更有效地从语音中分离出内容和音色。此外，对抗性训练应用于消除从语音提取的估计内容嵌入中的说话人身份信息。在期望内容嵌入和对抗训练的指导下，训练内容编码器从语音中提取与说话人无关的内容嵌入。在AIShell-3数据集上的实验表明，该模型在转换语音的自然度和相似度方面优于AutoVC。
2022-08-08 cs.AI cs.SD eess.AS
Low-Latency Speech Separation Guided Diarization for Telephone Conversations
本文分析了语音分离引导式日记（SSGD）在电话会话中的应用。SSGD通过分离扬声器信号并且然后对每个估计的扬声器信号应用语音活动检测来执行日志化。特别是，我们比较了两个低延迟语音分离模型。此外，我们展示了一个后处理算法，显着减少了假警报错误的SSGD管道。我们在两个数据集上进行实验：Fisher语料库第1部分和CALLHOME，评估分离和日记化指标。值得注意的是，我们基于SSGD DPRNN的在线模型在CALLHOME上实现了11.1%的DER，与大多数最先进的端到端神经日志模型相当，尽管在数量级较少的数据上进行了训练，并且具有相当低的延迟，即，0.1对比10秒。我们还表明，分离的信号可以很容易地馈送到一个语音识别后端的性能接近的Oracle源信号。
2022-10-27 eess.AS
Interpretable Spectrum Transformation Attacks to Speaker Recognition
Northwestern Polytechnical University（西北工业大学）；China Mobile (Hangzhou) Information Technology CO LTD（中国移动（杭州）信息技术有限公司）
对抗攻击对说话人识别的成功主要是在白盒场景中。将攻击白盒代理模型生成的对抗语音应用于黑盒受害模型，即\textit{transfer-based}黑盒攻击时，对抗语音的可传递性不仅远不能令人满意，而且缺乏可解释的基础。为了解决这些问题，在本文中，我们提出了一个通用的框架，命名为频谱变换攻击的基础上改进的离散余弦变换（STA-MDCT），以提高转移的敌对声音的黑箱受害者模型。具体来说，我们首先将MDCT应用于输入语音。然后，我们稍微修改了不同频带的能量，以捕获对抗性噪声在时频域中的显著区域，这对成功攻击至关重要。与在时域中操作语音的现有方法不同，所提出的框架在时频域中操作语音，这提高了攻击的可解释性、可转移性和不可感知性。此外，它可以与任何基于梯度的攻击者一起实现。为了利用模型集成的优点，我们不仅实现了STA-MDCT与一个单一的白盒代理模型，但也与集成的代理模型。最后，我们通过类激活图（CAM）可视化对抗语音的显着性图，这首次为说话人识别中基于转移的攻击提供了可解释的基础。与五个有代表性的攻击者的广泛的比较结果表明，CAM可视化清楚地解释了STA-MDCT的有效性，以及比较方法的弱点，所提出的方法优于比较方法的大幅度。
2023-02-21 cs.AI cs.SD eess.AS
Breaking Speaker Recognition with PaddingBack
Ningbo University（宁波大学）
针对现有语音后门攻击易被人耳察觉的问题，提出基于常用语音填充操作的不可感知后门攻击PaddingBack，可在不影响良性准确率的前提下实现高攻击成功率，且具备抗防御性与隐蔽性。
2024-03-11 cs.CR cs.SD eess.AS
Generative x-vectors for text-independent speaker verification
National University of Singapore（新加坡国立大学）
使用深度神经网络嵌入的说话人确认（SV）系统，即所谓的x向量系统，由于其优于i向量系统的良好性能而变得流行。这些系统的融合提供了改进的性能，受益于区别性训练的x向量和生成的i向量捕获不同的扬声器特性。本文提出了一种新的方法来包含i向量和x向量的互补信息，即生成x向量。生成x向量利用从背景数据的i向量和x向量表示学习的变换模型。应用典型相关分析推导出该转换模型，该模型随后用于将注册和测试段的标准x向量转换为相应的生成x向量。在NIST SRE 2010数据集上进行的SV实验表明，使用生成x向量的系统提供了比基线i向量和x向量系统更好的性能。此外，生成的x-向量优于i-向量和x-向量系统的融合，用于长持续时间的话语，同时产生可比较的结果，用于短持续时间的话语。
2018-09-17 cs.LG cs.SD eess.AS
GPU-accelerated Guided Source Separation for Meeting Transcription
Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corp.（小米公司）
本文提出 GPU 加速的 GSS 实现，通过频率与片段批处理实现 300 倍推理加速，并支持 LibriCSS、AMI 和 AliMeeting 的可复现说话人归属转录。
2023-08-13 cs.SD eess.AS
Parameter-efficient Dysarthric Speech Recognition Using Adapter Fusion and Householder Transformation
KULeuven（鲁汶大学）
针对构音障碍语音识别的数据稀缺与说话者差异问题，提出结合Adapter Fusion与Householder变换重参数化的参数高效方法，以远少于经典微调的参数量取得相当识别效果。
2023-06-12 cs.SD eess.AS q-bio.QM
Efficient and Robust Speaker Diarization via Structured Pruning of Self-Supervised Models
Brno University of Technology（布尔诺理工大学）；NTT, Inc.（日本电报电话公司）
本文提出通过知识蒸馏引导的结构化剪枝压缩自监督说话人日志模型，实现高达80%参数缩减和4倍加速，且性能不减，并在域外数据上表现优异。
2026-09-17 eess.AS
CustomListener: Text-guided Responsive Interaction for User-friendly Listening Head Generation
Vision AI Department, Meituan（美团视觉人工智能部门）
本文提出 CustomListener 框架，通过自由文本引导生成可定制聆听者头部，设计 SDP 和 PGG 模块实现说话者协调与片段一致性，并构建两个文本标注数据集验证其有效性。
2024-03-29 cs.CV cs.SD eess.AS
Hierarchical speaker representation for target speaker extraction
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
针对目标说话人提取中说话人嵌入表示过于简单导致分离网络难以有效利用的问题，提出分层表示（HR）方法，将锚点数据融合至分离网络的5个层级，显著提升提取精度并在ICASSP 2023挑战赛中夺冠。
2024-01-05 cs.SD eess.AS
Personalized speech enhancement combining band-split RNN and speaker attentive module
Nanjing University（南京大学）；ByteDance（字节跳动）；Horizon Robotics（地平线机器人）
在语音增强（SE）模型中可以利用目标说话人信息来更有效地提取期望的语音。以往的工作是通过级联或仿射变换将说话人嵌入引入到语音增强模型中。在本文中，我们提出了一个扬声器注意模块计算的注意力分数之间的扬声器嵌入和中间功能，这是用来重新缩放的功能。通过将该模块合并到最先进的SE模型中，我们构建了ICASSP信号处理大挑战：DNS挑战5（2023）的个性化SE模型。我们的系统在track1的盲测试集上获得了0.529的最终分数，在track2上获得了0.549的最终分数。
2023-03-16 cs.SD eess.AS
