End-to-End Neural Speaker Diarization with Self-attention
Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日志化主要是基于说话人嵌入的聚类。然而，基于聚类的方法具有两个主要问题;即，(i)它没有被优化以直接最小化日记化误差，以及（ii）它不能正确地处理扬声器重叠。为了解决这些问题，最近提出了端到端神经日志化（EEND），其中双向长短期记忆（BLSTM）网络直接输出给定多说话者录音的说话者日志化结果。在这项研究中，我们通过引入自我注意块而不是BLSTM块来增强EEND。与仅以其前一个和下一个隐藏状态为条件的BLSTM相反，自注意力直接以所有其他帧为条件，使得它非常适合处理说话人日记化问题。我们评估了我们提出的方法模拟混合物，真实的电话，和真实的对话录音。实验结果表明，自我注意力是实现良好性能的关键，我们提出的方法的性能显着优于传统的基于BLSTM的方法。我们的方法甚至比最先进的基于x向量聚类的方法更好。最后，通过可视化的潜在代表性，我们表明，自我注意可以捕捉全球发言人的特点，除了本地的语音活动动态。我们的源代码可以在https://github.com/hitachi-speech/EEND上获得。
2019-09-13 cs.CL cs.SD eess.AS
G-STAR: End-to-End Global Speaker-Tracking Attributed Recognition
Nanjing University（南京大学）；Shanghai Jiao Tong University（上海交通大学）；Central Media Technology Institute, Huawei（华为中央媒体技术研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；ETH Zürich（苏黎世联邦理工学院）
提出G-STAR框架，通过缓存条件说话人跟踪模块与Speech-LLM转录骨干耦合，实现长时重叠多说话人语音的端到端说话人属性识别，支持组件优化和联合训练，在局部和全局评估中均表现优异。
2026-05-29 cs.AI cs.HC cs.MM
DIVE: End-to-end Speech Diarization via Iterative Speaker Embedding
Google Research（谷歌研究院）
我们介绍了DIVE，一个端到端的说话人日志化算法。我们的神经算法将日志化任务呈现为一个迭代过程：它重复地为每个说话者构建一个表示，然后根据提取的表示来预测每个说话者的语音活动。该策略本质上解决了说话人排序模糊，而不需要经典的排列不变训练损失。与以前的工作相比，我们的模型不依赖于预先训练的扬声器表示，并优化了系统的所有参数与多扬声器语音活动损失。重要的是，我们的损失明确排除了不可靠的说话人回合边界的训练，这是适应于标准的基于衣领的日记出错率（DER）的评估。总的来说，这些贡献产生了一个系统，重新定义了标准CALLHOME基准的最新技术水平，DER为6.7%，而最佳替代方案为7.8%。
2021-05-28 cs.LG cs.SD eess.AS
Neural Speaker Diarization with Speaker-Wise Chain Rule
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
说话人日志化是多说话人音频处理的重要步骤。虽然端到端神经日志化（EEND）方法实现了最先进的性能，但它仅限于固定数量的扬声器。在本文中，我们解决了这个固定数量的发言人的问题，一个新的发言人明智的条件推理方法的基础上概率链规则。在该方法中，每个说话人的语音活动被视为一个单一的随机变量，并估计顺序的条件下，先前估计的其他说话人的语音活动。类似于其他序列到序列模型，所提出的方法产生一个可变数量的扬声器与停止序列条件。我们评估了所提出的方法对多个扬声器的音频记录的可变数量的扬声器。实验结果表明，该方法可以正确地产生与可变数量的说话人的日记化结果，并优于最先进的端到端的说话人日记化方法的日记化错误率。
2020-06-02 cs.CL cs.SD eess.AS
Quantitative Evidence on Overlooked Aspects of Enrollment Speaker Embeddings for Target Speaker Separation
Dolby Laboratories（杜比实验室）
单通道目标说话人分离（TSS）的目的是从多个说话人的混合中提取说话人的语音，给定该说话人的注册话语。典型的深度学习TSS框架由获得登记说话人嵌入的上游模型和执行以嵌入为条件的分离的下游模型组成。在本文中，我们研究了几个重要的，但被忽视的方面的注册嵌入，包括广泛使用的说话人辨识嵌入的适用性，引入对数梅尔滤波器组和自监督嵌入，和嵌入的跨数据集泛化能力。我们的研究结果表明，说话人辨识嵌入可能会丢失相关信息，由于一个次优的度量，训练目标，或共同的预处理。相比之下，滤波器组和自监督嵌入都保持了说话人信息的完整性，但前者在跨数据集评估中始终优于后者。先前被忽视的滤波器组嵌入的竞争分离和泛化性能在我们的研究中是一致的，这需要进一步研究更好的上游特征。
2022-10-26 cs.AI cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology（奈良科学技术大学）
针对重叠语音中SOT隐式说话人分离不足的问题，提出SC-SOT方法，通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件，提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
MDD: a Mask Diffusion Detector to Protect Speaker Verification Systems from Adversarial Perturbations
EURECOM；The University of Sydney（悉尼大学）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI)（人工智能研究所）；China Telecom Corp Ltd（中国电信有限公司）
本文提出掩码扩散检测器（MDD），一种基于文本条件掩码扩散模型的对抗性检测与净化框架，无需对抗样本或大规模预训练，有效提升说话人验证系统的安全性与鲁棒性。
2025-08-26 cs.SD eess.AS
Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
Signal Processing (SP), University of Hamburg, Germany（信号处理系，汉堡大学）
本文提出一种自适应旋转定向联合自回归框架，通过引入处理后的录音作为指导，提高动态场景中紧密移动说话人跟踪和增强效果。
2026-01-21 cs.LG cs.SD eess.AS
Conditional Diffusion Model for Target Speaker Extraction
University of Cambridge Research Computing Service（剑桥大学研究计算服务中心）
本研究提出基于条件扩散模型的目标说话人提取方法DiffSpEx，在复短时傅里叶变换域建模扩散过程，结合说话人嵌入提取目标语音，在WSJ0-2mix数据集取得良好效果，微调可实现个性化提取。
2023-10-07 cs.LG cs.SD eess.AS
Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech
The University of Tokyo（东京大学）；CyberAgent, Inc.（赛博艾坚特公司）
插入停顿，也称为短语中断预测和短语化，是TTS系统的重要组成部分，因为具有自然持续时间的适当停顿显著增强合成语音的节奏和可懂度。然而，传统的短语模型忽略了不同说话人插入无声停顿的不同风格，这会降低在多说话人语音语料库上训练的模型的性能。为此，我们提出了基于预训练语言模型的更强大的暂停插入框架。我们的方法使用双向编码器表示从Transformers（BERT）预先训练的大规模文本语料库，注入扬声器嵌入捕捉各种扬声器的特点。我们还利用持续时间感知的暂停插入来实现更自然的多扬声器TTS。我们开发和评估两种类型的模型。第一个改进了关于呼吸暂停（RP）的位置预测的常规措辞模型，即，在没有标点符号的词转换处无声停顿。它执行说话人条件RP预测考虑上下文信息，并用于演示说话人信息对预测的影响。第二个模型进一步设计为基于音素的TTS模型，并执行持续时间感知的停顿插入，预测RP和标点指示的停顿（PIP），按持续时间分类。实验结果表明，该模型提高了停顿插入的准确率和召回率，并改善了合成语音的节奏感。
2023-02-27 cs.CL cs.LG cs.SD
Controllable Generation of Artificial Speaker Embeddings through Discovery of Principal Directions
University of Stuttgart（斯图加特大学）
本文提出一种无需标签即可生成不可关联到真实人类、且可直观细粒度控制声音与风格的人工说话人嵌入方法，用于语音合成并保护隐私。
2023-10-26 cs.LG cs.SD eess.AS
FlowTSE: Target Speaker Extraction with Flow Matching
aiOla Research（aiOla研究机构）；Israel（以色列）
针对现有生成式目标说话人提取方法流程复杂、计算开销大的问题，本文提出基于条件流匹配的FlowTSE方法，搭配新型条件声码器优化相位估计，在标准基准上性能达到或超过强基线。
2025-05-20 cs.LG cs.SD eess.AS
Mid-attribute speaker generation using optimal-transport-based interpolation of Gaussian mixture models
The University of Tokyo（东京大学）
在本文中，我们提出了一种方法，中间多个扬声器的属性和多样化的语音特征“扬声器生成”，一个新兴的任务，旨在合成一个不存在的扬声器的自然发声的声音。传统的基于TacoSpawn的说话人生成方法是通过以说话人属性为条件的高斯混合模型（Gestival）来表示说话人嵌入的分布。尽管该方法能够从说话者属性感知Gestra中对各种说话者进行采样，但尚不清楚所学习的分布是否可以表示具有中间属性的说话者（即，中间属性）。为此，我们提出了一种基于最优传输的方法，该方法对学习的Gestival进行插值以生成具有中间属性的不存在的扬声器（例如，性别中立）的声音。我们经验验证我们的方法，并评估合成语音的自然性和两个扬声器属性的可控性：性别和语言流畅性。评价结果表明，该方法可以通过一个连续的标量值来控制生成的说话人的属性，而不会显著降低语音的自然度。
2022-10-18 cs.SD eess.AS
MIRNet: Learning multiple identities representations in overlapped speech
Yonsei University（延世大学）
许多方法可以通过学习识别声学参数的一致特性来从语音中获得关于单个说话者身份的信息。然而，当在给定信号中存在多个并发说话者时，确定身份信息是具有挑战性的。在本文中，我们提出了一种新的深度说话人表示策略，可以可靠地从重叠的语音中提取多个说话人身份。我们设计了一个网络，可以提取一个高层次的嵌入，包含信息的每个扬声器的身份从一个给定的混合。与传统方法需要参考声学特征进行训练不同，我们提出的算法只需要重叠语音段的说话人身份标签。我们证明了我们的算法在说话人确认任务和语音分离系统的条件下，通过所提出的方法获得的目标说话人嵌入的有效性和实用性。
2020-08-06 cs.SD eess.AS
Dynamic Kernels and Channel Attention for Low Resource Speaker Verification
The University of Sheffield（谢菲尔德大学）
最先进的说话人验证框架通常专注于开发具有越来越深（更多层）和更宽（通道数量）模型的模型，以提高其验证性能。相反，本文提出了一种方法来增加模型的分辨率能力，使用注意力为基础的动态内核的卷积神经网络，以适应模型参数的特征条件。通过通道注意和多层特征聚合进一步提取核上的注意权值，从语音中学习全局特征。这种方法提供了一个有效的解决方案，以提高表示能力，较低的数据资源。这是由于自适应输入的模型参数的结构。该模型在VoxCeleb 1测试集上的EER为1.62%，miniDCF为0.18%，与使用相同训练资源的ECAPA-TDNN相比，相对提高了17%.
2023-02-27 cs.CL cs.SD eess.AS
Muse: Multi-modal target speaker extraction with visual cues
University of Bremen（不来梅大学）
说话人提取算法依靠目标说话人的语音样本作为参考点来集中注意力。这种参考语音通常是预先录制的。另一方面，语音和嘴唇运动之间的时间同步也可以作为一个信息线索。基于这一思想，我们研究了一种新的技术，使用语音唇视觉线索直接从混合语音中提取参考目标语音在推理时间，而不需要预先录制的参考语音。我们提出了一个多模态说话人提取网络，名为MuSE，这是只对嘴唇图像序列的条件。MuSE不仅在SI-SDR和PESQ方面优于其他竞争基准，而且在跨数据集评估方面也显示出持续的改进。
2021-02-10 cs.MM cs.SD eess.AS
Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments
Department of Computer Science, University of Oxford（计算机科学系，牛津大学）
本文提出通过比较噪声正样本与负样本音频提取目标说话人，提升单声道语音提取性能。
2025-12-05 cs.AI cs.SD eess.AS
End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification
Hitachi, Ltd.（日立有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
最常见的说话人日志化方法是说话人嵌入聚类。然而，基于聚类的方法具有许多问题;即，(i)它没有被优化以直接最小化日志化误差，（i i）它不能正确地处理扬声器重叠，以及（iii）它难以使它们的扬声器嵌入模型适应具有扬声器重叠的真实音频记录。为了解决这些问题，我们提出了端到端神经日记（EEND），其中神经网络直接输出多个扬声器录音的扬声器日记结果。为了实现这样一个端到端的模型，我们制定了一个多标签分类问题的说话人日记化问题，并引入一个置换自由的目标函数，直接最大限度地减少日记错误。除了端到端的简单性，EEND方法可以显式地处理训练和推理过程中的说话人重叠。只需为多个说话者录音提供相应的说话者片段标签，我们的模型就可以很容易地适应真实的对话。我们评估了我们的方法模拟语音混合和真实的会话数据集。结果表明，EEND方法优于最先进的基于x向量聚类的方法，同时它正确地处理了说话人重叠。我们探索了用于EEND方法的神经网络架构，并发现基于自注意力的神经网络是实现优异性能的关键。与使用双向长短期记忆（BLSTM）仅对网络的前一个和下一个隐藏状态进行调节相反，自我注意力直接对所有帧进行调节。通过可视化的注意力权重，我们表明，自我注意捕捉全球扬声器特性，除了本地语音活动动态，使其特别适合于处理扬声器日记化问题。
2020-02-24 cs.CL cs.SD eess.AS
Learn2Sing 2.0: Diffusion and Mutual Information-Based Target Speaker SVS by Learning from Singing Teacher
Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
为一个不擅长唱歌的人构建一个高质量的歌唱语料库是不平凡的，因此为这个人创建一个歌唱语音合成器是具有挑战性的。Learn2Sing致力于通过从其他人记录的数据中学习来合成说话者的歌唱声音，而不需要他或她的歌唱数据，即，歌唱老师受音高是区分歌唱和说话声音的关键风格因素这一事实的启发，所提出的Learn2Sing 2.0首先生成具有音素级别平均音高值的初步声学特征，这允许针对不同风格训练该过程，即，说话或唱歌，除了说话者信息之外，共享相同的条件。然后，在特定风格的条件下，扩散解码器，这是加速的快速采样算法在推理阶段，采用逐步恢复最终的声学特征。在训练过程中，为了避免说话人嵌入和风格嵌入的信息混淆，采用互信息来抑制说话人嵌入和风格嵌入的学习。实验结果表明，该方法无需演唱数据，只需10步解码，就能合成出目标说话人的高质量演唱声。
2022-05-26 cs.SD eess.AS
DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding
KAIST（韩国科学技术院）
本文提出 DiffV2S，利用自监督模型与提示微调从视频中提取视觉引导说话人嵌入，并结合扩散模型完成无需参考音频的视频转语音合成，实现音素与身份保持的最优效果。
2023-08-15 cs.CV cs.LG cs.SD
Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；STMS（科学与音乐技术实验室）
基于行为风格的虚拟Agent建模是实现人类Agent交互个性化的重要因素之一。我们提出了一种高效而有效的机器学习方法来合成由韵律特征和不同说话者风格的文本驱动的手势，包括那些在训练过程中看不见的手势。我们的模型执行zero shot多模态风格传输驱动的多模态数据从PATS数据库包含各种扬声器的视频。我们认为风格在说话时是普遍存在的，它为交际行为的表现性赋予了色彩，而言语内容则是由多模态信号和语篇来承载的。这种内容和风格的解纠缠方案允许我们直接推断即使是其数据不是训练阶段的一部分的说话者的风格嵌入，而不需要任何进一步的训练或微调。我们的模型的第一个目标是基于两个音频和文本模态的内容生成源扬声器的手势。第二个目标是在目标说话人的多模态行为风格嵌入上调节源说话人预测的手势。第三个目标是允许在训练期间看不见的说话者的zero shot风格转移，而无需重新训练模型。我们的系统包括：（1）说话者风格编码器网络，其学习从目标说话者多模态数据生成固定维度的说话者嵌入风格;以及（2）序列到序列合成网络，其基于源说话者的输入模态的内容并以说话者风格嵌入为条件来合成手势。我们评估，我们的模型可以合成手势的源扬声器和目标扬声器的风格变化的知识转移到手势生成任务中的zero shot设置。我们将2D手势转换为3D姿势并生成3D动画。我们进行客观和主观的评估，以验证我们的方法，并将其与基线进行比较。
2022-08-03 cs.HC cs.LG cs.SD
Improving End-to-End Neural Diarization Using Conversational Summary Representations
Fano Labs（Fano实验室）
本研究扩展了EEND-EDA模型，用学习到的对话摘要表示替代零向量输入，使EDA模块基于话语级信息生成说话人吸引子，在公开测试集上实现了1.90%的绝对DER性能提升。
2023-06-24 cs.SD eess.AS
Boosting Unknown-number Speaker Separation with Transformer Decoder-based Attractor
dot Inc.（42dot公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合双路径块、TDA 吸引子模块与三路径块的语音分离模型，用固定说话人查询处理未知人数，并在 WSJ0 2/3 混合及最多 5 人场景中取得优异性能。
2024-01-23 cs.SD eess.AS
SpeakerCard-1M: An Evidence-Grounded Corpus for In-the-Wild Speaker Verification
Brno University of Technology, Czechia（布拉格技术大学，捷克）；Peking University, China（北京大学，中国）；Xiaomi, China（小米，中国）；Athens University of Economics and Business, Greece（雅典经济与商业大学，希腊）；The Hong Kong Polytechnic University, Hong Kong（香港理工大学，香港）；Nanjing University, China（南京大学，中国）
提出SpeakerCard-1M双语说话人资源，通过声学探针和受限LLM生成结构化说话人卡片，并定义跨模态协议以支持基于证据的说话人确认。
2026-06-28 cs.SD eess.AS
Self-Supervised Speech Representations for Cross-Speaker Dysarthria Detection During Awake Craniotomy
LaTIM UMR1101, INSERM, University of Western Brittany（布列塔尼西大学 LaTIM UMR1101 研究所）；University Hospital of Brest（布雷斯特大学医院）
本研究基于DATABRASE语料库，结合wav2vec 2.0等技术构建流程，在严格跨说话人条件下实现清醒开颅术中构音障碍检测，发现自监督语音表示对性能影响显著，为术中语言功能保护提供方法支持。
2026-10-09 cs.LG cs.SD eess.SP
Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring
IIIT-Delhi（德里印度理工学院）；Adobe（Adobe公司）；SUNY-Buffalo（纽约州立大学布法罗分校）
自动语音评分（Automatic Speech Scoring，ASS）是一种计算机辅助的语言口语能力评估。ASS系统面临着许多挑战，如开放语法，可变发音和非结构化或半结构化内容。最近的深度学习方法在这一领域显示出了一些希望。然而，大多数这些方法都集中在从单个音频中提取特征，这使得它们缺乏建模这种复杂任务所需的特定于说话者的上下文。我们提出了一种用于非原生ASS的新型深度学习技术，称为说话者条件分层建模。在我们的技术中，我们利用了口语水平测试对候选人的多个响应进行评级的事实。我们从这些响应中提取上下文向量，并将它们作为额外的特定于说话者的上下文提供给我们的网络，以获得特定的响应。我们将我们的技术与强基线进行比较，发现这种建模将模型的平均性能提高了6.92%（最大值= 12.86%，最小值= 4.51%）。我们进一步展示了定量和定性的见解，这一额外的背景下，在解决问题的ASS的重要性。
2021-08-30 cs.CL cs.LG cs.SD
Adapting Diarization-Conditioned Whisper for End-to-End Multi-Talker Speech Recognition
本文提出一种基于Whisper的多说话人语音识别模型，通过联合解码和序列化输出提升多说话人场景下的识别性能。
2026-02-03 cs.CL cs.SD eess.AS
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
Zhejiang University（浙江大学）
针对多方对话中消息归因与状态重建瓶颈，提出双轨记忆框架 SpeakerMem-R1，结合逐字与结构化记忆及人物/群体视图，在多个基准上取得最优结果。
2026-09-24 cs.AI cs.CL cs.IR
Speaker-conditioned Target Speaker Extraction based on Customized LSTM Cells
说话者调节的目标说话者提取系统依赖于关于目标说话者的辅助信息来从多个说话者的混合中提取目标说话者信号。通常，应用深度神经网络来隔离相关的目标说话者特征。在本文中，我们专注于基于CNN-LSTM分离器网络和需要目标说话人参考语音的说话人嵌入器网络的单通道目标说话人提取系统。在分离器网络的LSTM层中，我们建议自定义LSTM单元，以便通过修改遗忘门中的信息处理来只记住与目标说话者对应的特定语音模式。使用Librispeech数据集的两个说话人混合的实验结果表明，与使用标准LSTM单元相比，这种定制显着提高了目标说话人提取性能。
2021-04-09 eess.AS
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在本文中，我们提出了Adapitch，一个多说话人的TTS方法，使自适应的监督模块与未转录的数据。我们设计了两个自监督模块，分别用未转录的数据对文本编码器和梅尔解码器进行训练，以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息，设计了一个有监督的TTS模块，该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分，先用无监督模式对文本编码器和梅尔解码器进行预训练和固定，然后用有监督模式对TTS进行解缠。实验结果表明，自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
VoiceFilter: Targeted Voice Separation by Speaker-Conditioned Spectrogram Masking
Google（谷歌）
在本文中，我们提出了一种新的系统，分离的目标说话人的声音从多说话人信号，通过使用一个参考信号从目标说话人。我们通过训练两个独立的神经网络来实现这一点：（1）说话人识别网络，它产生说话人区分嵌入;（2）声谱图掩蔽网络，它将噪声声谱图和说话人嵌入作为输入，并产生一个掩码。我们的系统显着降低了多扬声器信号的语音识别WER，单扬声器信号的WER退化最小。
2019-06-19 cs.LG eess.AS eess.SP
Multimodal Target Speaker Extraction: Towards Unified Speaker Cues Across Modalities
University of Science and Technology Beijing（北京科技大学）；Beijing Institute of Technology（北京理工大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Alibaba Group（阿里巴巴集团）；Zhejiang Institute of Quality Sciences（浙江省质量科学研究院）；Tianjin University（天津大学）；Technical University of Munich（慕尼黑工业大学）
本文综述多模态目标说话人提取，分类五类线索，梳理模型演变，讨论挑战并展望融合、指令驱动等未来方向。
2026-09-29 cs.MM cs.SD
ProPS: Prompted Profile Synthesis for Natural Language-Conditioned Speaker Embedding Distributions
Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）
针对现有说话人嵌入提取器仅具备描述性不具备生成性的问题，提出ProPS框架，基于自然语言提示生成符合指定属性的说话人嵌入分布，支撑可控语音生成任务。
2026-09-14 cs.AI eess.AS
Personal VAD: Speaker-Conditioned Voice Activity Detection
Google（谷歌）
本文提出个人VAD，一种基于说话人条件的帧级语音活动检测系统，通过130K参数模型实现目标说话人语音检测，优于传统VAD与说话人识别组合的基线。
2026-10-06 cs.LG eess.AS stat.ML
Speaker conditioned acoustic modeling for multi-speaker conversational ASR
在本文中，我们提出了一种新的方法，从单通道语音记录的语音对话与自然扬声器重叠的转录。所提出的模型是一个说话人日记系统和混合自动语音识别（ASR）系统的组合。ASR系统中的说话人条件声学模型（SCAM）由一系列嵌入层组成，这些嵌入层使用来自日记化系统的说话人活动输入来导出说话人特定嵌入。SCAM的输出是用于解码对话中每个扬声器的转录的扬声器特定的senone。在这项工作中，我们的实验与自动扬声器活动的决定使用端到端扬声器日记系统。还提出了一种联合学习方法，其中日志化模型和ASR声学模型被联合优化。实验是在Switchboard电话会话语料库中的混合通道双说话人录音上进行的。在这些实验中，我们表明，所提出的声学模型，结合扬声器活动决策和联合优化，显着提高了ASR系统与显式源过滤（相对改善12%的字错误率（WER）的基线系统）。
2022-08-29 eess.AS
TS-SEP: Joint Diarization and Separation Conditioned on Estimated Speaker Embeddings
Paderborn University（帕德博恩大学）
本文提出TS-SEP方法，基于估计的说话人嵌入联合进行说话人日志与源分离，在LibriCSS任务上取得新的最先进词错误率。
2024-01-01 cs.SD eess.AS
Speaker conditioned acoustic-to-articulatory inversion using x-vectors
言语的产生涉及到各种发音器官的运动，包括舌头、下巴和嘴唇。从语音声学来估计发音器官的运动被称为声学发音反转（AAI）。最近，已经表明，与以特定于说话者的方式训练AAI不同，汇集来自多个说话者的声学发音数据是有益的。此外，通过在AAI的输入处的独热编码与声学特征一起使用扬声器特定信息的附加调节有益于在封闭设置的扬声器训练和测试条件下的AAI性能。在这项工作中，我们进行了实验研究的好处，使用x向量提供扬声器的特定信息条件AAI。30个说话人的实验表明，AAI性能受益于在闭集看到说话人条件下使用x向量。此外，x向量也很好地推广了未见过的扬声器评估。
2020-06-20 eess.AS
DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition
Brno University of Technology（布尔诺理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 DiCoW，通过将说话人分离输出作为条件直接整合到预训练 Whisper 中，并引入 FDDT 与 QKb 技术，以摆脱对说话人嵌入的依赖，提升多说话人目标 ASR 对未见说话人的泛化能力与重叠语音处理效果。
2024-12-30 cs.SD eess.AS
Cross-Utterance Conditioned VAE for Speech Generation
the University of Manchester（曼彻斯特大学）；ShanghaiTech University（上海科技大学）；University of Cambridge（剑桥大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；University College London（伦敦大学学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Shanghai for Science and Technology（上海理工大学）
提出跨语句条件变分自编码器框架CUC-VAE S2，利用预训练语言模型和VAE提取上下文特征生成韵律，支持TTS和语音编辑，在LibriTTS上显著提升自然度和表现力。
2024-09-19 cs.CL cs.SD eess.AS
Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker
语音合成在过去十年中取得了显着的进步，从而产生了高度可理解的语音。进一步的研究已经产生了可以产生可变语音的模型，包括有条件的情感表达。问题在于，然而，在一个短语级的修改和韵律声乐功能的重点。使用CREMA-D数据集，我们训练了一个以情感为条件的GAN，为给定的输入文本生成价值长度。这些字长是相对于中性语音的，并且可以通过语音合成置标语言（SSML）提供给文本到语音（TTS）系统以生成更有表达力的语音。此外，还使用隐式最大似然估计（IMLE）训练生成模型，并包括与GANs的比较分析。与开箱即用的模型相比，我们能够在中性语音的客观测量方面实现更好的性能，并在快乐语音方面实现更好的时间对齐。然而，主观评价还需要进一步的研究。
2023-01-31 cs.CL cs.SD eess.AS
Speaker-Conditioned Phrase Break Prediction for Text-to-Speech with Phoneme-Level Pre-trained Language Model
本文提出融合说话人嵌入并引入音素级预训练语言模型的短语停顿预测方法，支持少样本适配未见说话人，主客观实验均验证其有效性。
2025-08-31 eess.AS
Flow Matching-Based Speech Source Separation with Best-of-N Biometric Sampling
NVIDIA（英伟达）
针对单通道语音分离难题，提出基于条件流匹配的方法，训练时用冻结说话人编码器定义源顺序，推理时用于生物特征最佳N候选选择等，在Libri2Mix基准上评估，该方法在分离指标及下游任务中表现出色。
2026-07-08 cs.SD
Language-Conditioned Token and Reasoning Efficiency in Large Language Models: A Paired Cross-Lingual Study Protocol
Accentrust；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出一项配对跨语言协议，分离输入语言、痕迹语言与答案实现，通过47,520次核心运行和多项假设检验，严谨评估大语言模型的标记与推理效率。
2026-10-06 cs.AI cs.CL
SpeechPainter: Text-conditioned Speech Inpainting
Google（谷歌）
我们提出了SpeechPainter，一个模型，用于利用辅助文本输入来填充语音样本中长达一秒的空白。我们证明，该模型执行语音修补与适当的内容，同时保持扬声器的身份，韵律和记录环境条件，并概括为看不见的扬声器。我们的方法显著优于使用自适应TTS构建的基线，由人类评分员在并排偏好和MOS测试中判断。
2022-03-30 cs.LG cs.SD eess.AS
SCoPE: Shift-Aware Speaker-Conditioned Priors for Emotion Recognition in Conversations
University of Hamburg（汉堡大学）
针对对话情感识别中现有方法的局限，提出SCoPE模块，利用说话者情感历史建模先验，纳入情感转移预测并采用转移感知融合机制，在多模态IEMOCAP数据集上取得优于现有模型的性能。
2026-07-24 cs.CL cs.SD eess.AS
Phase Aware Ear-Conditioned Learning for Multi-Channel Binaural Speaker Separation
提出PEASE-8网络，通过复数STFT和早期解码器层引入原始STFT输入，端到端联合实现双说话人分离与去混响，在混响等条件下取得优异性能且无需置换不变训练。
2025-10-13 eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
A2TTS: TTS for Low Resource Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出A2TTS，一种基于扩散模型和说话人编码器的多语言TTS系统，通过交叉注意力时长预测与无分类器引导提升零样本多说话人生成能力，并在IndicSUPERB数据集上验证了七种低资源印度语言的效果。
2025-07-21 cs.AI cs.CL cs.SD
SE-DiCoW: Self-Enrolled Diarization-Conditioned Whisper
SE-DiCoW通过自主 enrol 的说话人识别条件信息，提升了多语言和多领域语音识别性能，显著降低了错误率。
2026-01-27 cs.LG eess.AS
Flexible Multi-Channel Target Speaker Extraction Using Geometry-Conditioned Spatially Selective Non-linear Filters
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本文提出了一种基于几何条件的空间选择性非线性滤波器（GC-SSF），通过引入基于FiLM层的几何条件分支，结合方向到达（DOA）和麦克风位置的特征（DOA-MPE），以提高在不同麦克风几何配置下的适应性和空间选择性。
2026-05-18 eess.AS
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain（西班牙电信创新数字研究院）；Universidad Autónoma de MadridSpain（马德里自治大学）；Brno University of TechnologyCzech Republic（捷克布拉格技术大学）
本研究提出通过特征线性调制（FiLM）将x-vector说话人信息注入冻结的ASR编码器各Transformer层，实现对病理语音的说话人自适应，在不修改基础模型权重的情况下提升识别性能，并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
Speaker and Language Change Detection using Wav2vec2 and Whisper
Radboud University Nijmegen（奈梅亨拉德堡德大学）
我们调查了最近的Transformer网络预训练的自动语音识别的能力，以检测说话人和语言的变化。我们通过简单地将说话者（变化）或语言目标添加到标签来实现这一点。对于Wav2vec2预训练的网络，我们还研究了说话人改变符号的表示是否可以被调节以捕获说话人身份特征。使用一些构建的数据集，我们表明，这些能力是肯定存在的，与说话人识别的顺序为10%的错误率和几个百分点的语言检测错误率相等。我们将发布代码以供复制。
2023-02-18 cs.CL cs.LG cs.SD
Scaling Multi-Talker ASR with Speaker-Agnostic Activity Streams
Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；Faculty of Information Technology, Brno University of Technology（布拉格技术大学信息科技学院）；Human Language Technology Center of Excellence, Johns Hopkins University（约翰霍普金斯大学人机语言技术中心卓越中心）
针对多说话者ASR推理成本随说话者数量上升的问题，提出将说话者活动转换为两条说话者无关流的方法，结合新启发式规则，在保持性能的同时大幅缩短运行时间。
2025-10-04 cs.SD eess.AS
Enhancing Expressive Voice Conversion with Discrete Pitch-Conditioned Flow Matching Model
Zhejiang University（浙江大学）；LightSpeed Studios, Tencent（腾讯光速工作室）
针对现有语音转换在表现力增强上的不足，本文提出PFlow-VC模型，通过离散基音标记和目标说话人提示，结合基音VQVAE与掩码基音条件流匹配，提升风格迁移与音色相似度，在LibriTTS和ESD数据集上表现优异。
2025-02-08 cs.SD eess.AS
