Visual-based spatial audio generation system for multi-speaker environments
Queen Mary University of London（伦敦玛丽女王大学）；Xidian University（西安电子科技大学）
针对多媒体应用中空间音频生成复杂耗时的问题，提出集成YOLOv8人脸检测、单目深度估计与空间音频技术的自动化系统，无需额外双耳数据集训练，显著提升音视频空间一致性与语音质量，助力高效制作。
2025-02-13 cs.MM cs.SD eess.AS
Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations
National Taiwan University（台湾大学）
最近，周期一致性对抗网络（Cycle-GAN）已成功应用于语音转换到不同的扬声器，而无需并行数据，尽管在这些方法中，每个目标扬声器都需要一个单独的模型。在本文中，我们提出了一个用于语音转换的对抗性学习框架，通过将说话者特征与语音信号中的语言内容分离，可以训练单个模型将语音转换为许多不同的说话者，所有这些都没有并行数据。首先训练一个自动编码器，分别提取说话人独立的潜在表示和说话人嵌入，使用另一个辅助说话人分类器来正则化潜在表示。然后，解码器将说话者无关潜在表示和目标说话者嵌入作为输入，以生成具有源话语的语言内容的目标说话者的语音。解码器输出的质量通过与由另一对发生器和ADC产生的残余信号进行修补而进一步提高。在初步实验中测试了20个目标说话人集的大小，并且获得了非常好的语音质量。报告常规语音转换度量。我们还表明，说话人的信息已被适当减少的潜在表示。
2018-06-24 cs.CL cs.SD eess.AS
Catch You and I Can: Revealing Source Voiceprint Against Voice Conversion
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
语音转换（VC）技术可能被恶意方滥用，将其音频转换为听起来像目标说话者，使得人类或说话者验证/识别系统难以追踪源说话者。本文首次尝试从高可信度的语音转换方法合成的音频中恢复源声纹。然而，从转换的音频中揭示源说话者的特征是具有挑战性的，因为语音转换操作旨在解开原始特征并注入目标说话者的特征。为了实现我们的目标，我们开发了Revelio，一个表示学习模型，它学习从转换后的音频样本中有效地提取源说话人的声纹。我们为Revelio配备了精心设计的差分校正算法，通过去除与目标说话人的声纹平行的表示分量来消除目标说话人的影响。我们进行了大量的实验来评估Revelio从VQVC、VQVC+、AGAIN和BNE转换的音频中恢复声纹的能力。实验证明，Revelio能够重建声纹，可以通过说话人验证和识别系统跟踪到源说话人。Revelio在跨性别转换、看不见的语言和电话网络下也表现出了强劲的性能。
2023-02-24 cs.AI cs.SD eess.AS
Voice Impersonation using Generative Adversarial Networks
Carnegie Mellon University（卡内基梅隆大学）
语音模仿不同于语音转换，尽管后者是语音模仿的一个基本要素。在语音模仿中，合成的语音必须令人信服地传达出由目标说话者自然产生的印象，不仅要模仿音高和其他可感知的信号质量，还要模仿目标说话者的风格。在本文中，我们提出了一个新的神经网络为基础的语音质量和风格模仿框架的合成模拟的声音。该框架是建立在一个快速，准确的生成对抗网络模型。给定源和目标说话者声音的频谱表示，该模型学习模仿目标说话者的声音质量和风格，而不管任何一个声音的语言内容，生成合成频谱图，使用Griffin-Lim方法重建时域信号。实际上，该模型将众所周知的图像风格转移问题重新定义为语音信号的风格转移问题，同时本质上解决了语音声音的持续变化问题。实验表明，该模型可以产生非常令人信服的模拟语音样本。它甚至能够有效地模仿不同性别的声音。使用用于评估合成声音的标准程序对结果进行定性评估。
2018-02-19 cs.SD eess.AS
Neural Voice Cloning with a Few Samples
Baidu Research（百度研究院）
语音克隆是个性化语音界面的一个非常需要的功能。基于神经网络的语音合成已被证明可以为大量说话者生成高质量的语音。在本文中，我们介绍了一个神经语音克隆系统，需要一些音频样本作为输入。我们研究了两种方法：说话人自适应和说话人编码。说话人自适应是基于微调的多说话人生成模型与一些克隆样本。说话人编码是基于训练一个单独的模型来直接从克隆音频中推断出一个新的说话人嵌入，并与多说话人生成模型一起使用。在语音的自然度和与原说话人的相似度方面，这两种方法都可以达到很好的性能，即使克隆音频很少。虽然说话人自适应可以实现更好的自然度和相似性，但说话人编码方法的克隆时间或所需内存显着减少，使其有利于低资源部署。
2018-10-12 cs.CL cs.LG cs.SD
Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
随着神经文本转语音（TTS）模型的快速发展，个性化语音生成现在在许多应用中具有很高的需求。为了实用性，TTS模型应该仅用来自给定说话者的几个音频样本生成高质量的语音，这些音频样本的长度也很短。然而，现有的方法要么需要微调的模型或实现低适应质量没有微调。在这项工作中，我们提出了StyleSpeech，一个新的TTS模型，不仅合成高质量的语音，但也有效地适应新的扬声器。具体来说，我们提出了风格自适应层归一化（SALN），它根据从参考语音音频中提取的风格来调整文本输入的增益和偏差。与SALN，我们的模型有效地合成语音的风格的目标扬声器，甚至从单一的语音音频。此外，为了增强StyleSpeech对新演讲者语音的适应性，我们通过引入两个用风格原型训练的判别器并进行情景训练来将其扩展到元StyleSpeech。实验结果表明，我们的模型生成高质量的语音，准确地遵循说话人的声音与单一的短持续时间（1-3秒）的语音音频，显着优于基线。
2021-06-16 cs.CL cs.LG cs.SD
Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出通过文本到音频嵌入模块重编程预训练音频驱动模型，使其支持文本驱动说话人脸合成，并保留音频输入灵活性。
2024-01-18 cs.CV cs.GR cs.SD
Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
Lightricks；Tel Aviv University（特拉维夫大学）
提出ScenA方法，利用预训练的文本到音频流匹配基础模型，通过多参考声音和自然语言提示生成多说话人音频场景，并采用高噪声偏置时间步分布解决参考捷径问题，在CoVoMix2-Dialogue基准上优于现有系统。
2026-06-18 cs.AI cs.CV cs.SD
Facilitating Personalized TTS for Dysarthric Speakers Using Knowledge Anchoring and Curriculum Learning
POSTECH
针对构音障碍者语音数据稀缺和发音错误问题，提出基于知识锚定与课程学习的零样本多说话者语音合成方法，显著减少发音错误并保持高保真度和韵律自然度。
2025-09-25 cs.SD
Advancing Voice Cloning for Nepali: Leveraging Transfer Learning in a Low-Resource Language
Khwopa College Of Engineering（阔帕工程学院）
本文针对尼泊尔语低资源场景，利用迁移学习构建语音克隆系统，解决了音频质量差和数据匮乏问题，实现了带有尼泊尔语口音的自然语音输出。
2024-08-23 cs.AI cs.LG cs.SD
V2S attack: building DNN-based voice conversion from automatic speaker verification
The University of Tokyo（东京大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
本文提出了一种新的语音模仿攻击使用语音转换（VC）。为自动说话人验证（ASV）注册个人语音提供了自然和灵活的生物识别认证系统。基本上，ASV系统不包括用户的语音数据。然而，如果ASV系统意外地暴露并被恶意攻击者攻击，则存在攻击者将使用VC技术来再现注册用户的语音的风险。我们将其命名为“验证到合成（V2S）攻击”，并建议使用ASV和预训练的自动语音识别（ASR）模型进行VC训练，而不需要目标说话人的语音数据。VC模型通过欺骗ASV模型来再现目标说话人的个性，并通过匹配由ASR模型预测的语音后验图来恢复输入语音的语音属性。实验评估比较转换的声音之间的建议的方法，不使用目标扬声器的语音数据和标准的VC，使用的数据。实验结果表明，该方法的性能优于现有的VC方法，使用非常少量的并行语音数据进行训练。
2019-08-05 cs.CR cs.LG cs.SD
Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech
Sungkyunkwan University（成均馆大学）
针对零样本语音合成中的说话人身份遗忘问题，提出GUARD框架，结合门控与激活引导，在CosyVoice2上将重新识别准确率从73.5%降至0.5%，并强调重新识别作为补充评估标准。
2026-09-24 cs.AI cs.SD
Neural Multi-Speaker Voice Cloning for Nepali in Low-Resource Settings
本研究提出了一种少样本语音克隆系统，用于尼泊尔语低资源环境下的语音合成，通过训练说话人编码器和Tacotron2合成器实现个性化语音生成。
2026-01-26 cs.AI cs.SD
DETECT-3B-Omni is Agnostic of Content and Demographics
Resemble AI（相似人工智能公司）；Deutsche Telekom（德国电信公司）
研究Resemble AI的DETECT-3B-Omni检测器语义独立性，用来自不同AI语音克隆系统的多样音频样本测试，通过等价测试表明其检测准确率不受语音内容、说话者性别、年龄和地区影响。
2026-07-07 cs.AI cs.SD
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题，提出margin-mixup训练策略，无需修改现有架构即可提升说话人嵌入鲁棒性，在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Exploring Detection-based Method For Speaker Diarization @ Ego4D Audio-only Diarization Challenge 2022
Nanjing University（南京大学）
我们提供了ECCV 2022中Ego 4D纯音频日志化挑战的技术报告。说话人日志化以音频流作为输入，并根据说话人的身份输出同质段。它旨在解决“谁在什么时候发言”的问题。“在本文中，我们探索了一种基于检测的方法来解决仅音频的说话人日记化任务。我们的方法首先提取音频特征的音频骨干，然后提供给一个检测生成网络，以获得扬声器的建议。最后，经过后处理，我们可以得到的日志化结果。验证数据集验证了该方法，我们的方法在测试数据集上实现了53.85 DER。这些结果在2022年Ego 4D纯音频日记挑战排行榜上排名第三。
2022-11-16 cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation（腾讯公司）
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统，通过联合训练编码器与解码器并利用预训练模型初始化，有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
pyannote.audio: neural building blocks for speaker diarization
我们介绍pyannote.audio，这是一个用Python编写的用于演讲者日记的开源工具包。基于PyTorch机器学习框架，它提供了一组可训练的端到端神经构建块，可以组合并联合优化以构建扬声器日志化管道。pyannote.audio还提供了预先训练的模型，涵盖了语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入的广泛领域，其中大多数都达到了最先进的性能。
2019-11-04 cs.SD eess.AS
Two-stage Audio-Visual Target Speaker Extraction System for Real-Time Processing On Edge Device
College of Computer Science, Inner Mongolia University, China（内蒙古大学计算机科学学院）；Lenovo, China（联想公司）
针对现有AVTSE方法因同时编码视音特征导致计算复杂、无法在边缘设备实时处理的问题，提出两阶段超紧凑系统，通过视觉VAD与视音结合分离语音，实现低资源消耗下的有效噪声及干扰抑制。
2025-11-12 cs.SD eess.AS
Can Audio Large Language Models Verify Speaker Identity?
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Nanjing University（南京大学）
本文通过将说话人验证重构为音频问答任务，并采用困难样本对采样策略进行轻量级微调，显著提升了音频大语言模型的验证性能，同时保持了通用音频理解能力。
2025-09-24 cs.SD eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）；Industrial Technology Research Institte of Shandong Province（山东省工业技术研究院）
本文提出AVFSNet，通过多尺度编码、并行架构及音视频多任务学习，在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
Rethinking the visual cues in audio-visual speaker extraction
Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对AVSE中说话人身份与同步性两类视觉线索作用不明的问题，提出解耦学习策略，并构建可解释的DAVSE模型，证实同步性线索贡献更高。
2023-06-05 cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA（英伟达）
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现，发现其性能与梅尔频谱图接近且对窄带数据更鲁棒，并可在20倍压缩下保持较低性能损失，同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
Target Active Speaker Detection with Audio-visual Cues
National University of Singapore（新加坡国立大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对主动说话人检测中现有方法依赖唇部视频质量的问题，提出融合预注册说话人嵌入与视听同步线索的TS-TalkNet框架，在两个基准数据集上多项指标优于TalkNet。
2023-06-12 cs.SD eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico（新墨西哥大学）
在嘈杂的音频记录中，特别是那些来自协作学习环境的音频记录中，说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题，我们假设每个学生组使用单个麦克风，而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证，并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-talker Speech
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对稀疏重叠多说话人场景，提出音视频模型ActiveExtract，利用主动说话人检测提供帧级活动信息并判别语音-唇形同步实现说话人分离，在SI-SNR上平均提升超4 dB。
2023-09-15 cs.SD eess.AS
Robust Speaker Clustering using Mixtures of von Mises-Fisher Distributions for Naturalistic Audio Streams
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
发言人日记（即确定谁发言以及何时发言？）对于多发言人自然交互，例如同伴领导的团队学习（PLTL）会话，是一项具有挑战性的任务。在这项研究中，我们提出了强大的说话人聚类的基础上混合的多元冯Mises-Fisher分布。我们的日记流水线有两个阶段：（i）地面实况分割;（ii）提出的扬声器聚类。地面实况语音活动信息用于从每个语音段提取i向量。我们使用主成分分析对i-Vectors进行后处理，以进行降维，然后进行长度归一化。归一化i向量是具有区分性方向特征的高维单位向量。我们使用由多变量von Mises-Fisher分布组成的混合模型对归一化i-向量进行建模。采用余弦距离的K均值聚类作为基线方法。评估数据来自：（i）CRSS-PLTL语料库;和（ii）AMI语料库的三次会议子集。CRSSPLTL数据包含PLTL课程的录音，这是学生主导的STEM教育范式。提出的方法始终优于基线，导致PLTL和AMI语料库的相对改善分别高达44.48%和53.68%。索引术语：扬声器聚类，von Mises-Fisher分布，同行领导的团队学习，i-Vector，自然主义音频。
2018-08-18 cs.SD eess.AS
Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Meta AI
本文研究了用于视听说话人表征学习的自监督预训练，其中显示说话人嘴部区域的视觉流与语音一起用作输入。我们的研究重点是视听隐藏单元BERT（AV-HuBERT）的方法，最近开发的通用视听语音预训练框架。我们进行了广泛的实验，探讨预训练和视觉模态的有效性。实验结果表明，AV-HuBERT体面地推广到扬声器相关的下游任务，提高标签效率约10倍的音频和视听扬声器验证。我们还表明，将视觉信息，即使只是嘴唇区域，大大提高了性能和噪声鲁棒性，减少EER的38%，在清洁条件下和75%，在嘈杂的条件下。
2022-07-14 cs.CV cs.SD eess.AS
Joint Speaker Features Learning for Audio-visual Multichannel Speech Separation and Recognition
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）；The Hong Kong Polytechnic University（香港理工大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对视听多通道语音分离与识别的零样本自适应，本文通过专用融合模块联合训练xVector与ECAPA-TDNN说话人编码器，显著提升分离识别效果并大幅降低WER。
2024-06-14 cs.SD eess.AS
Audio-visual child-adult speaker classification in dyadic interactions
University of Southern California（南加州大学）；Boston University（波士顿大学）
针对儿童-成人说话者分类传统方法忽略视觉信号的问题，研究在纯音频分类流水线基础上引入主动说话者检测等视觉线索，构建含晚期融合的多模态框架，实验证明其提升了分类准确率与鲁棒性。
2023-10-09 cs.SD eess.AS
Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
MERL（三菱电机研究实验室）
针对真实场景视频中说话人多、话语短、画面说话人不一致的问题，提出后期融合音频与视觉子系统的音视频日志模型，并在 AVA-AVD 上刷新 SOTA。
2023-09-27 cs.CL cs.SD eess.AS
Online Audio-Visual Autoregressive Speaker Extraction
Alibaba Group（阿里巴巴集团）；Singapore National University of Singapore（新加坡国立大学）
本文提出在线音视频说话人提取模型，通过轻量级视觉前端和自回归声学编码器利用历史分离语音信息，在LRS3上以极低参数量达到先进性能，并在注意力切换时保持鲁棒。
2025-06-02 cs.SD eess.AS
An audio-quality-based multi-strategy approach for target speaker extraction in the MISP 2023 Challenge
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co., Ltd（马上消费金融股份有限公司）
针对MISP 2023挑战赛的音视频目标说话人提取任务，提出基于音频质量的多策略提取方法，平衡干扰消除与语音保留，在开发集和评估集分别取得24.2%、33.2%的字符错误率，获挑战赛第二名。
2024-03-07 cs.SD eess.AS
RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues
Nanjing University（南京大学）
本文提出RAVSS框架，通过单一过程实现多说话人并发分离并引入说话人间交互，在VoxCeleb2和LRS3数据集上取得最先进性能，且对视觉线索缺失表现出更强鲁棒性。
2024-07-30 cs.MM cs.SD eess.AS
Audio-Visual Speaker Tracking: Progress, Challenges, and Future Directions
University of Surrey（萨里大学）；Tencent AI Lab（腾讯AI实验室）；University of Science and Technology Beijing（北京科技大学）；University of Sheffield（谢菲尔德大学）
本文针对视听说话人跟踪展开全面综述（系近五年首篇广泛调研），介绍贝叶斯滤波器家族、视听测量获取方法，总结现有跟踪器及AV16.3数据集性能，分析深度学习影响，并探讨其与其他领域的联系。
2025-04-13 cs.MM cs.SD eess.AS
EACELEB: An East Asian Language Speaking Celebrity Dataset for Speaker Recognition
Georgia Institute of Technology（佐治亚理工学院）
大型数据集对于训练说话人识别系统非常有用，多年来，各种研究小组已经构建了几个。Voxceleb是一个从Youtube视频中提取的大型说话人识别数据集。本文提出了一种从Youtube获取音频数据的视听方法，给定扬声器的名称作为输入。该系统遵循类似于Voxceleb数据采集方法的流水线。然而，我们的工作集中在快速数据采集，一旦人脸被检测到，在随后的帧中使用人脸跟踪-这是最好的人脸检测为每帧考虑其计算成本。我们表明，应用音频日志我们的数据采集后，可以产生相等的出错率可比Voxceleb。第二组实验表明，我们可以通过使用获取的数据微调预训练的x向量系统来进一步降低出错率。像Voxceleb一样，这里的工作主要集中在为名人开发音频。然而，与Voxceleb不同的是，我们的目标音频数据来自东亚国家的名人。最后，我们建立了一个说话人验证任务，以评估我们所获得的数据的准确性。经过日志化和微调，我们在整个数据集上实现了大约4\%的相等出错率。
2022-03-10 cs.SD eess.AS
Deep Learning Based Audio-Visual Multi-Speaker DOA Estimation Using Permutation-Free Loss Function
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于深度学习的多说话人波达方向（DOA）估计方法，该方法利用无置换损失函数对音频和视频信号进行DOA估计。我们首先收集多模态声源定位（SSL）的音频和视频信号都记录在现实生活中的家庭电视场景的数据集。然后，我们提出了一种新的空间标注方法，产生地面真实的DOA与视频数据之间的相机坐标和像素坐标的转换，根据针孔相机模型的每个扬声器。将空间位置信息与声学特征一起作为另一个输入，多说话人DOA估计可以作为主动说话人检测的分类任务来解决。由于每个说话人的位置被用作输入，因此将解决多说话人相关任务中的标签排列问题。仿真数据和实际数据的实验结果表明，该模型的估计性能明显优于纯音频DOA估计模型。
2022-10-26 cs.SD eess.AS eess.IV
Descriptor:: Extended-Length Audio Dataset for Synthetic Voice Detection and Speaker Recognition (ELAD-SVDSR)
Dept of Electrical and Computer Engineering, Clarkson University（电气与计算机工程系，克林顿大学）
本文提出面向合成语音检测与说话人识别的长时音频数据集ELAD-SVDSR，含36人45分钟多麦克风录音，已加入20个深度伪造语音样本，可助力高质量伪造语音生成及检测系统研发，推动相关领域发展。
2025-09-30 cs.SD eess.AS
Intensity Particle Flow SMC-PHD Filter For Audio Speaker Tracking
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡迪尔·切莱比大学）
非零扩散粒子流序贯蒙特卡罗概率假设密度（NPF-SMC-PHD）滤波最近被引入多说话人跟踪。然而，NPF没有考虑在估计具有其状态的说话人的数量中起关键作用的缺失检测。为了解决这个问题，我们建议在NPFSMC-PHD滤波器中使用强度粒子流（IPF）。所提出的方法，IPF-SMC-PHD，考虑杂波强度和检测概率，而没有数据关联算法用于计算粒子流。LOCATA（声源定位和跟踪）数据集与任务4的序列上的实验表明，我们提出的IPF-SMC-PHD滤波器的估计精度相比，其基线同行的跟踪性能提高。
2018-12-04 cs.SD eess.AS
Diarization of Legal Proceedings. Identifying and Transcribing Judicial Speech from Recorded Court Audio
New York University（纽约大学）
美国法院将口头辩论的录音作为公共记录提供，但这些录音很少包括发言人的注释。本文讨论了语音音频日记问题，回答了“谁在什么时候说话？”“在司法口头辩论程序领域。我们提出了一个工作流程diarizing法官的口头辩论，我们称之为参考依赖扬声器验证的过程中使用的音频记录的讲话。我们利用用广义端到端损失训练的语音嵌入网络将语音编码成d向量和基于注释数据的预定义参考音频库。我们发现，通过编码参考音频的扬声器和完整的参数和计算相似性分数，我们实现了13.8%的拨号出错率的扬声器覆盖的参考音频库上举行的测试集。我们评估我们的方法对美国最高法院的口头辩论，通过Oyez项目访问，并概述了未来的工作diarizing法律诉讼。该研究的代码存储库可在github.com/JeffT13/rd-diarization上获得
2021-04-03 cs.SD eess.AS
End-to-end multi-talker audio-visual ASR using an active speaker attention module
Google Inc.（谷歌公司）
本文提出了一种新的端到端视听多说话人语音识别方法。这种方法在这里被称为视觉上下文注意力模型（VCAM），它很重要，因为它使用可用的视频信息将解码后的文本分配给多个可见人脸中的一个。这基本上解决了与大多数多说话者建模方法相关联的标签模糊性问题，这些方法可以解码多个标签串，但不能将标签串分配给正确的说话者。这被实现为基于transformer-transducer的端到端模型，并使用从YouTube视频创建的两个扬声器视听重叠语音数据集进行评估。它示出在该文件中，VCAM模型相对于以前报道的音频和视听多说话者ASR系统提高了性能。
2022-04-01 cs.CL cs.SD eess.AS
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada（蒙特利尔计算机研究院（CRIM））
本文提出SSAVSV，一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架，无需标注数据，降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research（谷歌研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了一个联合视听模型，用于从混合的声音（如其他扬声器和背景噪声）中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的，并且不提供分离的语音信号与视频中的说话者的关联。在本文中，我们提出了一个基于深度网络的模型，该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上，并提高语音分离质量。为了训练我们的联合视听模型，我们引入了AVSpeech，这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性，经典的语音分离任务，以及现实世界中的场景，涉及激烈的采访，嘈杂的酒吧，尖叫的孩子，只需要用户指定的人的脸在视频中的讲话，他们要隔离。在混合语音的情况下，我们的方法比最先进的仅音频语音分离具有明显的优势。此外，我们的模型是独立于说话者的（训练一次，适用于任何说话者），比最近的依赖于说话者的视听语音分离方法（需要为每个感兴趣的说话者训练一个单独的模型）产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
Speaker Diarization: Using Recurrent Neural Networks
Utah State University（犹他州立大学）
Speaker Diarization是在音频中分离扬声器的问题。可以有任何数量的发言者和最终结果应国家发言时开始和结束。在这个项目中，我们分析给定的音频文件与2通道和2扬声器（在单独的通道）。我们训练神经网络来学习一个人说话的时候。我们使用不同类型的神经网络，具体来说，单层感知器（SLP），多层感知器（MLP），递归神经网络（RNN）和卷积神经网络（CNN），我们实现了$\sim$ 92%的准确率与RNN。该项目的代码可在https://github.com/vishalshar/SpeakerDiarization_RNN_CNN_LSTM上获得
2020-06-10 cs.SD eess.AS
Decoding while Adapting: Zero-Shot Online Speaker Adaptation via Audio-Textual Prompts for Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种基于跨语句音频-文本提示的说话人自适应方法，实现零样本实时适应未见说话人，在老年人语音数据集上显著降低词错误率/字符错误率，并大幅提升实时因子。
2026-06-16 cs.SD eess.AS
Who said that?: Audio-visual speaker diarisation of real-world meetings
Naver Corporation（Naver公司）
这项工作的目标是确定在现实世界的会议中“谁在什么时候发言”。该方法将环绕视图视频和单声道或多声道音频作为输入，并生成鲁棒的diarisation输出。为了实现这一目标，我们提出了一种新的迭代方法，首先使用视听对应注册扬声器模型，然后使用注册的模型与视觉信息一起确定活跃的扬声器。我们在真实世界会议的数据集上表现出强大的定量和定性性能。该方法还评估了公共AMI会议语料库上，我们证明的结果，超过所有可比的方法。我们还表明，波束成形可以与视频一起使用，以进一步提高性能时，多声道音频可用。
2019-06-24 cs.CV cs.SD eess.AS
Audio-Visual Target Speaker Extraction with Reverse Selective Auditory Attention
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big data（深圳大数据研究院）；University of Bremen（不来梅大学）
本文提出一种新颖的选择性听觉注意力机制，通过估计并利用不期望的含噪信号设计SEANet框架，有效抑制干扰说话人和非语音信号，在五个数据集上取得最先进的音视频目标说话人提取性能。
2025-03-03 cs.SD eess.AS
DialogueSidon: Recovering Full-Duplex Dialogue Tracks from In-the-Wild Dialogue Audio
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所）
DialogueSidon通过联合恢复与分离降质单通道对话音频，提升识别与分离质量，并实现更快推理。
2026-07-01 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec（利贝雷茨技术大学）
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析，并利用辅助函数优化，以实现高收敛速度。该算法部分地由与感兴趣的源（SOI）相关的导频信号监督，这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI，静态干扰扬声器，和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Speaker Clustering With Neural Networks And Audio Processing
AIPCloud（艾普云）
说话人聚类是区分录音中的说话人的任务。在某种程度上，目的是回答“谁在什么时候说话”的录音。工业中使用的常用方法是由于MFCC特征而直接从记录中提取特征提取，并且通过使用诸如高斯混合模型（GMM）和隐马尔可夫模型（HMM）的公知技术。在本文中，我们研究了神经网络（特别是CNN），然后进行聚类和音频处理，以达到与最先进的方法相似的精度。
2018-03-22 cs.LG cs.SD eess.AS
Quality-Aware End-to-End Audio-Visual Neural Speaker Diarization
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语音语言信息处理工程研究中心）；iFlytek（科大讯飞）；School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
本研究提出质量感知的端到端音视觉说话人 diarization 框架，融合多模态识别、质量感知融合与交叉注意力机制，在多场景下实现了与最优系统相当的鲁棒性能。
2024-10-15 cs.MM cs.SD eess.AS
How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
Technical University of Munich（慕尼黑工业大学）；Microsoft Corporation（微软公司）
成功的主动说话人检测需要三个阶段的流水线：（i）对剪辑中的所有说话人进行视听编码，（ii）在每个帧内参考说话人和背景说话人之间的说话人间关系建模，以及（iii）对参考说话人进行时间建模。这个流水线的每个阶段对于所创建的架构的最终性能都起着重要的作用。基于一系列的控制实验，这项工作提出了一些实用的视听主动说话人检测的指导方针。相应地，我们提出了一种名为ASDNet的新架构，该架构在AVA-ActiveSpeaker数据集上实现了新的最先进技术，mAP为93.5%，优于第二好的4.7%。我们的代码和预训练模型是公开的。
2021-09-07 cs.CV cs.LG cs.SD
SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of Seoul（首尔大学）
SpeakerLLM通过统一说话人特征建模、录音条件理解及验证推理，提升音频大语言模型在说话人识别与验证中的性能与准确性。
2026-05-14 cs.AI cs.LG cs.MM
