Speaker-conditioning Single-channel Target Speaker Extraction using Conformer-based Architectures
目标说话人提取的目的是利用关于目标说话人的辅助信息从多个说话人的混合中提取目标说话人。在本文中,我们考虑了一个完整的时域目标说话人提取系统,包括一个说话人嵌入器网络和一个说话人分离器网络,这是联合训练在一个端到端的学习过程。我们提出了两种不同的架构的扬声器分离器网络的基础上,卷积增强的Transformer(构象)。第一种架构使用conformer和外部前馈块(Conformer-FFN)的堆栈,而第二种架构使用时间卷积网络(TCN)和conformer块(TCN-Conformer)的堆栈。实验结果表明,2扬声器混合,3扬声器混合,和嘈杂的混合2扬声器中提出的分离器网络,TCN-一致性显着提高了目标说话人提取性能相比,一致性FFN和基于TCN的基线系统。
2022-05-27 eess.AS
Robust Speaker Extraction Network Based on Iterative Refined Adaptation
说话人提取是指在多说话人环境中,在给定目标说话人的参考信息的情况下,通过干扰说话人和周围噪声提取目标语音信号。大多数说话人提取系统都是在训练过程中遇到测试说话人的前提下才能达到令人满意的性能。这样的系统在给定看不见的目标说话者和/或不匹配的参考声纹信息的情况下遭受性能降级。在本文中,我们提出了一种新的策略命名为迭代精化自适应(IRA),以提高在上述情况下的说话人提取系统的鲁棒性和泛化能力。给定由辅助网络编码的初始说话人嵌入,提取网络可以获得目标说话人的潜在表示,该潜在表示被反馈到辅助网络以获得细化的嵌入,从而为提取网络提供更准确的指导。WSJ 0 - 2 mix-extr和WHAM!数据集证实了所提出的方法在SI-SDR和PESQ改进方面优于没有IRA的网络。
2022-08-11 eess.AS
Margin-Mixup: A Method for Robust Speaker Verification in Multi-Speaker Audio
Ghent University(根特大学);imec(比利时微电子研究中心)
针对多说话人重叠音频导致说话人验证系统鲁棒性下降的问题,提出margin-mixup训练策略,无需修改现有架构即可提升说话人嵌入鲁棒性,在VoxCeleb1多说话人测试集上相对基线平均降低EER达44.4%。
2023-04-07 cs.SD eess.AS
Sequence-to-Sequence Neural Diarization with Automatic Speaker Detection and Representation
本文提出序列到序列神经说话人日志框架,通过自动说话人检测与表示,实现在线和离线的高精度说话人日志,无需预先注册。
2025-06-21 eess.AS
Exploring Detection-based Method For Speaker Diarization @ Ego4D Audio-only Diarization Challenge 2022
Nanjing University(南京大学)
我们提供了ECCV 2022中Ego 4D纯音频日志化挑战的技术报告。说话人日志化以音频流作为输入,并根据说话人的身份输出同质段。它旨在解决“谁在什么时候发言”的问题。“在本文中,我们探索了一种基于检测的方法来解决仅音频的说话人日记化任务。我们的方法首先提取音频特征的音频骨干,然后提供给一个检测生成网络,以获得扬声器的建议。最后,经过后处理,我们可以得到的日志化结果。验证数据集验证了该方法,我们的方法在测试数据集上实现了53.85 DER。这些结果在2022年Ego 4D纯音频日记挑战排行榜上排名第三。
2022-11-16 cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
本文针对音视觉标注数据不足问题,在端到端AVSD系统中引入监督式与自监督式预训练语音模型,并联合训练音频、说话人编码器及音视觉解码器,在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
Target Speaker Lipreading by Audio-Visual Self-Distillation Pretraining and Speaker Adaptation
本文针对中文唇读数据稀缺和说话人差异问题,提出跨语言迁移、说话人自适应及唇部与面部输入集成策略,在ChatCLR数据集上取得优于2024年挑战赛最佳结果的性能。
2025-02-09 eess.AS
A Framework for Robust Speaker Verification in Highly Noisy Environments Leveraging Both Noisy and Enhanced Audio
针对高噪声环境下说话人验证性能下降及语音增强可能扭曲说话人信息的问题,提出基于孪生架构结合带噪与增强语音嵌入的轻量框架,提升验证鲁棒性且兼容多种先进技术,实验证明其性能更优。
2025-08-26 eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation(腾讯公司)
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统,通过联合训练编码器与解码器并利用预训练模型初始化,有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
pyannote.audio: neural building blocks for speaker diarization
我们介绍pyannote.audio,这是一个用Python编写的用于演讲者日记的开源工具包。基于PyTorch机器学习框架,它提供了一组可训练的端到端神经构建块,可以组合并联合优化以构建扬声器日志化管道。pyannote.audio还提供了预先训练的模型,涵盖了语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入的广泛领域,其中大多数都达到了最先进的性能。
2019-11-04 cs.SD eess.AS
Grounding Spoken LLMs in Multi-Speaker Audio via Diarization Conditioning
Brno University of Technology(布尔诺理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出基于说话人日志条件的口语语言模型,通过条件化声学编码器提取目标说话人表示,避免序列化输出训练导致的灾难性遗忘,在多个数据集上显著提升说话人属性转录性能。
2026-06-17 eess.AS
Multimodal Speaker Verification as a Threat to Speaker Anonymization
Johns Hopkins University(约翰斯·霍普金斯大学)
研究多话语、多模态环境下的说话人验证,通过对多个匿名话语的音频、韵律和语言信息进行聚合,比较不同聚合策略,发现多模态系统性能更优,帧级聚合EER最低,即便少量匿名话语结合音频和文本也能显著降低EER。
2026-07-23 eess.AS
Audio-Visual Approach For Multimodal Concurrent Speaker Detection
并发说话人检测(CSD)是在音频信号中识别活动说话人及其重叠部分的任务,对于各种音频应用是必不可少的,包括会议转录、说话人日记和语音分离。这项研究提出了一种多模态深度学习方法,整合了音频和视觉信息。该模型利用早期融合策略,通过跨模态注意力机制将音频和视觉特征与可学习的[CLS]令牌相结合,以捕获关键的视听关系。该模型在两个真实世界的数据集上进行了广泛的评估,即已建立的AMI数据集和最近推出的EasyCom数据集。实验验证了多模态融合策略的有效性。消融研究进一步支持设计选择和模型的训练程序。由于这是第一个工作报告CSD的结果具有挑战性的EasyCom数据集,研究结果表明,在现实世界的情况下,拟议的多模态方法\ac{CSD}的潜力。
2025-01-15 eess.AS eess.IV
Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement
Southern University of Science and Technology(南方科技大学)
针对真实场景视听语音增强性能下降问题,提出“分离-然后关联”两阶段方法,经挑战赛数据集验证有效。
2026-11-17 eess.AS
REAL-2MIX: Evaluating Identity Faithfulness in Audio-Visual Target Speaker Extraction
School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);School of Computer Science, Wuhan University(武汉大学计算机学院);X Square Robot(平方机器人);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出QIANGDA普通话AV-TSE基准与VOXBLINK2-AVSE数据集,采用含AV-HuBERT等的提取器,通过双指标评估,取得了视听目标说话人提取的良好性能。
2026-11-09 eess.AS
J-MAC: Japanese multi-speaker audiobook corpus for speech synthesis
The University of Tokyo(东京大学)
在本文中,我们构建了一个日语有声读物语音语料库称为“J-MAC”的语音合成研究。随着阅读式语音合成的成功,其研究对象逐渐转向使用复杂语境的任务。有声读物语音合成就是一个很好的例子,它需要跨句子、表达力等。与阅读式语音不同,有声读物语音中特定于说话人的表达力也成为上下文。为了加强这一研究,我们提出了一种方法来构建一个语料库从有声读物阅读的专业人士。从许多有声读物及其文本中,我们的方法可以自动提取和提炼数据,而不依赖于任何语言。具体来说,我们使用声乐乐器分离来提取干净的数据,连接主义的时间分类来粗略对齐文本和音频,语音活动检测来细化对齐。J-MAC在我们的项目页面中是开源的。我们还进行有声读物语音合成的评估,结果给有声读物语音合成的见解。
2022-01-26 cs.SD eess.AS
GAN-Based Multi-Microphone Spatial Target Speaker Extraction
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文提出利用GAN结合DoA和判别式空间滤波模型中间特征进行多麦克风空间目标说话人提取,实现5度高分辨率可引导提取,并在感知质量客观指标上超越现有判别式方法。
2025-09-22 eess.AS
Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Meta AI
本文研究了用于视听说话人表征学习的自监督预训练,其中显示说话人嘴部区域的视觉流与语音一起用作输入。我们的研究重点是视听隐藏单元BERT(AV-HuBERT)的方法,最近开发的通用视听语音预训练框架。我们进行了广泛的实验,探讨预训练和视觉模态的有效性。实验结果表明,AV-HuBERT体面地推广到扬声器相关的下游任务,提高标签效率约10倍的音频和视听扬声器验证。我们还表明,将视觉信息,即使只是嘴唇区域,大大提高了性能和噪声鲁棒性,减少EER的38%,在清洁条件下和75%,在嘈杂的条件下。
2022-07-14 cs.CV cs.SD eess.AS
Two-stage Audio-Visual Target Speaker Extraction System for Real-Time Processing On Edge Device
College of Computer Science, Inner Mongolia University, China(内蒙古大学计算机科学学院);Lenovo, China(联想公司)
针对现有AVTSE方法因同时编码视音特征导致计算复杂、无法在边缘设备实时处理的问题,提出两阶段超紧凑系统,通过视觉VAD与视音结合分离语音,实现低资源消耗下的有效噪声及干扰抑制。
2025-11-12 cs.SD eess.AS
Utilizing Speaker Profiles for Impersonation Audio Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系);Anhui University(安徽大学)
本文针对冒充音频检测难题,提出融合说话人画像特征的新方法,并构建首个大规模中文冒充数据集IPAD,实验证明该方法能显著提升检测性能。
2024-08-30 cs.SD eess.AS
Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
MERL(三菱电机研究实验室)
针对真实场景视频中说话人多、话语短、画面说话人不一致的问题,提出后期融合音频与视觉子系统的音视频日志模型,并在 AVA-AVD 上刷新 SOTA。
2023-09-27 cs.CL cs.SD eess.AS
SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔大学)
SpeakerLLM通过统一说话人特征建模、录音条件理解及验证推理,提升音频大语言模型在说话人识别与验证中的性能与准确性。
2026-05-14 cs.AI cs.LG cs.MM
RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues
Nanjing University(南京大学)
本文提出RAVSS框架,通过单一过程实现多说话人并发分离并引入说话人间交互,在VoxCeleb2和LRS3数据集上取得最先进性能,且对视觉线索缺失表现出更强鲁棒性。
2024-07-30 cs.MM cs.SD eess.AS
Speaker anonymization using neural audio codec language models
EURECOM;Microsoft UK(微软英国)
本文提出利用神经音频编解码器的量化编码作为说话人信息瓶颈,结合语言建模实现说话人匿名化,并通过Voice Privacy Challenge 2022评估框架验证了该方法的有效性。
2024-01-12 cs.SD eess.AS
Can Audio Large Language Models Verify Speaker Identity?
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nanjing University(南京大学)
本文通过将说话人验证重构为音频问答任务,并采用困难样本对采样策略进行轻量级微调,显著提升了音频大语言模型的验证性能,同时保持了通用音频理解能力。
2025-09-24 cs.SD eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Industrial Technology Research Institte of Shandong Province(山东省工业技术研究院)
本文提出AVFSNet,通过多尺度编码、并行架构及音视频多任务学习,在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
Rethinking the visual cues in audio-visual speaker extraction
Tianjin University(天津大学);National University of Singapore(新加坡国立大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对AVSE中说话人身份与同步性两类视觉线索作用不明的问题,提出解耦学习策略,并构建可解释的DAVSE模型,证实同步性线索贡献更高。
2023-06-05 cs.SD eess.AS
DeepVOX: Discovering Features from Raw Audio for Speaker Recognition in Non-ideal Audio Signals
Michigan State University(密歇根州立大学)
自动说话人识别算法通常使用预定义的滤波器组,例如梅尔频率和伽玛通滤波器组,用于表征语音音频。然而,已经观察到,使用这些滤波器组提取的特征对于各种音频劣化没有弹性。在这项工作中,我们提出了一种基于深度学习的技术,可以从大量的语音音频中推导出滤波器组的设计。这样的滤波器组的目的是提取对非理想音频条件(诸如降级、短持续时间和多语言语音)鲁棒的特征。为此,设计了一个1D卷积神经网络,用于直接从原始语音音频中学习称为DeepVOX的时域滤波器组。其次,开发了一种自适应三元组挖掘技术,以有效地挖掘最适合训练滤波器组的数据样本。第三,对DeepVOX滤波器组的详细消融研究揭示了提取特征中声源和声道特征的存在。在VOXCeleb 2,NIST SRE 2008,2010和2018以及Fisher语音数据集上的实验结果证明了DeepVOX功能在各种降级,短持续时间和多语言语音中的有效性。DeepVOX的功能还可以提高现有说话人识别算法的性能,例如xVector-PLDA和iVector-PLDA。
2022-06-13 cs.LG eess.AS
SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks
ByteDance(字节跳动);Zhejiang University(浙江大学)
SwanTale是支持指令式与零样本任务的多说话人语音音频生成模型,通过SwanData-Caption数据构建与SwanVAE、Unified MoE等技术实现,在相关任务指标中表现最优。
2026-08-05 cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA(英伟达)
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现,发现其性能与梅尔频谱图接近且对窄带数据更鲁棒,并可在20倍压缩下保持较低性能损失,同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
Speaker Clustering With Neural Networks And Audio Processing
AIPCloud(艾普云)
说话人聚类是区分录音中的说话人的任务。在某种程度上,目的是回答“谁在什么时候说话”的录音。工业中使用的常用方法是由于MFCC特征而直接从记录中提取特征提取,并且通过使用诸如高斯混合模型(GMM)和隐马尔可夫模型(HMM)的公知技术。在本文中,我们研究了神经网络(特别是CNN),然后进行聚类和音频处理,以达到与最先进的方法相似的精度。
2018-03-22 cs.LG cs.SD eess.AS
Target Active Speaker Detection with Audio-visual Cues
National University of Singapore(新加坡国立大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对主动说话人检测中现有方法依赖唇部视频质量的问题,提出融合预注册说话人嵌入与视听同步线索的TS-TalkNet框架,在两个基准数据集上多项指标优于TalkNet。
2023-06-12 cs.SD eess.AS
How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
Technical University of Munich(慕尼黑工业大学);Microsoft Corporation(微软公司)
成功的主动说话人检测需要三个阶段的流水线:(i)对剪辑中的所有说话人进行视听编码,(ii)在每个帧内参考说话人和背景说话人之间的说话人间关系建模,以及(iii)对参考说话人进行时间建模。这个流水线的每个阶段对于所创建的架构的最终性能都起着重要的作用。基于一系列的控制实验,这项工作提出了一些实用的视听主动说话人检测的指导方针。相应地,我们提出了一种名为ASDNet的新架构,该架构在AVA-ActiveSpeaker数据集上实现了新的最先进技术,mAP为93.5%,优于第二好的4.7%。我们的代码和预训练模型是公开的。
2021-09-07 cs.CV cs.LG cs.SD
Audio-Visual Speaker Tracking: Progress, Challenges, and Future Directions
University of Surrey(萨里大学);Tencent AI Lab(腾讯AI实验室);University of Science and Technology Beijing(北京科技大学);University of Sheffield(谢菲尔德大学)
本文针对视听说话人跟踪展开全面综述(系近五年首篇广泛调研),介绍贝叶斯滤波器家族、视听测量获取方法,总结现有跟踪器及AV16.3数据集性能,分析深度学习影响,并探讨其与其他领域的联系。
2025-04-13 cs.MM cs.SD eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico(新墨西哥大学)
在嘈杂的音频记录中,特别是那些来自协作学习环境的音频记录中,说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题,我们假设每个学生组使用单个麦克风,而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证,并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
Deep Learning Based Audio-Visual Multi-Speaker DOA Estimation Using Permutation-Free Loss Function
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种基于深度学习的多说话人波达方向(DOA)估计方法,该方法利用无置换损失函数对音频和视频信号进行DOA估计。我们首先收集多模态声源定位(SSL)的音频和视频信号都记录在现实生活中的家庭电视场景的数据集。然后,我们提出了一种新的空间标注方法,产生地面真实的DOA与视频数据之间的相机坐标和像素坐标的转换,根据针孔相机模型的每个扬声器。将空间位置信息与声学特征一起作为另一个输入,多说话人DOA估计可以作为主动说话人检测的分类任务来解决。由于每个说话人的位置被用作输入,因此将解决多说话人相关任务中的标签排列问题。仿真数据和实际数据的实验结果表明,该模型的估计性能明显优于纯音频DOA估计模型。
2022-10-26 cs.SD eess.AS eess.IV
Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-talker Speech
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
针对稀疏重叠多说话人场景,提出音视频模型ActiveExtract,利用主动说话人检测提供帧级活动信息并判别语音-唇形同步实现说话人分离,在SI-SNR上平均提升超4 dB。
2023-09-15 cs.SD eess.AS
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University(卡内基梅隆大学)
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战,因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份,以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显,将WER提高到3.6%。然而,结合这两种方法并没有进一步显着提高性能。我们的工作表明,以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
End-to-end multi-talker audio-visual ASR using an active speaker attention module
Google Inc.(谷歌公司)
本文提出了一种新的端到端视听多说话人语音识别方法。这种方法在这里被称为视觉上下文注意力模型(VCAM),它很重要,因为它使用可用的视频信息将解码后的文本分配给多个可见人脸中的一个。这基本上解决了与大多数多说话者建模方法相关联的标签模糊性问题,这些方法可以解码多个标签串,但不能将标签串分配给正确的说话者。这被实现为基于transformer-transducer的端到端模型,并使用从YouTube视频创建的两个扬声器视听重叠语音数据集进行评估。它示出在该文件中,VCAM模型相对于以前报道的音频和视听多说话者ASR系统提高了性能。
2022-04-01 cs.CL cs.SD eess.AS
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada(蒙特利尔计算机研究院(CRIM))
本文提出SSAVSV,一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架,无需标注数据,降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research(谷歌研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个联合视听模型,用于从混合的声音(如其他扬声器和背景噪声)中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的,并且不提供分离的语音信号与视频中的说话者的关联。在本文中,我们提出了一个基于深度网络的模型,该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上,并提高语音分离质量。为了训练我们的联合视听模型,我们引入了AVSpeech,这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性,经典的语音分离任务,以及现实世界中的场景,涉及激烈的采访,嘈杂的酒吧,尖叫的孩子,只需要用户指定的人的脸在视频中的讲话,他们要隔离。在混合语音的情况下,我们的方法比最先进的仅音频语音分离具有明显的优势。此外,我们的模型是独立于说话者的(训练一次,适用于任何说话者),比最近的依赖于说话者的视听语音分离方法(需要为每个感兴趣的说话者训练一个单独的模型)产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
Who said that?: Audio-visual speaker diarisation of real-world meetings
Naver Corporation(Naver公司)
这项工作的目标是确定在现实世界的会议中“谁在什么时候发言”。该方法将环绕视图视频和单声道或多声道音频作为输入,并生成鲁棒的diarisation输出。为了实现这一目标,我们提出了一种新的迭代方法,首先使用视听对应注册扬声器模型,然后使用注册的模型与视觉信息一起确定活跃的扬声器。我们在真实世界会议的数据集上表现出强大的定量和定性性能。该方法还评估了公共AMI会议语料库上,我们证明的结果,超过所有可比的方法。我们还表明,波束成形可以与视频一起使用,以进一步提高性能时,多声道音频可用。
2019-06-24 cs.CV cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
当测试语音被干扰说话人破坏时,说话人确认的性能会显著下降。如果说话人在时间上重叠,说话人日记可以很好地分离说话人。然而,如果多个说话者同时说话,我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地,给定目标说话人信息,首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后,提取的语音被传递到说话人验证系统。实验结果表明,该方法显著提高了重叠多说话人说话人确认的性能,相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
ExARN: self-attending RNN for target speaker extraction
目标说话人提取是指在一个有竞争说话人的环境中,提取出由注册语音指定的目标说话人。因此,本课题需要同时解决说话人识别和分离两个问题。在本文中,我们结合了自注意和递归神经网络(RNN)。此外,我们利用各种方法来结合不同的辅助信息与混合表示。实验结果表明,我们提出的模型在目标说话人提取任务上取得了优异的性能。
2023-03-12 eess.AS eess.SP
Audio-Visual Speaker Diarization: Current Databases, Approaches and Challenges
Aragón Institute for Engineering Research (I3A)(阿拉贡工程研究所(I3A));University of Zaragoza(萨拉戈萨大学)
本文综述视听说话人日志的现有方法与数据库,并提出可适配电视、会议和日常活动场景、支持名人身份精确分配的鲁棒框架。
2024-09-09 cs.MM cs.SD eess.AS
Robust Speaker Clustering using Mixtures of von Mises-Fisher Distributions for Naturalistic Audio Streams
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
发言人日记(即确定谁发言以及何时发言?)对于多发言人自然交互,例如同伴领导的团队学习(PLTL)会话,是一项具有挑战性的任务。在这项研究中,我们提出了强大的说话人聚类的基础上混合的多元冯Mises-Fisher分布。我们的日记流水线有两个阶段:(i)地面实况分割;(ii)提出的扬声器聚类。地面实况语音活动信息用于从每个语音段提取i向量。我们使用主成分分析对i-Vectors进行后处理,以进行降维,然后进行长度归一化。归一化i向量是具有区分性方向特征的高维单位向量。我们使用由多变量von Mises-Fisher分布组成的混合模型对归一化i-向量进行建模。采用余弦距离的K均值聚类作为基线方法。评估数据来自:(i)CRSS-PLTL语料库;和(ii)AMI语料库的三次会议子集。CRSSPLTL数据包含PLTL课程的录音,这是学生主导的STEM教育范式。提出的方法始终优于基线,导致PLTL和AMI语料库的相对改善分别高达44.48%和53.68%。索引术语:扬声器聚类,von Mises-Fisher分布,同行领导的团队学习,i-Vector,自然主义音频。
2018-08-18 cs.SD eess.AS
Enhancing Target Speaker Extraction with Explicit Speaker Consistency Modeling
School of Information and Electronics(信息与电子学院)
本文从说话人一致性角度提出一种引入基于中心的说话人一致性损失和条件损失抑制的TSE方法,确保注册与提取语音的说话人一致性,有效提升了目标说话人提取性能。
2025-08-09 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec(利贝雷茨技术大学)
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析,并利用辅助函数优化,以实现高收敛速度。该算法部分地由与感兴趣的源(SOI)相关的导频信号监督,这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI,静态干扰扬声器,和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Joint Speaker Features Learning for Audio-visual Multichannel Speech Separation and Recognition
The Chinese University of Hong Kong(香港中文大学);National Research Council Canada(加拿大国家研究委员会);The Hong Kong Polytechnic University(香港理工大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对视听多通道语音分离与识别的零样本自适应,本文通过专用融合模块联合训练xVector与ECAPA-TDNN说话人编码器,显著提升分离识别效果并大幅降低WER。
2024-06-14 cs.SD eess.AS
Quality-Aware End-to-End Audio-Visual Neural Speaker Diarization
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语音语言信息处理工程研究中心);iFlytek(科大讯飞);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
本研究提出质量感知的端到端音视觉说话人 diarization 框架,融合多模态识别、质量感知融合与交叉注意力机制,在多场景下实现了与最优系统相当的鲁棒性能。
2024-10-15 cs.MM cs.SD eess.AS
Self-supervised learning for audio-visual speaker diarization
Tencent AI Lab(腾讯人工智能实验室)
说话人日志化(Speaker Diarization)是一种寻找特定说话人的语音片段的方法,在以人为中心的应用中得到了广泛的应用,如电视会议或人机交互系统。在本文中,我们提出了一个自我监督的音频视频同步学习方法来解决说话人日记化的问题,而无需大量的标记工作。我们通过引入两个新的损失函数:动态三重损失和多项式损失来改进以前的方法。我们在一个真实的人机交互系统上对它们进行了测试,结果表明我们的最佳模型产生了+8%F1分数的显着增益以及日志错误率的降低。最后,我们介绍了一个新的大规模音视频语料库,旨在填补汉语音视频数据集的空缺。
2020-02-13 cs.LG cs.MM cs.SD
Zero Shot Audio to Audio Emotion Transfer With Speaker Disentanglement
Indian Institute of Science(印度科学院)
本文提出了一种名为 ZEST 的高效零样本音频到音频情感迁移方法,通过将语音分解为语义令牌、说话人表示和情感嵌入并基于自监督重建损失训练模型,在无需平行数据或标签的情况下实现了保留源说话人内容的情感迁移。
2024-01-09 cs.LG cs.SD eess.AS
L-SpEx: Localized Target Speaker Extraction
University of Bremen(不来梅大学)
说话人提取的目的是在给定辅助参考话语的情况下,从多说话人混合语音中提取目标说话人的语音。最近的研究表明,说话人提取受益于目标说话人的位置或方向。然而,这些研究假设目标说话人的位置是事先已知的或通过额外的视觉线索检测到的,例如,面部图像或视频。在本文中,我们提出了一个端到端的本地化目标说话人提取纯语音线索,这是所谓的L-SpEx。具体而言,我们设计了一个由目标说话人的嵌入驱动的说话人定位器来提取空间特征,包括目标说话人的到达方向(DOA)和波束形成输出。然后,空间线索和目标说话人的嵌入都被用来形成一个自上而下的听觉注意目标说话人。在多通道混响数据集MC-Libri 2 Mix上的实验表明,我们的L-SpEx方法显着优于基线系统。
2022-02-21 cs.SD eess.AS
SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA(Kensho Technologies USA);NVIDIA CorporationUSA(NVIDIA Corporation USA)
本文介绍SPGISpeech 2.0,一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集,通过微调提升流行语音识别模型的说话人标记ASR性能,并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS