Is Someone Speaking? Exploring Long-term Temporal Features for Audio-visual Active Speaker Detection
National University of Singapore(新加坡国立大学)
主动说话者检测(ASD)试图检测在一个或多个说话者的视觉场景中谁在说话。ASD的成功依赖于对短期和长期视听信息的准确解读以及视听互动。与之前的工作不同,系统使用短期特征瞬间做出决策,我们提出了一个新的框架,名为TalkNet,它通过考虑短期和长期特征来做出决策。TalkNet由用于特征表示的音频和视觉时间编码器、用于模态间交互的视听交叉注意机制以及用于捕获长期说话证据的自注意机制组成。实验结果表明,TalkNet在AVA-ActiveSpeaker数据集和Columbia ASD数据集上分别比最先进的系统提高了3.5%和2.2%。代码已在www.example.com上提供。
2021-07-25 cs.SD eess.AS eess.IV
Exploring Detection-based Method For Speaker Diarization @ Ego4D Audio-only Diarization Challenge 2022
Nanjing University(南京大学)
我们提供了ECCV 2022中Ego 4D纯音频日志化挑战的技术报告。说话人日志化以音频流作为输入,并根据说话人的身份输出同质段。它旨在解决“谁在什么时候发言”的问题。“在本文中,我们探索了一种基于检测的方法来解决仅音频的说话人日记化任务。我们的方法首先提取音频特征的音频骨干,然后提供给一个检测生成网络,以获得扬声器的建议。最后,经过后处理,我们可以得到的日志化结果。验证数据集验证了该方法,我们的方法在测试数据集上实现了53.85 DER。这些结果在2022年Ego 4D纯音频日记挑战排行榜上排名第三。
2022-11-16 cs.SD eess.AS
Audio-Visual Speaker Diarization: Current Databases, Approaches and Challenges
Aragón Institute for Engineering Research (I3A)(阿拉贡工程研究所(I3A));University of Zaragoza(萨拉戈萨大学)
本文综述视听说话人日志的现有方法与数据库,并提出可适配电视、会议和日常活动场景、支持名人身份精确分配的鲁棒框架。
2024-09-09 cs.MM cs.SD eess.AS
Audio-Visual Target Speaker Enhancement on Multi-Talker Environment using Event-Driven Cameras
Istituto Italiano di Tecnologia(意大利技术研究院);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
我们提出了一种方法,以解决视听目标扬声器增强多说话人环境中使用事件驱动的摄像机。最先进的视听语音分离方法表明,关键信息是与语音产生相关的面部标志的运动。然而,迄今为止提出的所有方法都是离线工作的,使用基于帧的视频输入,使得难以以低延迟处理用于在线应用的视听信号。为了克服这一局限性,我们提出了使用事件驱动的摄像机,并利用压缩,高时间分辨率和低延迟,低成本和低延迟的运动特征提取,走向在线嵌入式视听语音处理。我们使用面部标志的事件驱动光流估计作为堆栈双向LSTM的输入,该LSTM被训练用于预测理想幅度掩码,然后用于过滤嘈杂的音频,以获得目标说话者的音频信号。所提出的方法几乎与基于帧的方法相当,具有非常低的延迟和计算成本。
2021-02-22 cs.LG eess.AS eess.IV
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
本文针对音视觉标注数据不足问题,在端到端AVSD系统中引入监督式与自监督式预训练语音模型,并联合训练音频、说话人编码器及音视觉解码器,在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation(腾讯公司)
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统,通过联合训练编码器与解码器并利用预训练模型初始化,有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
pyannote.audio: neural building blocks for speaker diarization
我们介绍pyannote.audio,这是一个用Python编写的用于演讲者日记的开源工具包。基于PyTorch机器学习框架,它提供了一组可训练的端到端神经构建块,可以组合并联合优化以构建扬声器日志化管道。pyannote.audio还提供了预先训练的模型,涵盖了语音活动检测、说话人变化检测、重叠语音检测和说话人嵌入的广泛领域,其中大多数都达到了最先进的性能。
2019-11-04 cs.SD eess.AS
A Multi-View Approach To Audio-Visual Speaker Verification
Facebook(脸书)
虽然说话人验证传统上是仅音频的任务,但一些实际应用提供音频和视觉输入流两者。在这些情况下,视觉流提供了补充信息,并且通常可以与语音的声学结合使用,以提高验证性能。在这项研究中,我们探索视听方法说话人验证,从标准融合技术学习联合视听(AV)嵌入,然后提出了一种新的方法来处理跨模态验证在测试时。具体来说,我们调查单峰和级联的AV融合,并报告最低的AV相等出错率(EER)的0.7%的VoxCeleb1数据集上使用我们最好的系统。由于这些方法缺乏跨模态验证的能力,我们引入了一个多视图模型,它使用一个共享的分类器来映射音频和视频到同一个空间。这种新方法在跨模态验证的挑战性测试条件下在VoxCeleb1上实现了28%的EER。
2021-02-11 cs.LG cs.SD eess.AS
Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Meta AI
本文研究了用于视听说话人表征学习的自监督预训练,其中显示说话人嘴部区域的视觉流与语音一起用作输入。我们的研究重点是视听隐藏单元BERT(AV-HuBERT)的方法,最近开发的通用视听语音预训练框架。我们进行了广泛的实验,探讨预训练和视觉模态的有效性。实验结果表明,AV-HuBERT体面地推广到扬声器相关的下游任务,提高标签效率约10倍的音频和视听扬声器验证。我们还表明,将视觉信息,即使只是嘴唇区域,大大提高了性能和噪声鲁棒性,减少EER的38%,在清洁条件下和75%,在嘈杂的条件下。
2022-07-14 cs.CV cs.SD eess.AS
Text-Independent Speaker Verification Using Discrete Audio Tokens
The Hong Kong Polytechnic University(香港理工大学)
研究在自动说话人验证中神经音频编解码器离散表示性能不佳的问题,提出跨特征知识蒸馏框架,通过引导学生模型模仿教师模型嵌入空间,有效利用令牌中说话人信息,提升了基于编解码器系统的ASV性能。
2026-07-14 eess.AS
SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker Understanding and Verification Reasoning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Seoul(首尔大学)
SpeakerLLM通过统一说话人特征建模、录音条件理解及验证推理,提升音频大语言模型在说话人识别与验证中的性能与准确性。
2026-05-14 cs.AI cs.LG cs.MM
X-TaSNet: Robust and Accurate Time-Domain Speaker Extraction Network
基于目标说话人的参考语音从混合音频中提取目标说话人的语音是语音处理中具有挑战性但功能强大的技术。最近对与说话者无关的语音分离的研究,如TasNet,通过在时域波形上应用深度神经网络,已经显示出了有希望的结果。这种分离神经网络在指定目标说话人时不能直接产生可靠和准确的输出,因为说话人数量的必要先验以及在处理不存在说话人的音频时缺乏鲁棒性。在本文中,我们打破了这些限制,引入了一种新的扬声器感知的语音掩蔽方法,称为X-TaSNet。我们的建议采用了新的策略,包括基于失真的损失和相应的交替训练方案,以更好地解决鲁棒性问题。X-TaSNet显著提高了提取的语音质量,与最先进的语音滤波方法相比,输出语音音频的SDRi和SI-SNRi加倍。X-TaSNet还通过将输出音频中的扬声器身份的准确性提高到95.4%来提高结果的可靠性,使得在目标扬声器不存在的大多数情况下,它返回无声音频。这些结果表明X-TaSNet向说话人提取技术的更实际应用迈出了坚实的一步。
2020-10-24 eess.AS
Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
MERL(三菱电机研究实验室)
针对真实场景视频中说话人多、话语短、画面说话人不一致的问题,提出后期融合音频与视觉子系统的音视频日志模型,并在 AVA-AVD 上刷新 SOTA。
2023-09-27 cs.CL cs.SD eess.AS
RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues
Nanjing University(南京大学)
本文提出RAVSS框架,通过单一过程实现多说话人并发分离并引入说话人间交互,在VoxCeleb2和LRS3数据集上取得最先进性能,且对视觉线索缺失表现出更强鲁棒性。
2024-07-30 cs.MM cs.SD eess.AS
Speaker Clustering With Neural Networks And Audio Processing
AIPCloud(艾普云)
说话人聚类是区分录音中的说话人的任务。在某种程度上,目的是回答“谁在什么时候说话”的录音。工业中使用的常用方法是由于MFCC特征而直接从记录中提取特征提取,并且通过使用诸如高斯混合模型(GMM)和隐马尔可夫模型(HMM)的公知技术。在本文中,我们研究了神经网络(特别是CNN),然后进行聚类和音频处理,以达到与最先进的方法相似的精度。
2018-03-22 cs.LG cs.SD eess.AS
How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
Technical University of Munich(慕尼黑工业大学);Microsoft Corporation(微软公司)
成功的主动说话人检测需要三个阶段的流水线:(i)对剪辑中的所有说话人进行视听编码,(ii)在每个帧内参考说话人和背景说话人之间的说话人间关系建模,以及(iii)对参考说话人进行时间建模。这个流水线的每个阶段对于所创建的架构的最终性能都起着重要的作用。基于一系列的控制实验,这项工作提出了一些实用的视听主动说话人检测的指导方针。相应地,我们提出了一种名为ASDNet的新架构,该架构在AVA-ActiveSpeaker数据集上实现了新的最先进技术,mAP为93.5%,优于第二好的4.7%。我们的代码和预训练模型是公开的。
2021-09-07 cs.CV cs.LG cs.SD
Visually Supervised Speaker Detection and Localization via Microphone Array
University of Surrey(萨里大学)
主动说话人检测(ASD)是一个多模态任务,旨在从一组候选人中识别谁在说话。用于ASD的当前视听方法通常依赖于视觉上预提取的面部轨迹(连续面部裁剪的序列)和相应的单声道音频。然而,他们的召回率往往是低的,因为只有可见的面孔包括在候选人的集合。单声道音频可以成功地检测语音活动的存在,但由于缺乏空间线索而无法定位说话者。我们的解决方案使用麦克风阵列扩展音频前端。我们训练一个音频卷积神经网络(CNN)结合波束成形技术,直接在视频帧中回归扬声器的水平位置。我们建议使用预训练的主动说话人检测器在预提取的人脸轨迹上生成弱标签。我们的管道采用了“学生-教师”模式,其中经过训练的“教师”网络用于在视觉上产生伪标签。“学生”网络是一个经过训练的音频网络,可以生成相同的结果。在推理时,学生网络可以直接从音频输入独立地定位视觉帧中的说话者。新收集的数据的实验结果证明,我们的方法显着优于各种其他基线以及教师网络本身。它也是一个优秀的语音活动检测器。
2022-03-07 cs.SD eess.AS eess.IV
Two-stage Audio-Visual Target Speaker Extraction System for Real-Time Processing On Edge Device
College of Computer Science, Inner Mongolia University, China(内蒙古大学计算机科学学院);Lenovo, China(联想公司)
针对现有AVTSE方法因同时编码视音特征导致计算复杂、无法在边缘设备实时处理的问题,提出两阶段超紧凑系统,通过视觉VAD与视音结合分离语音,实现低资源消耗下的有效噪声及干扰抑制。
2025-11-12 cs.SD eess.AS
TaL: a synchronised multi-speaker corpus of ultrasound tongue imaging, audio, and lip videos
University of Edinburgh(爱丁堡大学);University of Science and Technology of China(中国科学技术大学);Queen Margaret University(玛格丽特女王大学);Articulate Instruments Ltd.(Articulate仪器有限公司)
我们提出了舌头和嘴唇语料库(TaL),音频,超声舌头成像和嘴唇视频的多扬声器语料库。TaL由两部分组成:TaL 1是一个专业的语音人才,英语为母语的男性的一套六个录音会话; TaL 80是一个没有语音人才经验的81个英语为母语的录音会话。总体而言,语料库包含24小时的并行超声、视频和音频数据,其中大约13.5小时是语音。本文介绍了语料库,并提出了基准测试结果的任务,语音识别,语音合成(发音声学映射),和自动同步的超声音频。TaL语料库在CC BY-NC 4.0许可下公开可用。
2020-11-19 cs.CL cs.CV cs.SD
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University(卡内基梅隆大学)
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战,因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份,以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显,将WER提高到3.6%。然而,结合这两种方法并没有进一步显着提高性能。我们的工作表明,以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
Audio-Visual Speaker Tracking: Progress, Challenges, and Future Directions
University of Surrey(萨里大学);Tencent AI Lab(腾讯AI实验室);University of Science and Technology Beijing(北京科技大学);University of Sheffield(谢菲尔德大学)
本文针对视听说话人跟踪展开全面综述(系近五年首篇广泛调研),介绍贝叶斯滤波器家族、视听测量获取方法,总结现有跟踪器及AV16.3数据集性能,分析深度学习影响,并探讨其与其他领域的联系。
2025-04-13 cs.MM cs.SD eess.AS
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
Utilizing Speaker Profiles for Impersonation Audio Detection
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Automation, Tsinghua University(清华大学自动化系);Anhui University(安徽大学)
本文针对冒充音频检测难题,提出融合说话人画像特征的新方法,并构建首个大规模中文冒充数据集IPAD,实验证明该方法能显著提升检测性能。
2024-08-30 cs.SD eess.AS
Speaker anonymization using neural audio codec language models
EURECOM;Microsoft UK(微软英国)
本文提出利用神经音频编解码器的量化编码作为说话人信息瓶颈,结合语言建模实现说话人匿名化,并通过Voice Privacy Challenge 2022评估框架验证了该方法的有效性。
2024-01-12 cs.SD eess.AS
Can Audio Large Language Models Verify Speaker Identity?
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nanjing University(南京大学)
本文通过将说话人验证重构为音频问答任务,并采用困难样本对采样策略进行轻量级微调,显著提升了音频大语言模型的验证性能,同时保持了通用音频理解能力。
2025-09-24 cs.SD eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Industrial Technology Research Institte of Shandong Province(山东省工业技术研究院)
本文提出AVFSNet,通过多尺度编码、并行架构及音视频多任务学习,在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
Sequence-to-Sequence Neural Diarization with Automatic Speaker Detection and Representation
本文提出序列到序列神经说话人日志框架,通过自动说话人检测与表示,实现在线和离线的高精度说话人日志,无需预先注册。
2025-06-21 eess.AS
Rethinking the visual cues in audio-visual speaker extraction
Tianjin University(天津大学);National University of Singapore(新加坡国立大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对AVSE中说话人身份与同步性两类视觉线索作用不明的问题,提出解耦学习策略,并构建可解释的DAVSE模型,证实同步性线索贡献更高。
2023-06-05 cs.SD eess.AS
DeepVOX: Discovering Features from Raw Audio for Speaker Recognition in Non-ideal Audio Signals
Michigan State University(密歇根州立大学)
自动说话人识别算法通常使用预定义的滤波器组,例如梅尔频率和伽玛通滤波器组,用于表征语音音频。然而,已经观察到,使用这些滤波器组提取的特征对于各种音频劣化没有弹性。在这项工作中,我们提出了一种基于深度学习的技术,可以从大量的语音音频中推导出滤波器组的设计。这样的滤波器组的目的是提取对非理想音频条件(诸如降级、短持续时间和多语言语音)鲁棒的特征。为此,设计了一个1D卷积神经网络,用于直接从原始语音音频中学习称为DeepVOX的时域滤波器组。其次,开发了一种自适应三元组挖掘技术,以有效地挖掘最适合训练滤波器组的数据样本。第三,对DeepVOX滤波器组的详细消融研究揭示了提取特征中声源和声道特征的存在。在VOXCeleb 2,NIST SRE 2008,2010和2018以及Fisher语音数据集上的实验结果证明了DeepVOX功能在各种降级,短持续时间和多语言语音中的有效性。DeepVOX的功能还可以提高现有说话人识别算法的性能,例如xVector-PLDA和iVector-PLDA。
2022-06-13 cs.LG eess.AS
End-to-end multi-talker audio-visual ASR using an active speaker attention module
Google Inc.(谷歌公司)
本文提出了一种新的端到端视听多说话人语音识别方法。这种方法在这里被称为视觉上下文注意力模型(VCAM),它很重要,因为它使用可用的视频信息将解码后的文本分配给多个可见人脸中的一个。这基本上解决了与大多数多说话者建模方法相关联的标签模糊性问题,这些方法可以解码多个标签串,但不能将标签串分配给正确的说话者。这被实现为基于transformer-transducer的端到端模型,并使用从YouTube视频创建的两个扬声器视听重叠语音数据集进行评估。它示出在该文件中,VCAM模型相对于以前报道的音频和视听多说话者ASR系统提高了性能。
2022-04-01 cs.CL cs.SD eess.AS
SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks
ByteDance(字节跳动);Zhejiang University(浙江大学)
SwanTale是支持指令式与零样本任务的多说话人语音音频生成模型,通过SwanData-Caption数据构建与SwanVAE、Unified MoE等技术实现,在相关任务指标中表现最优。
2026-08-05 cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA(英伟达)
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现,发现其性能与梅尔频谱图接近且对窄带数据更鲁棒,并可在20倍压缩下保持较低性能损失,同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
Computer Research Institute of Montreal (CRIM), Canada(蒙特利尔计算机研究院(CRIM))
本文提出SSAVSV,一个基于对比学习与共享视觉变换器骨干的统一自监督音视频说话人验证框架,无需标注数据,降低计算成本并实现竞争性能。
2025-06-21 cs.CV cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research(谷歌研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个联合视听模型,用于从混合的声音(如其他扬声器和背景噪声)中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的,并且不提供分离的语音信号与视频中的说话者的关联。在本文中,我们提出了一个基于深度网络的模型,该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上,并提高语音分离质量。为了训练我们的联合视听模型,我们引入了AVSpeech,这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性,经典的语音分离任务,以及现实世界中的场景,涉及激烈的采访,嘈杂的酒吧,尖叫的孩子,只需要用户指定的人的脸在视频中的讲话,他们要隔离。在混合语音的情况下,我们的方法比最先进的仅音频语音分离具有明显的优势。此外,我们的模型是独立于说话者的(训练一次,适用于任何说话者),比最近的依赖于说话者的视听语音分离方法(需要为每个感兴趣的说话者训练一个单独的模型)产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
Who said that?: Audio-visual speaker diarisation of real-world meetings
Naver Corporation(Naver公司)
这项工作的目标是确定在现实世界的会议中“谁在什么时候发言”。该方法将环绕视图视频和单声道或多声道音频作为输入,并生成鲁棒的diarisation输出。为了实现这一目标,我们提出了一种新的迭代方法,首先使用视听对应注册扬声器模型,然后使用注册的模型与视觉信息一起确定活跃的扬声器。我们在真实世界会议的数据集上表现出强大的定量和定性性能。该方法还评估了公共AMI会议语料库上,我们证明的结果,超过所有可比的方法。我们还表明,波束成形可以与视频一起使用,以进一步提高性能时,多声道音频可用。
2019-06-24 cs.CV cs.SD eess.AS
Self-supervised learning for audio-visual speaker diarization
Tencent AI Lab(腾讯人工智能实验室)
说话人日志化(Speaker Diarization)是一种寻找特定说话人的语音片段的方法,在以人为中心的应用中得到了广泛的应用,如电视会议或人机交互系统。在本文中,我们提出了一个自我监督的音频视频同步学习方法来解决说话人日记化的问题,而无需大量的标记工作。我们通过引入两个新的损失函数:动态三重损失和多项式损失来改进以前的方法。我们在一个真实的人机交互系统上对它们进行了测试,结果表明我们的最佳模型产生了+8%F1分数的显着增益以及日志错误率的降低。最后,我们介绍了一个新的大规模音视频语料库,旨在填补汉语音视频数据集的空缺。
2020-02-13 cs.LG cs.MM cs.SD
Leveraging Visual Supervision for Array-based Active Speaker Detection and Localization
University of Surrey(萨里大学)
本文提出利用视觉监督的自监督学生-教师训练方法,使多通道音频CRNN独立于视觉进行主动说话人检测与定位,在遮挡场景下超越视听方法并达到与传统监督训练相当的性能。
2023-12-21 cs.LG cs.SD eess.AS
Target Active Speaker Detection with Audio-visual Cues
National University of Singapore(新加坡国立大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对主动说话人检测中现有方法依赖唇部视频质量的问题,提出融合预注册说话人嵌入与视听同步线索的TS-TalkNet框架,在两个基准数据集上多项指标优于TalkNet。
2023-06-12 cs.SD eess.AS
Target Speaker Lipreading by Audio-Visual Self-Distillation Pretraining and Speaker Adaptation
本文针对中文唇读数据稀缺和说话人差异问题,提出跨语言迁移、说话人自适应及唇部与面部输入集成策略,在ChatCLR数据集上取得优于2024年挑战赛最佳结果的性能。
2025-02-09 eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico(新墨西哥大学)
在嘈杂的音频记录中,特别是那些来自协作学习环境的音频记录中,说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题,我们假设每个学生组使用单个麦克风,而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证,并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec(利贝雷茨技术大学)
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析,并利用辅助函数优化,以实现高收敛速度。该算法部分地由与感兴趣的源(SOI)相关的导频信号监督,这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI,静态干扰扬声器,和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Towards Cross-speaker Reading Style Transfer on Audiobook Dataset
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-香港中文大学媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
跨说话人风格迁移的目的是提取给定参考语音的语音风格,该语音风格可以在任意目标说话人的音色中再现。关于这个主题的现有方法已经探索了利用话语级风格标签经由全局或局部尺度风格表示来执行风格转移。然而,有声读物数据集通常具有本地韵律和全球体裁的特征,并且很少伴有话语级别的风格标签。因此,在不同的说话人之间适当地转移阅读风格仍然是一项具有挑战性的任务。本文提出了一种多尺度跨语者风格的语块模型,用于提取有声读物中的整体语类和局部韵律。此外,通过解开扬声器音色和风格与建议的可切换对抗分类器,提取的阅读风格是适应不同的扬声器的音色。实验结果表明,该模型能够将特定的阅读风格传递给新的目标说话人。在局部韵律和全局体裁类型预测器的支持下,进一步显示了该方法在多说话人有声读物生成中的潜力。
2022-08-19 cs.CL cs.SD eess.AS
A Framework for Robust Speaker Verification in Highly Noisy Environments Leveraging Both Noisy and Enhanced Audio
针对高噪声环境下说话人验证性能下降及语音增强可能扭曲说话人信息的问题,提出基于孪生架构结合带噪与增强语音嵌入的轻量框架,提升验证鲁棒性且兼容多种先进技术,实验证明其性能更优。
2025-08-26 eess.AS
Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-talker Speech
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
针对稀疏重叠多说话人场景,提出音视频模型ActiveExtract,利用主动说话人检测提供帧级活动信息并判别语音-唇形同步实现说话人分离,在SI-SNR上平均提升超4 dB。
2023-09-15 cs.SD eess.AS
Quality-Aware End-to-End Audio-Visual Neural Speaker Diarization
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语音语言信息处理工程研究中心);iFlytek(科大讯飞);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
本研究提出质量感知的端到端音视觉说话人 diarization 框架,融合多模态识别、质量感知融合与交叉注意力机制,在多场景下实现了与最优系统相当的鲁棒性能。
2024-10-15 cs.MM cs.SD eess.AS
Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对单模态和双模态说话人日志在非结构化对话中的局限性,提出一种联合利用音频、视觉和语义线索的多模态方法,通过约束优化与成对约束传播算法优化说话人嵌入亲和力估计,显著超越现有方法。
2024-08-22 cs.CV cs.LG cs.SD
Zero Shot Audio to Audio Emotion Transfer With Speaker Disentanglement
Indian Institute of Science(印度科学院)
本文提出了一种名为 ZEST 的高效零样本音频到音频情感迁移方法,通过将语音分解为语义令牌、说话人表示和情感嵌入并基于自监督重建损失训练模型,在无需平行数据或标签的情况下实现了保留源说话人内容的情感迁移。
2024-01-09 cs.LG cs.SD eess.AS
Grounding Spoken LLMs in Multi-Speaker Audio via Diarization Conditioning
Brno University of Technology(布尔诺理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出基于说话人日志条件的口语语言模型,通过条件化声学编码器提取目标说话人表示,避免序列化输出训练导致的灾难性遗忘,在多个数据集上显著提升说话人属性转录性能。
2026-06-17 eess.AS
SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA(Kensho Technologies USA);NVIDIA CorporationUSA(NVIDIA Corporation USA)
本文介绍SPGISpeech 2.0,一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集,通过微调提升流行语音识别模型的说话人标记ASR性能,并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS
A Deep Reinforcement Learning Approach to Audio-Based Navigation in a Multi-Speaker Environment
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);University of Piraeus(比雷埃夫斯大学)
在这项工作中,我们使用深度强化学习来创建一个自主智能体,它可以只使用来自环境的原始听觉感官信息在二维空间中导航,这个问题在强化学习文献中很少受到关注。我们的实验表明,代理可以成功地识别特定的目标扬声器之间的一组$N$预定义的扬声器在一个房间里,并向该扬声器移动,同时避免与其他扬声器碰撞或走出房间边界。该代理被证明是强大的扬声器音高变化,它可以学习导航的环境,即使是有限数量的训练话语可用于每个扬声器。
2021-05-10 cs.LG cs.SD eess.AS
AVA-ActiveSpeaker: An Audio-Visual Dataset for Active Speaker Detection
Google AI Perception(谷歌AI感知部门)
主动说话者检测是视频分析算法的重要组成部分,适用于说话者日记化、会议视频重定位、语音增强和人机交互等应用。缺乏一个大的,仔细标记的视听数据集,这项任务的约束算法评估方面的数据多样性,环境和准确性。这使得比较和改进变得困难。在本文中,我们提出了AVA主动扬声器检测数据集(AVA-ActiveSpeaker),该数据集将公开发布,以促进算法开发并进行比较。该数据集包含视频中的时间标记的面部轨迹,其中每个面部实例被标记为说话或不说话,以及语音是否可听见。该数据集包含约365万个人类标记帧或约38.5小时的面部轨迹以及相应的音频。我们还提出了一种新的视听主动说话人检测方法,并分析了其性能,展示了其实力和数据集的贡献。
2019-05-25 cs.CV cs.MM cs.SD
RadarVox: Radar-Audio Multimodal Cocktail-Party Speech Separation with Speaker-Aware Cross-Modal Matching
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);Dalian Maritime University(大连海事大学)
RadarVox提出雷达-音频多模态基准,利用FMCW雷达捕获喉部运动线索,通过门控融合和跨模态匹配实现身份感知的鸡尾酒会语音分离,显著提升分离质量和说话人分配准确率。
2026-09-29 cs.MM cs.SD eess.AS
My lips are concealed: Audio-visual speech enhancement through obstructions
University of Oxford(牛津大学);Naver Corporation(NAVER公司)
我们的目标是一个视听模型分离一个单一的扬声器从混合的声音,如其他扬声器和背景噪声。此外,即使由于遮挡而暂时没有视觉线索,我们也希望听到说话者。为此,我们引入了一个深度的视听语音增强网络,它能够通过调节扬声器的嘴唇运动和/或他们的声音的表示来分离扬声器的声音。语音表示可以通过(i)登记或(ii)通过自登记来获得-在给定足够的无障碍视觉输入的情况下即时学习表示。该模型通过混合音频进行训练,并通过在嘴部区域周围引入人工遮挡来防止视觉模态占主导地位。该方法是独立于说话者的,我们在训练过程中未听到(和看不见)的说话者的真实例子上演示了它。该方法还改进了以前的模型,特别是在视觉模态中的遮挡的情况下。
2019-07-11 cs.CV cs.SD eess.AS
Robust Multi-Tier Infant-Centered Audio Understanding with Whisper via Structured Speaker Conditioning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Arizona(亚利桑那大学);Worcester Polytechnic Institute(伍斯特理工学院)
针对以婴儿为中心的自然音频标注难题,本文提出结合LoRA微调Whisper与轻量Transformer的多层音频标注器,通过序列级平滑损失与分解式说话人token设计提升稳健性,可高效完成家庭全天音频的婴儿相关标注。
2026-08-13 cs.CL cs.LG eess.AS