Audio-Visual Activity Guided Cross-Modal Identity Association for Active Speaker Detection
University of Southern California（南加州大学）
视频中的主动说话人检测解决了将视频帧中可见的源面部与音频模态中的底层语音相关联的问题。导出这样的语音-面部关系的两个主要信息源是i）视觉活动及其与语音信号的交互，以及ii）说话者的身份以面部和语音的形式跨模态的共同出现。这两种方法都有其局限性：视听活动模型与其他频繁发生的声音活动（如大笑和咀嚼）混淆，而说话人的基于身份的方法仅限于具有足够消歧信息的视频，以建立语音-面部关联。由于这两种方法是独立的，我们在这项工作中研究它们的互补性。我们提出了一种新的无监督框架，以指导说话人的跨模态身份与视听活动的主动说话人检测。通过对来自两个基准数据集的娱乐媒体视频的实验，AVA主动说话人（电影）和视觉人物聚类数据集（电视节目），我们表明，这两种方法的简单后期融合提高了主动说话人检测性能。
2022-12-01 cs.CV cs.MM
Active Speakers in Context
Universidad de los Andes（洛斯安第斯大学）；Adobe Research（奥多比研究院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
当前的主动说话人检测方法集中于对来自单个说话人的短期视听信息进行建模。虽然这种策略对于解决单个说话者的情况可能是足够的，但是当任务是识别许多候选说话者中的谁在说话时，它阻止了准确的检测。本文介绍了主动说话者上下文，一种新的表示模型之间的关系，多个扬声器在很长一段时间内。我们的Active Speaker Context旨在从视听观察的结构化集合中学习成对和时间关系。我们的实验表明，结构化的特征集成已经有利于主动说话人检测性能。此外，我们发现，所提出的Active Speaker Context改进了AVA-ActiveSpeaker数据集的最新技术，实现了87.1%的mAP。我们目前的消融研究，验证了这一结果是我们的长期多扬声器分析的直接后果。
2020-05-20 cs.CV cs.SD eess.AS
ASDnB: Merging Face with Body Cues For Robust Active Speaker Detection
Instituto de Telecomunicações（电信研究院）；University of Beira Interior（贝拉内大学）
针对现有主动说话人检测依赖面部特征、野外场景受限的问题，提出融合面部与身体信息的ASDnB模型，通过拆分卷积降本、自适应权重增强互补性，在多数据集上取得最优效果，提供强基线。
2024-12-11 cs.CV
Unsupervised active speaker detection in media content using cross-modal information
University of Southern California（南加州大学）
我们提出了一个跨模态的无监督框架，主动说话人检测的媒体内容，如电视节目和电影。机器学习的进步使得从语音和面部图像中识别个人的性能令人印象深刻。我们利用说话人身份信息的语音和面孔，并制定积极的说话人检测作为一个语音人脸分配任务，使积极的说话人的脸和基本的语音识别相同的人（字符）。我们表示的语音段在其相关的扬声器的身份距离，从所有其他语音段，捕捉一个相对的身份结构的视频。然后，我们分配一个积极的发言人的脸，每个语音段从同时出现的脸，使所获得的一组积极的发言人的脸显示一个类似的相对身份结构。此外，我们提出了一个简单而有效的方法来解决语音段扬声器存在屏幕外。我们在三个基准数据集上评估了所提出的系统- Visual Person Clustering数据集，AVA活跃扬声器数据集和Columbia数据集-由来自娱乐和广播媒体的视频组成，并显示出与最先进的完全监督方法相比具有竞争力的性能。
2022-09-24 cs.CV eess.AS eess.IV
BIAS: A Body-based Interpretable Active Speaker Approach
Instituto de Telecomunicações, University of Beira Interior（贝拉内瓦大学电信研究所）
本文提出 BIAS，融合音频、面部与身体特征进行主动说话者检测，并利用 SE 模块和 ViT-GPT2 提供可解释性，在多个挑战性基准上达到先进水平。
2024-12-06 cs.CV
Using Active Speaker Faces for Diarization in TV shows
University of Southern California（南加州大学）
说话人日记化是计算媒体智能的关键组成部分之一，因为它能够对故事描述和媒体内容理解进行人物级别的分析。娱乐媒体的自动化的基于音频的扬声器日志化由于媒体内容中存在的不同声学条件（无论是背景音乐、重叠扬声器还是声音效果）而提出了挑战。同时，在视觉模态中说话的面孔提供补充信息，并且不容易出现在音频模态中看到的错误。在本文中，我们解决的问题，说话人日记在电视节目中使用的积极发言人的面孔。我们进行人脸聚类的积极发言人的脸，并表现出优越的发言人日记化性能相比，最先进的音频为基础的日记化方法。我们还报告了一个系统的分析，积极的说话人的脸检测质量的日记性能的影响。我们还观察到，一个中等性能良好的主动扬声器系统可以优于基于音频的日记系统。
2022-03-30 cs.CV cs.MM cs.SD
Cross modal video representations for weakly supervised active speaker localization
University of Southern California（南加州大学）；Google Inc.（谷歌公司）
要客观地理解媒体报道，例如在电影和电视等屏幕上听到和看到多少人，需要机器自动识别谁、何时、如何以及在哪里有人在说话。可以从媒体内容中存在的丰富的多模态信息中自动辨别说话者活动。然而，这是一个具有挑战性的问题，由于媒体内容的巨大变化和上下文的变化，以及缺乏标记的数据。在这项工作中，我们提出了一个跨模态的神经网络学习视觉表示，其中有隐含的信息有关的空间位置的扬声器在视觉帧。避免需要手动注释的视觉帧中的主动扬声器，获取这是非常昂贵的，我们提出了一个弱监督系统的任务，在电影内容中的主动扬声器本地化。我们使用学习的跨模态视觉表示，并提供弱监督电影字幕作为语音活动的代理，因此不需要手动注释。我们评估了所提出的系统在AVA主动说话者数据集上的性能，并证明了与完全监督系统相比，跨模态嵌入用于定位主动说话者的有效性。我们还展示了最先进的性能的语音活动检测的任务，在视听框架，特别是当语音伴随着噪音和音乐。
2021-11-03 cs.CV cs.MM
How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
Technical University of Munich（慕尼黑工业大学）；Microsoft Corporation（微软公司）
成功的主动说话人检测需要三个阶段的流水线：（i）对剪辑中的所有说话人进行视听编码，（ii）在每个帧内参考说话人和背景说话人之间的说话人间关系建模，以及（iii）对参考说话人进行时间建模。这个流水线的每个阶段对于所创建的架构的最终性能都起着重要的作用。基于一系列的控制实验，这项工作提出了一些实用的视听主动说话人检测的指导方针。相应地，我们提出了一种名为ASDNet的新架构，该架构在AVA-ActiveSpeaker数据集上实现了新的最先进技术，mAP为93.5%，优于第二好的4.7%。我们的代码和预训练模型是公开的。
2021-09-07 cs.CV cs.LG cs.SD
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
CAST-ASD: Causal Attention over Speakers and Time for Online Active Speaker Detection
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本研究提出CAST-ASD模型，将联合人脸推理与完全因果推断结合，在MSDWild数据集上降低竞争说话人误报率32%，优于所有因果基线且参数效率更高。
2026-10-14 cs.CV cs.SD
GateFusion: Hierarchical Gated Cross-Modal Fusion for Active Speaker Detection
Indiana University（印第安纳大学）
GateFusion通过分层门控融合解码器提升活动说话检测的跨模态融合效果，实现新的SOTA结果。
2025-12-17 cs.CV
Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection
Google（谷歌）
在嘈杂的条件下，自动语音识别（ASR）可以大大受益于来自说话者面部视频的视觉信号的添加。然而，当多个候选说话者可见时，这传统上需要解决单独的问题，即主动说话者检测（ASD），其需要在每个时刻选择哪个可见面部对应于音频。最近的工作表明，我们可以同时解决这两个问题，通过采用一个注意力机制的竞争视频轨道的发言人的脸，在牺牲一些准确性的代价，积极的发言人检测。这项工作通过提出一个可以与多任务损失联合训练的单一模型来缩小主动说话人检测准确性的差距。通过在训练过程中结合这两项任务，我们将ASD分类准确率降低了约25%，同时与专门针对ASR训练的多人基线相比，提高了ASR性能。
2022-05-10 cs.CV cs.LG cs.SD
AVA-ActiveSpeaker: An Audio-Visual Dataset for Active Speaker Detection
Google AI Perception（谷歌AI感知部门）
主动说话者检测是视频分析算法的重要组成部分，适用于说话者日记化、会议视频重定位、语音增强和人机交互等应用。缺乏一个大的，仔细标记的视听数据集，这项任务的约束算法评估方面的数据多样性，环境和准确性。这使得比较和改进变得困难。在本文中，我们提出了AVA主动扬声器检测数据集（AVA-ActiveSpeaker），该数据集将公开发布，以促进算法开发并进行比较。该数据集包含视频中的时间标记的面部轨迹，其中每个面部实例被标记为说话或不说话，以及语音是否可听见。该数据集包含约365万个人类标记帧或约38.5小时的面部轨迹以及相应的音频。我们还提出了一种新的视听主动说话人检测方法，并分析了其性能，展示了其实力和数据集的贡献。
2019-05-25 cs.CV cs.MM cs.SD
Naver at ActivityNet Challenge 2019 -- Task B Active Speaker Detection (AVA)
Naver Corporation（NAVER 公司）
本报告描述了我们在CVPR 2019上提交的ActivityNet挑战。我们使用基于3D卷积神经网络（CNN）的前端和时间卷积和LSTM分类器的集成来预测可见的人是否在说话。我们的研究结果显示，在AVA-ActiveSpeaker数据集上的基线上有显着改进。
2019-06-25 cs.CV cs.SD eess.AS
Look Who's Talking: Active Speaker Detection in the Wild
Yonsei University（延世大学）
在这项工作中，我们提出了一种新的视听数据集在野外主动扬声器检测。当一个说话者的脸是可见的，同时声音也是可听到的时，他或她就被认为是活跃的。虽然主动说话人检测是许多视听任务的关键预处理步骤，但没有现有的自然人类语音数据集来评估主动说话人检测的性能。因此，我们策划了Active Speakers in the Wild（ASW）数据集，其中包含视频和具有密集语音活动标签的共现语音片段。音频片段的视频和时间戳是从VoxConverse中解析和采用的，VoxConverse是一个现有的扬声器diarisation数据集，由野生视频组成。从视频中提取人脸轨迹，并以半自动的方式基于VoxConverse的时间戳对活动片段进行注释。两个参考系统，一个自我监督的系统和一个完全监督的，在数据集上进行评估，以提供ASW的基线性能。跨域评估是为了显示配音视频在训练数据中的负面影响而进行的。
2021-08-17 cs.CV cs.SD eess.AS
Active Speaker Detection as a Multi-Objective Optimization with Uncertainty-based Multimodal Fusion
NXP Semiconductors（恩智浦半导体）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
现在从各种研究中已经很好地建立了，在检测活动说话者时，结合视频和音频数据有显著的好处。然而，任何一种形式都可能通过诱导不可靠或欺骗性的信息来误导视听融合。本文概述了主动说话人检测作为一个多目标的学习问题，利用最好的每一个模态使用一种新的自注意，基于不确定性的多模态融合计划。结果表明，所提出的多目标学习架构在提高mAP和AUC分数方面优于传统方法。我们进一步证明，我们的融合策略超越，在主动说话人检测，其他模态融合方法在各个学科的报告。我们最后表明，该方法显着提高了AVA-ActiveSpeaker数据集的最新技术水平。
2021-09-15 cs.CL cs.CV cs.SD
A Light Weight Model for Active Speaker Detection
Sichuan University（四川大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
主动说话人检测是视听场景理解中的一项挑战性任务，其目的是在一个或多个说话人场景中检测谁在说话。该任务在说话人日志化、说话人跟踪和自动视频编辑等应用中至关重要，因此受到广泛关注。现有的研究试图通过输入多个候选信息和设计复杂的模型来提高性能。虽然这些方法取得了优异的性能，但它们对内存和计算能力的高消耗使得它们难以应用于资源有限的场景。因此，我们构建了一个轻量级的主动说话人检测架构，通过减少输入候选人，分裂2D和3D卷积的视听特征提取，并应用门控递归单元（GRU）具有低计算复杂性的跨模态建模。在AVA-ActiveSpeaker数据集上的实验结果表明，我们的框架实现了有竞争力的mAP性能（94.1%对94.2%），而资源成本显着低于最先进的方法，特别是在模型参数（1.0M对22.5M，约23倍）和FLOP（0.6G对2.6G，约4倍）。此外，我们的框架在Columbia数据集上也表现良好，表现出良好的鲁棒性。代码和模型重量可在https://github.com/Junhua-Liao/Light-ASD上获得。
2023-03-08 cs.CV cs.SD eess.AS
Self-Supervised Vision-Based Detection of the Active Speaker as Support for Socially-Aware Language Acquisition
University of Southern California（南加州大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；NTNU Norwegian University of Science and Technology（挪威科技大学）
提出了一种多人语音交互场景下主动说话人视觉检测的自监督方法。主动说话人检测是任何人工认知系统在社会环境中获取语言的基本前提。所提出的方法是为了补充有源扬声器的声学检测，从而提高系统在噪声条件下的鲁棒性。该方法可以检测任意数量的可能重叠的主动扬声器的基础上，专门对他们的脸的视觉信息。此外，该方法不依赖于外部注释，因此符合认知发展。相反，该方法使用来自听觉模态的信息来支持视觉域中的学习。本文报告了一个广泛的评估所提出的方法，使用一个大型的多人面对面的互动数据集。结果表明，良好的性能，在扬声器相关的设置。然而，在扬声器独立设置所提出的方法产生一个显着较低的性能。我们认为，所提出的方法代表了任何人工认知系统或机器人平台参与社会互动的重要组成部分。
2019-07-18 cs.CL cs.CV cs.HC
Rethinking Audio-visual Synchronization for Active Speaker Detection
Tsinghua University（清华大学）；Institute for Artificial Intelligence, Tsinghua University (THUAI)（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；University of Rochester（罗切斯特大学）
主动说话人检测（ASD）系统是分析多人会话的重要模块。它们的目标是检测在任何给定时间，哪些说话者或没有人在视觉场景中说话。现有的ASD研究对主动说话者的定义并不一致。我们在这项工作中澄清的定义，并要求同步之间的音频和视觉说话活动。这种定义的澄清是由我们广泛的实验，通过这些实验，我们发现，现有的ASD方法无法建模的视听同步，往往分类为主动说话不同步的视频。为了解决这个问题，我们提出了一个跨模态的对比学习策略，并应用位置编码在注意力模块的监督ASD模型，以利用同步线索。实验结果表明，我们的模型可以成功地检测不同步的说话不说话，解决了现有模型的局限性。
2022-07-10 cs.AI cs.CV cs.MM
$C^3$ASD: Multi-Level Consistency-Driven Representation Learning for Robust Active Speaker Detection
Chung-Ang University（中央大学）
研究视频中活跃说话者检测问题，提出$C^3$ASD框架，含嵌入级、序列级和预测级一致性约束，提升跨模态表示鲁棒性，在多种损坏下有显著改进。
2026-09-29 cs.CV cs.SD
Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization
Meta Reality Labs（Meta 现实实验室）
增强现实设备具有增强人类感知并在复杂对话环境中实现其他辅助功能的潜力。有效地捕捉理解这些社交互动所需的视听上下文首先需要检测和定位设备佩戴者和周围人的语音活动。这些任务由于其自我中心的性质而具有挑战性：佩戴者的头部运动可能导致运动模糊，周围的人可能出现在困难的视角中，并且可能存在遮挡、视觉混乱、音频噪声和不良照明。在这些条件下，以前的国家的最先进的主动说话人检测方法不给令人满意的结果。相反，我们从一个新的设置使用视频和多通道麦克风阵列音频来解决这个问题。我们提出了一种新的端到端的深度学习方法，能够提供鲁棒的语音活动检测和定位结果。与以前的方法相比，我们的方法从球体上所有可能的方向定位活动扬声器，即使在摄像头的视野之外，同时检测设备佩戴者自己的语音活动。实验结果表明，该方法具有良好的效果，能够实时的运行，并且对噪声和杂波具有较强的鲁棒性。
2022-01-06 cs.CV cs.SD eess.AS
A Closer Look at Audio-Visual Multi-Person Speech Recognition and Active Speaker Selection
Google（谷歌）
视听自动语音识别是一种在噪声条件下鲁棒的语音识别方法。然而，直到最近，它一直被传统地孤立地研究，假设单个说话面部的视频与音频匹配，并且当多个人在屏幕上时，在推理时选择活动的说话者被作为一个单独的问题放在一边。作为一种替代方案，最近的工作提出了同时解决这两个问题的注意力机制，烘烤扬声器选择问题直接进入一个完全可微的模型。一个有趣的发现是，注意力间接地学习了音频和说话面部之间的关联，尽管这种对应关系在训练时从未明确提供。在目前的工作中，我们进一步调查这种联系，并检查这两个问题之间的相互作用。通过涉及超过5万小时的公共YouTube视频作为训练数据的实验，我们首先评估了注意力层在主动说话人选择任务中的准确性。其次，我们在更仔细的审查下表明，端到端模型的性能至少与一个相当大的两步系统一样好，该系统在各种噪声条件和平行人脸轨迹数量下利用硬决策边界。
2022-05-11 cs.CV cs.LG cs.SD
Revisiting Active Speaker Detection: An In-the-Wild Benchmark for Generalization and Robustness
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Oregon State University（俄勒冈州立大学）；University of Sydney（悉尼大学）；Kookmin University（韩国成均馆大学）
提出UniTalk数据集，涵盖多语言、嘈杂背景和拥挤场景等挑战性真实条件，评估显示现有模型在野外环境下性能不足，而UniTalk训练模型泛化性更好，为主动说话人检测建立新基准。
2026-06-18 cs.AI cs.CV
TalkNCE: Improving Active Speaker Detection with Talk-Aware Contrastive Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Naver Cloud Corporation（Naver云公司）
本文提出TalkNCE谈话感知对比损失，仅对实际说话片段施加对比学习，利用语音与面部动作的自然对应关系提升主动说话人检测性能，无需额外监督，并在AVA-ActiveSpeaker和ASW数据集上取得最优结果。
2023-09-21 cs.CV cs.SD eess.AS
WASD: A Wilder Active Speaker Detection Dataset
Instituto de Telecomunicações（电信研究所）；University of Beira Interior（贝拉Interior大学）
目前的主动说话人检测（ASD）模型在AVA-ActiveSpeaker（AVA）上取得了很好的效果，仅使用声音和面部特征。虽然这种方法适用于电影设置（AVA），但它不适合约束较少的条件。为了证明这一局限性，我们提出了一个Wilder Active Speaker Detection（WASD）数据集，通过针对当前ASD的两个关键组成部分：音频和面部，增加了难度。WASD分为5类，从最佳条件到监视设置，包含ASD的音频和面部数据战术损伤的增量挑战。我们选择了最先进的模型，并评估了它们在两组WASD中的性能：简单（合作设置）和困难（音频和/或面部被专门降级）。结果表明：1）AVA训练的模型在WASD Easy组中保持最先进的性能，而在Hard组中表现不佳，显示2）AVA和Easy数据之间的相似性;以及3）WASD中的训练不会将模型性能提高到AVA水平，特别是对于音频损伤和监视设置。这表明AVA没有为野生ASD准备模型，并且目前的方法不足以处理这种情况。建议的数据集还包含身体数据注释，为ASD提供新的来源，并可在https://github.com/Tiago-Roxo/WASD上获得。
2023-03-09 cs.CV cs.SD eess.AS
End-to-End Active Speaker Detection
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Leuphana University of Lüneburg（吕讷堡大学）
主动说话人检测（ASD）问题的最新进展建立在两个阶段的过程：特征提取和时空上下文聚合。在本文中，我们提出了一个端到端的ASD工作流程，其中特征学习和上下文预测是共同学习的。我们的端到端可训练网络同时学习多模态嵌入并聚合时空上下文。这导致更合适的特征表示和ASD任务中的改进的性能。我们还介绍了交错图神经网络（iGNN）块，它根据ASD问题中的主要上下文来源来分割消息传递。实验表明，来自iGNN块的聚合特征更适合ASD，从而获得最先进的性能。最后，我们设计了一个弱监督策略，这表明ASD问题也可以通过利用视听数据，但完全依赖于音频注释来解决。我们通过模拟音频信号和可能的声源（扬声器）之间的直接关系以及引入对比损失来实现这一点。该项目的所有资源将在https://github.com/fuankarion/end-to-end-asd上提供。
2022-07-25 cs.CV cs.MM cs.SD
FaVoA: Face-Voice Association Favours Ambiguous Speaker Detection
Universität Hamburg（汉堡大学）
当面部可见时，即使在困难的设置中，当说话者的面部不清楚或当在同一场景中有几个人时，面部和语音之间的强关系也可以帮助主动说话者检测系统。通过能够从他/她的语音估计人的正面面部表示，即使在没有从同一场景中的任何人检测到嘴部运动的挑战性情况下，也变得更容易确定他/她是否是被分类为主动说话者的潜在候选者。通过将人脸-语音关联神经网络结合到现有的最先进的主动说话人检测模型中，我们引入了FaVoA（人脸-语音关联模糊说话人检测器），这是一种神经网络模型，可以正确地对特别模糊的场景进行分类。FaVoA不仅发现了积极的关联，而且有助于排除不匹配的脸-声音关联，即脸与声音不匹配。它使用门控双峰单元架构融合这些模型提供了一种方法来定量地确定每个模态对分类的贡献。
2021-09-01 cs.CV cs.LG cs.SD
A Real-Time Active Speaker Detection System Integrating an Audio-Visual Signal with a Spatial Querying Mechanism
Microsoft Corporation（微软公司）
本文提出一种面向低功耗边缘计算的实时因果神经网络主动说话人检测系统，利用视听信号与空间查询机制，在仅需127 MFLOPs/人的条件下实现优雅降级并有效处理多说话人复杂场景。
2023-09-15 cs.CV cs.LG cs.SD
Robust Active Speaker Detection in Noisy Environments
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出一种以音视频语音分离为引导、端到端联合优化的鲁棒主动说话人检测框架，并引入动态加权损失处理语音噪声，有效提升了噪声环境下的ASD性能。
2024-03-30 cs.CV cs.MM cs.SD
Audio-video fusion strategies for active speaker detection in meetings
LAAS-CNRS（法国国家科学研究中心LAAS实验室）；UT3（图卢兹第三大学）；IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；INP Toulouse（图卢兹国立理工学院）
会议是专业背景下的常见活动，赋予语音助理先进的功能以促进会议管理仍然具有挑战性。在这种情况下，像主动说话者检测这样的任务可以为会议参与者之间的交互建模提供有用的见解。受与高级会议助理相关的应用程序上下文的启发，我们希望将音频和视频信息结合起来，以实现最佳性能。在本文中，我们提出了两种不同类型的融合检测的积极发言人，结合两个视觉模态和音频模态通过神经网络。为了比较的目的，经典的无监督方法的音频特征提取也被使用。我们期望以每个参与者的面部为中心的视觉数据非常适合基于嘴唇和面部手势的检测来检测语音活动。因此，我们的基线系统使用视觉数据，我们选择了一个3D卷积神经网络架构，这是有效的同时编码的外观和运动。为了改进该系统，我们通过用CNN或无监督的说话人日记化系统处理音频流来补充视觉信息。我们进一步改进了这个系统，通过添加视觉模态信息，使用运动通过光流。我们用一个公共的和最先进的基准评估了我们的提案：AMI语料库。我们分析了每个系统对合并的贡献，以确定某个参与者目前是否在发言。我们还讨论了我们得到的结果。此外，我们已经表明，对于我们的应用程序上下文，添加运动信息大大提高了性能。最后，我们已经表明，基于注意力的融合提高了性能，同时降低了标准差。
2022-06-09 cs.CV cs.LG cs.SD
ROAM-ASD: Robust Open-World Active Speaker Detection with Flexible Multimodal Fusion
KU Leuven（鲁汶大学）；Xiaomi Corporation（小米公司）
提出ROAM-ASD，一种联合建模音频、全脸和嘴部表示并采用统一自注意力与模态丢弃的视听框架，在五个ASD基准上取得最先进性能，并显著提升零样本泛化与鲁棒性。
2026-09-25 cs.CV cs.MM cs.SD
UniCon: Unified Context Network for Robust Active Speaker Detection
Institute of Computing Technology, Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tomorrow Advancing Life（好未来）
我们引入了一个新的有效的框架，统一上下文网络（UniCon），强大的主动说话人检测（ASD）。传统的ASD方法通常对每个候选人的预裁剪人脸轨迹单独操作，没有充分考虑候选人之间的关系。这可能会限制性能，特别是在具有低分辨率人脸、多个候选人等挑战性场景中。我们的解决方案是一个新颖的统一框架，专注于联合建模多种类型的上下文信息：空间上下文指示每个候选人的面部的位置和比例，关系上下文捕获候选人之间的视觉关系并相互对比视听亲和力，和时间背景，以聚合长期信息并消除局部不确定性。基于这些信息，我们的模型在一个统一的过程中优化了所有候选人，以实现强大而可靠的ASD。在不同的设置下，对几个具有挑战性的ASD基准进行了全面的消融研究。特别是，我们的方法在两个具有挑战性的子集上的平均精度（mAP）绝对值约为15%的大幅度优于最先进的方法：一个子集具有三个候选扬声器，另一个子集具有小于64像素的人脸。总之，我们的UniCon在AVA-ActiveSpeaker验证集上实现了92.0%的mAP，在提交时首次在这个具有挑战性的数据集上超过90%。项目网址：https://unicon-asd.github.io/。
2021-08-05 cs.CV cs.MM cs.SD
End-To-End Audiovisual Feature Fusion for Active Speaker Detection
Zhejiang Lab（之江实验室）；Dalhousie University（达尔豪斯大学）；University of Electronic Science and Technology of China（电子科技大学）；Zhejiang University（浙江大学）
主动说话人检测在人机交互中起着至关重要的作用。最近，出现了一些端到端的视听框架。然而，这些模型的推理时间没有探索，不适用于实时应用程序，由于其复杂性和大的输入大小。此外，他们还探索了一种类似的特征提取策略，该策略在音频和视觉输入上使用ConvNet。本文提出了一种新的双流端到端框架，该框架将通过VGG-M从图像中提取的特征与从音频波形中提取的原始Mel频率倒谱系数特征相融合。该网络有两个连接到每个流的BiGRU层，以在融合之前处理每个流的时间动态。融合后，一个BiGRU层被附加到模拟联合时间动态。在AVA-ActiveSpeaker数据集上的实验结果表明，与采用ConvNet的模型相比，我们的新特征提取策略对噪声信号具有更好的鲁棒性，并且推理时间更短。所提出的模型在44.41 ms内进行预测，这对于实时应用来说足够快。我们表现最好的模型达到了88.929%的准确率，几乎相同的检测结果的最先进的工作。
2022-07-27 cs.CV cs.MM cs.SD
Bio-Inspired Modality Fusion for Active Speaker Detection
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
人类已经发展出奇妙的能力，可以整合来自各种感官来源的信息，探索它们内在的互补性。因此，感知能力得到提高，例如，实现了众所周知的“鸡尾酒会”和麦格克效应，即，从一整套声音信号中消除语音歧义。这种融合能力也是改善声源位置感知的关键，例如在群体对话中区分谁的声音。此外，神经科学已经成功地将大脑中的上丘区域确定为负责这种模态融合的区域，已经提出了一些生物模型来接近其潜在的神经生理过程。从这些模型之一的灵感，本文提出了一种方法，有效地融合相关的听觉和视觉信息的主动说话人检测。这种能力可以有广泛的应用，从电话会议系统到社交机器人。检测方法最初通过两个专门的神经网络结构路由听觉和视觉信息。由此产生的嵌入融合通过一个新的层的基础上上丘，其拓扑结构模拟空间神经元交叉映射的单峰感知领域。验证过程采用了两个公开的数据集，所取得的结果证实并大大超过了最初的预期。
2021-04-13 cs.CV cs.LG cs.NE
An Efficient and Streaming Audio Visual Active Speaker Detection System
Apple（苹果公司）
针对现有主动说话人检测模型高延迟、高内存占用难以实时部署的问题，提出限制未来上下文帧与过去帧访问量的两种方案，实验验证受限transformer性能可比肩甚至优于现有最优循环模型，且内存成本远高于计算成本。
2024-09-13 cs.CV cs.HC cs.LG
Spot the conversation: speaker diarisation in the wild
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
本文的目标是扬声器diarisation收集的视频“在野外”。我们做出了三个重要贡献。首先，我们提出了一个自动的音频视频diarisation方法的YouTube视频。我们的方法包括使用视听方法的主动说话人检测和使用自注册说话人模型的说话人验证。其次，我们将我们的方法集成到半自动数据集创建管道中，这大大减少了使用diarisation标签注释视频所需的时间。最后，我们使用这个管道来创建一个名为VoxConverse的大规模日记数据集，从“野外”视频中收集，我们将向研究社区公开发布。我们的数据集包括重叠的语音，一个庞大而多样化的说话人池，以及具有挑战性的背景条件。
2021-08-15 cs.CV cs.SD eess.AS
Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法，用于视频中说话人定位与位置元数据提取，相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
SpeechNAS: Towards Better Trade-off between Latency and Accuracy for Large-Scale Speaker Verification
Kuaishou Technology（快手科技）
近年来，x向量已成为说话人确认的一种成功和流行的方法，它采用时间延迟神经网络（TDNN）和统计池从可变长度的话语中提取说话人特征嵌入。对x-向量的改进一直是一个活跃的研究领域，基于x-向量的神经网络已经被精心设计，如扩展TDNN（E-TDNN）、因子化TDNN（F-TDNN）和密集连接TDNN（D-TDNN）。在这项工作中，我们试图从基于TDNN的搜索空间采用神经架构搜索（NAS），命名为SpeechNAS的最佳架构。利用说话人识别的最新进展，如高阶统计池，多分支机制，D-TDNN和具有最小超球能量（MHE）的角加性裕度softmax（AAM）损失，SpeechNAS自动发现五种网络架构，从SpeechNAS-1到SpeechNAS-5，在大规模文本无关的说话人识别数据集VoxCeleb 1上具有不同数量的参数和GFLOP。我们推导出的最佳神经网络在VoxCeleb 1的标准测试集上实现了1.02%的相等出错率（EER），这大大超过了以前基于TDNN的最先进方法。代码和训练权重在https://github.com/wentaozhu/speechnas.git中
2021-09-18 cs.CL cs.CV cs.LG
To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection
University of Cambridge（剑桥大学）；Queen's University Belfast（贝尔法斯特女王大学）；University of Surrey（萨里大学）；Cisco（思科）；Southwest Jiaotong University（西南交通大学）；Teesside University（泰赛德大学）
提出一种查询自适应框架，通过跨模态分数一致性检测主动模态，在BBC Rewind语料库上达到94.2%的P@1，优于单模态和固定融合方法。
2026-06-04 cs.AI cs.CL cs.CV
Listening Deepfake Detection: A New Perspective Beyond Speaking-Centric Forgery Analysis
Beijing Institute of Technology（北京理工大学）；University of Science and Technology Beijing（北京科技大学）；University of Science（科学技术大学）
本文提出监听深度伪造检测任务，引入首个专门为此任务设计的ListenForge数据集，并提出MANet网络以捕捉监听伪造中的细微运动不一致，实验表明现有说话深度伪造检测模型在监听场景中表现不佳。
2026-04-14 cs.CV cs.MM
