面向真实场景说话人日志的后期音视频融合
Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
AI总结：
针对真实场景视频中说话人多、话语短、画面说话人不一致的问题，提出后期融合音频与视觉子系统的音视频日志模型，并在 AVA-AVD 上刷新 SOTA。
摘要：
说话人日志在受限音频上已有充分研究，但在具有挑战性的真实场景视频中仍鲜有探索；这类视频包含更多说话人、更短的话语，并且屏幕上出现的说话人不一致。为弥补这一空白，我们提出一种音视频说话人日志模型，通过后期融合结合仅音频子系统和以视觉为中心的子系统。在音频方面，我们表明，基于吸引子的端到端系统（EEND-EDA）在使用我们提出的模拟代理数据集配方训练时表现非常出色；我们还提出改进版本 EEND-EDA++，其在解码时使用注意力，并在训练期间使用说话人识别损失，以更好地处理更多说话人。以视觉为中心的子系统利用面部属性和唇音同步性，估计屏幕上说话人的身份和语音活动。两个子系统均大幅超越现有最优水平（SOTA），融合后的音视频系统在 AVA-AVD 基准上取得新的 SOTA。
英文摘要：
Speaker diarization is well studied for constrained audios but little explored for challenging in-the-wild videos, which have more speakers, shorter utterances, and inconsistent on-screen speakers. We address this gap by proposing an audio-visual diarization model which combines audio-only and visual-centric sub-systems via late fusion. For audio, we show that an attractor-based end-to-end system (EEND-EDA) performs remarkably well when trained with our proposed recipe of a simulated proxy dataset, and propose an improved version, EEND-EDA++, that uses attention in decoding and a speaker recognition loss during training to better handle the larger number of speakers. The visual-centric sub-system leverages facial attributes and lip-audio synchrony for identity and speech activity estimation of on-screen speakers. Both sub-systems surpass the state of the art (SOTA) by a large margin, with the fused audio-visual system achieving a new SOTA on the AVA-AVD benchmark.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
