Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs
Imperial College(帝国理工学院);Meta AI
本文提出统一训练策略,用单一模型同时处理听觉、视觉和视听语音识别,引入贪婪伪标注和自监督预训练,在LRS3、LRS2和WildVSR上达到最先进性能。
2024-11-04 cs.CV
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London(帝国理工学院)
对抗攻击对深度学习模型构成了威胁。然而,针对对抗性检测方法的研究,尤其是在多模态领域的研究非常有限。在这项工作中,我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是,由于增加了对抗性噪声,对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理,并基于它,我们可以检测对抗攻击。据我们所知,这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明,该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Robust Audiovisual Speech Recognition Models with Mixture-of-Experts
Carnegie Mellon University(卡内基梅隆大学);Renmin University of China(中国人民大学)
本文提出EVA模型,利用混合专家架构将视觉信息注入预训练语音识别模型,实现对野外视频的鲁棒视听语音识别,并在三个基准上取得最优结果。
2024-09-19 cs.CL cs.CV cs.SD
AudioVisual Speech Synthesis: A brief literature review
Ε.Κ. ΑΘΗΝΑ(希腊雅典娜研究与创新中心)
这篇简短的文献综述研究了视听语音合成的问题,这是一个问题,产生一个动画说话的头部作为输入的文本。由于这个问题的高度复杂性,我们将其视为两个问题的组合。具体而言,即文本到语音(TTS)合成以及语音驱动的说话的头部动画。对于TTS,我们提出了用于将文本映射到中间声学表示的模型,例如梅尔频谱图,以及生成以这些中间表示为条件的语音信号的模型,即声码器。对于会说话的头动画问题,我们分类的方法,根据它们是否产生人脸或拟人化的数字。本文还讨论了第二种情况下人脸模型选择的重要性。在整个审查中,我们简要介绍了最重要的工作,在视听语音合成,试图突出各种方法的优点和缺点。
2021-02-18 cs.CV cs.LG cs.SD
On Robustness to Missing Video for Audiovisual Speech Recognition
Google LLC(谷歌有限责任公司)
针对视听语音识别中视频缺失导致性能下降且鲁棒性评估缺乏共识的问题,提出可精确验证的鲁棒性评估框架,经系统实证验证,基于级联的架构无关方案可稳定实现视频缺失鲁棒性。
2023-12-19 cs.CV cs.LG cs.SD
Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London(帝国理工学院);Samsung AI Centre, Cambridge(三星人工智能中心(剑桥));Facebook London(Facebook(伦敦))
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务,如视频动作识别和声学场景分类。然而,自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督(通过预测信息音频属性)与视觉自我监督(通过生成说话的脸从音频)。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能,并且在从较少的标签中学习方面显着优于其他方法。值得注意的是,我们的方法还优于完全监督训练,从而为语音相关任务提供了强大的初始化。我们的研究结果表明,在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
End-to-end Audiovisual Speech Activity Detection with Bimodal Recurrent Neural Models
Erik Jonsson School of Engineering & Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校埃里克·约松工程与计算机科学学院)
本研究提出一种端到端双模态循环神经网络(BRNN)用于视听语音活动检测,直接从原始数据学习声学和视觉特征,在大型语料库上相比音频基线提升1.2%,并在噪声环境下达到92.7%的F1分数。
2018-09-12 cs.CL cs.CV eess.AS
Feature-level and Model-level Audiovisual Fusion for Emotion Recognition in the Wild
University of South Carolina(南卡罗来纳大学);Innopeak Technology Inc.(Innopeak科技公司);Sigma Technologies(12西格玛科技公司);JD.com, Inc.(京东集团);University of Washington Bothell(华盛顿大学博塞尔分校)
情感识别在人机交互中起着重要的作用,并且已经被广泛研究了几十年。虽然已经取得了巨大的进步,提出的表情,识别人类的情感在“接近现实世界”的环境仍然是一个挑战。在本文中,我们提出了两种策略来融合从不同模态提取的信息,即,音频和视频具体来说,我们利用LBP-TOP(CNN的集成)和双向LSTM(BLSTM)从视觉通道中提取特征,并利用OpenSmile工具包从音频通道中提取特征。两种融合方法,即,特征级融合和模型级融合,开发利用从两个通道中提取的信息。在ECOTIW 2018 AFEW数据集上的实验结果表明,所提出的融合方法明显优于基线方法,并且与最先进的方法相比,实现了更好或至少相当的性能,其中模型级融合在其中一个通道完全失败时表现更好。
2019-06-06 cs.CV
HSEmotion Team at ABAW-8 Competition: Audiovisual Ambivalence/Hesitancy, Emotional Mimicry Intensity and Facial Expression Recognition
HSE University(高等经济大学);Sber AI Lab(Sber AI实验室)
本文提出 HSEmotion 团队在 ABAW-8 中的方案,融合 EmotiEffLib 面部描述符、声学与语音文本特征,利用帧选择和 MLP 完成三类情感识别任务并显著优于基线。
2025-03-13 cs.CV
An audiovisual and contextual approach for categorical and continuous emotion recognition in-the-wild
National Technical University of Athens(雅典国家技术大学)
在这项工作中,我们在第二届野外情感行为分析研讨会和竞赛(ABAW 2)的前提下解决了基于视频的视听情感识别的任务。照明条件差、头部/身体方向和低图像分辨率构成了在仅依赖于面部特征的提取和分析的方法的情况下可能阻碍性能的因素。为了缓解这个问题,我们利用身体和上下文特征,作为更广泛的情感识别框架的一部分。我们选择使用标准的CNN-RNN级联作为我们提出的序列到序列(seq 2seq)学习模型的主干。除了通过RGB输入模态进行学习之外,我们还构建了一个听觉流,该听觉流对提取的梅尔频谱图序列进行操作。我们在具有挑战性和新组装的Aff-Wild 2数据集上进行了广泛的实验,验证了我们直观的多流和多模态方法在野外情感识别中的有效性。重点放在人体和场景环境的有益影响上,因为情感识别过程的各个方面到目前为止相对未被探索。所有代码都是使用PyTorch实现的,并且是公开的。
2021-08-13 cs.CV
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用研究所)
基于变分自编码器(VAE)的深层潜变量生成模型在视听语音增强(AVSE)中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据,然后将其与统计噪声模型,以恢复一个语音信号从嘈杂的音频记录和视频(嘴唇图像)的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质,这阻止了它们完全结合视觉数据的力量。在本文中,我们提出了一个视听深度卡尔曼滤波器(AV-DKF)生成模型,假设一阶马尔可夫链模型的潜在变量,并有效地融合视听数据。此外,我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验,比较不同的语音增强生成模型的变体。结果表明,AV-DKF模型的优越性相比,它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Kookmin University(国民大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出AV-SpeakerBench基准测试,通过3212道多选题评估多模态大语言模型在真实视频中对语音的细粒度理解能力,发现Gemini 2.5 Pro在音频视觉融合方面表现最佳。
2026-04-10 cs.AI cs.CV cs.LG
Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism
National Technical University of Athens(雅典国家技术大学);Athena Research Center(雅典娜研究中心);Foundation for Research & Technology - Hellas (FORTH)(希腊研究与技术基金会(FORTH))
本文提出 NEUTART,一种基于 Transformer 的非级联文本驱动视听语音合成框架,通过联合视听特征空间、语音引导三维面部重建和唇读损失,生成照片级逼真且音画同步的说话人脸视频。
2023-12-11 cs.CV cs.SD eess.AS
LIP-RTVE: An Audiovisual Database for Continuous Spanish in the Wild
本文提出了一个半自动标注的西班牙语视听数据库 LIP-RTVE,提供 13 小时自然场景数据,并使用隐马尔可夫模型报告了说话人相关与无关场景的基线结果。
2023-11-21 cs.CL cs.CV
Facial Affect Recognition based on Transformer Encoder and Audiovisual Fusion for the ABAW5 Challenge
Hefei University of Technology(合肥工业大学)
在本文中,我们提出了我们的解决方案,第五届研讨会和比赛的情感行为分析在野外(ABAW),其中包括四个子挑战的效价唤醒(VA)估计,表达(Expr)分类,行动单位(AU)检测和情绪反应强度(ERI)估计。第五届ABAW竞赛的重点是利用不同的模式和数据集进行面部情感识别。在我们的工作中,我们使用大量的sota模型提取强大的音频和视觉特征。Transformer Encoder和TEMMA融合了这些特性。此外,为了避免不同特征之间的尺寸差异可能带来的影响,我们设计了一个仿射模块来将不同的特征对齐到相同的尺寸。大量的实验证明了该方法的优越性。对于VA估计子挑战,我们的方法获得的平均一致性相关系数(CCC)为0.6066。对于表达分类子挑战,平均F1评分为0.4055。对于AU检测子挑战,平均F1评分为0.5296。对于情绪反应强度估计子质询,验证集上的平均pearson相关系数为0.3968。四个子挑战的结果都以较大幅度超过基线。
2023-03-20 cs.CV
APES: Audiovisual Person Search in Untrimmed Video
Universidad de los Andes(安第斯大学);Adobe Research(Adobe研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
人类可以说是视频流中最重要的主体之一,许多现实世界的应用,如视频摘要或视频编辑工作流,通常需要自动搜索和检索感兴趣的人。尽管在人的重新识别和检索领域做出了巨大的努力,但很少有作品开发了视听搜索策略。在本文中,我们提出了视听人员搜索数据集(APES),一个新的数据集组成的未修剪的视频,其音频(声音)和视觉(面部)流密集注释。APES包含超过1.9K个标识,标记了36小时的视频,使其成为可用于未经修剪的视听人员搜索的最大数据集。APES的一个关键属性是它包括将面部链接到相同身份的语音片段的密集时间注释。为了展示我们新数据集的潜力,我们提出了一个用于人员检索的视听基线和基准。我们的研究表明,模拟视听线索有利于人们的身份识别。为了实现可重复性并促进未来的研究,数据集注释和基线代码可在https://github.com/fuankarion/audiovisual-person-search上获得
2021-06-03 cs.CV
Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
在本文中,我们考虑的问题,多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构,并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下,我们评估的鲁棒性的模型在无约束的设置,其中一种模态是缺席或嘈杂,并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是,我们发现,采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能,而且还可以提高标准理想环境中的性能,优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
Continuous-Time Audiovisual Fusion with Recurrence vs. Attention for In-The-Wild Affect Recognition
University of Augsburg(奥格斯堡大学);University of Nottingham(诺丁汉大学)
在本文中,我们提出了我们提交的第三届情感行为分析在野外(ABAW)的挑战。学习多模态序列之间的复杂相互作用对于从野外视听数据中识别维度影响至关重要。递归和注意力是文献中两种广泛使用的序列建模机制。为了清楚地了解视听情感识别中的递归模型和注意力模型之间的性能差异,我们提出了一个基于LSTM-RNNs,自我注意力和跨模态注意力的融合模型的综合评估,并对效价和唤醒估计进行了训练。特别是,我们研究了一些关键设计选择的影响:CNN骨干的建模复杂性,这些骨干为时间模型提供了功能,有和没有端到端的学习。我们通过系统地调整网络架构设计和训练优化中涉及的超参数,在野生ABAW语料库上训练视听情感识别模型。我们对视听融合模型的广泛评估表明,LSTM-RNN在与低复杂度CNN骨干结合并以端到端的方式训练时可以优于注意力模型,这意味着注意力模型可能不一定是连续时间多模态情感识别的最佳选择。
2022-03-29 cs.CV cs.LG cs.SD
Investigations on End-to-End Audiovisual Fusion
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA), USI & SUPSI(达莱·莫莱人工智能研究所(IDSIA),瑞士意大利语区大学与瑞士意大利语区应用科学大学);Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
视听语音识别(AVSR)是一种消除语音信号中噪声的方法。利用基于深度神经网络的语音识别的最新发展,我们提出了一种AVSR神经网络架构,该架构是端到端训练的,而不需要像传统(例如基于HMM的)系统那样单独对决策融合的过程建模。融合系统优于单模态识别在所有噪声条件下。对输入特征的显著性的研究表明,神经网络自动适应声学信号中的不同噪声水平。
2018-04-30 cs.CV cs.NE
AVATAR: Unconstrained Audiovisual Speech Recognition
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
视听自动语音识别(AV-ASR)是ASR的扩展,其结合了视觉线索,通常来自说话者的嘴的运动。与单纯关注嘴唇运动的作品不同,我们研究了整个视觉框架(视觉动作,物体,背景等)的贡献。这对于不受约束的视频特别有用,其中扬声器不一定可见。为了解决这个问题,我们提出了一种新的序列到序列的视听ASR Transformer(AVATAR),它是从频谱图和全帧RGB进行端到端训练的。为了防止音频流主导训练,我们提出了不同的词掩蔽策略,从而鼓励我们的模型关注视觉流。我们展示了视觉模态对How2 AV-ASR基准测试的贡献,特别是在存在模拟噪声的情况下,并表明我们的模型在很大程度上优于所有其他先前的工作。最后,我们还为AV-ASR创建了一个名为VisSpeech的新的真实世界测试平台,它展示了视觉模态在具有挑战性的音频条件下的贡献。
2022-06-15 cs.CV cs.MM cs.SD
Unsupervised Audiovisual Synthesis via Exemplar Autoencoders
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种无监督的方法,将任何个人的输入语音转换为潜在的无限多个输出扬声器的视听流。我们的方法建立在简单的自动编码器上,将样本外数据投影到训练集的分布上。我们使用Exemplar自动编码器来学习特定目标范例语音的语音,文体韵律和视觉外观。与现有方法相比,所提出的方法可以容易地扩展到任意大数量的扬声器和风格,仅使用3分钟的目标音频-视频数据,而不需要输入扬声器的{ \em任何}训练数据。要做到这一点,我们学习视听瓶颈表示,捕捉语音的结构化语言内容。我们在音频和视频合成方面优于以前的方法,并在我们的项目页面上提供了广泛的定性分析-https://www.cs.cmu.edu/~exemplar-ae/。
2021-07-03 cs.CV cs.LG cs.MM
Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition
Baidu Research(百度研究院);Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心);Beijing Jiaotong University(北京交通大学)
空中景物识别是遥感领域的一项基本任务,近年来受到越来越多的关注。虽然航拍图像中的视觉信息具有强大的模型和高效的算法,在场景识别上取得了相当的性能,但它仍然受到地面目标,光照条件等变化的影响。本文受认知科学中多通道感知理论的启发,为了提高航拍场景识别的性能,我们探索了一种新颖的视听空中场景识别任务,使用图像和声音作为输入。基于观察到一些特定的声音事件更有可能在给定的地理位置被听到,我们建议利用声音事件的知识,以提高空中场景识别的性能。为此,我们构建了一个新的数据集,名为Audio Visual Aerial sceNe reCognition Scene Et(ADVANCE)。在此数据集的帮助下,我们评估了三种将声音事件知识转移到多模态学习框架中的空中场景识别任务的方法,并显示了利用音频信息进行空中场景识别的好处。源代码是公开可复制的目的。
2020-07-16 cs.CV cs.LG cs.MM
Audiovisual Highlight Detection in Videos
Amazon(亚马逊)
在本文中,我们测试的假设,有趣的事件在非结构化的视频是固有的视听。我们将用于对象识别和场景理解的深度图像表示与来自视听影响识别模型的表示相结合。对于这个集合,我们包括内容不可知的视听同步表示和梅尔频率倒谱系数,以捕获音频的其他内在属性。这些特征用于模块化监督模型中。我们目前的结果从两个实验:单一功能的任务的功效研究,和消融研究,我们离开一个功能了一次。对于视频摘要任务,我们的研究结果表明,视觉特征携带的信息最多,包括视听功能提高了视觉信息。为了更好地研究亮点检测任务,我们对一小部分视频片段进行了一个试点实验,并对我们的最佳模型进行了微调。结果表明,我们可以将视频摘要任务中的知识转移到专门为亮点检测任务训练的模型中。
2021-02-11 cs.CV eess.IV
Efficient Audiovisual Speech Processing via MUTUD: Multimodal Training and Unimodal Deployment
Meta
本文提出MUTUD框架,通过多模态训练与单模态部署策略,利用TAME模块估计缺失模态信息,在缩小多模态与单模态性能差距的同时,显著减少模型大小和计算量。
2026-09-30 cs.CV cs.MM cs.SD
Looking Similar, Sounding Different: Leveraging Counterfactual Cross-Modal Pairs for Audiovisual Representation Learning
Massachusetts Institute of Technology(麻省理工学院);Netflix(网飞公司)
本文提出利用电影电视配音版本构造仅在语音上不同的反事实视听配对来增强对比学习,实验证明该方法能提升多种下游听觉与视听任务性能,同时基本不影响语言任务表现。
2024-06-08 cs.CV cs.LG cs.MM
An Occam's Razor View on Learning Audiovisual Emotion Recognition with Small Training Sets
Orange Labs(奥兰治实验室);Normandie Univ.(诺曼底大学);UNICAEN(卡昂大学);ENSICAEN(卡昂国立高等工程师学院);CNRS(法国国家科学研究中心)
本文提出了一种用于视听情感识别的轻量级和精确的深度神经模型。为了设计这个模型,作者遵循简单的哲学,大大限制了从目标数据集学习的参数数量,总是选择最简单的学习方法:i)迁移学习和低维空间嵌入允许降低表示的维数。ii)视觉时间信息由跨时间平均的简单的每帧分数选择过程来处理。iii)还提出了一种简单的帧选择机制来对序列的图像进行加权。iv)不同模态的融合在预测级(后期预测)执行。我们还强调了AFEW数据集的固有挑战和模型选择的困难,只有383个验证序列。提出的实时情感分类器在AFEW的测试集上达到了60.64%的最新准确率,并在2018年的Emotion in the Wild挑战赛中排名第四。
2018-08-08 cs.AI cs.CV cs.NE
Enhancing Human Action Recognition and Violence Detection Through Deep Learning Audiovisual Fusion
Amirkabir University of Technology(阿米尔卡比尔理工大学)
提出融合音频与视频的 HFBDL 混合融合方法,在扩展 RLVS 数据集和自建真实视频集上取得高准确率,用于公共场所暴力检测。
2024-08-04 cs.CV cs.LG cs.MM
Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
本研究提出潜在语言假说,通过视听跨情境学习的神经网络模拟,探究音位、音节和单词等语言单位能否作为跨模态语音理解的潜在表征自发涌现。
2024-03-06 cs.AI cs.CL cs.CV
Social-MAE: A Transformer-Based Multimodal Autoencoder for Face and Voice
Numediart Institute, ISIA Lab, University of Mons(Numediart研究院、ISIA实验室、蒙斯大学);Institute for Creative Technologies, University of Southern California(创意技术研究所、南加州大学)
针对人类社交行为的多模态感知需求,本文提出Social-MAE——基于CAV-MAE扩展的预训练视听掩码自编码器,通过修改输入帧数量并在VoxCeleb2上自监督预训练,在多模态情感识别等下游任务上取得最先进或具竞争力的结果。
2025-08-24 cs.CV
Pushing the Frontier of Audiovisual Perception with Large-Scale Multimodal Correspondence Learning
Meta Superintelligence Labs(Meta超级智能实验室)
PE-AV通过大规模多模态对应学习提升音频视频理解,支持跨模态嵌入并实现语音检索等新任务,同时开发PE-A-Frame实现细粒度音频-文本对齐。
2025-12-22 cs.CV cs.LG cs.SD
Speech Driven Talking Face Generation from a Single Image and an Emotion Condition
University of Rochester(罗切斯特大学)
视觉情感表达在视听言语交际中起着重要的作用。在这项工作中,我们提出了一种新的方法来渲染视觉情感表达的语音驱动的说话人脸生成。具体来说,我们设计了一个端到端的说话脸生成系统,以语音话语,一个单一的人脸图像,和一个分类的情感标签作为输入,以呈现说话的脸视频同步的语音和表达的条件情感。对图像质量、视听同步和视觉情感表达的客观评价表明,该系统优于最先进的基线系统。视觉情感表达和视频真实性的主观评价也证明了该系统的优越性。此外,我们进行了人类情感识别试点研究,使用生成的视频之间的音频和视觉形式的不匹配的情绪。结果表明,人类对视觉模态的反应比听觉模态更显着。
2021-07-21 cs.CV cs.LG cs.MM
COLD Fusion: Calibrated and Ordinal Latent Distribution Fusion for Uncertainty-Aware Multimodal Emotion Recognition
University of Nottingham(诺丁汉大学);University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院);Unilever R&D(联合利华研发中心)
本文提出COLD Fusion框架,通过校准与序数约束的潜在分布融合量化模态不确定性,在AVEC 2019 CES和IEMOCAP上显著提升音视频情感识别性能。
2023-10-16 cs.CV cs.HC cs.MM
AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR
Google Research(谷歌研究院)
视听自动语音识别(AV-ASR)旨在通过结合视觉信息来提高语音识别系统的鲁棒性。然而,从头开始训练完全监督的多模态模型来完成这项任务,受到了对大型标记视听数据集(在每个下游感兴趣的领域)的需求的限制。我们提出了AVFormer,一个简单的方法,用于增强音频模型与视觉信息,在同一时间执行轻量级的领域自适应。我们通过(i)使用轻量级可训练适配器将视觉嵌入注入到冻结的ASR模型中来做到这一点。我们表明,这些可以在少量的弱标记视频数据上进行训练,只需最少的额外训练时间和参数。(ii)我们还在训练过程中引入了一个简单的课程计划,我们表明这对于使模型能够有效地联合处理音频和视觉信息至关重要;最后(iii)我们表明我们的模型在三个不同的AV-ASR基准测试(How2,VisSpeech和Ego 4D)上实现了最先进的zero-shot结果,同时还在传统的纯音频语音识别基准测试(LibriSpeech)上保持了良好的性能。定性结果表明,我们的模型有效地利用视觉信息的鲁棒语音识别。
2023-03-29 cs.CV cs.SD eess.AS
Enhanced Multimodal Content Moderation of Children's Videos using Audiovisual Fusion
University of Central Florida(中佛罗里达大学)
针对儿童视频中视觉无害但音频有害的问题,提出融合音频模态与提示学习、冻结 CLIP 主干的视听多模态审核方法,并在 MOB 数据集的监督和少样本设置下验证。
2024-05-09 cs.CV
Visually Guided Self Supervised Learning of Speech Representations
Samsung R&D Institute, UK(三星英国研发中心)
自我监督表示学习最近吸引了大量的研究兴趣,无论是音频和视觉模态。然而,大多数作品通常集中在一个特定的模态或功能单独和已经有非常有限的工作,研究两种模态之间的相互作用,学习自我监督表示。我们提出了一个框架,学习音频表示的视听语音的背景下,由视觉模态指导。我们采用生成音频到视频的训练方案,其中我们动画对应于一个给定的音频剪辑的静止图像,并优化生成的视频尽可能接近的语音段的真实视频。通过这个过程,音频编码器网络学习有用的语音表示,我们评估情感识别和语音识别。我们在情感识别和语音识别方面都取得了很好的效果。这表明了视觉监督学习音频表示的潜力,作为一种新的自我监督学习的方式,这在过去还没有被探索。所提出的无监督音频特征可以利用几乎无限数量的未标记视听语音的训练数据,并且具有大量潜在的有前途的应用。
2020-02-20 cs.CV cs.MM eess.AS
Visual-Only Recognition of Normal, Whispered and Silent Speech
Imperial College London(帝国理工学院)
无声语音接口最近已经被提出作为在声学信号不可用时实现通信的方式。这介绍了需要建立视觉语音识别系统的无声和耳语。然而,几乎所有最近提出的系统都只在语音数据上进行了训练。这与文献中的证据相反,文献中的证据表明,嘴唇运动的变化取决于语音模式。在这项工作中,我们介绍了一个新的视听数据库,它是公开的,包含正常的,低声和无声的讲话。据我们所知,这是第一个研究,调查三种语音模式之间的差异,仅使用视觉模态。我们发现,在正常和耳语训练和测试时,观察到分类率的绝对下降高达3.7%,反之亦然。当对无声语音进行测试时,报告了高达8.5%的更高下降。这揭示了在3种语音模式之间确实存在视觉差异,并且发声训练数据可以直接用于训练无声语音识别系统的共同假设可能不正确。
2018-02-18 cs.CV
LiRA: Learning Visual Speech Representations from Audio through Self-supervision
Imperial College London(伦敦帝国理工学院);Facebook London(脸书伦敦);University of Augsburg(奥格斯堡大学)
当今在线共享的大量视听内容引起了人们对视听自监督学习前景的极大关注。最近的作品集中在这些模式分别,而其他人试图同时在一个跨模态的方式建模。然而,相对而言,很少有人注意利用一种方式作为培训目标,向另一种方式学习。在这项工作中,我们提出了通过自我监督从音频中学习视觉语音表示(LiRA)。具体来说,我们训练ResNet+Conformer模型来预测来自未标记视觉语音的声学特征。通过特征提取和微调实验,我们发现这种预训练模型可以用于单词级和句子级唇读。我们表明,我们的方法在野生唇读(LRW)数据集上的表现明显优于其他自监督方法,并且仅使用总标记数据的一小部分就在唇读句子2(LRS2)上实现了最先进的性能。
2021-06-16 cs.CV cs.LG cs.SD
MAVERIX: Multimodal Audio-Visual Evaluation and Recognition IndeX
MAVERIX是一个用于评估多模态模型音频视觉整合能力的统一基准,通过精心设计的问题展示模型在跨模态理解上的性能,揭示了与人类水平的显著差距。
2025-12-06 cs.AI cs.CV cs.MM
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
Audiovisual Speaker Tracking using Nonlinear Dynamical Systems with Dynamic Stream Weights
Ruhr University Bochum(波鸿鲁尔大学)
数据融合在许多需要高效处理多模态感知观测的技术应用中起着重要作用。一个突出的例子是视听信号处理,它在自动语音识别、说话人定位和相关任务中获得了越来越多的关注。如果与声学信息适当结合,额外的视觉提示可以帮助提高这些应用中的性能,特别是在不利的声学条件下。基于瞬时传感器可靠性测量的声和视频流的动态加权是在这种情况下进行数据融合的有效方法。本文提出了一个框架,扩展了完善的非线性动力系统的理论与动态流权重的概念为任意数量的感官观察。它包括一个递归状态估计器的基础上的高斯滤波范例,它将动态流权重到一个框架密切相关的扩展卡尔曼滤波器。此外,一个凸优化方法来估计预言动态流的权重在完全观测的动态系统利用Dirichlet先验。这作为动态流权重估计器的通用参数学习框架的基础。所提出的系统是独立的应用程序,可以很容易地适应特定的任务和要求。使用视听扬声器跟踪任务的研究被认为是在这项工作中的一个典型应用。在实验中证明了基于动态流权重的估计框架在最先进的方法上的改进的跟踪性能。
2019-03-14 cs.CV cs.SD eess.AS
VideoFDB: Evaluating Full-Duplex Vision-Speech Capabilities in Conversational Agents
NVIDIA;David AI
提出首个全双工视听到视听(AV2AV)对话基准VideoFDB,通过237个真实视频片段、感知与生成行为分类以及基于评分规则的LM评判框架,系统评估代理在非语言对话动态中的表现,发现现有系统存在字幕崩溃和视觉流忽视等缺陷。
2026-07-30 cs.CL cs.CV cs.HC
Seamless Interaction: Dyadic Audiovisual Motion Modeling and Large-Scale Dataset
Meta;University of Kansas(堪萨斯大学)
本文提出Seamless Interaction Dataset(超4000小时面对面交互数据)及二元视听运动模型,可基于对话者语音和视觉行为生成同步手势与表情,并支持情绪可控和2D/3D渲染,推动交互式虚拟代理发展。
2025-07-01 cs.AI cs.CV
Recognition of Isolated Words using Zernike and MFCC features for Audio Visual Speech Recognition
Dr. Babasaheb Ambedkar Marathwada University(巴巴萨海布·安贝德卡尔马拉特瓦达大学)
机器自动语音识别(ASR)是信号处理领域的一个热门研究课题,吸引了众多学者的研究。近年来,在自动语音阅读系统中已经有了许多进展,包括音频和视觉语音特征,以在噪声条件下识别单词。视听语音识别系统的目标是提高识别率。在本文中,我们计算视觉特征使用Zernike矩和音频特征使用梅尔频率倒谱系数(MFCC)的vVISWa(独立标准词汇的视觉词汇)数据集,其中包含10个扬声器的城市名称的孤立集合。在主成分分析(PCA)空间上对视觉特征进行归一化和降维,对孤立词语音进行识别,基于视觉和听觉特征的孤立词识别率分别为63.88和100。
2014-07-04 cs.CL cs.CV
Soundwich: Video Generation with Layered and Controllable Audio
Simon Fraser University(西蒙弗雷泽大学);University of Cyprus(塞浦路斯大学);CYENS Centre of Excellence(CYENS卓越中心);Tel Aviv University(特拉维夫大学)
Soundwich提出无需训练的框架,将冻结的联合音视频流匹配模型转化为生成多个同步、可独立编辑音频主干并与共享视频耦合的生成器,实现源级时间控制和跨模态交互,提升视听一致性、时间控制、源分离和自然度,支持灵活编辑。
2026-10-05 cs.CV cs.MM cs.SD
Implementation Of Tiny Machine Learning Models On Arduino 33 BLE For Gesture And Speech Recognition
Nitte Meenakshi Institute of Technology(尼特·米纳克希技术学院)
在这篇文章中,手势识别和语音识别应用程序实现嵌入式系统与微型机器学习(TinyML)。它具有3轴加速度计,3轴陀螺仪和3轴磁强计。手势识别,为非语言交流提供了一种创新的方法.它在人机交互和手语中有着广泛的应用。在手势识别的实现中,TinyML模型是从EdgeImpulse框架中训练和部署的,用于手势识别,基于手部运动,具有6轴IMU的Arduino Nano 33 BLE设备可以找出手部运动的方向。演讲是一种沟通方式。语音识别是计算机理解人类语音的陈述或命令并作出相应反应的一种方法。语音识别的主要目的是实现人与机器之间的交流。在这里,在语音识别的实现中,TinyML模型是从EdgeImpulse框架中训练和部署的,用于语音识别,并基于人类发音的关键词,具有内置麦克风的Arduino Nano 33 BLE设备可以根据发音的关键词使RGB LED发出红色,绿色或蓝色的光芒。获得每个应用的结果,并在结果部分列出,并给出对结果的分析。
2022-07-23 cs.CV cs.LG cs.SD
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab(腾讯人工智能实验室)
尽管自动语音识别(ASR)技术发展迅速,但到目前为止,以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励,已经开发了视听语音增强技术,尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法,该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势,仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明,所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统,其统计显著的字出错率(WER)绝对降低了2.06%(相对降低了8.77%)。
2022-04-08 cs.CV cs.MM cs.SD