Spatio-Temporal Attention Mechanism and Knowledge Distillation for Lip Reading
The American University in Cairo（开罗美国大学）；Nahdet Misr AI（纳赫代特米斯尔人工智能公司）
尽管在音频和视听语音识别领域中取得了进步，但是由于某些音素的视觉模糊性，视觉语音识别系统仍然是相当不充分的。在这项工作中，我们提出了一个新的唇读模型，结合了三个贡献。首先，模型前端采用时空注意力机制来帮助从输入视觉帧中提取信息数据。其次，模型后端利用序列级和帧级知识蒸馏（KD）技术，其允许在视觉模型训练期间利用音频数据。第三，数据预处理流水线，其中包括面部特征点检测为基础的嘴唇对齐。在LRW唇读数据集上，时空注意、知识蒸馏和唇对齐的贡献率分别达到88.43%、88.64%和88.37%，显著提高了唇读的准确率。
2021-08-07 cs.AI cs.CV
Some observations on computer lip-reading: moving from the dream to the reality
University of East Anglia（东英吉利大学）；Annwvyn Solutions（安温解决方案公司）
在寻求更好的计算机唇读性能的过程中，存在许多默认的假设，这些假设要么存在于数据集（例如高分辨率）中，要么存在于方法（例如称为视位的口语视觉单位的识别）中。在这里，我们回顾这些和其他假设，并显示出令人惊讶的结果，计算机唇读并没有受到视频分辨率，姿势，照明和其他实际因素的严重限制。然而，视位是音素的视觉等价物，视位是识别的最佳单位，这一工作假设确实需要进一步的检验。我们的结论是，视位，这是一个多世纪前定义的，不太可能是最佳的现代计算机唇读系统。
2017-10-03 cs.CV eess.IV
Lip-reading with Hierarchical Pyramidal Convolution and Self-Attention
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）；iFlytek Co., Ltd.（科大讯飞股份有限公司）
在本文中，我们提出了一种新的深度学习架构，以提高单词级唇读。一方面，我们首次将多尺度处理引入唇读的空间特征提取中。特别地，我们提出了分层金字塔卷积（HPConv）来取代原始模块中的标准卷积，从而提高了模型发现细粒度嘴唇运动的能力。另一方面，我们利用自注意力在序列的所有时间步进行信息融合，使模型更多地关注相关帧。这两个优点结合在一起，进一步增强了模型的分类能力。在LRW数据集上的实验表明，我们提出的模型的准确率达到了86.83%，比目前最先进的模型提高了1.53%。我们还进行了大量的实验，以更好地理解所提出的模型的行为。
2020-12-28 cs.CV eess.IV
Landmark-Guided Cross-Speaker Lip Reading with Mutual Information Regularization
School of Life Science and Technology, University of Electronic Science and Technology of China（电子科技大学生命科学与技术学院）；Defense Innovation Institute, Academy of Military Sciences（军事科学院国防创新研究院）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）；High-tech Institute of Qingzhou（青州高新技术研究院）
本文提出利用唇部地标引导的细粒度视觉线索和最大最小互信息正则化方法，在混合CTC/注意力架构下学习对说话人身份不敏感的唇语识别模型，并在公开数据集上验证了其在跨说话人场景中的有效性。
2024-05-02 cs.AI cs.CV cs.MM
Multi-Grained Spatio-temporal Modeling for Lip-reading
唇读旨在通过对说话者嘴唇运动的视觉分析来识别视频中的语音内容。这是一个具有挑战性的任务，由于存在的同音词，涉及相同或高度相似的嘴唇运动，以及不同的嘴唇外观和运动模式的发言者。为了解决这些挑战，我们提出了一种新的唇读模型，它不仅捕捉单词之间的细微差别，但也不同的扬声器的风格，通过多粒度的时空建模的说话过程。具体来说，我们首先提取帧级细粒度特征和短期的中粒度特征的视觉前端，然后结合起来，以获得具有相似音素的单词的判别表示。接下来，一个增强了时间注意力的双向ConvLSTM聚合了整个输入序列中的时空信息，期望能够捕获每个单词的粗获得模式，并对说话人身份、光照条件等各种条件具有鲁棒性，通过在统一框架下充分利用来自不同层次的信息该模型不仅能够区分发音相似的单词，而且对外观变化具有鲁棒性。我们在两个具有挑战性的单词级唇读基准上评估了我们的方法，并显示了所提出的方法的有效性，这也证明了上述主张。
2019-09-02 cs.CV eess.AS
Hearing Lips: Improving Lip Reading by Distilling Speech Recognizers
Zhejiang University（浙江大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Alibaba Group（阿里巴巴集团）
由于深度学习和大规模数据集的可用性，唇读近年来取得了前所未有的发展。尽管取得了令人鼓舞的结果，唇读的性能，不幸的是，仍然不如其对应的语音识别之一，由于其致动的模糊性，使得它具有挑战性的唇运动视频提取判别特征。在本文中，我们提出了一种新的方法，称为唇语音（LIBS），其目标是加强唇读从语音识别器的学习。我们的方法背后的基本原理是，从语音识别器中提取的特征可以提供互补和判别的线索，这是强大的，从嘴唇的微妙运动，从而促进唇读者的培训。具体来说，这是通过从语音识别器到唇读器提取多粒度知识来实现的。为了进行这种跨模态的知识蒸馏，我们利用一个有效的对齐方案来处理不一致的长度的音频和视频，以及一个创新的过滤策略，以完善语音识别器的预测。该方法在CMLR和LRS2数据集上实现了新的最先进的性能，在字符出错率方面分别优于基线7.66%和2.75%。
2019-11-26 cs.CV cs.LG eess.AS
Leveraging Visemes for Better Visual Speech Representation and Lip Reading
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
针对现有唇读系统准确率低的问题，提出利用视位提取更具区分度与鲁棒性的视频特征的新方法，在Arman-AV数据集的多类唇读及视听语音任务上均优于现有最优方法，词错误率相对降低9.1%。
2023-07-19 cs.CV
Speaker-independent machine lip-reading with speaker-dependent viseme classifiers
University of East Anglia（东英吉利大学）
在机器唇读中，这是从视觉信息中识别语音，有证据表明视觉语音高度依赖于说话者[1]。在这里，我们使用音素聚类方法来形成新的音素到视位映射为个人和多个扬声器。我们使用这些地图来研究说话者在视觉上的相似程度。我们的结论是，广义上讲，扬声器有相同的剧目的嘴的姿态，他们不同的是在使用的姿态。
2017-10-03 cs.CV eess.AS
Lip Reading Sentences in the Wild
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
这项工作的目标是识别说话的脸所说的短语和句子，有或没有音频。与之前专注于识别有限数量的单词或短语的作品不同，我们将唇读作为一个开放世界的问题来处理-不受约束的自然语言句子，以及野生视频。我们的主要贡献包括：（1）“观看、倾听、注意和拼写”（WLAS）网络，其学习将嘴部运动的视频转录为字符;（2）课程学习策略，以加速训练并减少过度拟合;（3）用于视觉语音识别的“唇读句子”（LRS）数据集，其由来自英国电视的超过100，000个自然句子组成。在LRS数据集上训练的WLAS模型超过了以前在标准唇读基准数据集上的所有工作的性能，通常是显著的。在BBC电视台的视频中，这种唇读性能击败了专业唇读器，并且我们还证明了即使在音频可用的情况下，视觉信息也有助于提高语音识别性能。
2017-01-30 cs.CV
SwinLip: An Efficient Visual Speech Encoder for Lip Reading Using Swin Transformer
Sogang University（西江大学）
本文提出基于 Swin Transformer 的高效唇读视觉编码器 SwinLip，通过层次化结构与改进 Conformer 时间嵌入降低计算复杂度，在英文 LRW 和中文 LRW-1000 数据集上以更少计算量取得领先性能。
2025-05-07 cs.CV cs.SD eess.AS
Learn an Effective Lip Reading Model without Pains
University of Chinese Academy of Sciences（中国科学院大学）
唇读又称视觉语音识别，旨在通过分析唇动来识别视频中的语音内容。近年来，得益于快速发展的深度学习技术和最近的大规模唇读数据集，唇读研究取得了一些引人注目的进展。大多数现有的方法通过构造复杂的神经网络来获得高性能，以及一些定制的训练策略，这些策略总是在非常简短的描述中给出，甚至只在源代码中显示。我们发现，适当地使用这些策略总是可以带来令人兴奋的改进，而不会改变太多的模型。考虑到这些策略的不可忽视的作用和现有的困难状况，训练一个有效的唇读模型，我们进行了全面的定量研究和比较分析，首次，显示唇读的几种不同的选择的效果。通过对基线管道进行一些简单的改进，我们在两个最大的公开唇读数据集LRW和LRW-1000上分别获得了从83.7%到88.4%和从38.2%到55.7%的性能明显改善。它们具有可比性，甚至超过了现有的最先进的结果。
2020-11-15 cs.CV
A Multimodal German Dataset for Automatic Lip Reading Systems and Transfer Learning
University of Hamburg（汉堡大学）
唇读的深度学习所需的大型数据集在许多语言中并不存在。在本文中，我们介绍了数据集GLips（德国嘴唇），由250，000个公开的黑森州议会发言人的面部视频组成，这些视频使用自动管道进行了单词级唇读处理。该格式类似于英语LRW（Lip Reading in the Wild）数据集的格式，每个视频在1.16秒的持续时间内编码一个感兴趣的单词，这为研究两个数据集之间的迁移学习提供了兼容性。通过训练深度神经网络，我们研究唇读是否具有语言无关的特征，以便不同语言的数据集可以用于改进唇读模型。我们展示了从头开始的学习，并表明从LRW到GLips的迁移学习，反之亦然，提高了学习速度和性能，特别是对于验证集。
2022-05-11 cs.CL cs.CV cs.LG
Learning Separable Hidden Unit Contributions for Speaker-Adaptive Lip-Reading
本文针对唇读中的说话人自适应问题，提出利用说话人自身特征在浅层增强语音内容特征、在深层抑制无关噪声，学习可分离的隐单元贡献，并在多个数据集上验证了其优越性。
2024-04-30 cs.AI cs.CV cs.SD
Which phoneme-to-viseme maps best improve visual-only computer lip-reading?
University of East Anglia（东英吉利大学）
所有当前视觉语音识别系统的关键假设是存在称为视位的视觉语音单元，其可以映射到声学语音单元，即音素。尽管有一些出版的地图，但很少看到这些测试的有效性，特别是在视觉唇读（许多作品使用视听语音）。在这里，我们检查了120个映射，并考虑是否有任何在谈话者之间是稳定的。我们展示了一种方法，用于设计从一个自动唇读系统的音素混淆的基础上的地图，我们提出了新的映射，显示个人谈话者的改进。
2017-10-03 cs.CL cs.CV eess.AS
Distinguishing Homophenes Using Multi-Head Visual-Audio Memory for Lip Reading
KAIST（韩国科学技术院）
从无声的嘴唇运动中识别语音，这被称为唇读，是一项具有挑战性的任务，这是由于1）嘴唇运动的固有信息不足以完全表示语音，以及2）存在具有相似嘴唇运动和不同发音的同音异义词。在本文中，我们试图减轻唇读的上述两个挑战，提出了一个多头视听记忆（MVM）。首先，MVM使用视听数据集进行训练，并通过对成对视听表示的相互关系进行建模来记住音频表示。在推理阶段，通过检查学习到的相互关系，仅视觉输入就可以从存储器中提取保存的音频表示。因此，唇读模型可以用提取的音频表示来补充不足的视觉信息。其次，MVM由保存视觉特征的多头键存储器和保存音频知识的单值存储器组成，旨在区分同音异义词。利用多头密钥存储器，MVM从存储器中提取可能的候选音频特征，这允许唇读模型考虑可以从输入嘴唇运动表示哪些发音的可能性。这也可以被看作是视位到音素的一对多映射的显式实现。此外，MVM被用于多时态层次，以考虑在检索记忆时的上下文和区分同胚。大量的实验结果验证了所提出的方法在唇读和区分同音异义词的有效性。
2022-04-04 cs.CV
Sub-word Level Lip Reading With Visual Attention
University of Oxford（牛津大学）
本文的目标是学习强大的唇读模型，可以识别无声视频中的语音。大多数现有的作品处理开放集的视觉语音识别问题，通过适应现有的自动语音识别技术的顶部平凡汇集的视觉功能。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们做出了以下贡献：（1）我们提出了一种基于注意力的池化机制来聚合视觉语音表示;（2）我们首次使用子词单元进行唇读，并表明这使我们能够更好地对任务的模糊性进行建模;（3）我们提出了一种在唇读网络上训练的视觉语音检测（VSD）模型。根据上述内容，我们在公共数据集上训练时，在具有挑战性的LRS 2和LRS 3基准上获得了最先进的结果，甚至通过使用数量级更少的数据，超过了在大规模工业数据集上训练的模型。我们最好的模型在LRS 2数据集上实现了22.6%的单词出错率，这是唇读模型前所未有的性能，大大减少了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超过了所有仅视觉基准，甚至优于最近的几种视听方法。
2021-12-03 cs.CL cs.CV
Deep Learning for Lip Reading using Audio-Visual Information for Urdu Language
Information Technology University（信息技术大学）
人类唇读是一项具有挑战性的任务。它不仅需要潜在语言的知识，还需要视觉线索来预测口语。专家需要一定的经验和理解的视觉表达学习解码口语的话。如今，在深度学习的帮助下，可以将嘴唇序列翻译成有意义的单词。噪声环境中的语音识别可以通过视觉信息来提高[1]。为了证明这一点，在这个项目中，我们尝试了训练两种不同的唇读深度学习模型：第一种是使用时空卷积神经网络、双门递归神经网络和连接时间分类损失的视频序列，第二种是将MFCC特征输入到LSTM单元层并输出序列的音频。我们还收集了一个小的视听数据集来训练和测试我们的模型。我们的目标是将这两种模型结合起来，以提高噪声环境下的语音识别性能
2018-02-15 cs.CV cs.SD eess.AS
Deep Lip Reading: a comparison of models and an online application
University of Oxford（牛津大学）
本文的目标是发展最先进的唇读模型-视觉语音识别。我们开发了三种架构，并比较了它们的准确性和训练时间：（i）使用LSTM的递归模型;（ii）完全卷积模型;以及（iii）最近提出的Transformer模型。循环和完全卷积模型使用连接主义时间分类损失进行训练，并使用显式语言模型进行解码，Transformer是序列到序列模型。我们的最佳性能模型将具有挑战性的BBC-Oxford Lip Reading Sentences 2（LRS 2）基准数据集上的最先进单词出错率提高了20%以上。作为进一步的贡献，我们研究了全卷积模型用于在线（实时的）唇读连续语音时，并表明它实现了高性能与低延迟。
2018-06-15 cs.CV
Finding phonemes: improving machine lip-reading
University of East Anglia（东英吉利大学）
在机器唇读中，围绕用于识别的正确类存在持续的争论和研究。在本文中，我们使用一种结构化的方法来设计依赖于扬声器的视位类，这使得创建一组音素到视位的地图，每个有不同数量的视位范围从2到45。视位类是基于在音素识别过程中被混淆的发音音素到视位组的映射。使用这些地图，与LiLIR数据集，我们显示的影响，改变视位图的大小在说话者依赖的机器唇读，测量单词识别的正确性，因此表明，单词识别与音素分类器不仅是可能的，但往往优于单词识别与视位分类器。此外，在视位和音位之间还有更好的中间单位。
2017-10-03 cs.CL cs.CV eess.AS
Towards Pose-invariant Lip-Reading
1 Imperial College London, 2 University of Nottingham, 3 Samsung AI Center, Cambridge
最近，由于强大的深度学习架构，唇读模型得到了显着改进。然而，大多数作品集中在正面或近正面的意见，嘴。因此，唇读性能严重恶化，在非正面嘴的意见。在这项工作中，我们提出了一个框架，用于在合成数据上训练姿势不变的唇读模型，而不是收集和注释昂贵且繁琐的非正面数据。所提出的模型显着优于以前的方法，非正面的意见，同时保留了优越的性能正面和近正面的嘴的意见。具体来说，我们建议使用3D变形模型（3DMM）来增强LRW，一个现有的大规模，但主要是正面的数据集，通过生成合成的面部数据在任意姿势。新衍生的数据集，用于训练一个国家的最先进的神经网络唇读。我们在LRS2数据集上进行了一个孤立词识别的跨数据库实验，并报告了2.55%的绝对改进。所提出的方法的好处变得更加清晰，在极端的姿势，达到了20.64%的绝对改善超过基线。
2019-11-14 cs.CV
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模（基于滤波的方法）两者的互补优势，与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中，采用了一种新的基于深度学习的唇读回归模型。在第二级中，唇读近似干净的音频功能，利用增强的，视觉推导的维纳滤波器（EVWF），干净的音频功率谱估计。具体地，基于堆叠的长短期记忆（LSTM）的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计，一个新的滤波器组域EVWF制定，利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下，不同的动态现实世界的商业动机的情况下（例如咖啡馆，公共交通，行人区）在不同的SNR水平（从低到高的SNR）使用基准网格和ChiME3语料库。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD
Lip-reading with Densely Connected Temporal Convolutional Networks
Imperial College London（帝国理工学院）；Facebook London（伦敦脸书公司）；Samsung AI Center Cambridge（剑桥三星人工智能中心）
在这项工作中，我们提出了密集连接的时间卷积网络（DC-TCN）的唇读孤立的话。虽然时间卷积网络（TCN）最近在许多视觉任务中表现出巨大的潜力，但其感受野不足以对唇读场景中复杂的时间动态进行建模。为了解决这个问题，我们在网络中引入密集连接，以捕获更强大的时间特征。此外，我们的方法利用挤压和激励块，一个轻量级的注意力机制，以进一步提高模型的分类能力。没有花里胡哨，我们的DC-TCN方法在野生唇语（LRW）数据集上实现了88.36%的准确率，在LRW-1000数据集上实现了43.65%的准确率，这已经超过了所有的基线方法，并且是这两个数据集上的最新技术水平。
2022-09-29 cs.CV
Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge
KAIST（韩国科学技术院）
本文针对低资源语言唇读数据不足的问题，提出从高资源语言学习通用唇动知识，并结合语言特定记忆增强解码器（LMDecoder）利用音频-文本数据学习语言知识，从而高效构建低资源语言唇读模型。
2024-01-12 cs.CL cs.CV cs.SD
Deformation Flow Based Two-Stream Network for Lip Reading
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
唇读是通过分析人们说话时唇区的运动来识别语音内容的任务。通过观察说话过程中相邻帧间的连续性，以及不同说话人在发音相同音素时运动模式的一致性，将说话过程中的嘴唇运动建模为嘴唇区域的一系列明显变形。具体来说，我们引入了一个变形流网络（DFN）来学习相邻帧之间的变形流，直接捕获嘴唇区域内的运动信息。然后将学习的变形流与具有双流网络的原始灰度帧组合以执行唇读。与以往的双流网络不同，本文通过引入双向知识蒸馏损失，使两个分支在学习过程中相互学习，共同进行训练。由于不同分支提供了互补的线索，双流网络比使用任何一个单一分支都有很大的改进。对两个大型唇读基准进行了全面的实验评估，并进行了详细的分析。结果符合我们的动机，并表明我们的方法在这两个具有挑战性的数据集上达到了最先进或相当的性能。
2020-03-13 cs.CV
Synchronous Bidirectional Learning for Multilingual Lip Reading
TAL Education Group（好未来教育集团）
唇读近年来受到越来越多的关注。本文主要研究多语言唇读的协同作用。世界上大约有7000种语言，这意味着用每种语言的大规模数据训练单独的唇读模型是不切实际的。虽然每种语言都有自己的语言和发音规则，但由于人体器官的共同结构，所有语言的唇动都有相似的模式。基于这一思想，本文尝试对多语言唇读的协同学习进行探讨，并进一步提出了一个有效协同多语言唇读的同步双向学习（SBL）框架。我们首先介绍音素作为我们的建模单位的多语种设置在这里。语音与唇动的关系比字母与唇动的关系更密切。同时，无论目标语言是哪种类型，相似的音素总是导致相似的视觉模式。然后，提出了一种新的SBL块，以填空的方式学习每种语言的规则。具体来说，模型必须学习在给定双向上下文的情况下推断目标单元，这可以表示每种语言的音素组成规则。为了使学习过程更有针对性地针对每种特定的语言，在学习过程中引入了预测语言身份的额外任务。最后，对LRW（英语）和LRW-1000（普通话）进行了全面的比较，显示了不同语言的协同学习带来的好处，并报告了两个数据集的最新结果。
2020-08-14 cs.CL cs.CV
ASR is all you need: cross-modal distillation for lip reading
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
这项工作的目标是训练强大的模型，视觉语音识别，而不需要人类注释地面实况数据。我们实现这一点，从一个自动语音识别（ASR）模型，已在一个大规模的音频语料库训练。我们使用一个跨模态蒸馏方法，结合了连接主义时间分类（CTC）与帧的交叉熵损失。我们的贡献有四个方面：（i）我们证明了地面真实transmittance对于训练唇读系统是不必要的;（ii）我们展示了如何利用任意数量的未标记视频数据来提高性能;（iii）我们证明了蒸馏显着加快了训练;（iv）我们在具有挑战性的LRS 2和LRS 3数据集上获得了最先进的结果，仅在公开数据上进行训练。
2020-03-31 cs.CV cs.SD eess.AS
Lip2AudSpec: Speech reconstruction from silent lip movements video
Columbia University（哥伦比亚大学）
在这项研究中，我们提出了一个深度神经网络，用于从无声的嘴唇运动视频中重建可理解的语音。我们使用听觉频谱图作为语音的频谱表示和相应的声音生成方法，从而产生一个更自然的声音重建语音。我们提出的网络由一个自动编码器组成，用于从听觉频谱图中提取瓶颈特征，然后将其用作我们的主要唇读网络的目标，该网络由CNN，LSTM和全连接层组成。我们的实验表明，自动编码器是能够重建原始的听觉频谱图与98%的相关性，也提高了重建语音的质量，从主要的唇读网络。我们的模型，在不同的扬声器上联合训练，能够提取单个扬声器的特征，并给出了有希望的结果，重建清晰的语音与优越的单词识别精度。
2017-10-26 cs.CV eess.AS eess.IV
SimulLR: Simultaneous Lip Reading Transducer with Attention-Guided Adaptive Memory
Zhejiang University（浙江大学）
唇读是一种不依赖于音频流，根据给定的唇动视频来识别口语句子的方法，由于其在许多场景中的应用而引起了人们的极大兴趣。虽然探索唇读的先前工作已经取得了显着的成就，但它们都是以非同时的方式进行训练的，其中生成的预测需要访问完整的视频。为了突破这一限制，我们研究了同时唇读任务，并从三个方面设计了具有注意力引导自适应记忆的同时唇读传感器SimulLR：（1）为了解决单调对齐的挑战，同时考虑到同时设置下生成的句子的句法结构，我们建立了一个基于转换器的模型，并设计了几个有效的训练策略，包括CTC预训练，模型热身和课程学习，促进唇读传感器的训练。(2)为了更好地学习同步编码器的时空表示，我们构建了一个截断的3D卷积和时间限制的自注意层，以执行包含固定数量帧的视频段内的帧到帧的交互。(3)在实时场景下，尤其是海量视频数据的存储，使得历史信息往往是有限的。因此，我们设计了一种新的注意力引导的自适应记忆，以组织历史片段的语义信息，并以可接受的计算感知延迟增强视觉表征。实验结果表明，与现有的非同时翻译方法相比，SimulLR的翻译加速比达到了9.10 $\times$，具有一定的竞争力，表明了本文方法的有效性.
2021-08-31 cs.CL cs.CV
Advances and Challenges in Deep Lip Reading
Imam Khomeini International University（伊玛目霍梅尼国际大学）；University of Alicante（阿利坎特大学）；School of Computer Science, Institute for Research in Fundamental Sciences (IPM)（基础科学研究所计算机科学学院）
在深度学习技术和大规模数据集的推动下，近年来，自动唇读发生了范式转变。虽然视觉语音识别（VSR）的主要目标是提高音频语音识别系统的准确性，但其他潜在的应用（例如生物识别）以及VSR系统所承诺的收益已经激励了唇读技术的广泛努力。本文对最新的基于深度学习的VSR研究进行了全面的调查，重点关注数据挑战，特定于任务的复杂性以及相应的解决方案。这些方面的进展将加速无声语音界面从理论到实践的转变。我们还讨论了VSR管道的主要模块和有影响力的数据集。最后，我们介绍了一些典型的VSR应用的关注和现实世界的场景，以及未来的研究方向的障碍。
2021-10-15 cs.CV
MTGA: Multi-View Temporal Granularity Aligned Aggregation for Event-Based Lip-Reading
Wuhan University（武汉大学）；City, University of London（伦敦城市大学）
针对事件唇语识别中事件帧聚合导致细粒度时间信息丢失的问题，提出MTGA框架，通过时间分段体素图列表、时间粒度对齐的时空融合模块及带位置编码的时间聚合模块，有效提升识别性能并优于现有事件和视频方法。
2025-01-31 cs.CV
Enhancing Lip Reading with Multi-Scale Video and Multi-Encoder
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies（华为技术有限公司）
本文提出结合多尺度唇动提取、增强型ResNet3D视觉前端及多种视觉编码器来提升自动唇读性能，并通过ROVER融合多系统转写结果，在ICME 2024 ChatCLR Challenge Task 2中取得第二名，字符错误率较官方基线降低21.52%。
2024-04-30 cs.CV
Integrating Persian Lip Reading in Surena-V Humanoid Robot for Human-Robot Interaction
Center of Advanced Systems and Technologies (CAST)（高级系统技术中心）；School of Mechanical Engineering（机械工程学院）；University of Tehran（德黑兰大学）
本研究将波斯语唇读技术集成到Surena-V人形机器人中，通过面部关键点跟踪和CNN-LSTM两种方法提升语音识别，最佳模型LSTM达到89%准确率，实现了实时人机交互。
2025-01-23 cs.CV cs.RO
Towards Estimating the Upper Bound of Visual-Speech Recognition: The Visual Lip-Reading Feasibility Database
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常用的交流方式，它涉及听觉和视觉通道的感知。自动语音识别的重点是解释音频信号，尽管视频可以提供与音频互补的信息。然而，利用视觉信息已被证明具有挑战性。一方面，研究人员报告说，音素和视位（视觉单位）之间的映射是一对多的，因为有音素是视觉上相似的，它们之间无法区分。另一方面，众所周知，有些人读唇语很好（如聋人）。我们研究了在受控条件下仅视觉语音识别的极限。有了这个目标，我们设计了一个新的数据库，其中的发言者意识到正在阅读，旨在促进唇读。在文献中，听力受损的人是否比听力正常的人更好的唇读存在差异。然后，我们分析了9名听力障碍者和15名听力正常者的唇读能力是否存在差异。最后，人类的能力进行了比较的视觉自动语音识别系统的性能。在我们的测试中，听力受损的参与者的表现优于听力正常的参与者，但没有达到统计学显著性。人类观察者能够解码44%的语音信息。相比之下，仅视觉自动系统实现了20%的单词识别率。然而，如果我们重复的音素方面的比较都获得了非常相似的识别率，刚刚超过50%。这表明，人类唇读和自动语音阅读之间的差距可能更多地与上下文的使用有关，而不是解释嘴部外观的能力。
2017-04-26 cs.CV
Enhancing Speech-Driven 3D Facial Animation with Audio-Visual Guidance from Lip Reading Expert
Grad. School of Artificial Intelligence（人工智能研究生院）；POSTECH（浦项科技大学）；ENSC, Bordeaux INP, France（法国波尔多国立高等工程学院）；KRAFTON, Korea（韩国KRAFTON公司）；Inst. for Convergence Research and Education in Advanced Technology, Yonsei University, Korea（延世大学先进技术融合研究与教育学院）
本文提出利用音视频唇读专家的先验知识构建多模态感知损失，引导语音驱动3D面部动画生成与文本对齐的准确唇部运动，显著提升唇音同步与唇读可懂度。
2024-07-01 cs.CV cs.GR
Definition of Visual Speech Element and Research on a Method of Extracting Feature Vector for Korean Lip-Reading
Kim Il Sung University（金日成大学）
本文定义了视位（视觉语音元素），描述了视觉特征向量的提取方法。通过对韩语发音的分析，定义了基于元音的10个视位，并提出了静态特征和动态特征相结合的20维视觉特征向量提取方法。最后，我们对基于三视位隐马尔可夫模型的单词识别进行了实验，并对实验结果进行了评价。
2014-11-15 cs.CL cs.CV cs.LG
LRWR: Large-Scale Benchmark for Lip Reading in Russian language
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
唇读，也称为视觉语音识别，旨在通过分析嘴唇及其附近区域的视觉变形来识别视频中的语音内容。这一领域研究的一个重大障碍是缺乏适用于各种语言的适当数据集：到目前为止，这些方法仅限于英语或汉语。在本文中，我们介绍了一个自然分布的大规模基准唇读在俄罗斯的语言，命名为LRWR，它包含235类和135扬声器。我们提供了数据集收集管道和数据集统计的详细描述。我们还提出了一个全面的比较目前流行的唇读方法LRWR和进行详细的性能分析。实验结果显示了基准语言之间的差异，并为唇读模型的微调提供了几个有前途的方向。由于我们的发现，我们还在LRW基准上取得了新的最先进的结果。
2021-09-14 cs.CV cs.LG
Lip Reading Using Convolutional Auto Encoders as Feature Extractor
Veermata Jijabai Technological Institute（维玛塔吉贾拜技术学院）；CE & IT Department（计算机工程与信息技术系）；CE & IT Department, Veermata Jijabai Technological Institute, Mumbai（维玛塔吉贾拜技术学院计算机工程与信息技术系（孟买））
使用嘴唇运动的语音视觉识别被称为唇读。这个新生领域的最新发展使用不同的神经网络作为特征提取器，这些特征提取器作为模型的输入，该模型可以映射时间关系并进行分类。虽然端到端的句子级唇读是当前的趋势，我们提出了一个新的模型，采用词级分类，打破了标准数据集的设定基准。在我们的模型中，我们使用卷积自动编码器作为特征提取器，然后将其馈送到长短期记忆模型。我们在BBC的LRW数据集，MIRACL-VC 1和GRID数据集上测试了我们提出的模型。与设定基准的93.4%相比，MIRACL-VC 1的分类准确率达到98%（Rekik等人，2014年）。在BBC的LRW上，所提出的模型比卷积神经网络和长短期记忆模型的基线模型表现得更好（Garg等人，2016年）。通过展示模型学习到的特征，我们清楚地表明了所提出的模型如何比基线模型更好地工作。同样的模型也可以扩展到端到端的句子级别分类。
2018-05-31 cs.CV
TVTA: Trajectory-Aware Viseme-Guided Temporal Aggregation for Event-Based Lip Reading
Harbin Institute of Technology（哈尔滨工业大学）
针对基于事件唇读方法的局限，提出时间增强框架，引入轨迹感知差分聚合、视素引导聚合及指数移动平均师生训练策略，在DVS-Lip基准上验证有效性，消融研究验证各部分贡献，定性结果表明学到有意义视素感知结构。
2026-07-10 cs.CV
Lip Localization and Viseme Classification for Visual Speech Recognition
MIRACL: Multimedia Information systems and Advanced Computing Laboratory（多媒体信息系统与高级计算实验室）；Higher Institute of Computer Science and Multimedia, Sfax, Tunisia（斯法克斯计算机科学与多媒体高等学院）
对自动唇读系统的需求不断增加。事实上，人脸运动的提取和可靠的分析在许多多媒体系统中，如视频会议系统、低通信系统、唇读系统等，都占有重要的地位。此外，视觉信息对有特殊需要的人来说是必不可少的。例如，我们可以想象，一个依赖者通过简单的嘴唇运动或简单的音节发音订购机器。此外，听力有问题的人通过唇读和听别人说话来弥补他们的特殊需要。
2013-01-19 cs.CV
Decoding visemes: improving machine lipreading
University of East Anglia（东英吉利大学）
为了进行机器唇读，我们试图从视觉信号中识别语音。当前的工作通常使用语言模型支持的视位分类，并取得了不同程度的成功。最近的一些工作表明，在适当的情况下，音素分类可以优于视位分类。在这项工作中，我们提出了一种新的两遍方法训练音素分类器，使用以前训练的视位在第一遍。通过我们的新训练算法，我们显示出的分类性能比之前的唇读结果有显着改善。
2017-10-03 cs.CV eess.AS
Mutual Information Maximization for Effective Lip Reading
Zhejiang University of Technology（浙江工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的快速发展及其广泛的潜在应用，唇读近年来受到越来越多的研究兴趣。唇读算法能否获得良好的性能，很大程度上取决于唇读算法能否有效地捕捉唇动信息，同时又能有效地抵抗由姿态变化、光照条件、说话人外貌等因素引起的噪声。我们建议在局部特征和全局序列两个层次上引入互信息约束，以增强特征与演讲内容一方面，我们约束在每个时间步生成的功能，使他们进行强有力的关系，通过施加本地互信息最大化约束（LMIM）的语音内容，导致改进模型的能力，发现细粒度的嘴唇运动和细粒度的差异，如“”花“和”“花”的发音相似的话。另一方面，我们在全局序列水平（GMIM）上引入了互信息最大化约束，使模型能够更加关注与语音内容相关的关键帧的判别，而较少考虑说话过程中出现的各种噪声。通过将这两个优点结合在一起，所提出的方法预计是有效的唇读的歧视性和鲁棒性。为了验证这种方法，我们评估了两个大规模的基准。本文从LMIM和GMIM与基准测试的比较、学习结果的可视化等方面进行了详细的分析和比较，结果不仅证明了所提方法的有效性，而且在两个基准测试上都取得了新的性能。
2020-03-13 cs.CV
Training Strategies for Improved Lip-reading
Imperial College London（伦敦帝国理工学院）；Meta AI
近年来，一些独立的研究成果提出了孤立词唇读的训练策略和时间模型。然而，还没有探索将最佳战略结合起来并调查每一项战略的影响的潜力。在本文中，我们系统地研究了最先进的数据增强方法，时间模型和其他训练策略的性能，如自蒸馏和使用词边界指示器。我们的研究结果表明，时间掩蔽（TM）是最重要的增强，其次是混淆和密集连接的时间卷积网络（DC-TCN）是孤立词唇读的最佳时间模型。使用自升华和词边界指示符也是有益的，但程度较小。所有上述方法的组合导致93.4%的分类准确率，这比LRW数据集上当前最先进的性能绝对提高了4.6%。通过对额外数据集进行预训练，性能可以进一步提高到94.1%。对各种训练策略的错误分析表明，通过提高难以识别的单词的分类准确性，性能得到了提高。
2022-09-29 cs.CV cs.LG
Resolution limits on visual speech recognition
University of East Anglia（东英吉利大学）
纯视觉语音识别依赖于许多难以控制的因素，例如：照明、身份、运动、情感和表达。但有些因素，如视频分辨率是可控的，所以令人惊讶的是，目前还没有系统的研究分辨率对唇读的影响。在这里，我们使用一个新的数据集，罗塞塔乌鸦数据，训练和测试识别器，所以我们可以衡量视频分辨率对识别精度的影响。我们的结论是，与通常的做法相反，决议不需要那么大的自动唇读。然而，当下唇的底部和上唇的顶部之间的距离在静止时小于四个像素时，自动唇读几乎不可能可靠地工作。
2017-10-03 cs.CV eess.IV
LRW-1000: A Naturally-Distributed Large-Scale Benchmark for Lip Reading in the Wild
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Huazhong University of Science and Technology（华中科技大学）
大规模数据集已经在多个研究领域相继证明了其重要性，特别是在一些新兴课题的早期进展中。在本文中，我们专注于视觉语音识别的问题，也被称为唇读，这是近年来越来越多的兴趣。我们提出了一个自然分布的大规模基准唇读在野外，命名为LRW-1,000，其中包含1,000类718,018样本从2,000多个单独的扬声器。每个类别对应于由一个或多个汉字组成的普通话单词的音节。据我们所知，它是目前最大的词级唇读数据集，也是唯一公开的大规模汉语唇读数据集。该数据集旨在涵盖不同语音模式和成像条件下的“自然”变化，以纳入实际应用中遇到的挑战。该基准测试在几个方面显示出很大的差异，包括每个类别中的样本数量，视频分辨率，照明条件以及说话者的属性，如姿势，年龄，性别和化妆。除了提供数据集及其收集管道的详细描述外，我们还评估了几种典型的流行唇读方法，并从几个方面对结果进行了深入的分析。结果证明了我们数据集的一致性和挑战性，这可能会为未来的工作开辟一些新的有前途的方向。
2019-04-24 cs.CV
Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所中国科学院智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
唇读的目的是从嘴唇运动序列中推断出语音内容，并且可以被看作是一个典型的序列到序列（seq 2seq）问题，该问题将嘴唇运动的输入图像序列转换为语音内容的文本序列。然而，传统的seq 2seq模型学习过程存在两个问题：“教师强迫”策略导致的暴露偏差，以及判别优化目标（通常为交叉熵损失）与最终评价指标（通常为字/词出错率）之间的不一致。在本文中，我们提出了一种新的伪卷积策略梯度（PCPG）为基础的方法来解决这两个问题。一方面，我们引入了评价指标（本文中是指字符出错率）作为一种奖励形式，与原有的判别目标一起优化模型。另一方面，受卷积运算的局部感知特性的启发，我们在奖励和损失维度上执行伪卷积运算，以便考虑每个时间步周围的更多上下文，从而为整个优化生成鲁棒的奖励和损失。最后，我们进行了全面的比较和评估的词级和词典级基准。结果表明，与其他相关方法相比，该方法有了显着的改进，并在所有这些具有挑战性的基准测试中报告了新的最先进的性能或具有竞争力的准确性，这清楚地证明了我们方法的优势。
2020-03-09 cs.CV cs.LG eess.IV
Audio-visual video face hallucination with frequency supervision and cross modality support by speech based lip reading loss
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）；Oxford Brookes University（牛津布鲁克斯大学）
最近，在面孔幻觉任务方面取得了许多突破。然而，由于固有的一致性问题，与图像相比，视频中的任务仍然相当具有挑战性。视频人脸幻觉中额外的时间维度的存在使得通过序列学习面部运动是不平凡的。为了学习这些精细的时空运动细节，我们提出了一种新的跨模态视听视频人脸幻觉生成对抗网络（VFH-GAN）。该架构利用面部结构的运动和相关联的语音信号之间的语义相关性。当前基于视频的方法中的另一个主要问题是在关键面部区域（诸如嘴和嘴唇）周围存在模糊，其中空间位移与其他区域相比高得多。所提出的方法明确地定义了唇读损失，以学习这些面部区域中的细颗粒运动。在训练过程中，GANs有可能从低到高拟合频率，这导致错过难以合成的频率。因此，为了向网络添加显著的频率特征，我们添加了基于频率的损失函数。与最新技术水平的视觉和定量比较显示性能和功效的显著改善。
2022-11-20 cs.CV
End-to-End Lip Reading in Romanian with Cross-Lingual Domain Adaptation and Lateral Inhibition
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研发研究院（ICI布加勒斯特））
针对罗马尼亚语唇读数据不足的问题，本文在 Wild LRRo 上比较多种架构与正则化后端，并利用英语、德语未标注视频进行跨语言领域自适应，加入神经侧抑制层，取得当前最优结果。
2023-10-07 cs.CL cs.CV
VALLR: Visual ASR Language Model for Lip Reading
University of Surrey（萨里大学）
VALLR提出了一种两阶段的视觉ASR语言模型，通过音素序列预测和语言模型重构实现高效率和高精度的唇语识别。
2026-01-05 cs.CV
Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion
KU Leuven（鲁汶大学）
当今的自动语音识别系统仅依赖于声学信号，并且在噪声条件下通常不能很好地执行。执行多模态语音识别-同时处理声学语音信号和唇读视频-显著增强了此类系统的性能，特别是在嘈杂的环境中。这项工作提出了这样一个自动语音识别视听系统的设计，考虑到内存和计算的要求。首先，设计了一个用于声学语音识别的长短期记忆神经网络。其次，使用卷积神经网络对唇读特征进行建模。这些与LSTM网络相结合，以建模时间依赖性并在视频上执行自动唇读。最后，结合听觉语音和视觉唇读网络，同时处理听觉和视觉特征。一个注意力机制确保模型在噪声环境中的性能。该系统的TCD-TIMIT '唇说话者'数据集上进行评估的视听音素识别与干净的音频和加性白噪声在SNR为0 dB。它分别实现了75.70%和58.55%的音素准确率，在所有噪声水平下都比最先进的音素准确率高出14个百分点。
2018-03-13 cs.CV
Deep Audio-Visual Speech Recognition
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
这项工作的目标是识别说话的脸所说的短语和句子，有或没有音频。与之前专注于识别有限数量的单词或短语的作品不同，我们将唇读作为一个开放世界的问题来处理-不受约束的自然语言句子，以及野生视频。我们的主要贡献是：（1）我们比较了两种唇读模型，一种使用CTC损失，另一种使用序列间损失。这两个模型都建立在Transformer自我注意力架构之上;（2）我们研究唇读在多大程度上是音频语音识别的补充，特别是当音频信号有噪声时;（3）我们引入并公开发布一个新的视听语音识别数据集LRS 2-BBC，由英国电视上的数千个自然句子组成。我们训练的模型在唇读基准数据集上的性能远远超过了以前所有工作的性能。
2018-12-22 cs.CV
LipGen: Viseme-Guided Lip Video Generation for Enhancing Visual Speech Recognition
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；National Institute of Defense Technology Innovation, Academy of Military Sciences（军事科学院国防科技创新研究院）；Tianjin Artificial Intelligence Innovation Center (TAIIC)（天津人工智能创新中心）
针对现有唇读数据集唇形变化有限导致模型鲁棒性不足的问题，本文提出 LipGen 框架，利用语音驱动的合成视觉数据，并结合视位素分类辅助任务与注意力机制，在 LRW 上取得最优性能。
2025-01-08 cs.CV cs.MM
Automatic Viseme Vocabulary Construction to Enhance Continuous Lip-reading
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常见的交流方式，涉及听觉和视觉通道的感知。自动语音识别集中于解释音频信号，但是已经证明视频可以提供与音频互补的信息。因此，自动唇读的研究具有重要的意义，也是一个有待解决的问题。其中一个关键的挑战是视觉基本单位（视位）及其词汇的定义。许多研究者分析了音素到视位映射的重要性，并提出了长度在11到15个视位之间的视位词汇。这些视位词汇表通常由其语言属性手动定义，并且在某些情况下使用决策树或聚类技术。在这项工作中，我们专注于自动构建一个最佳的视位词汇的基础上，具有相似外观的音素的关联。为此，我们构建了一个自动系统，使用本地外观描述符提取嘴部区域的主要特征，并使用Hestival对视位和音素序列的统计关系进行建模。为了比较系统的性能，分析了不同的描述符（PCA，DCT和SIFT）。我们测试我们的系统在西班牙语语料库的连续语音。我们的研究结果表明，我们能够识别大约58%的视位，47%的音素和23%的单词在连续语音的情况下，西班牙语的最佳视位词汇是由20个视位。
2017-04-26 cs.CV
Word-level Persian Lipreading Dataset
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出了一个包含约1,800名说话者、244,000个视频的波斯语词级唇语识别自然场景数据集，并使用AV-HuBERT模型提取特征，取得了显著优于现有方法的性能。
2023-04-08 cs.CV
LRW-Persian: Lip-reading in the Wild Dataset for Persian Language
Department of Mechanical Engineering（机械工程系）；Sharif University of Technology（谢里夫科技大学）；Department of Mathematical Sciences（数学科学系）；Department of Computer Engineernig（计算机工程系）
本文介绍LRW-Persian，最大的野外波斯语单词级唇读数据集，含743个目标词和超41.4万视频样本，并微调两种唇读架构建立基准，填补低资源语言视觉语音识别空白。
2025-10-26 cs.CV
