Deformation Flow Based Two-Stream Network for Lip Reading
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
唇读是通过分析人们说话时唇区的运动来识别语音内容的任务。通过观察说话过程中相邻帧间的连续性，以及不同说话人在发音相同音素时运动模式的一致性，将说话过程中的嘴唇运动建模为嘴唇区域的一系列明显变形。具体来说，我们引入了一个变形流网络（DFN）来学习相邻帧之间的变形流，直接捕获嘴唇区域内的运动信息。然后将学习的变形流与具有双流网络的原始灰度帧组合以执行唇读。与以往的双流网络不同，本文通过引入双向知识蒸馏损失，使两个分支在学习过程中相互学习，共同进行训练。由于不同分支提供了互补的线索，双流网络比使用任何一个单一分支都有很大的改进。对两个大型唇读基准进行了全面的实验评估，并进行了详细的分析。结果符合我们的动机，并表明我们的方法在这两个具有挑战性的数据集上达到了最先进或相当的性能。
2020-03-13 cs.CV
Spatio-Temporal Attention Mechanism and Knowledge Distillation for Lip Reading
The American University in Cairo（开罗美国大学）；Nahdet Misr AI（纳赫代特米斯尔人工智能公司）
尽管在音频和视听语音识别领域中取得了进步，但是由于某些音素的视觉模糊性，视觉语音识别系统仍然是相当不充分的。在这项工作中，我们提出了一个新的唇读模型，结合了三个贡献。首先，模型前端采用时空注意力机制来帮助从输入视觉帧中提取信息数据。其次，模型后端利用序列级和帧级知识蒸馏（KD）技术，其允许在视觉模型训练期间利用音频数据。第三，数据预处理流水线，其中包括面部特征点检测为基础的嘴唇对齐。在LRW唇读数据集上，时空注意、知识蒸馏和唇对齐的贡献率分别达到88.43%、88.64%和88.37%，显著提高了唇读的准确率。
2021-08-07 cs.AI cs.CV
Some observations on computer lip-reading: moving from the dream to the reality
University of East Anglia（东英吉利大学）；Annwvyn Solutions（安温解决方案公司）
在寻求更好的计算机唇读性能的过程中，存在许多默认的假设，这些假设要么存在于数据集（例如高分辨率）中，要么存在于方法（例如称为视位的口语视觉单位的识别）中。在这里，我们回顾这些和其他假设，并显示出令人惊讶的结果，计算机唇读并没有受到视频分辨率，姿势，照明和其他实际因素的严重限制。然而，视位是音素的视觉等价物，视位是识别的最佳单位，这一工作假设确实需要进一步的检验。我们的结论是，视位，这是一个多世纪前定义的，不太可能是最佳的现代计算机唇读系统。
2017-10-03 cs.CV eess.IV
Lip-reading with Hierarchical Pyramidal Convolution and Self-Attention
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）；iFlytek Co., Ltd.（科大讯飞股份有限公司）
在本文中，我们提出了一种新的深度学习架构，以提高单词级唇读。一方面，我们首次将多尺度处理引入唇读的空间特征提取中。特别地，我们提出了分层金字塔卷积（HPConv）来取代原始模块中的标准卷积，从而提高了模型发现细粒度嘴唇运动的能力。另一方面，我们利用自注意力在序列的所有时间步进行信息融合，使模型更多地关注相关帧。这两个优点结合在一起，进一步增强了模型的分类能力。在LRW数据集上的实验表明，我们提出的模型的准确率达到了86.83%，比目前最先进的模型提高了1.53%。我们还进行了大量的实验，以更好地理解所提出的模型的行为。
2020-12-28 cs.CV eess.IV
Multi-Grained Spatio-temporal Modeling for Lip-reading
唇读旨在通过对说话者嘴唇运动的视觉分析来识别视频中的语音内容。这是一个具有挑战性的任务，由于存在的同音词，涉及相同或高度相似的嘴唇运动，以及不同的嘴唇外观和运动模式的发言者。为了解决这些挑战，我们提出了一种新的唇读模型，它不仅捕捉单词之间的细微差别，但也不同的扬声器的风格，通过多粒度的时空建模的说话过程。具体来说，我们首先提取帧级细粒度特征和短期的中粒度特征的视觉前端，然后结合起来，以获得具有相似音素的单词的判别表示。接下来，一个增强了时间注意力的双向ConvLSTM聚合了整个输入序列中的时空信息，期望能够捕获每个单词的粗获得模式，并对说话人身份、光照条件等各种条件具有鲁棒性，通过在统一框架下充分利用来自不同层次的信息该模型不仅能够区分发音相似的单词，而且对外观变化具有鲁棒性。我们在两个具有挑战性的单词级唇读基准上评估了我们的方法，并显示了所提出的方法的有效性，这也证明了上述主张。
2019-09-02 cs.CV eess.AS
End-to-End Lip Reading in Romanian with Cross-Lingual Domain Adaptation and Lateral Inhibition
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研发研究院（ICI布加勒斯特））
针对罗马尼亚语唇读数据不足的问题，本文在 Wild LRRo 上比较多种架构与正则化后端，并利用英语、德语未标注视频进行跨语言领域自适应，加入神经侧抑制层，取得当前最优结果。
2023-10-07 cs.CL cs.CV
TVTA: Trajectory-Aware Viseme-Guided Temporal Aggregation for Event-Based Lip Reading
Harbin Institute of Technology（哈尔滨工业大学）
针对基于事件唇读方法的局限，提出时间增强框架，引入轨迹感知差分聚合、视素引导聚合及指数移动平均师生训练策略，在DVS-Lip基准上验证有效性，消融研究验证各部分贡献，定性结果表明学到有意义视素感知结构。
2026-07-10 cs.CV
ASR is all you need: cross-modal distillation for lip reading
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
这项工作的目标是训练强大的模型，视觉语音识别，而不需要人类注释地面实况数据。我们实现这一点，从一个自动语音识别（ASR）模型，已在一个大规模的音频语料库训练。我们使用一个跨模态蒸馏方法，结合了连接主义时间分类（CTC）与帧的交叉熵损失。我们的贡献有四个方面：（i）我们证明了地面真实transmittance对于训练唇读系统是不必要的;（ii）我们展示了如何利用任意数量的未标记视频数据来提高性能;（iii）我们证明了蒸馏显着加快了训练;（iv）我们在具有挑战性的LRS 2和LRS 3数据集上获得了最先进的结果，仅在公开数据上进行训练。
2020-03-31 cs.CV cs.SD eess.AS
Learning Separable Hidden Unit Contributions for Speaker-Adaptive Lip-Reading
本文针对唇读中的说话人自适应问题，提出利用说话人自身特征在浅层增强语音内容特征、在深层抑制无关噪声，学习可分离的隐单元贡献，并在多个数据集上验证了其优越性。
2024-04-30 cs.AI cs.CV cs.SD
LRW-1000: A Naturally-Distributed Large-Scale Benchmark for Lip Reading in the Wild
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Huazhong University of Science and Technology（华中科技大学）
大规模数据集已经在多个研究领域相继证明了其重要性，特别是在一些新兴课题的早期进展中。在本文中，我们专注于视觉语音识别的问题，也被称为唇读，这是近年来越来越多的兴趣。我们提出了一个自然分布的大规模基准唇读在野外，命名为LRW-1,000，其中包含1,000类718,018样本从2,000多个单独的扬声器。每个类别对应于由一个或多个汉字组成的普通话单词的音节。据我们所知，它是目前最大的词级唇读数据集，也是唯一公开的大规模汉语唇读数据集。该数据集旨在涵盖不同语音模式和成像条件下的“自然”变化，以纳入实际应用中遇到的挑战。该基准测试在几个方面显示出很大的差异，包括每个类别中的样本数量，视频分辨率，照明条件以及说话者的属性，如姿势，年龄，性别和化妆。除了提供数据集及其收集管道的详细描述外，我们还评估了几种典型的流行唇读方法，并从几个方面对结果进行了深入的分析。结果证明了我们数据集的一致性和挑战性，这可能会为未来的工作开辟一些新的有前途的方向。
2019-04-24 cs.CV
Deep Audio-Visual Speech Recognition
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
这项工作的目标是识别说话的脸所说的短语和句子，有或没有音频。与之前专注于识别有限数量的单词或短语的作品不同，我们将唇读作为一个开放世界的问题来处理-不受约束的自然语言句子，以及野生视频。我们的主要贡献是：（1）我们比较了两种唇读模型，一种使用CTC损失，另一种使用序列间损失。这两个模型都建立在Transformer自我注意力架构之上;（2）我们研究唇读在多大程度上是音频语音识别的补充，特别是当音频信号有噪声时;（3）我们引入并公开发布一个新的视听语音识别数据集LRS 2-BBC，由英国电视上的数千个自然句子组成。我们训练的模型在唇读基准数据集上的性能远远超过了以前所有工作的性能。
2018-12-22 cs.CV
Word-level Persian Lipreading Dataset
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出了一个包含约1,800名说话者、244,000个视频的波斯语词级唇语识别自然场景数据集，并使用AV-HuBERT模型提取特征，取得了显著优于现有方法的性能。
2023-04-08 cs.CV
LRW-Persian: Lip-reading in the Wild Dataset for Persian Language
Department of Mechanical Engineering（机械工程系）；Sharif University of Technology（谢里夫科技大学）；Department of Mathematical Sciences（数学科学系）；Department of Computer Engineernig（计算机工程系）
本文介绍LRW-Persian，最大的野外波斯语单词级唇读数据集，含743个目标词和超41.4万视频样本，并微调两种唇读架构建立基准，填补低资源语言视觉语音识别空白。
2025-10-26 cs.CV
WebQAmGaze: A Multilingual Webcam Eye-Tracking-While-Reading Dataset
University of Copenhagen（哥本哈根大学）；University of Zurich（苏黎世大学）
本文提出WebQAmGaze，首个基于网络摄像头的多语言阅读眼动追踪数据集，含600名参与者数据，验证了低成本采集的可行性，并支持问答认知研究。
2024-03-15 cs.CL
Definition of Visual Speech Element and Research on a Method of Extracting Feature Vector for Korean Lip-Reading
Kim Il Sung University（金日成大学）
本文定义了视位（视觉语音元素），描述了视觉特征向量的提取方法。通过对韩语发音的分析，定义了基于元音的10个视位，并提出了静态特征和动态特征相结合的20维视觉特征向量提取方法。最后，我们对基于三视位隐马尔可夫模型的单词识别进行了实验，并对实验结果进行了评价。
2014-11-15 cs.CL cs.CV cs.LG
Sub-word Level Lip Reading With Visual Attention
University of Oxford（牛津大学）
本文的目标是学习强大的唇读模型，可以识别无声视频中的语音。大多数现有的作品处理开放集的视觉语音识别问题，通过适应现有的自动语音识别技术的顶部平凡汇集的视觉功能。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们做出了以下贡献：（1）我们提出了一种基于注意力的池化机制来聚合视觉语音表示;（2）我们首次使用子词单元进行唇读，并表明这使我们能够更好地对任务的模糊性进行建模;（3）我们提出了一种在唇读网络上训练的视觉语音检测（VSD）模型。根据上述内容，我们在公共数据集上训练时，在具有挑战性的LRS 2和LRS 3基准上获得了最先进的结果，甚至通过使用数量级更少的数据，超过了在大规模工业数据集上训练的模型。我们最好的模型在LRS 2数据集上实现了22.6%的单词出错率，这是唇读模型前所未有的性能，大大减少了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超过了所有仅视觉基准，甚至优于最近的几种视听方法。
2021-12-03 cs.CL cs.CV
Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis
IIIT, Hyderabad（海得拉巴国际信息技术学院）；IIT, Kanpur（坎普尔印度理工学院）
当言语不存在或被外部噪音破坏时，人类不自觉地倾向于从嘴唇运动中推断出对话的部分。在这项工作中，我们探讨了唇到语音合成的任务，即，学习仅在给定说话者的嘴唇运动的情况下生成自然语音。认识到语境和说话者特定线索对准确唇读的重要性，我们采取了与现有作品不同的路径。我们专注于学习准确的唇序列语音映射个人发言者在无约束，大词汇量设置。为此，我们收集并发布了一个大规模的基准数据集，这是第一个此类数据集，专门用于在自然环境中训练和评估单扬声器唇到语音任务。我们提出了一种新的方法与关键的设计选择，以实现准确的，自然的嘴唇语音合成在这种不受约束的情况下，第一次。使用定量，定性指标和人类评估的广泛评估表明，我们的方法比以前在这个领域的作品更容易理解四倍。请查看我们的演示视频，快速概述论文，方法和定性结果。https://www.youtube.com/watch? v=HziA-jmlk_4&feature=youtu.be
2020-05-17 cs.CV cs.LG cs.SD
A Study on Lip Localization Techniques used for Lip reading from a Video
R.M.K. Engineering College（RMK工程学院）；R.M.D. Engineering College（RMD工程学院）
在本文中，一些不同的技术来定位嘴唇从脸进行了讨论和比较，随着其处理步骤。嘴唇定位是从视频输入中提取视觉信息所需的基本步骤。该技术可以应用于不对称的嘴唇，也可以应用于有可见牙齿的嘴，舌头和有胡子的嘴。在唇读的过程中，通常使用以下步骤。首先在视频输入的第一帧中定位嘴唇，然后利用初始步骤得到的像素点跟踪后续帧中的嘴唇，最后将跟踪到的嘴唇模型转换为相应的匹配字母，给出视觉信息。最后，从所讨论的技术出发，提出了一种新的建议.在通信系统中，当音频不存在或存在低噪声时，唇读在自动语音识别中是有用的。人机通信也将需要语音识别。
2020-09-28 cs.CV cs.LG eess.IV
Synchronous Bidirectional Learning for Multilingual Lip Reading
TAL Education Group（好未来教育集团）
唇读近年来受到越来越多的关注。本文主要研究多语言唇读的协同作用。世界上大约有7000种语言，这意味着用每种语言的大规模数据训练单独的唇读模型是不切实际的。虽然每种语言都有自己的语言和发音规则，但由于人体器官的共同结构，所有语言的唇动都有相似的模式。基于这一思想，本文尝试对多语言唇读的协同学习进行探讨，并进一步提出了一个有效协同多语言唇读的同步双向学习（SBL）框架。我们首先介绍音素作为我们的建模单位的多语种设置在这里。语音与唇动的关系比字母与唇动的关系更密切。同时，无论目标语言是哪种类型，相似的音素总是导致相似的视觉模式。然后，提出了一种新的SBL块，以填空的方式学习每种语言的规则。具体来说，模型必须学习在给定双向上下文的情况下推断目标单元，这可以表示每种语言的音素组成规则。为了使学习过程更有针对性地针对每种特定的语言，在学习过程中引入了预测语言身份的额外任务。最后，对LRW（英语）和LRW-1000（普通话）进行了全面的比较，显示了不同语言的协同学习带来的好处，并报告了两个数据集的最新结果。
2020-08-14 cs.CL cs.CV
Visual Words for Automatic Lip-Reading
University of Buckingham（白金汉大学）
唇读是用来理解或解释讲话没有听到它，一种技术，特别是掌握了听力困难的人。唇读的能力使听力障碍者能够与他人沟通并参与社会活动，否则这将是困难的。计算机视觉、模式识别和信号处理领域的最新进展使得人们对自动化唇读这一具有挑战性的任务越来越感兴趣。事实上，将人类的唇读能力自动化，这一过程被称为视觉语音识别，可以为其他新的应用打开大门。本论文探讨自动唇读系统所面临的各种问题，并提出一种新颖的基于视觉文字的自动唇读方法。该方法包括一种新颖的自动人脸定位方案和一种嘴唇定位方法。
2014-09-17 cs.CV
Lip reading using external viseme decoding
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
唇读是从嘴唇运动中识别语音的操作。这是一项艰巨的任务，因为发音时嘴唇的动作对其中一些单词来说是相似的。Viseme用于描述谈话中嘴唇的运动。本文旨在展示如何使用外部文本数据（用于视位到字符的映射），通过将视频到字符分为两个阶段，即将视频转换为视位，然后通过使用单独的模型将视位转换为字符。我们提出的方法提高了字的出错率4\%相比，正常的序列唇读模型的BBC-Oxford唇读句子2（LRS 2）数据集。
2021-11-07 cs.CV
SimulLR: Simultaneous Lip Reading Transducer with Attention-Guided Adaptive Memory
Zhejiang University（浙江大学）
唇读是一种不依赖于音频流，根据给定的唇动视频来识别口语句子的方法，由于其在许多场景中的应用而引起了人们的极大兴趣。虽然探索唇读的先前工作已经取得了显着的成就，但它们都是以非同时的方式进行训练的，其中生成的预测需要访问完整的视频。为了突破这一限制，我们研究了同时唇读任务，并从三个方面设计了具有注意力引导自适应记忆的同时唇读传感器SimulLR：（1）为了解决单调对齐的挑战，同时考虑到同时设置下生成的句子的句法结构，我们建立了一个基于转换器的模型，并设计了几个有效的训练策略，包括CTC预训练，模型热身和课程学习，促进唇读传感器的训练。(2)为了更好地学习同步编码器的时空表示，我们构建了一个截断的3D卷积和时间限制的自注意层，以执行包含固定数量帧的视频段内的帧到帧的交互。(3)在实时场景下，尤其是海量视频数据的存储，使得历史信息往往是有限的。因此，我们设计了一种新的注意力引导的自适应记忆，以组织历史片段的语义信息，并以可接受的计算感知延迟增强视觉表征。实验结果表明，与现有的非同时翻译方法相比，SimulLR的翻译加速比达到了9.10 $\times$，具有一定的竞争力，表明了本文方法的有效性.
2021-08-31 cs.CL cs.CV
Leveraging Visemes for Better Visual Speech Representation and Lip Reading
Iran University of Science and Technology（伊朗科技大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
针对现有唇读系统准确率低的问题，提出利用视位提取更具区分度与鲁棒性的视频特征的新方法，在Arman-AV数据集的多类唇读及视听语音任务上均优于现有最优方法，词错误率相对降低9.1%。
2023-07-19 cs.CV
Lip Reading Sentences in the Wild
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
这项工作的目标是识别说话的脸所说的短语和句子，有或没有音频。与之前专注于识别有限数量的单词或短语的作品不同，我们将唇读作为一个开放世界的问题来处理-不受约束的自然语言句子，以及野生视频。我们的主要贡献包括：（1）“观看、倾听、注意和拼写”（WLAS）网络，其学习将嘴部运动的视频转录为字符;（2）课程学习策略，以加速训练并减少过度拟合;（3）用于视觉语音识别的“唇读句子”（LRS）数据集，其由来自英国电视的超过100，000个自然句子组成。在LRS数据集上训练的WLAS模型超过了以前在标准唇读基准数据集上的所有工作的性能，通常是显著的。在BBC电视台的视频中，这种唇读性能击败了专业唇读器，并且我们还证明了即使在音频可用的情况下，视觉信息也有助于提高语音识别性能。
2017-01-30 cs.CV
Learn an Effective Lip Reading Model without Pains
University of Chinese Academy of Sciences（中国科学院大学）
唇读又称视觉语音识别，旨在通过分析唇动来识别视频中的语音内容。近年来，得益于快速发展的深度学习技术和最近的大规模唇读数据集，唇读研究取得了一些引人注目的进展。大多数现有的方法通过构造复杂的神经网络来获得高性能，以及一些定制的训练策略，这些策略总是在非常简短的描述中给出，甚至只在源代码中显示。我们发现，适当地使用这些策略总是可以带来令人兴奋的改进，而不会改变太多的模型。考虑到这些策略的不可忽视的作用和现有的困难状况，训练一个有效的唇读模型，我们进行了全面的定量研究和比较分析，首次，显示唇读的几种不同的选择的效果。通过对基线管道进行一些简单的改进，我们在两个最大的公开唇读数据集LRW和LRW-1000上分别获得了从83.7%到88.4%和从38.2%到55.7%的性能明显改善。它们具有可比性，甚至超过了现有的最先进的结果。
2020-11-15 cs.CV
Which phoneme-to-viseme maps best improve visual-only computer lip-reading?
University of East Anglia（东英吉利大学）
所有当前视觉语音识别系统的关键假设是存在称为视位的视觉语音单元，其可以映射到声学语音单元，即音素。尽管有一些出版的地图，但很少看到这些测试的有效性，特别是在视觉唇读（许多作品使用视听语音）。在这里，我们检查了120个映射，并考虑是否有任何在谈话者之间是稳定的。我们展示了一种方法，用于设计从一个自动唇读系统的音素混淆的基础上的地图，我们提出了新的映射，显示个人谈话者的改进。
2017-10-03 cs.CL cs.CV eess.AS
Distinguishing Homophenes Using Multi-Head Visual-Audio Memory for Lip Reading
KAIST（韩国科学技术院）
从无声的嘴唇运动中识别语音，这被称为唇读，是一项具有挑战性的任务，这是由于1）嘴唇运动的固有信息不足以完全表示语音，以及2）存在具有相似嘴唇运动和不同发音的同音异义词。在本文中，我们试图减轻唇读的上述两个挑战，提出了一个多头视听记忆（MVM）。首先，MVM使用视听数据集进行训练，并通过对成对视听表示的相互关系进行建模来记住音频表示。在推理阶段，通过检查学习到的相互关系，仅视觉输入就可以从存储器中提取保存的音频表示。因此，唇读模型可以用提取的音频表示来补充不足的视觉信息。其次，MVM由保存视觉特征的多头键存储器和保存音频知识的单值存储器组成，旨在区分同音异义词。利用多头密钥存储器，MVM从存储器中提取可能的候选音频特征，这允许唇读模型考虑可以从输入嘴唇运动表示哪些发音的可能性。这也可以被看作是视位到音素的一对多映射的显式实现。此外，MVM被用于多时态层次，以考虑在检索记忆时的上下文和区分同胚。大量的实验结果验证了所提出的方法在唇读和区分同音异义词的有效性。
2022-04-04 cs.CV
Deep Lip Reading: a comparison of models and an online application
University of Oxford（牛津大学）
本文的目标是发展最先进的唇读模型-视觉语音识别。我们开发了三种架构，并比较了它们的准确性和训练时间：（i）使用LSTM的递归模型;（ii）完全卷积模型;以及（iii）最近提出的Transformer模型。循环和完全卷积模型使用连接主义时间分类损失进行训练，并使用显式语言模型进行解码，Transformer是序列到序列模型。我们的最佳性能模型将具有挑战性的BBC-Oxford Lip Reading Sentences 2（LRS 2）基准数据集上的最先进单词出错率提高了20%以上。作为进一步的贡献，我们研究了全卷积模型用于在线（实时的）唇读连续语音时，并表明它实现了高性能与低延迟。
2018-06-15 cs.CV
Speaker-adaptive Lip Reading with User-dependent Padding
KAIST（韩国科学技术院）
唇读旨在仅根据嘴唇运动来预测语音。由于它专注于视觉信息来模拟语音，因此其性能本质上对个人嘴唇外观和运动敏感。由于训练和测试条件之间的不匹配，这使得唇读模型在应用于看不见的说话者时表现出降低的性能。说话人自适应技术旨在减少训练和测试说话人之间的这种不匹配，从而引导训练模型专注于对语音内容进行建模，而不受说话人变化的干扰。相对于基于音频的语音识别几十年来的努力，唇读中的说话人自适应方法还没有得到很好的研究。针对唇读模型在未知说话人情况下的性能下降问题，提出了一种说话人自适应唇读方法，即用户相关填充。依赖于用户的填充是说话者特定的输入，其可以参与预先训练的唇读模型的视觉特征提取阶段。因此，在视觉特征编码过程中，可以考虑不同说话人的嘴唇外观和运动信息，自适应地针对单个说话人。此外，所提出的方法不需要1）任何附加层，2）修改预训练模型的学习权重，以及3）在预训练期间使用的训练数据的说话人标签。它可以直接适应看不见的扬声器，通过学习用户相关的填充，在监督或无监督的方式。最后，为了解决公共唇读数据库中说话人信息不足的问题，我们对一个著名的视听数据库LRW中的说话人进行了标记，并设计了一个名为LRW-ID的隐形说话人唇读场景。
2022-08-09 cs.AI cs.CV eess.AS
Finding phonemes: improving machine lip-reading
University of East Anglia（东英吉利大学）
在机器唇读中，围绕用于识别的正确类存在持续的争论和研究。在本文中，我们使用一种结构化的方法来设计依赖于扬声器的视位类，这使得创建一组音素到视位的地图，每个有不同数量的视位范围从2到45。视位类是基于在音素识别过程中被混淆的发音音素到视位组的映射。使用这些地图，与LiLIR数据集，我们显示的影响，改变视位图的大小在说话者依赖的机器唇读，测量单词识别的正确性，因此表明，单词识别与音素分类器不仅是可能的，但往往优于单词识别与视位分类器。此外，在视位和音位之间还有更好的中间单位。
2017-10-03 cs.CL cs.CV eess.AS
Lipreading using Temporal Convolutional Networks
Samsung AI Research Center（三星人工智能研究中心）；Imperial College London（帝国理工学院）
由于深度学习的进步，唇读最近吸引了大量的研究关注。目前最先进的孤立词识别模型由残差网络和双向门控递归单元（BGRU）层组成。在这项工作中，我们解决了这个模型的局限性，我们提出了进一步提高其性能的变化。首先，BGRU层被替换为时间卷积网络（TCN）。其次，我们大大简化了训练过程，这允许我们在一个单一的阶段中训练模型。第三，我们表明，目前国家的最先进的方法产生的模型，不概括以及序列长度的变化，我们提出了一个可变长度的增强解决这个问题。我们目前的结果最大的公开可用的数据集孤立词识别英语和普通话，LRW和LRW 1000，分别。我们提出的模型在这些数据集中分别获得了1.2%和3.2%的绝对改善，这是最先进的新性能。
2020-01-23 cs.CV cs.SD eess.AS
Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert
University of Electronic Science and Technology of China（电子科技大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology Beijing（北京科技大学）
说话人脸生成，也被称为语音到嘴唇生成，在给定连贯的语音输入的情况下重建关于嘴唇的面部运动。以往的研究揭示了唇语同步和视觉质量的重要性。尽管取得了很大进展，但他们几乎没有关注嘴唇运动的内容，即，所讲单词的视觉可懂度，这是生成质量的重要方面。为了解决这个问题，我们建议使用唇读专家，以提高所生成的嘴唇区域的可理解性，通过惩罚不正确的生成结果。此外，为了弥补数据不足，我们以视听自我监督的方式训练唇读专家。唇读专家，我们提出了一种新的对比学习，以提高唇语音同步，和一个Transformer编码音频同步视频，同时考虑全球时间依赖的音频。为了进行评估，我们提出了一个新的策略，两个不同的唇读专家来衡量所生成的视频的可理解性。严格的实验表明，我们的建议是优于其他国家的最先进的（SOTA）的方法，如Wav2Lip，在阅读可懂度，即，在LRS2数据集上的字出错率（WER）超过38%，在LRW数据集上的准确率为27.8%。我们还实现了SOTA性能的唇语同步和可比的性能在视觉质量。
2023-03-29 cs.AI cs.CV eess.IV
Towards Pose-invariant Lip-Reading
1 Imperial College London, 2 University of Nottingham, 3 Samsung AI Center, Cambridge
最近，由于强大的深度学习架构，唇读模型得到了显着改进。然而，大多数作品集中在正面或近正面的意见，嘴。因此，唇读性能严重恶化，在非正面嘴的意见。在这项工作中，我们提出了一个框架，用于在合成数据上训练姿势不变的唇读模型，而不是收集和注释昂贵且繁琐的非正面数据。所提出的模型显着优于以前的方法，非正面的意见，同时保留了优越的性能正面和近正面的嘴的意见。具体来说，我们建议使用3D变形模型（3DMM）来增强LRW，一个现有的大规模，但主要是正面的数据集，通过生成合成的面部数据在任意姿势。新衍生的数据集，用于训练一个国家的最先进的神经网络唇读。我们在LRS2数据集上进行了一个孤立词识别的跨数据库实验，并报告了2.55%的绝对改进。所提出的方法的好处变得更加清晰，在极端的姿势，达到了20.64%的绝对改善超过基线。
2019-11-14 cs.CV
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模（基于滤波的方法）两者的互补优势，与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中，采用了一种新的基于深度学习的唇读回归模型。在第二级中，唇读近似干净的音频功能，利用增强的，视觉推导的维纳滤波器（EVWF），干净的音频功率谱估计。具体地，基于堆叠的长短期记忆（LSTM）的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计，一个新的滤波器组域EVWF制定，利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下，不同的动态现实世界的商业动机的情况下（例如咖啡馆，公共交通，行人区）在不同的SNR水平（从低到高的SNR）使用基准网格和ChiME3语料库。对于客观测试，使用语音质量的感知评估来评估恢复语音的质量。对于主观测试，使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD
Lip-reading with Densely Connected Temporal Convolutional Networks
Imperial College London（帝国理工学院）；Facebook London（伦敦脸书公司）；Samsung AI Center Cambridge（剑桥三星人工智能中心）
在这项工作中，我们提出了密集连接的时间卷积网络（DC-TCN）的唇读孤立的话。虽然时间卷积网络（TCN）最近在许多视觉任务中表现出巨大的潜力，但其感受野不足以对唇读场景中复杂的时间动态进行建模。为了解决这个问题，我们在网络中引入密集连接，以捕获更强大的时间特征。此外，我们的方法利用挤压和激励块，一个轻量级的注意力机制，以进一步提高模型的分类能力。没有花里胡哨，我们的DC-TCN方法在野生唇语（LRW）数据集上实现了88.36%的准确率，在LRW-1000数据集上实现了43.65%的准确率，这已经超过了所有的基线方法，并且是这两个数据集上的最新技术水平。
2022-09-29 cs.CV
Training Strategies for Improved Lip-reading
Imperial College London（伦敦帝国理工学院）；Meta AI
近年来，一些独立的研究成果提出了孤立词唇读的训练策略和时间模型。然而，还没有探索将最佳战略结合起来并调查每一项战略的影响的潜力。在本文中，我们系统地研究了最先进的数据增强方法，时间模型和其他训练策略的性能，如自蒸馏和使用词边界指示器。我们的研究结果表明，时间掩蔽（TM）是最重要的增强，其次是混淆和密集连接的时间卷积网络（DC-TCN）是孤立词唇读的最佳时间模型。使用自升华和词边界指示符也是有益的，但程度较小。所有上述方法的组合导致93.4%的分类准确率，这比LRW数据集上当前最先进的性能绝对提高了4.6%。通过对额外数据集进行预训练，性能可以进一步提高到94.1%。对各种训练策略的错误分析表明，通过提高难以识别的单词的分类准确性，性能得到了提高。
2022-09-29 cs.CV cs.LG
Advances and Challenges in Deep Lip Reading
Imam Khomeini International University（伊玛目霍梅尼国际大学）；University of Alicante（阿利坎特大学）；School of Computer Science, Institute for Research in Fundamental Sciences (IPM)（基础科学研究所计算机科学学院）
在深度学习技术和大规模数据集的推动下，近年来，自动唇读发生了范式转变。虽然视觉语音识别（VSR）的主要目标是提高音频语音识别系统的准确性，但其他潜在的应用（例如生物识别）以及VSR系统所承诺的收益已经激励了唇读技术的广泛努力。本文对最新的基于深度学习的VSR研究进行了全面的调查，重点关注数据挑战，特定于任务的复杂性以及相应的解决方案。这些方面的进展将加速无声语音界面从理论到实践的转变。我们还讨论了VSR管道的主要模块和有影响力的数据集。最后，我们介绍了一些典型的VSR应用的关注和现实世界的场景，以及未来的研究方向的障碍。
2021-10-15 cs.CV
MTGA: Multi-View Temporal Granularity Aligned Aggregation for Event-Based Lip-Reading
Wuhan University（武汉大学）；City, University of London（伦敦城市大学）
针对事件唇语识别中事件帧聚合导致细粒度时间信息丢失的问题，提出MTGA框架，通过时间分段体素图列表、时间粒度对齐的时空融合模块及带位置编码的时间聚合模块，有效提升识别性能并优于现有事件和视频方法。
2025-01-31 cs.CV
SwinLip: An Efficient Visual Speech Encoder for Lip Reading Using Swin Transformer
Sogang University（西江大学）
本文提出基于 Swin Transformer 的高效唇读视觉编码器 SwinLip，通过层次化结构与改进 Conformer 时间嵌入降低计算复杂度，在英文 LRW 和中文 LRW-1000 数据集上以更少计算量取得领先性能。
2025-05-07 cs.CV cs.SD eess.AS
Enhancing Lip Reading with Multi-Scale Video and Multi-Encoder
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies（华为技术有限公司）
本文提出结合多尺度唇动提取、增强型ResNet3D视觉前端及多种视觉编码器来提升自动唇读性能，并通过ROVER融合多系统转写结果，在ICME 2024 ChatCLR Challenge Task 2中取得第二名，字符错误率较官方基线降低21.52%。
2024-04-30 cs.CV
Speaker-independent machine lip-reading with speaker-dependent viseme classifiers
University of East Anglia（东英吉利大学）
在机器唇读中，这是从视觉信息中识别语音，有证据表明视觉语音高度依赖于说话者[1]。在这里，我们使用音素聚类方法来形成新的音素到视位映射为个人和多个扬声器。我们使用这些地图来研究说话者在视觉上的相似程度。我们的结论是，广义上讲，扬声器有相同的剧目的嘴的姿态，他们不同的是在使用的姿态。
2017-10-03 cs.CV eess.AS
Integrating Persian Lip Reading in Surena-V Humanoid Robot for Human-Robot Interaction
Center of Advanced Systems and Technologies (CAST)（高级系统技术中心）；School of Mechanical Engineering（机械工程学院）；University of Tehran（德黑兰大学）
本研究将波斯语唇读技术集成到Surena-V人形机器人中，通过面部关键点跟踪和CNN-LSTM两种方法提升语音识别，最佳模型LSTM达到89%准确率，实现了实时人机交互。
2025-01-23 cs.CV cs.RO
Deep Learning for Lip Reading using Audio-Visual Information for Urdu Language
Information Technology University（信息技术大学）
人类唇读是一项具有挑战性的任务。它不仅需要潜在语言的知识，还需要视觉线索来预测口语。专家需要一定的经验和理解的视觉表达学习解码口语的话。如今，在深度学习的帮助下，可以将嘴唇序列翻译成有意义的单词。噪声环境中的语音识别可以通过视觉信息来提高[1]。为了证明这一点，在这个项目中，我们尝试了训练两种不同的唇读深度学习模型：第一种是使用时空卷积神经网络、双门递归神经网络和连接时间分类损失的视频序列，第二种是将MFCC特征输入到LSTM单元层并输出序列的音频。我们还收集了一个小的视听数据集来训练和测试我们的模型。我们的目标是将这两种模型结合起来，以提高噪声环境下的语音识别性能
2018-02-15 cs.CV cs.SD eess.AS
Towards Estimating the Upper Bound of Visual-Speech Recognition: The Visual Lip-Reading Feasibility Database
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常用的交流方式，它涉及听觉和视觉通道的感知。自动语音识别的重点是解释音频信号，尽管视频可以提供与音频互补的信息。然而，利用视觉信息已被证明具有挑战性。一方面，研究人员报告说，音素和视位（视觉单位）之间的映射是一对多的，因为有音素是视觉上相似的，它们之间无法区分。另一方面，众所周知，有些人读唇语很好（如聋人）。我们研究了在受控条件下仅视觉语音识别的极限。有了这个目标，我们设计了一个新的数据库，其中的发言者意识到正在阅读，旨在促进唇读。在文献中，听力受损的人是否比听力正常的人更好的唇读存在差异。然后，我们分析了9名听力障碍者和15名听力正常者的唇读能力是否存在差异。最后，人类的能力进行了比较的视觉自动语音识别系统的性能。在我们的测试中，听力受损的参与者的表现优于听力正常的参与者，但没有达到统计学显著性。人类观察者能够解码44%的语音信息。相比之下，仅视觉自动系统实现了20%的单词识别率。然而，如果我们重复的音素方面的比较都获得了非常相似的识别率，刚刚超过50%。这表明，人类唇读和自动语音阅读之间的差距可能更多地与上下文的使用有关，而不是解释嘴部外观的能力。
2017-04-26 cs.CV
TD3Net: A temporal densely connected multi-dilated convolutional network for lipreading
Department of Industrial and Management Engineering, Korea University, Seoul, Republic of Korea（工业与管理工程系，韩国大学，首尔，大韩民国）
TD3Net通过结合密集连接和多稀疏卷积，提升唇读任务的性能和效率
2026-01-05 cs.CV
Lip Reading Using Convolutional Auto Encoders as Feature Extractor
Veermata Jijabai Technological Institute（维玛塔吉贾拜技术学院）；CE & IT Department（计算机工程与信息技术系）；CE & IT Department, Veermata Jijabai Technological Institute, Mumbai（维玛塔吉贾拜技术学院计算机工程与信息技术系（孟买））
使用嘴唇运动的语音视觉识别被称为唇读。这个新生领域的最新发展使用不同的神经网络作为特征提取器，这些特征提取器作为模型的输入，该模型可以映射时间关系并进行分类。虽然端到端的句子级唇读是当前的趋势，我们提出了一个新的模型，采用词级分类，打破了标准数据集的设定基准。在我们的模型中，我们使用卷积自动编码器作为特征提取器，然后将其馈送到长短期记忆模型。我们在BBC的LRW数据集，MIRACL-VC 1和GRID数据集上测试了我们提出的模型。与设定基准的93.4%相比，MIRACL-VC 1的分类准确率达到98%（Rekik等人，2014年）。在BBC的LRW上，所提出的模型比卷积神经网络和长短期记忆模型的基线模型表现得更好（Garg等人，2016年）。通过展示模型学习到的特征，我们清楚地表明了所提出的模型如何比基线模型更好地工作。同样的模型也可以扩展到端到端的句子级别分类。
2018-05-31 cs.CV
A Novel Interpretable and Generalizable Re-synchronization Model for Cued Speech based on a Multi-Cuer Corpus
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对Cued Speech中唇手动作异步问题，提出基于唇音流三种统计度量和归一化的可解释、可泛化、与提示者无关的HPT预测模型，并构建首个含五位说话人的普通话CS语料库，实验性能优于现有方法。
2023-06-05 cs.CL cs.CV eess.AS
Enhancing Speech-Driven 3D Facial Animation with Audio-Visual Guidance from Lip Reading Expert
Grad. School of Artificial Intelligence（人工智能研究生院）；POSTECH（浦项科技大学）；ENSC, Bordeaux INP, France（法国波尔多国立高等工程学院）；KRAFTON, Korea（韩国KRAFTON公司）；Inst. for Convergence Research and Education in Advanced Technology, Yonsei University, Korea（延世大学先进技术融合研究与教育学院）
本文提出利用音视频唇读专家的先验知识构建多模态感知损失，引导语音驱动3D面部动画生成与文本对齐的准确唇部运动，显著提升唇音同步与唇读可懂度。
2024-07-01 cs.CV cs.GR
Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge
KAIST（韩国科学技术院）
本文针对低资源语言唇读数据不足的问题，提出从高资源语言学习通用唇动知识，并结合语言特定记忆增强解码器（LMDecoder）利用音频-文本数据学习语言知识，从而高效构建低资源语言唇读模型。
2024-01-12 cs.CL cs.CV cs.SD
Development and evaluation of a deep learning algorithm for German word recognition from lip movements
Technische Universität Berlin（柏林技术大学）；University Medicine Halle (Saale)（哈雷萨勒尔医学院）；Martin Luther University Halle-Wittenberg（马尔堡路德大学）
该研究首次开发并评估了用于德语唇读的深度学习算法，通过对比多种模型和输入设置，在已知说话者上达到87%的准确率，验证了其有效性与泛化能力。
2025-04-22 cs.CV
Lip Localization and Viseme Classification for Visual Speech Recognition
MIRACL: Multimedia Information systems and Advanced Computing Laboratory（多媒体信息系统与高级计算实验室）；Higher Institute of Computer Science and Multimedia, Sfax, Tunisia（斯法克斯计算机科学与多媒体高等学院）
对自动唇读系统的需求不断增加。事实上，人脸运动的提取和可靠的分析在许多多媒体系统中，如视频会议系统、低通信系统、唇读系统等，都占有重要的地位。此外，视觉信息对有特殊需要的人来说是必不可少的。例如，我们可以想象，一个依赖者通过简单的嘴唇运动或简单的音节发音订购机器。此外，听力有问题的人通过唇读和听别人说话来弥补他们的特殊需要。
2013-01-19 cs.CV
Mutual Information Maximization for Effective Lip Reading
Zhejiang University of Technology（浙江工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的快速发展及其广泛的潜在应用，唇读近年来受到越来越多的研究兴趣。唇读算法能否获得良好的性能，很大程度上取决于唇读算法能否有效地捕捉唇动信息，同时又能有效地抵抗由姿态变化、光照条件、说话人外貌等因素引起的噪声。我们建议在局部特征和全局序列两个层次上引入互信息约束，以增强特征与演讲内容一方面，我们约束在每个时间步生成的功能，使他们进行强有力的关系，通过施加本地互信息最大化约束（LMIM）的语音内容，导致改进模型的能力，发现细粒度的嘴唇运动和细粒度的差异，如“”花“和”“花”的发音相似的话。另一方面，我们在全局序列水平（GMIM）上引入了互信息最大化约束，使模型能够更加关注与语音内容相关的关键帧的判别，而较少考虑说话过程中出现的各种噪声。通过将这两个优点结合在一起，所提出的方法预计是有效的唇读的歧视性和鲁棒性。为了验证这种方法，我们评估了两个大规模的基准。本文从LMIM和GMIM与基准测试的比较、学习结果的可视化等方面进行了详细的分析和比较，结果不仅证明了所提方法的有效性，而且在两个基准测试上都取得了新的性能。
2020-03-13 cs.CV
Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院计算技术研究所中国科学院智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
唇读的目的是从嘴唇运动序列中推断出语音内容，并且可以被看作是一个典型的序列到序列（seq 2seq）问题，该问题将嘴唇运动的输入图像序列转换为语音内容的文本序列。然而，传统的seq 2seq模型学习过程存在两个问题：“教师强迫”策略导致的暴露偏差，以及判别优化目标（通常为交叉熵损失）与最终评价指标（通常为字/词出错率）之间的不一致。在本文中，我们提出了一种新的伪卷积策略梯度（PCPG）为基础的方法来解决这两个问题。一方面，我们引入了评价指标（本文中是指字符出错率）作为一种奖励形式，与原有的判别目标一起优化模型。另一方面，受卷积运算的局部感知特性的启发，我们在奖励和损失维度上执行伪卷积运算，以便考虑每个时间步周围的更多上下文，从而为整个优化生成鲁棒的奖励和损失。最后，我们进行了全面的比较和评估的词级和词典级基准。结果表明，与其他相关方法相比，该方法有了显着的改进，并在所有这些具有挑战性的基准测试中报告了新的最先进的性能或具有竞争力的准确性，这清楚地证明了我们方法的优势。
2020-03-09 cs.CV cs.LG eess.IV
Audio-visual video face hallucination with frequency supervision and cross modality support by speech based lip reading loss
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；Indian Institute of Technology Ropar（印度理工学院鲁尔基分校）；Oxford Brookes University（牛津布鲁克斯大学）
最近，在面孔幻觉任务方面取得了许多突破。然而，由于固有的一致性问题，与图像相比，视频中的任务仍然相当具有挑战性。视频人脸幻觉中额外的时间维度的存在使得通过序列学习面部运动是不平凡的。为了学习这些精细的时空运动细节，我们提出了一种新的跨模态视听视频人脸幻觉生成对抗网络（VFH-GAN）。该架构利用面部结构的运动和相关联的语音信号之间的语义相关性。当前基于视频的方法中的另一个主要问题是在关键面部区域（诸如嘴和嘴唇）周围存在模糊，其中空间位移与其他区域相比高得多。所提出的方法明确地定义了唇读损失，以学习这些面部区域中的细颗粒运动。在训练过程中，GANs有可能从低到高拟合频率，这导致错过难以合成的频率。因此，为了向网络添加显著的频率特征，我们添加了基于频率的损失函数。与最新技术水平的视觉和定量比较显示性能和功效的显著改善。
2022-11-20 cs.CV
