DialBench: Towards Accurate Reading Recognition of Pointer Meter using Large Foundation Models
School of Computer Science and Technology, Anhui University, Hefei 230601, China（安徽大学计算机科学与技术学院）；School of Artificial Intelligence, Anhui University, Hefei 230601, China（安徽大学人工智能学院）；Department of Computer Science and Information Technology, La Trobe University, Bendigo, Australia（拉筹伯大学计算机科学与信息技术系）
本文提出DialBench基准数据集和MRLM模型，通过物理关系注入提升指针表盘读数识别的准确性。
2025-11-26 cs.AI cs.CV
Image Type Water Meter Character Recognition Based on Embedded DSP
University of Jinan（济南大学）
本文将DSP处理器与图像处理算法相结合，研究了水表字符识别的方法。通过摄像机以固定角度采集水表图像，采用投影法对采集到的数字图像进行识别。实验结果表明，该方法能准确识别仪表字符，用数字自动识别代替人工抄表，提高了工作效率。
2015-08-27 cs.CV
NRC-GAMMA: Introducing a Novel Large Gas Meter Image Dataset
National Research Council Canada（加拿大国家研究委员会）
自动抄表技术尚未普及。燃气、电力或水积仪表读数大多由操作员或房主在现场手动完成。在某些国家，操作员拍摄照片作为读数证明，通过与另一操作员离线检查和/或在发生冲突或投诉时将其用作证据来确认读数。整个过程耗时、昂贵，而且容易出错。自动化可以优化和促进这种劳动密集型和容易出错的过程。随着人工智能和计算机视觉领域的最新进展，自动抄表系统变得比以往任何时候都更可行。受人工智能领域的最新进展和研究界开源开放获取计划的启发，我们引入了一个新的大型基准数据集的现实生活中的燃气表图像，命名为NRC-GAMMA数据集。这些数据是在2020年1月20日上午00：05至下午11：59之间从Itron 400 A隔膜燃气表中收集的。我们采用了一种系统的方法来标记图像，验证标签，并确保注释的质量。该数据集包含整个燃气表的28，883张图像以及左右表盘显示的57，766张裁剪图像。我们希望NRC-GAMMA数据集能够帮助研究社区设计和实施准确，创新，智能和可重复的自动燃气表读数解决方案。
2021-11-12 cs.AI cs.CV cs.LG
Visual Words for Automatic Lip-Reading
University of Buckingham（白金汉大学）
唇读是用来理解或解释讲话没有听到它，一种技术，特别是掌握了听力困难的人。唇读的能力使听力障碍者能够与他人沟通并参与社会活动，否则这将是困难的。计算机视觉、模式识别和信号处理领域的最新进展使得人们对自动化唇读这一具有挑战性的任务越来越感兴趣。事实上，将人类的唇读能力自动化，这一过程被称为视觉语音识别，可以为其他新的应用打开大门。本论文探讨自动唇读系统所面临的各种问题，并提出一种新颖的基于视觉文字的自动唇读方法。该方法包括一种新颖的自动人脸定位方案和一种嘴唇定位方法。
2014-09-17 cs.CV
Automatic Viseme Vocabulary Construction to Enhance Continuous Lip-reading
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常见的交流方式，涉及听觉和视觉通道的感知。自动语音识别集中于解释音频信号，但是已经证明视频可以提供与音频互补的信息。因此，自动唇读的研究具有重要的意义，也是一个有待解决的问题。其中一个关键的挑战是视觉基本单位（视位）及其词汇的定义。许多研究者分析了音素到视位映射的重要性，并提出了长度在11到15个视位之间的视位词汇。这些视位词汇表通常由其语言属性手动定义，并且在某些情况下使用决策树或聚类技术。在这项工作中，我们专注于自动构建一个最佳的视位词汇的基础上，具有相似外观的音素的关联。为此，我们构建了一个自动系统，使用本地外观描述符提取嘴部区域的主要特征，并使用Hestival对视位和音素序列的统计关系进行建模。为了比较系统的性能，分析了不同的描述符（PCA，DCT和SIFT）。我们测试我们的系统在西班牙语语料库的连续语音。我们的研究结果表明，我们能够识别大约58%的视位，47%的音素和23%的单词在连续语音的情况下，西班牙语的最佳视位词汇是由20个视位。
2017-04-26 cs.CV
Towards Estimating the Upper Bound of Visual-Speech Recognition: The Visual Lip-Reading Feasibility Database
Pompeu Fabra University（庞培法布拉大学）
语音是人类之间最常用的交流方式，它涉及听觉和视觉通道的感知。自动语音识别的重点是解释音频信号，尽管视频可以提供与音频互补的信息。然而，利用视觉信息已被证明具有挑战性。一方面，研究人员报告说，音素和视位（视觉单位）之间的映射是一对多的，因为有音素是视觉上相似的，它们之间无法区分。另一方面，众所周知，有些人读唇语很好（如聋人）。我们研究了在受控条件下仅视觉语音识别的极限。有了这个目标，我们设计了一个新的数据库，其中的发言者意识到正在阅读，旨在促进唇读。在文献中，听力受损的人是否比听力正常的人更好的唇读存在差异。然后，我们分析了9名听力障碍者和15名听力正常者的唇读能力是否存在差异。最后，人类的能力进行了比较的视觉自动语音识别系统的性能。在我们的测试中，听力受损的参与者的表现优于听力正常的参与者，但没有达到统计学显著性。人类观察者能够解码44%的语音信息。相比之下，仅视觉自动系统实现了20%的单词识别率。然而，如果我们重复的音素方面的比较都获得了非常相似的识别率，刚刚超过50%。这表明，人类唇读和自动语音阅读之间的差距可能更多地与上下文的使用有关，而不是解释嘴部外观的能力。
2017-04-26 cs.CV
Read Pointer Meters in complex environments based on a Human-like Alignment and Recognition Algorithm
People’s Daily Online（人民网）；Harbin Institute of Technology（哈尔滨工业大学）
针对现有指针仪表自动读数系统速度不足、难处理低质量图像的问题，提出基于改进STN的类人对齐识别算法，含STM与VAM模块，通过可学习流程模拟人类行为，在准确率和效率上均具良好鲁棒性。
2023-07-30 cs.CV
A Multimodal German Dataset for Automatic Lip Reading Systems and Transfer Learning
University of Hamburg（汉堡大学）
唇读的深度学习所需的大型数据集在许多语言中并不存在。在本文中，我们介绍了数据集GLips（德国嘴唇），由250，000个公开的黑森州议会发言人的面部视频组成，这些视频使用自动管道进行了单词级唇读处理。该格式类似于英语LRW（Lip Reading in the Wild）数据集的格式，每个视频在1.16秒的持续时间内编码一个感兴趣的单词，这为研究两个数据集之间的迁移学习提供了兼容性。通过训练深度神经网络，我们研究唇读是否具有语言无关的特征，以便不同语言的数据集可以用于改进唇读模型。我们展示了从头开始的学习，并表明从LRW到GLips的迁移学习，反之亦然，提高了学习速度和性能，特别是对于验证集。
2022-05-11 cs.CL cs.CV cs.LG
Advances and Challenges in Deep Lip Reading
Imam Khomeini International University（伊玛目霍梅尼国际大学）；University of Alicante（阿利坎特大学）；School of Computer Science, Institute for Research in Fundamental Sciences (IPM)（基础科学研究所计算机科学学院）
在深度学习技术和大规模数据集的推动下，近年来，自动唇读发生了范式转变。虽然视觉语音识别（VSR）的主要目标是提高音频语音识别系统的准确性，但其他潜在的应用（例如生物识别）以及VSR系统所承诺的收益已经激励了唇读技术的广泛努力。本文对最新的基于深度学习的VSR研究进行了全面的调查，重点关注数据挑战，特定于任务的复杂性以及相应的解决方案。这些方面的进展将加速无声语音界面从理论到实践的转变。我们还讨论了VSR管道的主要模块和有影响力的数据集。最后，我们介绍了一些典型的VSR应用的关注和现实世界的场景，以及未来的研究方向的障碍。
2021-10-15 cs.CV
Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion
KU Leuven（鲁汶大学）
当今的自动语音识别系统仅依赖于声学信号，并且在噪声条件下通常不能很好地执行。执行多模态语音识别-同时处理声学语音信号和唇读视频-显著增强了此类系统的性能，特别是在嘈杂的环境中。这项工作提出了这样一个自动语音识别视听系统的设计，考虑到内存和计算的要求。首先，设计了一个用于声学语音识别的长短期记忆神经网络。其次，使用卷积神经网络对唇读特征进行建模。这些与LSTM网络相结合，以建模时间依赖性并在视频上执行自动唇读。最后，结合听觉语音和视觉唇读网络，同时处理听觉和视觉特征。一个注意力机制确保模型在噪声环境中的性能。该系统的TCD-TIMIT '唇说话者'数据集上进行评估的视听音素识别与干净的音频和加性白噪声在SNR为0 dB。它分别实现了75.70%和58.55%的音素准确率，在所有噪声水平下都比最先进的音素准确率高出14个百分点。
2018-03-13 cs.CV
TRIE: End-to-End Text Reading and Information Extraction for Document Understanding
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）
由于现实世界中无处不在的文档（例如，发票、票证、简历和传单）包含着丰富的信息，文档图像的自动理解已经成为一个热门话题。大多数现有的作品解耦的问题分为两个独立的任务，（1）文本阅读检测和识别图像中的文本和（2）信息抽取分析和提取的关键元素，从以前提取的纯文本。然而，他们主要集中在提高信息抽取任务，而忽略了文本阅读和信息抽取是相互关联的事实。在本文中，我们提出了一个统一的端到端的文本阅读和信息抽取网络，其中这两个任务可以相互加强。具体地说，文本阅读的多模态视觉和文本特征被融合用于信息抽取，而信息抽取中的语义有助于文本阅读的优化。在三个具有不同文档图像的真实世界数据集上（从固定布局到可变布局，从结构化文本到半结构化文本），我们提出的方法在效率和准确性方面都显着优于最先进的方法。
2021-10-25 cs.CV
Reading Order Independent Metrics for Information Extraction in Handwritten Documents
PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；TEKLIA（TEKLIA公司）；Universitat de València（瓦伦西亚大学）
本文针对手写文档信息抽取评估指标易受阅读顺序错误影响的问题，提出并公开了一套与阅读顺序无关的评估指标，并通过实验分析推荐了正确评估任务所需的最小指标集合。
2024-04-29 cs.CV
Sub-word Level Lip Reading With Visual Attention
University of Oxford（牛津大学）
本文的目标是学习强大的唇读模型，可以识别无声视频中的语音。大多数现有的作品处理开放集的视觉语音识别问题，通过适应现有的自动语音识别技术的顶部平凡汇集的视觉功能。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们做出了以下贡献：（1）我们提出了一种基于注意力的池化机制来聚合视觉语音表示;（2）我们首次使用子词单元进行唇读，并表明这使我们能够更好地对任务的模糊性进行建模;（3）我们提出了一种在唇读网络上训练的视觉语音检测（VSD）模型。根据上述内容，我们在公共数据集上训练时，在具有挑战性的LRS 2和LRS 3基准上获得了最先进的结果，甚至通过使用数量级更少的数据，超过了在大规模工业数据集上训练的模型。我们最好的模型在LRS 2数据集上实现了22.6%的单词出错率，这是唇读模型前所未有的性能，大大减少了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超过了所有仅视觉基准，甚至优于最近的几种视听方法。
2021-12-03 cs.CL cs.CV
Towards Reading Hidden Emotions: A comparative Study of Spontaneous Micro-expression Spotting and Recognition Methods
University of Oulu（奥卢大学）；University of Oxford（牛津大学）
微表情（Micro-expressions，ME）是一种快速、无意识的面部表情，它揭示了人们不想表现出来的情绪。研究ME是有价值的，因为识别它们有许多重要的应用，特别是在法医学和心理治疗中。然而，分析自发ME是非常具有挑战性的，由于其持续时间短，强度低。ME自动分析包括两个任务：ME定位和ME识别。对于ME发现，以前的研究集中在姿势而不是自发的视频。对于ME识别，以前的研究的性能是低的。为了应对这些挑战，我们做出了以下贡献：（i）我们提出了第一种在长视频中发现自发ME的方法（通过利用特征差异对比度）。这种方法是免费训练的，适用于任意看不见的视频。（ii）我们提出了一个先进的ME识别框架，它在两个具有挑战性的自发ME数据库（SMIC和CASMEII）上的性能大大优于以前的工作。（iii）我们提出了第一个自动ME分析系统（MESR），它可以从自发视频数据中发现和识别ME。最后，我们展示了我们的方法在ME识别任务中的表现优于人类，并且在发现并识别自发ME的非常具有挑战性的任务中实现了与人类相当的性能。
2017-02-08 cs.CV
Look, Read and Ask: Learning to Ask Questions by Reading Text in Images
KLE Technological University（KLE科技大学）；IIT Jodhpur（印度理工学院焦特布尔分校）
我们提出了一个基于文本的视觉问题生成（简称TextVQG）的新问题。考虑到文档图像分析团体最近对将文本理解与会话人工智能相结合的兴趣日益增长，例如，基于文本的可视化问答，TextVQG成为一个重要的任务。TextVQG旨在为给定的输入图像生成自然语言问题，并从其中自动提取文本（也称为OCR令牌），使得OCR令牌是对所生成问题的答案。TextVQG是会话代理的基本能力。然而，这是具有挑战性的，因为它需要深入了解场景，并能够在语义上将视觉内容与图像中的文本连接起来。为了解决TextVQG问题，我们提出了一个OCR一致的视觉问题生成模型，该模型查看视觉内容，读取场景文本，并询问相关且有意义的自然语言问题。我们将我们提出的模型称为OLRA。我们在两个公共基准上对OLRA进行了广泛的评估，并将其与基线进行了比较。我们的模型OLRA自动生成的问题类似于公共的基于文本的视觉问答数据集，手动策划。此外，我们显着优于基线方法的文本生成文献中常用的性能指标。
2022-11-23 cs.CV
Visual Passwords Using Automatic Lip Reading
Mu'tah University（穆塔大学）
本文提出了一种视觉密码系统，以增加安全性。该系统主要依赖于单独使用视觉语音信号来识别说话者。该方案分为两个阶段：设置视觉密码阶段和验证阶段。在设置阶段，视觉密码系统请求用户说出选定的密码，捕获用户面部的视频记录，并由基于特殊单词的VSR系统处理，该系统提取特征向量序列。在验证阶段，执行相同的程序，将发送特征以与存储的视觉密码进行比较。所提出的方案已被评估使用20个不同的扬声器（10名女性和10名男性）的视频数据库，和15个男性在另一个视频数据库中具有不同的实验集。评估证明了该系统的可行性，在最坏的测试情况下，平均出错率在7.63%至20.51%的范围内，因此，有可能成为一个实用的方法与其他传统的身份验证方法，如使用用户名和密码的支持。
2014-09-02 cs.CR cs.CV
VALLR: Visual ASR Language Model for Lip Reading
University of Surrey（萨里大学）
VALLR提出了一种两阶段的视觉ASR语言模型，通过音素序列预测和语言模型重构实现高效率和高精度的唇语识别。
2026-01-05 cs.CV
An Automatic Reader of Identity Documents
Politecnico di Bari（巴里理工大学）
身份证件的自动读取和验证是当今服务行业的一项热门技术，因为这项任务大多数仍然是人工完成的，导致了经济和时间资源的浪费。本文提出了一种新型的身份证件自动读取系统的原型。该系统被认为可以从质量可接受的照片中提取意大利主要身份证件的数据，就像各种服务的在线订户通常需要的照片一样。文档首先在照片中定位，然后分类;最后执行文本识别。一个合成的数据集已被用于神经网络的训练，并用于系统的性能评估。合成数据集避免了与使用真实文件的真实照片相关的隐私问题，这些照片将用于系统的未来开发。
2020-06-26 cs.CV cs.LG
TextCaps: a Dataset for Image Captioning with Reading Comprehension
Facebook AI Research（Facebook 人工智能研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
图像描述可以帮助视障人士快速理解图像内容。虽然我们在自动描述图像和光学字符识别方面取得了重大进展，但目前的方法无法在其描述中包括书面文本，尽管文本在人类环境中无处不在，并且对于理解我们的环境至关重要。为了研究如何在图像的上下文中理解文本，我们收集了一个新的数据集TextCaps，其中包含28k图像的145k标题。我们的数据集挑战一个模型来识别文本，将其与其视觉上下文相关联，并决定复制或解释文本的哪一部分，这需要在多个文本标记和视觉实体（如对象）之间进行空间，语义和视觉推理。我们研究基线和适应现有的方法，这个新的任务，我们称之为图像描述与阅读理解。我们对自动和人类研究的分析表明，我们新的TextCaps数据集比以前的数据集提供了许多新的技术挑战。
2020-08-04 cs.CL cs.CV
Automated Map Reading: Image Based Localisation in 2-D Maps Using Binary Semantic Descriptors
University of Bristol（布里斯托大学）
我们描述了一种新的方法，在城市环境中使用图像和2-D地图之间的语义匹配图像的本地化。它与绝大多数现有的使用图像到图像数据库匹配的方法形成对比。我们使用高度紧凑的二进制描述符来表示位置的语义特征，与现有方法相比显着提高了可扩展性，并具有对可变成像条件具有更大不变性的潜力。这种方法也更类似于人类的地图阅读，使其更适合人类与系统的交互。二进制描述符指示离散观看方向上是否存在与建筑物和路口相关的语义特征。我们使用CNN分类器来检测图像中的特征，并将描述符估计与从2-D地图中获得的位置标记描述符数据库进行匹配。孤立地说，这些描述符没有足够的区分力，但是当沿着一条路线顺序连接时，它们的组合变得非常独特，即使在使用非完美分类器时也允许定位。通过考虑路线上的左转弯或右转弯，性能得到进一步改善。使用Google StreetView和OpenStreetMap数据获得的实验结果表明，该方法具有相当大的潜力，使用对应于约200米的路线，实现约85%的定位精度。
2018-03-02 cs.CV cs.RO
Lip Localization and Viseme Classification for Visual Speech Recognition
MIRACL: Multimedia Information systems and Advanced Computing Laboratory（多媒体信息系统与高级计算实验室）；Higher Institute of Computer Science and Multimedia, Sfax, Tunisia（斯法克斯计算机科学与多媒体高等学院）
对自动唇读系统的需求不断增加。事实上，人脸运动的提取和可靠的分析在许多多媒体系统中，如视频会议系统、低通信系统、唇读系统等，都占有重要的地位。此外，视觉信息对有特殊需要的人来说是必不可少的。例如，我们可以想象，一个依赖者通过简单的嘴唇运动或简单的音节发音订购机器。此外，听力有问题的人通过唇读和听别人说话来弥补他们的特殊需要。
2013-01-19 cs.CV
Multi-Task Learning-Enabled Automatic Vessel Draft Reading for Intelligent Maritime Surveillance
Wuhan University of Technology（武汉理工大学）；National Taiwan University of Science and Technology（台湾科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出多任务学习驱动的船舶吃水自动读取方法MTL-VDR，通过检测、识别、分割和校正实现高精度估算，速度超40 FPS，满足实时海事监控需求。
2023-10-11 cs.AI cs.CV
Resolution limits on visual speech recognition
University of East Anglia（东英吉利大学）
纯视觉语音识别依赖于许多难以控制的因素，例如：照明、身份、运动、情感和表达。但有些因素，如视频分辨率是可控的，所以令人惊讶的是，目前还没有系统的研究分辨率对唇读的影响。在这里，我们使用一个新的数据集，罗塞塔乌鸦数据，训练和测试识别器，所以我们可以衡量视频分辨率对识别精度的影响。我们的结论是，与通常的做法相反，决议不需要那么大的自动唇读。然而，当下唇的底部和上唇的顶部之间的距离在静止时小于四个像素时，自动唇读几乎不可能可靠地工作。
2017-10-03 cs.CV eess.IV
Attribute-conditioned Layout GAN for Automatic Graphic Design
Beijing Institute of Technology（北京理工大学）；Adobe Inc.（Adobe公司）
造型布局是平面设计的重要第一步。最近，用于生成图形布局的方法已经取得了进展，特别是使用生成对抗网络（GANs）。然而，指定设计元素的位置和大小的问题通常涉及到与元素属性有关的约束，例如面积、纵横比和读取顺序。自动化属性条件图形布局仍然是一个复杂的和未解决的问题。在本文中，我们引入属性条件布局GAN纳入设计元素的属性，图形布局生成，迫使生成器和搜索引擎，以满足属性条件。由于图形设计的复杂性，我们进一步提出了一个元素丢弃的方法，使机器人看部分元素列表，并学习他们的本地模式。此外，我们介绍了各种损失的设计遵循不同的布局优化的设计原则。我们证明了所提出的方法可以合成的图形布局条件下，不同的元素属性。它还可以将精心设计的布局调整为新的大小，同时保留元素的原始读取顺序。通过用户研究验证了该方法的有效性。
2020-09-11 cs.CV cs.GR
ASR is all you need: cross-modal distillation for lip reading
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
这项工作的目标是训练强大的模型，视觉语音识别，而不需要人类注释地面实况数据。我们实现这一点，从一个自动语音识别（ASR）模型，已在一个大规模的音频语料库训练。我们使用一个跨模态蒸馏方法，结合了连接主义时间分类（CTC）与帧的交叉熵损失。我们的贡献有四个方面：（i）我们证明了地面真实transmittance对于训练唇读系统是不必要的;（ii）我们展示了如何利用任意数量的未标记视频数据来提高性能;（iii）我们证明了蒸馏显着加快了训练;（iv）我们在具有挑战性的LRS 2和LRS 3数据集上获得了最先进的结果，仅在公开数据上进行训练。
2020-03-31 cs.CV cs.SD eess.AS
VisualMRC: Machine Reading Comprehension on Document Images
NTT Media Intelligence Laboratories, NTT Corporation（NTT媒体智能实验室，NTT公司）
最近关于机器阅读理解的研究主要集中在文本层面的理解，但尚未达到人类对现实世界文档的视觉布局和内容的理解水平。在这项研究中，我们引入了一个新的视觉机器阅读理解数据集，命名为VisualMRC，其中给定一个问题和一个文档图像，机器阅读和翻译图像中的文本，以回答自然语言的问题。与现有的包含图像中文本的视觉问答（VQA）数据集相比，VisualMRC更注重开发自然语言理解和生成能力。它包含30，000+对问题和10，000+文档图像的抽象答案，这些图像来自多个网页域。我们还引入了一个新的模型，该模型扩展了现有的序列到序列模型，使用大规模文本语料库进行预训练，以考虑文档的视觉布局和内容。VisualMRC的实验表明，该模型优于基本序列到序列模型和最先进的VQA模型。然而，在大多数自动评估指标上，它的性能仍然低于人类。该数据集将促进旨在连接视觉和语言理解的研究。
2021-05-10 cs.CL cs.CV
