End-to-End Optical Character Recognition for Bengali Handwritten Words
Bangladesh University of Business & Technology（孟加拉商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
光学字符识别（OCR）是一种使用文档图像将模拟文档转换为数字文档的过程。目前，存在许多商业和非商业OCR系统，用于不同语言的手写和打印副本。尽管如此，在识别孟加拉语单词的情况下，很少有作品可用。其中，大部分的作品集中在印刷孟加拉字符的OCR。本文介绍了一个端到端的孟加拉语OCR系统。所提出的架构实现了一个端到端的策略，识别手写孟加拉字的手写文字图像。我们使用流行的卷积神经网络（CNN）架构进行实验，包括DenseNet，Xception，NASNet和MobileNet来构建OCR架构。此外，我们还尝试了两种不同的递归神经网络（RNN）方法，LSTM和GRU。我们使用BanglaMitting数据集（这是一个经过同行评审的孟加拉语手写图像数据集）来评估所提出的架构。该方法实现了0.091字符出错率和0.273字出错率执行使用DenseNet121模型与GRU递归层。
2021-05-09 cs.CV cs.IR
Calamari - A High-Performance Tensorflow-based Deep Learning Package for Optical Character Recognition
Universität Würzburg（维尔茨堡大学）
基于现代和历史数据的光学字符识别（OCR）技术一直是研究者关注的焦点。特别是历史印刷品需要特定于书籍的经过训练的OCR模型来实现适用的结果（Springmann和Lüdeling，2016年，Reul等人，2017年a）。为了减少人工注释地面实况（GT）的人力，各种技术（例如投票和预训练）已显示出非常有效（Reul等人，2018 a，Reul等人，2018年b）。Calamari是一款新的开源OCR行识别软件，它既使用了在Tensorflow中实现的最先进的深度神经网络（DNN），又为预训练和投票等技术提供了原生支持。由卷积神经网络（CNNS）和长短期记忆（LSTM）层构建的可定制网络架构由Graves等人（2006）的所谓连接时间分类（CTC）算法训练。GPU的可选使用大大减少了训练和预测的计算时间。我们使用两个不同的数据集来比较Calamari与OCRopy，OCRopus 3和Tesseract 4的性能。Calamari在以现代英语编写的UW 3数据集上达到0.11%的字符出错率（CER），在以德语Fraktur编写的DTA 19数据集上达到0.18%，这大大优于现有软件的结果。
2018-08-06 cs.CV
Recursive Recurrent Nets with Attention Modeling for OCR in the Wild
UC San Diego（加州大学圣迭戈分校）；Flickr / Yahoo Inc.（Flickr/雅虎公司）
我们提出了递归递归神经网络与注意力建模（R $^2$ AM）的字典自由光学字符识别在自然场景图像。所提出的方法的主要优点是：（1）使用递归卷积神经网络（CNN），其允许参数高效和有效的图像特征提取;（2）隐式学习的字符级语言模型，其体现在避免需要使用N元语法的递归神经网络中;以及（3）软注意力机制的使用，允许模型以协调的方式选择性地利用图像特征，并且允许在标准反向传播框架内进行端到端训练。我们在具有挑战性的基准数据集上以最先进的性能验证了我们的方法：街景文本、IIIT 5 k、ICDAR和Synth 90 k。
2016-03-09 cs.CV
A Scalable Handwritten Text Recognition System
Google Research（谷歌研究院）
许多关于（离线）手写文本识别（HTR）系统的研究都集中在建立小型语料库上的行识别模型。然而，将HTR功能添加到大规模多语言OCR系统中提出了新的挑战。本文讨论了构建此类系统的三个问题：数据、效率和集成。首先，最大的挑战之一是获得足够数量的高质量训练数据。我们解决了这个问题，使用在线手写数据收集的大规模生产在线手写识别系统。我们描述了我们的图像数据生成管道，并研究如何使用在线数据来构建HTR模型。我们表明，数据改善模型显着的条件下，只有少量的真实图像是可用的，这通常是HTR模型的情况下。它使我们能够以更低的成本支持新脚本。其次，提出了一种基于无递归连接的神经网络的直线识别模型。该模型实现了与基于LSTM的模型相当的准确性，同时允许在训练和推理中更好的并行性。最后，我们提出了一个简单的方法来集成HTR模型到OCR系统。这些构成了将HTR能力引入大规模OCR系统的解决方案。
2019-06-14 cs.CV
STRIDE : Scene Text Recognition In-Device
Samsung R&D Institute Bangalore（三星研发研究院班加罗尔）
光学字符识别（OCR）系统已广泛用于从图像提取语义信息的各种应用中。为了让用户更好地控制自己的隐私，需要一个设备上的解决方案。当前最先进的模型太重且太复杂，无法在设备上部署。我们开发了一个高效的轻量级场景文本识别（STR）系统，它只有0.88M的参数，并执行实时文本识别。注意力模块往往会提高STR网络的准确性，但通常速度很慢，并且没有针对设备推理进行优化。因此，我们提出将卷积注意力模块用于文本识别网络，旨在通过增加非常小的计算成本为LSTM模块提供通道和空间注意力信息。它将我们在ICDAR 13数据集上的单词准确率提高了近2%。我们还引入了一个新的方向分类器模块，支持同时识别水平和垂直的文本。与领先的商业和其他开源OCR引擎相比，所提出的模型超越了推理时间和内存占用的设备指标，并实现了相当的准确性。我们在Exynos 990芯片组设备上以2.44 ms/字的推理速度部署了该系统，并在ICDAR-13数据集上实现了88.4%的准确率。
2021-05-17 cs.CV
Implicit Feature Alignment: Learn to Convert Text Recognizer to Text Spotter
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）；Guangdong Artificial Intelligence and Digital Economy Laboratory（广东省人工智能与数字经济实验室）
文本识别是一个热门的研究课题，有许多相关的挑战。尽管近年来取得了相当大的进展，文本识别任务本身仍然被限制为解决读取裁剪行文本图像的问题，并且作为光学字符识别（OCR）系统的子任务。因此，最终的文本识别结果受到文本检测器的性能的限制。在本文中，我们提出了一个简单，优雅和有效的范例称为隐式特征对齐（IFA），它可以很容易地集成到当前的文本识别器，从而在一个新的推理机制称为IFA推理。这使得普通的文本识别器能够处理多行文本，从而可以完全释放文本检测。具体来说，我们将IFA集成到两个最流行的文本识别流（基于注意力和CTC），并提出了注意力引导的密集预测（ADP）和扩展CTC（ExCTC）。此外，提出了基于Wasserstein的中空聚集交叉熵（WH-ACE）来抑制负面预测，以帮助训练ADP和ExCTC。我们通过实验证明，IFA在端到端文档识别任务上实现了最先进的性能，同时保持了最快的速度，ADP和ExCTC在不同应用场景的角度上相互补充。代码将在https://github.com/WangTianwei/Implicit-feature-alignment上提供。
2021-06-10 cs.CV
ConvMath: A Convolutional Sequence Network for Mathematical Expression Recognition
WICT of Peking University（北京大学文字信息处理与认知计算实验室（WICT））
尽管在光学字符识别（OCR）方面取得了很大的进展，但由于数学表达式的二维图形布局，其识别仍然面临很大的挑战。在本文中，我们提出了一个卷积序列建模网络ConvMath，它以端到端的方式将图像中的数学表达式描述转换为LaTeX序列。该网络结合了用于特征提取的图像编码器和用于序列生成的卷积解码器。与其他基于长短期记忆（LSTM）的编解码器模型相比，ConvMath完全基于卷积，因此易于执行并行计算。此外，该网络在解码器中采用多层注意力机制，使模型能够自动将输出符号与源特征向量对齐，解决了训练模型时覆盖不足的问题。在一个名为IM 2LATEX-100 K的开放数据集上评估了ConvMath的性能，包括103556个样本。实验结果表明，该网络具有最先进的准确性和比以前方法更好的效率。
2020-12-23 cs.CV
DIANet: Dense-and-Implicit Attention Network
New Oriental AI Research Academy（新东方AI研究院）；Northwestern University（西北大学）；National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
注意力网络已经成功地提高了各种视觉问题的表现。以往的工作侧重于设计一个新的注意模块，并将它们单独插入网络。我们提出了一个新颖而简单的框架，在不同的网络层中共享注意力模块，以鼓励分层信息的整合，这个参数共享模块被称为密集和隐含注意力（DIA）单元。在DIA单元中可以使用多种模块选择。由于长短期记忆（LSTM）具有捕获长距离依赖的能力，因此我们将重点放在DIA单元是修改后的LSTM（称为DIA-LSTM）的情况下。在基准数据集上的实验表明，DIA-LSTM单元能够强调逐层特征的相互关系，并显著提高图像分类的准确性。我们通过在整个残差网络中去除跳过连接或批量归一化的实验，进一步实证表明DIA-LSTM在稳定深度网络的训练方面具有很强的正则化能力。代码发布于https://github.com/gbup-group/DIANet。
2019-09-23 cs.AI cs.CV cs.LG
Multi-Granularity Prediction for Scene Text Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）
场景文本识别（STR）是计算机视觉中一个非常活跃的研究课题。为了解决这个具有挑战性的问题，许多创新的方法已经相继提出，并将语言知识融入STR模型最近已成为一个突出的趋势。在这项工作中，我们首先从视觉Transformer（ViT）的最新进展中汲取灵感，构建一个概念简单但功能强大的视觉STR模型，该模型建立在ViT基础上，优于以前的最先进的场景文本识别模型，包括纯视觉模型和语言增强方法。为了整合语言知识，我们进一步提出了一种多粒度预测策略，以隐式的方式将来自语言模态的信息注入到模型中，即，除了传统的字符级表示之外，还将NLP中广泛使用的子词表示（BPE和WordPiece）引入到输出空间中，而不采用独立的语言模型（LM）。由此产生的算法（称为MGP-STR）是能够推动STR的性能包络到一个更高的水平。具体来说，它在标准基准测试中的平均识别准确率为93.35%。代码可在https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/OCR/MGP-STR上获得。
2022-10-17 cs.CV
DianJin-OCR-R1: Enhancing OCR Capabilities via a Reasoning-and-Tool Interleaved Vision-Language Model
Qwen DianJin Team, Alibaba Cloud Computing（文心一言团队，阿里云计算）
DianJin-OCR-R1通过推理与工具交替的视觉语言模型框架，提升OCR识别的准确性和上下文理解能力。
2026-03-06 cs.CV
DocCogito: Aligning Layout Cognition and Step-Level Grounded Reasoning for Document Understanding
Fudan University（复旦大学）
DocCogito通过整合布局感知与结构化推理，提升文档理解的准确性和推理过程的系统性。
2026-03-08 cs.CV
CMS-LSTM: Context Embedding and Multi-Scale Spatiotemporal Expression LSTM for Predictive Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
时空预测学习（ST-PL）是一个具有广泛应用的研究热点，如目标运动和气象预测。它旨在通过观察到的序列预测后续帧。然而，连续帧之间固有的不确定性加剧了长期预测的难度。为了解决预测过程中日益增加的模糊性，我们设计了CMS-LSTM，专注于上下文相关性和多尺度时空流，并详细介绍了细粒度局部，包含两个精心设计的块：上下文嵌入（CE）和时空表达式（SE）块。CE是为丰富的上下文交互而设计的，而SE则专注于隐藏状态下的多尺度时空表达。新引入的块还便于其它时空模型（例如，PredRNN，SA-ConvLSTM），以产生ST-PL的代表性隐式特征并提高预测质量。定性和定量的实验证明了我们提出的方法的有效性和灵活性。通过更少的参数，CMS-LSTM在两个代表性基准和场景的指标数量上优于最先进的方法。代码可在https://github.com/czh-98/CMS-LSTM上获得。
2022-04-12 cs.CV
Longitudinal detection of radiological abnormalities with time-modulated LSTM
University of Warwick（华威大学）
近年来，卷积神经网络（CNN）已经成功地用于检测医学图像（例如普通X射线）中的放射异常。到目前为止，大多数研究在单独的检查中使用CNN，并丢弃以前可用的临床信息。在这项研究中，我们开始探索长短期记忆网络（LSTM）是否可以用来提高分类性能时，建模的整个序列的射线照片，可能是一个给定的病人，包括他们的报告。然而，传统LSTM的局限性在于，它们隐含地假设等间隔的观察，而放射学检查是基于事件的，因此不规则地采样。使用模拟数据集和大规模胸部X射线数据集，我们证明了对LSTM架构的简单修改（明确考虑了连续观测之间的时间滞后）可以提高分类性能。我们的实验结果表明，提高了对胸部X线检查中常见异常的检测，如心脏肥大、实变、胸腔积液和食管裂孔疝。
2018-07-16 cs.CV cs.LG stat.ML
Handwritten Text Recognition for Low Resource Languages
Indian Institute of Technology Roorkee（印度理工学院罗尔基学院）；Faculty of Science and Engineering（科学与工程学院）
本文提出BharatOCR，一种无需分段的段落级手写印地语和乌尔都语文本识别系统，通过ViT-Transformer Decoder-LM架构提升识别准确率和流畅性。
2025-12-01 cs.CV
Multi-Granularity Prediction with Learnable Fusion for Scene Text Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）
该研究针对场景文本识别任务，基于ViT和A³模块搭建基础视觉模型，提出融入子词表示的多粒度预测策略及融合方法，构建的MGP-STR在多个基准和数据集上取得SOTA性能。
2023-07-25 cs.CV
Lattice Long Short-Term Memory for Human Action Recognition
The Hong Kong University of Science and Technology（香港科技大学）；Stanford University（斯坦福大学）；South China University of Technology（华南理工大学）
在视频序列中捕获的人类动作是表征视觉外观和运动动态的三维信号。为了学习动作模式，现有方法采用卷积和/或递归神经网络（CNN和RNN）。基于CNN的方法在学习空间外观方面是有效的，但在建模长期运动动态方面是有限的。RNN，特别是长短期记忆（LSTM），能够学习时间运动动力学。然而，以卷积方式将RNN应用于视频序列隐含地假设视频中的运动在不同的空间位置上是静止的。这一假设对于短期运动是有效的，但当运动持续时间较长时则无效。在这项工作中，我们提出了Lattice-LSTM（L2 STM），它通过学习各个空间位置的存储单元的独立隐藏状态转换来扩展LSTM。该方法有效地增强了跨时间动态建模的能力，并在不显著增加模型复杂度的情况下解决了长期运动动态的非平稳问题。此外，我们引入了一种新的多模态训练过程来训练我们的网络。与使用RGB和光流信息作为输入的传统双流体系结构不同，我们的双流模型利用两种模态来联合训练网络中的两个输入门和两个遗忘门，而不是将两个流视为没有关于另一个的信息的单独实体。我们将此端到端系统应用于人类动作识别的基准数据集（UCF-101和HMDB-51）。实验表明，在这两个数据集上，我们提出的方法优于所有现有的基于LSTM和/或类似模型复杂度的CNN的方法。
2017-08-13 cs.CV
Structure-Aware Long Short-Term Memory Network for 3D Cephalometric Landmark Detection
The University of Hong Kong（香港大学）；ShanghaiTech University（上海科技大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在三维头影测量分析中，在锥形束计算机断层扫描（CBCT）上检测三维标志对于评估和量化解剖异常至关重要。然而，目前的方法是耗时的，并遭受在标志定位的大偏差，导致不可靠的诊断结果。在这项工作中，我们提出了一种新的结构感知长短期记忆框架（SA-LSTM），用于高效准确的3D地标检测。为了减少计算负担，SA-LSTM分为两个阶段设计。它首先通过下采样CBCT体积上的热图回归来定位粗略地标，然后通过使用多分辨率裁剪补丁的注意偏移回归来逐步细化地标。为了提高准确性，SA-LSTM通过自我注意捕获裁剪补丁之间的全局-局部依赖性。具体来说，一个新的图形注意模块隐式编码的地标的全球结构，合理化的预测位置。此外，一种新的注意力门控模块递归过滤不相关的本地功能，并保持高置信度的本地预测聚合的最终结果。在内部数据集和公共数据集上进行的实验表明，我们的方法优于最先进的方法，分别实现了1.64 mm和2.37 mm的平均误差。此外，我们的方法是非常有效的，仅花费0.5秒来推断分辨率为768 $\times$ 768 $\times$ 576的整个CBCT体积。
2022-02-18 cs.CV
Action Recognition with Joint Attention on Multi-Level Deep Features
Tsinghua University（清华大学）
我们提出了一种新的深度监督神经网络用于视频中的动作识别任务，该网络隐式地利用了视觉跟踪，并共享了深度卷积神经网络（CNN）和递归神经网络（RNN）的鲁棒性。在我们的方法中，提出了一个多分支模型来抑制来自背景抖动的噪声。具体来说，我们首先从深度CNN中提取多层深度特征，并将其输入3d卷积网络。之后，我们将这些特征立方体输入到我们的新联合LSTM模块中，以预测标签并生成注意力正则化。我们在两个具有挑战性的数据集上评估了我们的模型：UCF101和HMDB51。结果表明，我们的模型仅使用卷积特征就达到了最先进的水平。
2016-07-09 cs.CV
Eye-Q: A Multilingual Benchmark for Visual Word Puzzle Solving and Image-to-Phrase Reasoning
Sharif University of Technology（谢里夫理工大学）；Qatar Computing Research Institute (QCRI), HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
Eye-Q提出一个多语言视觉词谜基准，评估模型在复杂视觉推理中的能力，发现现有模型在抽象和跨语言推理上存在显著差距。
2026-01-06 cs.AI cs.CV
Memory-augmented Deep Unfolding Network for Guided Image Super-resolution
Hefei Institute of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Xi’an Jiaotong University（西安交通大学）
引导图像超分辨率（Guided Image Super-resolution，GISR）是在高分辨率（High Resolution，HR）图像的引导下，通过增强低分辨率（Low Resolution，LR）目标图像的空间分辨率，获得高分辨率（High Resolution，HR）目标图像的技术。然而，以往的基于模型的方法主要是将整个图像作为一个整体，并假设HR目标图像和HR引导图像之间的先验分布，简单地忽略了它们之间的许多非局部共同特征。为了缓解这个问题，我们首先提出了一个最大后验（MAP）估计模型的GISR与两种类型的先验的HR目标图像，即，局部隐含先验和全局隐含先验。局部隐式先验旨在从局部角度对HR目标图像和HR引导图像之间的复杂关系进行建模，全局隐式先验从全局角度考虑两幅图像之间的非局部自回归特性。其次，我们设计了一种新的交替优化算法来解决这个模型的GISR。该算法是在一个简洁的框架，便于被复制到常用的深度网络结构。第三，为了减少迭代阶段的信息损失，引入持久记忆机制，通过利用图像和特征空间中的长短期记忆单元（LSTM）来增强信息表示。这样，就构建了一个具有一定解释性和高表示能力的深度网络。大量的实验结果验证了我们的方法在各种GISR任务上的优越性，包括泛锐化，深度图像超分辨率和MR图像超分辨率。
2022-02-12 cs.CV eess.IV
