Unsupervised Deep Learning for Handwritten Page Segmentation
Ben-Gurion University of the Negev（本-古里安大学）
将手写文档图像分割成具有均匀模式的区域是许多文档图像分析任务的重要预处理步骤。手动标记数据以训练用于布局分析的深度学习模型需要大量的人力。在本文中，我们提出了一种用于页面分割的无监督深度学习方法，该方法无需标注图像。训练连体神经网络以使用其可测量属性（例如前景像素的数量以及平均组件高度和宽度）来区分补丁。该网络被训练为空间上邻近的斑块是相似的。网络学习的特征用于页面分割，其中补丁根据提取的特征被分类为主文本和副文本。我们测试了一个数据集的手写文档图像的布局非常复杂的方法。实验结果表明，该方法与传统的有监督方法一样有效。
2021-01-19 cs.CV
PLATTER: A Page-Level Handwritten Text Recognition System for Indic Scripts
IIT Bombay（印度理工学院孟买分校）
针对印度语手写文本识别中模型比较困难、数据集稀缺及忽略检测阶段的问题，提出页面级端到端框架PLATTER，发布CHIPS数据集并开源代码，促进印度语HTR研究。
2025-02-10 cs.CV
PageNet: Towards End-to-End Weakly Supervised Page-Level Handwritten Chinese Text Recognition
South China University of Technology（华南理工大学）；Huazhong University of Science and Technology（华中科技大学）；Huawei Cloud Computing Technologies（华为云计算技术有限公司）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；Peng Cheng Laboratory（鹏城实验室）
手写体中文文本识别（HCTR）一直是一个活跃的研究课题。然而，大多数以前的研究只集中在识别裁剪文本行图像，忽略了文本行检测在现实世界中的应用所造成的错误。虽然近年来已经提出了一些针对页面级文本识别的方法，但它们要么限于简单的布局，要么需要非常详细的注释，包括昂贵的行级甚至字符级边界框。为此，我们提出了端到端弱监督页面级HCTR的PageNet。PageNet检测和识别字符，并预测它们之间的阅读顺序，在处理包括多方向和弯曲文本行在内的复杂布局时更加健壮和灵活。利用所提出的弱监督学习框架，PageNet只需要对真实数据进行注释的成绩单;然而，它仍然可以输出字符和行级别的检测和识别结果，避免了标记字符和文本行的边界框的劳动力和成本。在五个数据集上进行的大量实验证明了PageNet优于现有的弱监督和完全监督页面级方法。这些实验结果可能会引发进一步的研究超越现有的方法的基础上连接时间分类或注意。源代码可在https://github.com/shannanyinxiang/PageNet上获得。
2022-07-29 cs.CV
Combining Multiple Feature Extraction Techniques for Handwritten Devnagari Character Recognition
Meghnad Saha Institute of Technology（梅格纳德·萨哈技术学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一个OCR手写Devnagari字符。基本符号由神经分类器识别。我们使用了四种特征提取技术，即相交、阴影特征、链码直方图和直线拟合特征。对字符图像全局计算阴影特征，通过对字符图像进行分段计算相交特征、链码直方图特征和直线拟合特征。加权多数表决技术被用于组合从四个多层感知器（MLP）的分类器获得的分类决策。在对4900个样本的数据集进行实验时，观察到的总体识别率为92.80%，因为我们考虑了前五个选择结果。该方法与其他最近的方法相比，手写Devnagari字符识别，它已被观察到，这种方法比其他方法有更好的成功率。
2010-05-21 cs.AI cs.CV
Meta-DAN: towards an efficient prediction strategy for page-level handwritten text recognition
Univ Rennes, CNRS, IRISA - UMR 6074, F-35000 Rennes（里昂大学、法国国家科学研究中心、IRISA研究所）
Meta-DAN通过引入窗口查询和多令牌预测，提升页面级手写文本识别的效率和上下文建模能力。
2026-02-23 cs.CV
Spatial Domain Feature Extraction Methods for Unconstrained Handwritten Malayalam Character Recognition
P M Government College（P M 政府学院）
手写体字符识别是一项积极的研究挑战，特别是对于印度文字。本文涉及手写马拉雅拉姆语，一套完整的基本字符，元音和辅音符号和复合字符，可能会出现在脚本。在这项工作中，选择适合识别的空间域特征。在分类方面，采用了k-NN、SVM和ELM
2021-09-05 cs.CV
End-to-end information extraction in handwritten documents: Understanding Paris marriage records from 1880 to 1940
University of Rouen Normandy（鲁昂诺曼底大学）；LIRMM, Montpellier University（蒙彼利埃大学LIRMM实验室）
本文针对1880—1940年巴黎婚姻记录构建了M-POPP公开数据集，并提出基于DAN的端到端架构，无需分割即可同时完成手写文本识别与信息提取，在Esposalles上取得全页信息提取新最优结果，并系统比较了命名实体编码策略对联合任务性能的影响。
2024-04-30 cs.CV
Handwritten Character Recognition Using Unique Feature Extraction Technique
手写体字符识别是图像处理中最困难和最具吸引力的领域之一。在本文中，我们提出了一种特征提取技术，它是一个独特的几何特征，基于区域的混合，梯度特征提取方法和三个不同的神经网络，即多层感知器网络使用反向传播算法（MLP BP）的组合，使用Levenberg-Marquardt算法的多层感知器网络（MLP LM）和卷积神经网络（CNN）它与最小距离分类器（MDC）一起实现。该程序导致的结论是，所提出的特征提取算法是更准确的比它的个别同行，也是卷积神经网络是最有效的神经网络的三个考虑。
2020-01-13 cs.CV
Whole page recognition of historical handwriting
历史上的手写文献是人类知识的重要组成部分，只有少数学者和专家才能接触到。机器学习和笔迹研究的最新发展有可能使更多的受众可以访问和搜索这些信息。为此，我们研究了一种端到端的推理方法，没有文本本地化，需要一个手写的页面，并转录其全文。没有明确的字符，单词或行分割参与推理，这就是为什么我们称这种方法为“无分割”。我们探讨其鲁棒性和准确性相比，一行一行的分割方法的基础上的IAM，RODRIGO和ScribbleLens语料库，在三种语言的手写风格跨越400年。我们专注于可部署在手持或嵌入式设备上的型号和尺寸。我们的结论是，没有文本本地化和分割的整个页面推理方法是有竞争力的。
2020-09-22 cs.AI cs.CV
Instance Segmentation Based Graph Extraction for Handwritten Circuit Diagram Images
Deutsches Forschungszentrum für künstliche Intelligenz（德国人工智能研究中心）
来自教育场景或历史来源的手写电路图通常存在于模拟媒体上。为了自动推导其工作原理或缺陷，需要对其进行数字化处理，提取其电气图形。最近，促进这一过程的自动化管道的基础技术从计算机视觉转向了机器学习。本文描述了一种通过实例分割和关键点提取的方法来提取电气元件（包括其端子和描述文本）和它们的互连（包括结和线跳）。因此，所得到的图形提取过程由模型推理和平凡几何关键点匹配的简单两步过程组成。数据集本身，其准备，模型训练和后处理被描述并公开提供。
2023-01-18 cs.CV
Full Page Handwriting Recognition via Image to Sequence Extraction
Turnitin（Turnitin公司）
我们提出了一个基于神经网络的手写文本识别（HTR）模型架构，可以训练识别整页的手写或打印文本，而无需图像分割。基于图像到序列架构，它可以提取图像中存在的文本，然后正确地对其进行排序，而不对文本和非文本的方向，布局和大小施加任何约束。此外，它还可以被训练来生成与格式、布局和内容相关的辅助标记。我们使用字符级词汇，从而使任何主题的语言和术语。该模型实现了一个新的国家的最先进的段落级识别的IAM数据集。当对真实世界的手写自由形式测试答案进行扫描时-被弯曲和倾斜的线条，图纸，表格，数学，化学和其他符号包围-它的性能优于所有商用HTR云API。它作为商业Web应用程序的一部分部署在生产中。
2022-06-26 cs.AI cs.CL cs.CV
Normalized vs Diplomatic Annotation: A Case Study of Automatic Information Extraction from Handwritten Uruguayan Birth Certificates
Université Paris-Saclay, ENS Paris-Saclay, CNRS, Centre Borelli, France（巴黎-萨克雷大学、巴黎-萨克雷高等师范学院、法国国家科学研究中心、Borelli中心，法国）；Facultad de Ingeniería, Universidad de la República, Montevideo, Uruguay（乌拉圭共和国大学工程学院，乌拉圭蒙特维多）；Digital Sense, Montevideo, Uruguay（蒙特维多Digital Sense公司，乌拉圭）；TEKLIA, Paris, France（巴黎TEKLIA公司，法国）；IMPA, Rio de Janeiro, Brasil（巴西里约热内卢IMPA研究所）；City University of Hong Kong, Hong Kong（香港城市大学）
本研究评估Document Attention Network (DAN)从西班牙语手写乌拉圭出生证明中提取键值信息，对比两种标注策略发现归一化标注适用于可标准化字段，忠实原文标注更适用于无法标准化的姓名字段。
2025-07-11 cs.AI cs.CV
Reading Order Independent Metrics for Information Extraction in Handwritten Documents
PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）；TEKLIA（TEKLIA公司）；Universitat de València（瓦伦西亚大学）
本文针对手写文档信息抽取评估指标易受阅读顺序错误影响的问题，提出并公开了一套与阅读顺序无关的评估指标，并通过实验分析推荐了正确评估任务所需的最小指标集合。
2024-04-29 cs.CV
Bench-Marking Information Extraction in Semi-Structured Historical Handwritten Records
National University of Singapore（新加坡国立大学）；Naver Labs（Naver实验室）；University of Rostock（罗斯托克大学）
在这份报告中，我们提出了我们的研究结果，从基准实验信息抽取的历史手写婚姻记录Esposalles从IEHHR - ICDAR 2017年强大的阅读比赛。信息抽取被建模为跨2组标签的序列的语义标记。这可以通过顺序地或联合地应用手写文本识别（HTR）和命名实体识别（NER）来实现。我们部署了一种管道方法，首先使用最先进的HTR，并将其输出用作NER的输入。我们表明，由于低资源设置和简单的结构的记录，高性能的HTR确保整体高性能。我们探讨了各种配置的条件随机场和神经网络基准NER给定一定的噪声输入。10倍交叉验证和盲测试数据的最佳模型使用具有双向长短期记忆的n-gram特征。
2018-07-17 cs.CL cs.CV
Weakly supervised information extraction from inscrutable handwritten document images
Google Research（谷歌研究院）
针对手写处方信息抽取受OCR错误、数据稀缺及标注成本高的问题，提出仅用弱标签定位药品行+合成数据训练的领域语言模型的弱监督方法，药品名抽取性能超现有最优方法2.5倍。
2023-06-12 cs.CL cs.CV
DAN: a Segmentation-free Document Attention Network for Handwritten Document Recognition
University of Rouen Normandy（鲁昂诺曼底大学）；Normandie Université（诺曼底大学）；INSA Rouen Normandy（鲁昂诺曼底国立应用科学学院）
无约束手写文本识别是一个具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合行分割，然后是文本行识别。我们首次提出了一种用于手写文档识别任务的端到端无分割架构：文档注意力网络。除了文本识别之外，该模型还被训练为以类似XML的方式使用开始和结束标记来标记文本部分。该模型由一个用于特征提取的FCN编码器和一个用于循环的逐令牌预测过程的Transformer解码器层堆栈组成。它将整个文本文档作为输入，并顺序输出字符以及逻辑布局标记。与现有的基于分割的方法相反，该模型在不使用任何分割标签的情况下进行训练。我们在READ 2016数据集上取得了页面水平和双页面水平的竞争结果，CER分别为3.43%和3.70%。我们还提供了RIMES 2009数据集在页面级别的结果，达到CER的4.54%。我们在https://github.com/FactoDeepLearning/DAN上提供所有源代码和预训练模型权重。
2022-12-13 cs.CV
A Classical Approach to Handcrafted Feature Extraction Techniques for Bangla Handwritten Digit Recognition
Hajee Mohammad Danesh Science and Technology University（哈吉·穆罕默德·达内什科技大学）
孟加拉语手写数字识别是孟加拉语OCR发展的重要一步。然而，孟加拉数字复杂的形状，结构相似性和独特的组成风格使其相对难以区分。因此，在本文中，我们对四种严格的分类器进行了基准测试，以识别孟加拉语手写数字：K最近邻（KNN），支持向量机（SVM），随机森林（RF）和基于三种手工特征提取技术的强制提升决策树（GBDT）：四个公开可用的孟加拉语手写数字数据集上的定向特征直方图（HOG），局部二进制模式（LBP）和Gabor滤波器：NumtaDB、CMARTdb、Ekush和BDRW。在这里，手工特征提取方法用于从数据集图像中提取特征，然后利用这些特征来训练机器学习分类器以识别孟加拉语手写数字。我们进一步微调了分类算法的超参数，以便从这些算法中获得最好的孟加拉语手写数字识别性能，并且在我们采用的所有模型中，HOG特征结合SVM模型（HOG+SVM）在所有数据集上获得了最佳性能指标。HOG+SVM方法在NumtaDB、CMARTdb、Ekush和BDRW数据集上的识别准确率分别达到93.32%、98.08%、95.68%和89.68%，并将模型性能与最新的最先进方法进行了比较。
2022-01-25 cs.CV cs.LG
Text Extraction and Restoration of Old Handwritten Documents
Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Indian Statistical Institute, Kolkata（印度统计研究所加尔各答分所）
图像复原是计算机视觉的一项重要任务。本文介绍了两种新的方法，用于恢复旧退化的手写文档使用深度神经网络。除此之外，还介绍了一个由26个遗产字母图像组成的小规模数据集。用于训练所需网络的地面实况数据是半自动生成的，涉及颜色变换、基于高斯混合模型的分割和使用数学形态学运算符的形状校正的实用组合。在第一种方法中，深度神经网络已被用于从文档图像中提取文本，并使用高斯混合建模完成了后来的背景重建。但是高斯混合建模需要手动设置参数，为了缓解这一点，我们提出了第二种方法，其中背景重建和前景提取（包括提取具有原始颜色的文本）都使用深度神经网络完成。实验表明，所提出的系统表现良好的手写文档图像与严重退化，即使在训练小数据集。因此，所提出的方法非常适合数字遗产保护库。值得一提的是，这些方法可以很容易地扩展到打印退化文档。
2020-01-23 cs.CV
Stroke extraction for offline handwritten mathematical expression recognition
School of Mathematics, Sun Yat-Sen University（中山大学数学学院）
由于缺乏时间信息，离线手写数学表达式识别通常被认为比在线识别困难得多。为了充分利用目前比较成熟的在线识别方法并节省资源，提出了一种基于过分割的文本位图笔划自动恢复方法。该算法首先将二值化图像的骨架分解为结点和线段，然后将线段合并形成笔画，最后利用递归投影和拓扑排序对笔画顺序进行规范化。与普通的在线识别器相结合，获得了良好的离线准确率，这不是专门为提取的笔画而设计的。给定一个现成的最先进的在线手写数学表达式识别器，所提出的过程分别正确识别了2014年，2016年和2019年在线手写数学表达式识别竞赛（CROHME）数据集的58.22%，65.65%和65.22%的离线公式。此外，给定一个可训练的在线识别系统，用提取的笔画对其进行再训练，可以得到具有相同准确度的离线识别器。另一方面，整个流水线的速度足够快，可以在资源有限的手机上进行设备识别。综上所述，笔划提取为构建光学字符识别软件提供了一种有吸引力的方法。
2020-01-16 cs.CV
Style Transfer and Extraction for the Handwritten Letters Using Deep Learning
Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）
我们如何使用深度神经网络学习、传输和提取手写风格？本文探讨了这些问题，使用深空调自动编码器的铁关闭手写数据集。我们进行了三个实验，系统地探讨我们的风格提取过程的质量。首先，我们使用多维性能指标将我们的模型与手写基准进行比较。其次，我们探讨风格转移的质量，即模型如何在新的、看不见的作家身上表现。在这两个实验中，我们通过大幅度提高了最先进方法的度量。最后，我们分析了我们的模型的潜在空间，我们看到它分离一致的写作风格。
2018-12-10 cs.CV cs.LG stat.ML
Muharaf: Manuscripts of Handwritten Arabic Dataset for Cursive Text Recognition
North Carolina State University（北卡罗来纳州立大学）；Holy Spirit University of Kaslik（卡斯利克圣灵大学）
本文提出包含超1600幅历史手写阿拉伯语页面图像的Muharaf数据集，涵盖多种文档类型与书写风格，并提供文本行坐标标注及卷积神经网络基线结果，以推进阿拉伯语及一般草书文本识别研究。
2025-02-04 cs.CV cs.LG
Boosting Modern and Historical Handwritten Text Recognition with Deformable Convolutions
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
自由布局页面中的手写文本识别（HTR）是一项具有挑战性的图像理解任务，可以为手写文档的数字化和内容的重用提供相关的推动。在处理历史文件时，由于写作风格的多变性和页面质量的下降，这项任务变得更具挑战性。现有技术的HTR方法通常将用于序列建模的递归结构与用于视觉特征提取的卷积神经网络耦合。由于卷积核是在固定网格上定义的，并且在输入图像上移动时独立地关注所有输入像素，因此这种策略忽略了这样一个事实，即即使在同一文档中，手写字符的形状、比例和方向也可能不同，并且墨水像素比背景像素更相关。为了应对这些特定的HTR困难，我们建议采用可变形卷积，它可以根据手头的输入变形，并更好地适应文本的几何变化。我们设计了两个可变形的架构，并在现代和历史数据集上进行了广泛的实验。实验结果证实了可变形卷积的HTR任务的适用性。
2022-08-17 cs.CV
Leveraging Deep Learning with Multi-Head Attention for Accurate Extraction of Medicine from Handwritten Prescriptions
GIFT University（吉夫特大学）；University of Engg. & Tech. Lahore（拉合尔工程技术大学）
针对手写处方药物名称提取困难的问题，提出结合Mask R-CNN分割与多头注意力增强的TrOCR转录方法，并在巴基斯坦手写处方数据集上实现1.4%的字符错误率。
2024-12-24 cs.CV cs.LG eess.IV
Neural Networks for Handwritten English Alphabet Recognition
Singhania University（辛格尼亚大学）；Kishan Institute of Engg. & Technology（基尚工程与技术学院）
本文演示了使用神经网络开发一个系统，可以识别手写英文字母。在这个系统中，每个英文字母表都由二进制值表示，这些二进制值被用作简单特征提取系统的输入，该系统的输出被馈送到我们的神经网络系统。
2012-05-17 cs.AI cs.CV
TMIXT: A process flow for Transcribing MIXed handwritten and machine-printed Text
Durham University（杜伦大学）；Newcastle University（纽卡斯尔大学）；Southern University of Science and Technology（南方科技大学）
处理大量文件在许多领域都非常重要，在犯罪调查和辩护领域也是如此，在这些领域，一个组织可能会收到大量需要在有限时间内处理的扫描文件。然而，这一问题因需要处理的扫描文件数量和页面复杂性而更加严重。通常包含许多不同的元素，每个元素都需要处理和理解。文本识别是该过程的主要任务，通常取决于文本的类型，是手写的还是机器打印的。因此，在决定要应用的识别方法之前，识别涉及文本类别的在先分类。如果文档同时包含手写和机器打印的文本，这就提出了一个更具挑战性的任务。在这项工作中，我们提出了一个通用的处理流程，在扫描文档中包含混合手写和机器打印的文本识别，而不需要提前分类文本。我们使用几个开源的图像处理和文本识别包1来实现所提出的过程流。该评估是使用本工作中提出的IAM手写数据库专门开发的变体进行的，对于包含印刷文本和手写文本的页面，我们实现了近80%的平均转录准确度。
2019-04-28 cs.CV cs.IR cs.LG
End-to-End Page-Level Assessment of Handwritten Text Recognition
PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；Valencian Graduate School and Research Network of Artificial Intelligence (valgrAI)（瓦伦西亚人工智能研究生院与研究网络（valgrAI））；U.I. for Computer Research, University of Alicante（阿利坎特大学计算机研究单元）
本文提出针对手写文本识别的端到端页面级双重评估方法，分别考量转录准确率与阅读顺序优劣，并证明仅用词错误率（WER）和词袋词错误率（bWER）即可有效评估识别与布局错误。
2023-05-21 cs.CV
Towards Robust Handwritten Text Recognition with On-the-fly User Participation
IIIT Hyderabad（海得拉巴国际信息技术学院）
长期OCR服务旨在以具有竞争力的成本向用户提供高质量的输出。由于用户加载的数据复杂，因此必须对模型进行升级。服务提供商通过基于数据复杂性、可读性和可用预算来奖励提供OCR模型失败的数据的用户。目前，OCR工作包括在标准数据集上准备模型，而不考虑最终用户。我们提出了一个战略，不断升级现有的手写印地语OCR模型三次15个用户的数据集。我们为每次迭代固定了4个用户的预算。对于第一次迭代，模型直接在前四个用户的数据集上进行训练。对于其余的迭代，所有剩余的用户每人写一个页面，服务提供商稍后分析这些页面，以根据对人类可读单词的预测质量选择4个（新的）最佳用户。选定的用户再写23页来升级模型。我们使用课程学习（CL）对当前迭代中可用的数据升级模型，并比较以前迭代中的子集。升级后的模型在所有23个用户的一个页面上进行测试。我们提供的见解，我们的调查CL的影响，用户选择，特别是从看不见的写作风格的数据。我们的工作可以用于服务提供商和最终用户的众包场景中的长期OCR服务。
2022-12-17 cs.CV
Transformer based Urdu Handwritten Text Optical Character Reader
FAST NUCES（巴基斯坦国立计算机与新兴科学大学）
手写体文本的提取是信息数字化和大规模应用的重要组成部分。手写光学字符阅读机（OCR）是计算机视觉和自然语言处理计算领域的一个研究课题，针对英语已经做了大量的工作，但遗憾的是，针对乌尔都语等低资源语言的工作却很少。乌尔都语脚本是非常困难的，因为它的草书性质和基于它的相对位置的字符形状的变化，因此，需要提出一个模型，可以理解复杂的功能，并概括为每一种手写风格。在这项工作中，我们提出了一个基于Transformer的乌尔都语手写文本提取模型。由于Transformers在自然语言理解任务中非常成功，我们进一步探索它们来理解复杂的乌尔都语手写体。
2022-06-09 cs.AI cs.CV cs.IR
Open Source Handwritten Text Recognition on Medieval Manuscripts using Mixed Models and Document-Specific Finetuning
University of Würzburg（维尔茨堡大学）；CIS, LMU Munich（慕尼黑大学信息与语言处理中心）
本文论述了实用和开源的手写文本识别（HTR）的任务，对德国中世纪手稿。我们报告了我们构建混合识别模型的努力，这些模型可以在没有任何进一步的特定于文档的训练的情况下开箱即用，但也可以作为微调的起点，通过在几页转录文本（地面实况）上训练一个新模型。为了对混合模型进行训练，我们收集了35篇论文和案例。12.5k文本行，用于两种广泛使用的手写风格，哥特式和Bastarda草书。在四个未见过的手稿上评估混合模型，平均字符出错率（CER）为6.22%。经过2页、4页和最终32页的训练后，CER分别下降到3.27%、2.58%和1.65%。虽然模型的域内识别和训练（Bastarda模型到Bastarda材料，Gothic到Gothic）毫无疑问产生了最好的结果，但将领域模型微调到看不见的脚本仍然优于从头开始训练。我们的新混合模型已公开提供给社区。
2022-01-19 cs.CV
VML-MOC: Segmenting a multiply oriented and curved handwritten text lines dataset
Ben-Gurion University（本-古里安大学）；Shamoon College of Engineering（沙蒙工程学院）
本文提出了一个自然的、非常复杂的手写文档数据集，即VML-MOC数据集。这些文字是多年来不同作家在页边空白处写的评论。它们出现在0到180之间的方向内的不同位置或以曲线形式出现。我们评估了一个多方向的高斯为基础的方法来分割这些手写文本行是倾斜或弯曲的任何方向。它在测试文档上实现了80.96%的平均像素交集。与单一方向的高斯文本行分割方法的结果进行了比较。
2021-01-19 cs.CV
Recognition of Handwritten Roman Script Using Tesseract Open source OCR Engine
Techno India College of Technology（Techno India 技术学院）；Jadavpur University（jadavpur 大学）
在目前的工作中，我们已经使用Tesseract 2.01开源光学字符识别（OCR）引擎下的Apache许可证2.0识别的手写样本的小写罗马脚本。从多个用户收集手写的孤立和自由流动的文本样本。Tesseract经过训练，可以识别这两类文档页面的用户特定手写样本。在一个单一的用户模型上，系统用1844个孤立的手写字符进行训练，并在1133个字符上进行测试。该系统的整体字符级的准确度为83.5%。系统未能分割5.56%的字符，错误分类10.94%的字符。
2010-03-30 cs.CV
Recognition of Handwritten MODI Numerals using Hu and Zernike features
手写体自动字符识别吸引了世界各国的研究人员，致力于自动字符识别领域的研究。形状识别和特征提取是任何字符识别系统中非常重要的部分，并且方法的成功高度依赖于特征的选择。然而，特征提取是尽可能精确和唯一地定义字符形状的最重要步骤。这确实是最重要的一步，也是最复杂的任务，并且通过使用不变性而取得了成功，而不管位置和方向。Zernike矩描述了形状，由于它的非线性特性，识别旋转不变量。MODI是印度的一种古老的手写体，具有草书和复杂的字符表示。本文介绍的工作效率Zernike矩Hus矩的手写MODI数字的自动识别。
2014-10-27 cs.CV
Offline Handwritten MODI Character Recognition Using HU, Zernike Moments and Zoning
HOCR的英文缩写是Handwritten光学字符识别。HOCR是从文档的数字图像中识别不同手写字符的过程。手写体字符自动识别吸引了国内外众多学者的研究，并将其作为手写体字符识别领域的研究热点。形状识别和特征提取是任何字符识别系统中非常重要的部分，并且方法的成功高度依赖于特征的选择。然而，特征提取是尽可能精确和唯一地定义字符形状的最重要步骤。这确实是最重要的一步，也是最复杂的任务，并且通过使用不变性而取得了成功，而不管位置和方向。Zernike矩描述了形状，由于它的非线性特性，识别旋转不变量。MODI是印度的一种古老的手写体，具有草书和复杂的字符表示。本文介绍的工作效率Zernike矩Hu 7矩与分区的手写MODI字符的自动识别。本文使用离线方法，因为MODI脚本非常流行，并广泛用于写作目的，直到19世纪才正式采用Devanagari。
2014-10-27 cs.CV
Large Scale Genealogical Information Extraction From Handwritten Quebec Parish Records
TEKLIA（TEKLIA公司）；Normandie University（诺曼底大学）；Université du Québec à Chicoutimi（魁北克大学希库蒂米分校）
提出从魁北克手写教区登记册中提取家谱信息的完整机器学习工作流，并在超200万页资料上验证其大规模处理有效性。
2023-04-27 cs.CV
Faster DAN: Multi-target Queries with Document Positional Encoding for End-to-end Handwritten Document Recognition
Conservatoire National des Arts et Métiers（法国国立工艺学院）；LITIS Laboratory（LITIS实验室）；Rouen University（鲁昂大学）；INSA of Rouen（鲁昂国立应用科学学院）
Faster DAN通过两步策略（先预测每行首字符，再并行完成所有行）加速端到端手写文档识别，在多个数据集上速度提升至少4倍且性能相当。
2023-01-25 cs.CV
Towards End-to-end Handwritten Document Recognition
LITIS（LITIS实验室）
手写文本识别由于其广泛的应用在过去的几十年中得到了广泛的研究。目前，最先进的方法包括三个步骤。文档被分割成文本行，然后进行排序和识别。然而，这种三步方法有许多缺点。这三个步骤是独立的，但它们是密切相关的。错误从一步到另一步累积。排序步骤是基于启发式规则，防止其用于具有复杂布局的文档或异构文档。需要额外的物理分割注释来训练分割阶段是这种方法所固有的。在本论文中，我们提出以端到端的方式执行整份文件的手写文字辨识，以解决这些问题。为了实现这一目标，我们逐渐增加识别任务的难度，从孤立的行到段落，然后到整个文档。我们提出了一种基于全卷积网络的行级方法，以便为手写识别任务设计第一个通用特征提取步骤。在此基础上，我们研究了两种不同的方法来识别手写段落。我们在RIMES 2011、IAM和READ 2016数据集上达到了段落级别的最新结果，并在这些数据集上超过了行级别的最新结果。我们最终提出了第一个端到端的方法，致力于在文档级别识别文本和布局。字符和布局标记按照学习的阅读顺序顺序进行预测。我们提出了两个新的指标，用于在RIMES 2009和READ 2016数据集上评估此任务，在页面级别和双页级别。
2022-10-20 cs.CV
Multi-Task Handwritten Document Layout Analysis
PRHLT Research Center（PRHLT研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
文档版面分析是手写文本处理系统中从文本行的提取到其所属区域类型的基本步骤。我们提出了一个系统的基础上，人工神经网络，它不仅能够确定存在于文档中的文本行的基线，但也进行几何和逻辑布局分析的文件。在三个不同的数据集上的实验证明了该方法的潜力，并显示出与最先进的方法相比具有竞争力的结果。
2018-12-12 cs.CV
GatedLexiconNet: A Comprehensive End-to-End Handwritten Paragraph Text Recognition System
Panjab University（旁遮普大学）；D.M. College（D.M.学院）；Department of Computer Science and Applications（计算机科学与应用系）
本研究提出端到端手写段落识别系统GatedLexiconNet，结合内部行分割、门控卷积编码器与注意力机制，并集成基于CTC的词束搜索解码器，在IAM、RIMES和READ-2016数据集上取得低错误率。
2024-04-22 cs.CV cs.LG
A New Approach for Arabic Handwritten Postal Addresses Recognition
National Engineering School of Sfax, University of Sfax（斯法克斯国立工程学院，斯法克斯大学）
本文提出了一种基于贝塔椭圆模型的阿拉伯手写邮政地址自动识别分析系统。我们的系统分为不同的步骤：分析，预处理和分类。第一个操作是图像的滤波。在第二，我们删除边界打印，邮票和图形。在定位信封上的地址之后，地址分段允许分别提取邮政编码和城市名称。预处理系统和建模方法基于两个基本步骤。第一步是在手写轨迹的图像中提取时间顺序。第二步是基于Beta-椭圆模型的手写体字符表示。识别系统基于图匹配算法。我们的建模和识别方法进行了验证，使用邮政编码和城市名称提取的突尼斯邮政信封数据。识别率达到98%左右。
2012-04-07 cs.CV
In Search of a Dataset for Handwritten Optical Music Recognition: Introducing MUSCIMA++
Charles University（查理大学）
光学音乐识别（OMR）长期以来一直没有足够的数据集和地面实况来评估OMR系统，这一直是建立该领域最先进技术的主要问题。此外，机器学习方法需要训练数据。我们分析了OMR处理管道如何以逐渐复杂的地面真值表示，并基于此分析，设计了手写音乐符号的MUSCIMA++数据集，解决了音乐符号识别和符号重建问题。MUSCIMA++数据集版本0.9包含140页手写音乐，其中包含91255个手动注释的符号和82261个明确标记的符号对之间的关系。该数据集允许单独和联合训练和评估符号分类、符号定位和符号图组装的模型。提供了开源工具来操作数据集，可视化数据和进一步注释，数据集本身在开放许可证下可用。
2017-03-14 cs.CV
SIMARA: a database for key-value information extraction from full pages
TEKLIA（TEKLIA公司）；LITIS, Normandy University（诺曼底大学LITIS实验室）；Archives nationales（法国国家档案馆）
本文构建SIMARA数据库，收录5,393份法国国家档案馆历史手写检索工具，以页面级七字段标注支持无分割键值信息抽取，并给出基于Transformer的端到端模型及训练、验证、测试划分。
2023-04-26 cs.CV cs.DB
Detecting Noteheads in Handwritten Scores with ConvNets and Bounding Box Regression
Charles University（查理大学）
记头是乐谱和音乐之间的接口。页面上的每个音符头表示要播放的一个音符，因此检测音符头是光学音乐识别不可避免的步骤。便签头是明显不同的对象，然而，乐谱手写的多样性使得便签头更难识别，并且虽然手写乐谱符号{ \em分类}是一项研究充分的任务，但是符号{ \em检测}通常限于分析和基于规则的系统，而不是更适合于处理手写中的不确定性的机器学习方法。我们目前正在进行的工作，一个简单的便签检测器，使用卷积神经网络的像素分类和限界框框回归，实现了检测f-分数为0.97的二进制得分图像的MUSCIMA++数据集，不需要人员删除，并适用于各种手写风格和音乐复杂程度。
2017-08-05 cs.CV
ExpertHTR: Unified Handwritten Text Recognition with Multi-Task Learning and Sparse Mixture-of-Experts
University of Information Technology, Ho Chi Minh City, Vietnam（胡志明市信息技术大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）；AJ Technologies, Nagoya, Japan（AJ科技公司）；RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（理化学研究所先进智能研究中心）
针对手写文本识别资源分散、联合训练困难的问题，提出统一框架ExpertHTR，利用互补监督和稀疏混合专家模型，在七个基准上多数超越通用系统并刷新IAM段落级纪录。
2026-09-14 cs.CV cs.LG
Modular Graph Extraction for Handwritten Circuit Diagram Images
RPTU（莱茵兰-普法尔茨技术大学（凯泽斯劳滕-兰道））；DFKI（德国人工智能研究中心）
本文提出一种在公开数据集上提取手绘电路图电气图的模块化端到端解决方案，通过评估目标检测、分割、字符识别等子任务并提出图组装与校正算法，形成新基线并集成于公开原型。
2024-02-16 cs.CV cs.LG
Invizo: Arabic Handwritten Document Optical Character Recognition Solution
Egypt-Japan University of Science and Technology（埃及-日本科学技术大学）
Invizo提出一种结合CNN特征提取与Transformer序列建模的端到端阿拉伯语OCR方案，可同时处理手写、印刷文本和数字，在检测与识别任务上均取得实用性能。
2025-02-07 cs.CV
Handwritten character recognition using some (anti)-diagonal structural features
Universidad de Vigo（维戈大学）；A. Razmadze Mathematical Institute of Tbilisi State University（第比利斯国立大学拉兹马泽数学研究所）；Tbilisi Centre for Mathematical Sciences（第比利斯数学科学中心）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）；Universidad de A Coruña（拉科鲁尼亚大学）
在本文中，我们提出了一种脱机手写字符识别的方法。所提出的方法依赖于一种新的特征提取技术的基础上的结构特征，直方图和配置文件。作为新颖性，我们提出了新的八个直方图和四个配置文件的$32\times 32$矩阵表示的字符，创建256维特征向量的提取。然后在使用$k$均值算法的分类步骤中采用这些特征向量。我们使用NIST数据库进行实验，以评估我们的建议。也就是说，使用1000个样本和64个类别对每个符号训练识别系统，并对每个符号测试500个样本。我们获得了有希望的准确性结果，从81.74%到93.75%不等，这取决于字符类别的难度，显示出比其他方法更好的准确性结果，也是基于结构特征的。
2018-02-14 cs.CV
Development of a Multi-User Recognition Engine for Handwritten Bangla Basic Characters and Digits
Techno India College of Technology（泰克诺印度技术学院）；Jadavpur University（贾达普大学）
本文的目的是识别手写样本的基本孟加拉语字符使用Tesseract开源光学字符识别（OCR）引擎在Apache许可证2.0。手写数据样本包含孤立的孟加拉语基本字符和数字收集不同的用户。Tesseract使用文档页面的用户特定数据样本进行训练，以生成表示唯一语言集的单独用户模型。每个这样的语言集识别从指定用户收集的孤立的基本孟加拉语手写测试样本。在一个三用户模型上，分别用919、928和648个孤立的手写字符和数字样本对系统进行训练，并分别在1527、14116和1279个字符和数字样本上测试系统的性能。用户特定的字符/数字识别的准确率分别为90.66%，91.66%和96.87%。该系统的总体基本字符级和数字级的准确率分别为92.15%和97.37%。在整个数据集上，系统未能分割12.33%的字符和15.96%的数字，并且错误地分类了7.85%的字符和2.63%的数字。
2010-03-30 cs.CV
Application of Statistical Features in Handwritten Devnagari Character Recognition
Meghnad Saha Institute of Technology（梅格纳德·萨哈技术学院）；Jadavpur University（贾达普大学）
本文提出了一种脱机手写Devnagari字符识别方案，该方案采用不同的特征提取方法和识别算法。拟议的系统假设没有限制的写作风格或大小。首先对字符进行预处理和特征提取，即：提取链码直方图和不变矩特征，并将其作为初步识别步骤输入多层感知器。最后，两个MLP的结果结合使用加权多数方案。该系统进行了测试，1500手写devnagari字符数据库收集来自不同的人。据观察，该系统实现了前5个结果的识别率为98.03%，前1个结果的识别率为89.46%。
2010-06-30 cs.CV
HAND: Hierarchical Attention Network for Multi-Scale Handwritten Document Recognition and Layout Analysis
École de Technologie Supérieure (ÉTS)（高等技术学院（ÉTS））
本文提出端到端无分割架构HAND，通过分层注意力、多尺度自适应处理及课程学习，同时实现手写文本识别与版面分析，在READ 2016上显著降低CER并保持紧凑模型规模。
2024-12-25 cs.CV cs.LG
A Dataset for the Recognition of Historical and Handwritten Music Scores in Western Notation
Computer Vision Center（计算机视觉中心）；Department of Computer Science（计算机科学系）；Department of Arts and Musicology（艺术与音乐学系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Moravian Library（摩拉维亚图书馆）
本文提出了一个包含1309页历史乐谱的数据库，用于训练光学音乐识别系统，该数据库提供了音乐XML转录和符号注释，是目前最大的手写音乐数据集，适用于训练和评估端到端和基于目标检测的OMR系统。
2026-05-18 cs.CV
Graph Neural Network based Handwritten Trajectories Recognition
Panjab University（旁遮普大学）；D.M. College（D.M.学院）；Department of Computer Science and Applications（计算机科学与应用系）
本研究首次提出将链码特征与图神经网络结合的手写轨迹识别方案，适配离线（经笔画顺序恢复）与在线手写场景，少量训练轮次即可降低错误率，性能优于现有方法。
2024-05-15 cs.CV cs.LG
Generative Adversarial Network for Handwritten Text
Zhejiang University（浙江大学）；Microsoft Cloud & AI（微软云与AI）
生成对抗网络（GANs）在图像处理的各种应用中已经证明是非常成功的。然而，由于卷积神经网络（CNN）难以处理连续的手写数据，手写生成对抗网络相对较少。在本文中，我们提出了一个手写生成对抗网络框架（HWGANs）合成手写笔画数据。新框架的主要特征包括：（i）一个由集成的CNN-长短期记忆（LSTM）为基础的特征提取与路径签名特征（PSF）作为输入和前馈神经网络（FNN）为基础的二进制分类器组成的分类器;（ii）一个循环潜在变量模型作为生成器，用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比，HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
A Skip-connected Multi-column Network for Isolated Handwritten Bangla Character and Digit recognition
Jalpaiguri Government Engineering College（贾尔派古里政府工程学院）；The Ohio State University（俄亥俄州立大学）；Jadavpur University（贾达普大学）
在光学字符识别中寻找手写字符和/或数字的局部不变模式是一项困难的任务。从一个人到另一个人的写作风格的变化使这项任务具有挑战性。本文提出了一种基于多尺度多列跳跃卷积神经网络的非显式特征提取方法。局部和全局特征提取的不同层次的建议架构相结合，以获得最终的特征描述符编码的字符或数字图像。我们的方法进行了评估四个公开的数据集孤立的手写孟加拉字符和数字。对当代方法的详尽的比较分析建立了我们所提出的方法的有效性。
2020-04-27 cs.CV
Uncovering the Handwritten Text in the Margins: End-to-end Handwritten Text Detection and Recognition
Uppsala University（乌普萨拉大学）
针对历史文献旁注识别标注数据稀缺问题，提出融合数据增强与迁移学习的端到端手写旁注检测识别框架，经乌普萨拉大学图书馆古籍数据验证有效，代码模型已开源。
2024-01-29 cs.CV
