OCR-Agent: Agentic OCR with Capability and Memory Reflection
Southwest Minzu University（西南民族大学）；AI Geeks
OCR-Agent通过能力反思和记忆反思机制，提升VLMs的推理鲁棒性，实现更稳定的答案质量改进。
2026-02-24 cs.CV
Reference-Based Post-OCR Processing with LLM for Precise Diacritic Text in Historical Document Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对历史变音符号文档OCR错误，提出利用电子书参考与LLM的后处理方法，生成高精度伪标签，平均评分8.72，优于现有模型，并公开数据集。
2025-02-27 cs.CL cs.CV
An End-to-End OCR Framework for Robust Arabic-Handwriting Recognition using a Novel Transformers-based Model and an Innovative 270 Million-Words Multi-Font Corpus of Classical Arabic with Diacritics
Helwan University（赫尔万大学）
这项研究是第二阶段，在一系列的调查，发展光学字符识别（OCR）的阿拉伯历史文件，并研究如何不同的建模程序与问题的相互作用。第一项研究研究了Transformers对我们定制的阿拉伯语数据集的影响。第一次研究的缺点之一是训练数据的大小，由于缺乏资源，我们的3000万张图像中只有15000张图像。此外，我们还添加了图像增强层、时间和空间优化以及后校正层，以帮助模型预测正确上下文的正确单词。值得注意的是，我们提出了一种端到端的文本识别方法，使用视觉Transformer作为编码器，即BEIT，并使用vanilla Transformer作为解码器，消除了用于特征提取的CNN，并降低了模型的复杂性。实验表明，我们的端到端模型优于卷积骨干。该模型获得了4.46%的CER。
2022-08-26 cs.CL cs.CV cs.LG
Evaluating LLMs for Historical Document OCR: A Methodological Framework for Digital Humanities
Italian Institute of Germanic Studies (IISG)（意大利德语研究学院）；University of Bologna（博洛尼亚大学）
针对历史文档OCR缺乏评估框架的问题，提出包含HCPR和AIR等新指标的评估方法，发现Gemini和Qwen模型优于传统OCR但存在过度历史化现象。
2025-10-08 cs.AI cs.CL cs.CV
Seeing Straight: Document Orientation Detection for Efficient OCR
本文提出OCR-Rotation-Bench基准，通过旋转变换的英文和多语言数据集评估OCR对图像旋转的鲁棒性，并展示基于Phi-3.5-Vision模型的轻量级旋转分类管道，提升OCR性能达14%至4倍。
2026-03-15 cs.CL cs.CV
OCR-EDR: Rendering-Aware Diagnosis and Repair for Closed-Loop OCR Improvement
WeChat Vision, Tencent（腾讯微信视觉）
提出OCR-EDR框架，构建OCRErrBench数据集与DocEDR模型，实现OCR错误的细粒度诊断与迭代修复，提升OCR在公式等场景的性能。
2026-09-04 cs.CV
A Cost Efficient Approach to Correct OCR Errors in Large Document Collections
Center for Visual Information Technology, IIIT Hyderabad（国际信息技术研究所海得拉巴分校视觉信息技术中心）
OCR的字出错率通常高于其字符出错率。当ocr是通过识别字符来设计的时候，情况尤其如此。高单词准确度对于诸如在数字图书馆和文本到语音应用程序中创建内容之类的任务至关重要。为了检测和纠正误识别的单词，ocr模块通常采用后处理器来进一步提高单词准确性。然而，传统的后处理方法，如查字典或使用统计语言模型（slm），仍然是有限的。在许多这样的场景中，通常需要手动删除未解决的错误。我们观察到，传统的后处理方案看错误字顺序，因为ocrs处理文件一次一个。我们提出了一个具有成本效益的模型，以解决错误的话在批次，而不是纠正他们个别。我们利用的事实是，一个文件的集合，不像一个单一的文件，有一个结构，导致重复的话。如果将这些词有效地组合在一起并作为一个整体进行校正，可以显著降低成本。校正可以是全自动的，也可以是人工的。为此，我们采用了一种新的聚类方案，以获得相当均匀的集群。我们将我们的模型的性能与各种基线方法进行了比较，包括所有错误都被人类删除的情况。我们证明了我们的解决方案的有效性，经验报告超过70%的人力减少与近乎完美的纠错。我们验证了我们的方法从多种语言的书籍。
2019-05-28 cs.CV
Text Detection Forgot About Document OCR
University of Oxford（牛津大学）
从扫描和其他图像中检测和识别文本，通常表示为光学字符识别（OCR），是一种广泛使用的自动化文档处理形式，具有许多可用的方法。然而，OCR系统仍然不能达到100%的准确性，在正确读出至关重要的应用中需要人工校正。机器学习的进步使文本检测和识别的“野外”更具挑战性的场景成为可能-例如从复杂场景的照片中检测物体上的文本。虽然用于野外文本识别的最先进的方法通常在复杂场景中进行评估，但它们在文档领域的性能通常没有公布，并且缺少与文档OCR方法的全面比较。本文比较了几种用于野外文本识别和文档文本识别的方法，并对它们在结构化文档领域的应用进行了评价。结果表明，最初提出的最先进的方法，在野生文本检测也取得了有竞争力的结果，对文档文本检测，优于现有的OCR方法。我们认为，文档OCR的应用不应该被忽略的文本检测和识别方法的评价。
2023-01-23 cs.CV
OCR4all -- An Open-Source Tool Providing a (Semi-)Automatic OCR Workflow for Historical Printings
University of Würzburg（维尔茨堡大学）；LMU Munich（慕尼黑大学）；University of Zurich（苏黎世大学）
历史印刷品的光学字符识别（OCR）是一项具有挑战性的任务，主要是由于布局的复杂性和高度变化的排版。然而，在过去的几年里，历史OCR领域取得了很大的进步，产生了几个强大的开源工具，用于预处理，布局识别和分割，字符识别和后处理。这些工具的缺点通常是它们对非技术用户（如人文学者）的适用性有限，特别是在工作流程中组合使用几种工具。在本文中，我们提出了一个名为OCR 4all的开源OCR软件，它将最先进的OCR组件和连续的模型训练结合到一个全面的工作流程中。一个舒适的GUI不仅允许在最终输出中进行错误纠正，而且还可以在早期阶段进行错误纠正，以最大限度地减少错误传播。此外，还提供了广泛的配置功能，以设置工作流程的自动化程度，并在必要时调整为特定打印精心选择的默认参数。实验表明，具有最少或没有经验的用户能够以可管理的努力和高质量捕获即使是最早的印刷书籍的文本，实现低于0.5%的优异的字符出错率（CER）。在19世纪小说上的全自动应用表明，如果有适当的预训练混合OCR模型，OCR 4all在中等布局上的表现可以大大超过商业最先进的工具ABBYY Finereader。OCR 4all的架构允许通过标准化接口（如PageXML）轻松集成（或替换）新开发的工具，从而实现历史打印的持续更高自动化。
2019-09-09 cs.CV
bbOCR: An Open-source Multi-domain OCR Pipeline for Bengali Documents
Brac University（布拉卡大学）；Apsis Solutions Limited（阿普西斯解决方案有限公司）
针对孟加拉语等低资源语言OCR工具与数据集匮乏的问题，研究团队提出开源多领域OCR系统bbOCR，依托新型识别模型与合成数据集实现文档结构化数字化，性能优于现有同类系统。
2023-08-22 cs.CV
When Do VLMs Help Arabic Manuscript OCR? A Cross-Dataset Study
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Northwestern University in Qatar（卡塔尔西北大学）；University of Doha for Science Technology（多哈科技大学）
本文通过跨8类阿拉伯语文本数据集的实验，探究VLMs对阿拉伯手稿OCR的助力场景，提出OCR先验可恢复性原则，支持构建自适应OCR-VLM工作流。
2026-08-25 cs.CV
Low-Resource Heuristics for Bahnaric Optical Character Recognition Improvement
Faculty of Computer Science and Engineering（计算机科学与工程学院）；Ho Chi Minh City University of Technology（胡志明市技术大学）
本研究提出低资源环境下提升巴纳里语OCR识别准确率的启发式方法，通过结合表格检测与概率后处理技术，使识别准确率从72.86%提升至79.26%。
2026-01-06 cs.CL cs.CV cs.LG
Telugu OCR Framework using Deep Learning
Stanford University（斯坦福大学）
在本文中，我们解决的任务，光学字符识别（OCR）的泰卢固语脚本。我们提出了一个端到端的框架，分割的文本图像，分类的字符和提取线使用的语言模型。分割是基于数学形态学。分类模块是三个模块中最具挑战性的任务，它是一个深度卷积神经网络。该语言被建模为一个三度马尔可夫链的水平。泰卢固语是一种复杂的音节文字，语言是粘着的，这使得问题很难解决。在本文中，我们应用神经网络的最新进展，以实现国家的最先进的错误率。我们还详细回顾了卷积神经网络，并阐述了使深度学习工作所需的许多技巧背后的统计理由。
2017-02-15 cs.AI cs.CV cs.LG
PolyOCR-Venus: Unified OCR Foundation Models for Text-Centric Visual Intelligence
Ant Group（蚂蚁集团）
PolyOCR提出统一OCR基础模型系列，结合共享指令框架、大规模数据引擎和能力引导策略优化，在多个基准上达到最先进性能。
2026-09-30 cs.AI cs.CV
Benchmarking OCR Pipelines with Adaptive Enhancement for Multi-Domain Retail Bill Digitization
Data Analytics Team Lead, JP Research India Pvt. Ltd.（JP Research India Pvt. Ltd. 数据分析团队负责人）；PhD Scholar, Business Analytics and Information Technology（Business Analytics and Information Technology 博士学者）
本文提出并评估了针对多领域零售票据数字化的智能、质量感知自适应OCR流水线，通过自监督去噪训练CNN图像增强模块，结合三层路由的图像质量分析和自信驱动的反馈循环，实现字符识别错误率降低26.4%、词错误率降低31.2%。
2026-04-28 cs.CV cs.LG
Reading or Reasoning? Format Decoupled Reinforcement Learning for Document OCR
Meituan（美团）
本文提出格式解耦强化学习方法，通过高熵模式优化提升文档OCR性能，在OmniDocBench上取得新记录。
2025-12-11 cs.AI cs.CL cs.CV
AiM: Taking Answers in Mind to Correct Chinese Cloze Tests in Educational Applications
Peking University（北京大学）；Tencent Cloud Xiaowei（腾讯云小微）；Xiaomi Group（小米集团）
为了自动纠正手写作业，传统的方法是使用OCR模型来识别字符并将其与答案进行比较。OCR模型在识别手写体汉字时容易产生混淆，并且在模型推理过程中答案的文本信息丢失。然而，老师们总是把这些答案记在脑子里，以便复习和批改作业。本文以汉语完形填空为研究对象，提出了一种多模态的批改方法。答案的编码表征与学生笔迹的视觉信息相互作用。我们不是预测“正确”或“错误”，而是对答案文本执行序列标记，以细粒度的方式推断答案字符与手写内容不同。我们采用OCR数据集作为正样本，并开发了一种负样本增强方法来扩大训练数据。实验结果表明，AiM优于基于OCR的方法的大幅度。大量的研究表明，我们的多模态方法的有效性。
2022-09-16 cs.CL cs.CV
OCR is All you need: Importing Multi-Modality into Image-based Defect Detection System
Institute of Data Science, National Cheng Kung University（成功大学数据科学学院）
针对自动光学检测中样本有限和光照变化等问题，提出基于OCR的外部模态引导框架OANet，通过融合图像与统计特征提升缺陷检测的召回率和鲁棒性。
2024-03-18 cs.AI cs.CV cs.LG
Profiling of OCR'ed Historical Texts Revisited
CIS, LMU（慕尼黑大学信息与语言处理中心）；Humboldt-Universität zu Berlin（柏林洪堡大学）
在没有地面实况的情况下，不可能自动确定OCR文本中OCR错误的确切频谱和发生率。然而，对于OCR历史打印的交互式后校正，具有可用的统计简档是非常有用的，该统计简档提供了对具有相关联频率的错误类别的估计，并且指出了已确认的错误和可疑的标记。Reffle（2013）中介绍的方法计算这样的配置文件，在专门的期望最大化（EM）过程中结合词汇，模式集和高级匹配技术。首先，Reffle（2013）中的方法不是自适应的：通过实际的后校正步骤获得的用户反馈不能用于计算细化的轮廓。我们介绍了一种变体的方法，是开放的自适应性，考虑到用户的校正步骤。这导致关于错误OCR标记的识别的更高精度。第二，在postcorrection经常发现新的历史模式，我们表明，添加新的历史模式的语言背景资源导致第二种改进，使更高的精度告诉历史拼写除了OCR错误。第三，Reffle（2013）中的方法没有积极使用无法在底层通道模型中解释的令牌。我们发现，将这些不可解释的标记添加到一组错误检测中会导致错误检测的召回率显着提高，同时提高精度。
2017-01-19 cs.CV cs.DL
Improving OCR using internal document redundancy
Université Paris-Saclay, ENS Paris-Saclay, Centre Borelli, Gif-sur-Yvette, France（巴黎-萨克雷大学、巴黎-萨克雷高等师范学院、Borelli中心，法国）；IIE, Facultad de Ingenería, Universidad de la República（国际经济学院、工程学院，乌拉圭）；City University of Hong Kong, Kowloon, Hong Kong（香港城市大学，九龙，香港）；Determinant France, Paris, France（法国Determinant公司，巴黎，法国）；Sadjad University, Mashhad, Iran（沙贾尔大学，马什哈德，伊朗）
针对现有OCR系统在低质量印刷文档识别中未充分利用文档内部冗余的问题，提出一种无监督方法，通过扩展高斯混合模型利用字符形状冗余修正OCR输出，在退化文档上实现了性能改进。
2025-08-20 cs.CV cs.LG eess.IV
Enhancement of Bengali OCR by Specialized Models and Advanced Techniques for Diverse Document Types
Apurba Technologies（阿普尔巴科技公司）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
该研究提出一种先进的孟加拉语OCR系统，通过专用分词模型和多种技术，实现多类型文档的准确文本提取与分析。
2024-02-07 cs.AI cs.CV cs.LG
The Devil is in the Details -- From OCR for Old Church Slavonic to Purely Visual Stemma Reconstruction
本文通过对比多种OCR系统，探讨OCR在处理18世纪手写教会斯拉夫语文本中的准确性，并引入基于图像处理的纯视觉谱系重建方法。
2026-04-13 cs.CV
Indonesian ID Card Extractor Using Optical Character Recognition and Natural Language Post-Processing
Telkom University（印尼电信大学）；Padjadjaran University（帕德贾贾兰大学）
信息技术的发展日益改变着信息交流的方式，导致了印刷文档数字化的需求。在当今时代，经常发生很多欺诈行为。为了避免账户欺诈，使用OCR和NLP提取身份证进行验证。光学字符识别（OCR）是一种从图像中生成文字的技术。使用OCR，我们可以提取印度尼西亚身份证或kartu tanda penduduk（KTP）到文本中。这是用来使服务操作员更容易做数据录入。为了提高准确率，我们使用自然语言处理（NLP）方法对文本进行文本校正。对于50张印尼身份证图像，我们得到了0.78的F分数，并且我们需要4510毫秒来提取每个身份证。
2020-12-15 cs.CV
Evaluating OCR Performance for Assistive Technology: Effects of Walking Speed, Camera Placement, and Camera Type
研究评估了在静态和动态条件下OCR性能，探讨行走速度、相机位置和类型对识别准确率的影响，发现行走速度和视角扩大会降低识别准确率，Google Vision表现最佳。
2026-03-22 cs.CV
Large Language Models for Simultaneous Named Entity Extraction and Spelling Correction
Best Path Research Inc.（最佳路径研究公司）；Money Forward Inc.（Money Forward公司）
本文研究在 OCR 日本店铺收据文本上同时抽取命名实体并纠正拼写错误，微调八个开源 LLM 与两个 BERT 基线，发现最佳 LLM 性能相当且可纠正部分 OCR 错误。
2024-03-01 cs.CL cs.CV
EfficientOCR: An Extensible, Open-Source Package for Efficiently Digitizing World Knowledge
Harvard University（哈佛大学）；National Bureau of Economic Research（美国国家经济研究局）
EffOCR通过将OCR建模为字符级图像检索问题，替代序列到序列架构，实现了低成本、样本高效的数字化，成功处理2000万份历史报纸及日文文档。
2023-10-16 cs.CL cs.CV econ.GN
Practical Fine-Tuning of Autoregressive Models on Limited Handwritten Texts
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）
本文研究OCR模型在有限手写文本上的渐进微调，证明仅需16行即可启动并显著降低CER，且通过置信度选择可削减一半标注成本。
2025-03-25 cs.CV
A Multi-Stage Framework for Kuzushiji Character Recognition in Japanese Historical Documents
Kyoto University（京都大学）
针对印章干扰导致久世文字符识别性能下降的问题，提出一种结合文档修复和合成数据增强的抗印章干扰框架，在真实和合成测试集上分别降低字符错误率39.7%和50.1%。
2026-09-28 cs.CV
Document Rectification and Illumination Correction using a Patch-based CNN
Hong Kong UST（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
我们提出了一种新的学习方法来纠正文档图像从一个单一的输入图像的各种失真类型。与以前的基于学习的方法相反，我们的方法旨在首先学习输入图像块而不是整个图像上的失真流。然后，我们提出了一个强大的技术来缝合修补程序的结果到纠正的文件，通过在梯度域中的处理。此外，我们提出了第二个网络来纠正不均匀的照明，进一步提高可读性和OCR精度。由于较小的图像块上存在较不复杂的失真，我们的基于块的方法，然后拼接和照明校正可以显着提高合成和真实数据集的整体精度。
2019-09-20 cs.CV
PreP-OCR: A Complete Pipeline for Document Image Restoration and Enhanced OCR Accuracy
University College Dublin（都柏林大学）；Trinity College Dublin（都柏林三一学院）；University of Toronto（多伦多大学）；Shanghai University（上海大学）
本文提出两阶段流水线PreP-OCR，结合合成数据训练的图像修复模型与微调的ByT5后校正模型处理退化历史文档，实验证明其可大幅降低字符错误率，助力历史档案数字化。
2025-05-28 cs.CL cs.CV
Key Information Extraction in Purchase Documents using Deep Learning and Rule-based Corrections
NielsenIQ Spain（尼尔森IQ西班牙公司）
近年来，深度学习（Deep Learning，DL）在自然语言处理（Natural Language Processing，NLP）和计算机视觉（Computer Vision，CV）领域占据主导地位。然而，深度学习通常依赖于大数据注释的可用性，因此其他替代或补充的基于模式的技术可以帮助改进结果。在本文中，我们建立在关键信息抽取（KIE）在采购文件使用DL和基于规则的更正。我们的系统最初信任基于实体标记的光学字符识别（OCR）和文本理解来识别感兴趣的购买事实（例如，产品代码、描述、数量或价格）。这些事实，然后链接到同一个产品组，这是通过线检测和一些分组算法识别。一旦这些DL方法被处理，我们贡献了几个机制，包括基于规则的校正，以提高基线DL预测。我们证明了这些基于规则的校正提供的增强功能，在所提出的实验中，从公共和NielsenIQ数据集的购买文件的基线DL结果。
2022-10-07 cs.CV
UTRNet: High-Resolution Urdu Text Recognition In Printed Documents
Indian Institute of Technology Delhi（德里印度理工学院）
针对印刷乌尔都语文字识别的难点与数据不足问题，提出混合CNN-RNN模型UTRNet，构建并修正相关数据集，开发端到端在线OCR工具，达到当前最优性能并推动领域研究。
2023-08-23 cs.AI cs.CV cs.LG
DocTr: Document Image Transformer for Geometric Unwarping and Illumination Correction
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在这项工作中，我们提出了一个新的框架，称为文档图像Transformer（DocTr），以解决问题的几何形状和照明失真的文档图像。具体而言，DocTr由几何展开Transformer和照明校正Transformer组成。通过设置一组学习的查询嵌入，几何解扭曲Transformer通过自注意力机制捕获文档图像的全局上下文，并解码逐像素位移解以校正几何失真。在几何解扭曲之后，我们的光照校正Transformer进一步去除阴影伪影，以提高视觉质量和OCR准确性。对几个数据集进行了广泛的评估，并报告了与最先进方法相比的优越结果。值得注意的是，我们的DocTr实现了20.02%的字符出错率（CER），比最先进的方法有15%的绝对改进。此外，它还显示了高效率的运行时间和参数计数。结果将在https://github.com/fh2019ustc/DocTr上提供，以供进一步比较。
2022-10-08 cs.CV
Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study
本研究通过合成退化条件和真实扫描图像，系统评估了10种OCR系统在天城文（印地语）上的表现，发现专用OCR-VLM在退化条件下最脆弱，真实扫描性能远低于合成文本，并提出了错误分类和后纠正方法。
2026-06-28 cs.CL cs.CV
ChartLens: A Dual-Branch Framework for Chart Data Correction and Factual Summary Refinement
Shandong University（山东大学）；Southeast University（东南大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出ChartLens双分支框架，通过结构感知CSV验证校正和文本保留引导的摘要精炼，提升图表数据恢复与摘要事实性，在DataMFM挑战赛Track 2中获第一。
2026-06-09 cs.CV
Handwritten Code Recognition for Pen-and-Paper CS Education
Stanford University（斯坦福大学）；GNCode
针对纸笔CS教育中手写代码识别难的问题，提出结合OCR、缩进识别模块与低幻觉纠错语言模型的方法（错误率从30%降至5%）及端到端多模态识别方案，并发布手写代码数据集。
2024-08-07 cs.AI cs.CV cs.CY
When VLMs 'Fix' Students: Identifying and Penalizing Over-Correction in the Evaluation of Multi-line Handwritten Math OCR
Electronics and Telecommunications Research Institute（电子通信研究所）
针对多行手写数学OCR评估中VLM过度修正问题，提出基于LLM的语义评估指标PINK，有效惩罚过度修正，在FERMAT数据集上优于BLEU。
2026-05-26 cs.AI cs.CV cs.CY
Vision Language Models Are Not (Yet) Spelling Correctors
MBZUAI；Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）
本文提出首个真实场景视觉拼写纠正基准 ReViCo，系统评估中英文 VLMs 的纠正能力，发现现有模型远逊于人类，并通过联合 OCR-纠正流水线与背景信息增强两种方法实现性能提升。
2025-09-22 cs.CL cs.CV
A Statistical Model for Simultaneous Template Estimation, Bias Correction, and Registration of 3D Brain Images
University of Copenhagen（哥本哈根大学）；Biomediq A/S；Lundbeck（灵北）
模板估计在计算解剖学中发挥着至关重要的作用，因为它为对基础解剖群体变异性进行统计分析提供了参考系。在构建模板估计模型时，需要考虑站点和图像采集协议的可变性。为了解释这种可变性，我们提出了一个生成模板估计模型，该模型可以同时推断单个图像中的两个偏置场，图像配准的变形和方差超参数。相比之下，现有的基于最大后验概率的方法需要依赖于偏置不变的相似性度量或鲁棒的图像归一化。合成和真实脑MRI图像的结果表明，该模型能够捕获强度的异质性，并提供一个可靠的模板估计注册。
2017-05-01 cs.CV
