synthocr-gen: A synthetic ocr dataset generator for low-resource languages- breaking the data barrier
SynthOCR-Gen通过生成低资源语言OCR数据集,解决OCR开发中的数据瓶颈问题,为视觉-语言AI模型的普及提供实用路径。
2026-01-22 cs.CL cs.CV
Persian Pixel: A large-scale synthetic OCR dataset for Persian language
研究针对波斯语OCR不太成熟的问题,介绍波斯像素数据集。该数据集用SynthOCR - Gen框架从波斯语料库生成超34.3万个图像文本对,经多种退化模型增强,为训练OCR架构提供资源,推动波斯语OCR发展。
2026-07-23 cs.AI cs.CV
Improving Handwritten OCR with Training Samples Generated by Glyph Conditional Denoising Diffusion Probabilistic Model
Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
本文提出以印刷字形为条件的去噪扩散概率模型生成手写训练样本,并通过渐进式数据过滤策略筛选可靠样本,在IAM基准上将手写OCR相对词错误率降低约45%。
2023-05-31 cs.CV
UniLipi: A Unified Multi-Script OCR for Historical Indic Manuscripts
International Institute of Information Technology Hyderabad(国际信息技术研究所海得拉巴分校);Gitam(吉塔姆大学)
UniLipi是面向印度历史手稿的统一多脚本OCR模型,可处理复杂手稿场景,利用合成数据减少真实标注依赖,还可作为基础模型适配多类脚本,支持手稿编目。
2026-08-31 cs.CV
Detection Masking for Improved OCR on Noisy Documents
IBM Research(IBM研究院)
光学字符识别(OCR)是从扫描文档中提取文本信息的任务,是数字化和索引物理文档的重要和广泛使用的技术。现有技术对于干净的文档表现良好,但是当文档在视觉上降级时,或者当存在非文本元素时,OCR质量可能会受到很大影响,特别是由于错误的检测。在本文中,我们提出了一种改进的检测网络与掩蔽系统,以提高质量的OCR文件上执行。通过从图像中过滤非文本元素,我们可以利用文档级OCR来合并上下文信息,以改善OCR结果。我们对一个公开的数据集进行了统一的评估,证明了我们的方法的实用性和广泛的适用性。此外,我们还展示并公开了我们的合成数据集,其中包含一个独特的硬阴性组件,专门用于改善检测结果,并评估使用该组件可以获得的好处
2022-05-17 cs.CV
600k-ks-ocr: a large-scale synthetic dataset for optical character recognition in kashmiri script
Independent Researcher(独立研究者)
600K-KS-OCR数据集通过大规模合成图像和多种格式转录,为克什米尔语的光学字符识别研究提供低资源语言支持。
2026-01-03 cs.CL cs.CV
Cross-Lingual SynthDocs: A Large-Scale Synthetic Corpus for Any to Arabic OCR and Document Understanding
本文提出大规模合成语料库 Cross-Lingual SynthDocs,通过真实扫描背景、双语版面与变音符号感知字体构建超 250 万样本,微调 Qwen-2.5-VL 后在阿拉伯语 OCR 和文档理解多项指标上取得一致提升。
2025-11-01 cs.CL cs.CV
Transferring General Multimodal Pretrained Models to Text Recognition
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出了一种新的方法,OFA-OCR,将多模态预训练模型转换为文本识别。具体来说,我们将文本识别重新转换为图像描述,并直接将统一的视觉语言预训练模型转移到最终任务。在没有对大规模注释或合成文本识别数据进行预训练的情况下,OFA-OCR的性能优于基线,并在中文文本识别基准测试中达到了最先进的性能。此外,我们还使用OFA-OCR构建了一个OCR管道,并证明它可以通过产品级API实现具有竞争力的性能。代码(https://github.com/OFA-Sys/OFA)和演示(https://modelscope.cn/studios/damo/ofa_ocr_pipeline/summary)是公开的。
2022-12-19 cs.CV
Efficient, Lexicon-Free OCR using Deep Learning
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
与流行的看法相反,当文本出现在不受约束的环境中时,光学字符识别(OCR)仍然是一个具有挑战性的问题,如自然场景,由于几何失真,复杂的背景和多样化的字体。在本文中,我们提出了一个无分割的OCR系统,结合了深度学习方法,合成训练数据生成和数据增强技术。我们使用大型文本语料库和超过2000种字体渲染合成训练数据。为了模拟文本发生在复杂的自然场景中,我们增加提取的样本与几何失真,并提出了一个数据增强技术-阿尔法合成与背景纹理。我们的模型采用卷积神经网络编码器从文本图像中提取特征。受神经机器翻译和语言建模的最新进展的启发,我们研究了递归神经网络和卷积神经网络在建模输入元素之间的相互作用方面的能力。
2019-06-05 cs.CV cs.LG
bbOCR: An Open-source Multi-domain OCR Pipeline for Bengali Documents
Brac University(布拉卡大学);Apsis Solutions Limited(阿普西斯解决方案有限公司)
针对孟加拉语等低资源语言OCR工具与数据集匮乏的问题,研究团队提出开源多领域OCR系统bbOCR,依托新型识别模型与合成数据集实现文档结构化数字化,性能优于现有同类系统。
2023-08-22 cs.CV
A Multi-Stage Framework for Kuzushiji Character Recognition in Japanese Historical Documents
Kyoto University(京都大学)
针对印章干扰导致久世文字符识别性能下降的问题,提出一种结合文档修复和合成数据增强的抗印章干扰框架,在真实和合成测试集上分别降低字符错误率39.7%和50.1%。
2026-09-28 cs.CV
An Empirical Study of Scaling Law for OCR
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
该研究首次探究OCR领域的缩放定律,验证了性能与模型、数据规模的幂律关系,构建了含2400万样本的REBU-Syn数据集,训练的场景文本识别模型在6个基准上达97.42%的SOTA准确率。
2024-01-31 cs.CV
Post-OCR Paragraph Recognition by Graph Convolutional Networks
Google Research(谷歌研究院)
本文提出了一种基于空间图卷积网络(GCN)的OCR文本框段落识别方法。通过行分割和行聚类两个步骤从OCR结果中提取段落。每一步都使用由边界框构建的beta骨架图,其中图形边缘为图形卷积操作提供有效支持。由于只有纯布局输入特征,GCN模型的大小比基于R-CNN的模型小3~4个数量级,同时在PubLayNet和其他数据集上实现了相当或更好的准确性。此外,GCN模型表现出良好的泛化能力,从合成的训练数据到真实世界的图像,以及良好的适应性,为可变的文档风格。
2022-11-15 cs.CV cs.LG
RoundTripOCR: A Data Generation Technique for Enhancing Post-OCR Error Correction in Low-Resource Devanagari Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对低资源天城文语言OCR后纠错数据稀缺问题,提出RoundTripOCR合成数据生成技术,并发布六种语言数据集,利用预训练变换器模型将OCR错误视为误译进行纠正。
2025-02-23 cs.CL cs.CV
PILOT: A Promptable Interleaved Layout-aware OCR Transformer
univ-rouen(鲁昂大学);LITIS(LITIS研究所);Malakoff Humanis(马拉科夫人类研究所)
PILOT提出一种统一的OCR模型,通过交错布局感知和提示条件生成,实现手写和印刷文档的文本识别与空间定位,优于传统OCR和端到端HTR模型。
2026-04-17 cs.CV
Exploring Light-Weight Object Recognition for Real-Time Document Detection
Federal University of Paraná(巴西南里奥格兰德联邦大学);unico - idTech
针对实时文档检测,本文改编IWPOD-Net并训练于合成数据集,提出轻量级方案,在保证OCR质量的同时实现更小模型和更高效率。
2025-09-07 cs.CV
Scaling State-Space Models from Lines to Paragraphs: An Ablation of Mamba-based OCR
LITIS EA4108, University of Rouen Normandy(鲁昂大学LITIS EA4108实验室);LITIS EA4108, INSA of Rouen Normandy(鲁昂国立应用科学学院LITIS EA4108实验室)
研究Mamba状态空间模型在OCR中从行到段落的缩放行为,发现循环状态维度和扩展因子是关键超参数,SSM在合成数据上速度更快但精度相当,在真实手写数据上因数据稀缺而落后于Transformer。
2026-06-23 cs.CV
When Do VLMs Help Arabic Manuscript OCR? A Cross-Dataset Study
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Northwestern University in Qatar(卡塔尔西北大学);University of Doha for Science Technology(多哈科技大学)
本文通过跨8类阿拉伯语文本数据集的实验,探究VLMs对阿拉伯手稿OCR的助力场景,提出OCR先验可恢复性原则,支持构建自适应OCR-VLM工作流。
2026-08-25 cs.CV
State of the Art Optical Character Recognition of 19th Century Fraktur Scripts using Open Source Engines
University of Würzburg(维尔茨堡大学)
在本文中,我们评估光学字符识别(OCR)的19世纪的Fraktur脚本没有使用混合模型,即模型训练识别各种字体和排版从以前看不见的来源。我们描述了强大的混合OCR模型的训练过程,并将其与流行的开源引擎OCRopus和Tesseract以及最先进的商业系统ABBYY的免费模型进行比较。为了进行评估,我们使用了来自19世纪书籍、期刊和词典的各种看不见的数据。实验结果表明,用真实数据训练混合模型优于用合成数据训练,新的OCR引擎Calamari明显优于其他引擎,平均将ABBYY字符出错率(CER)降低了70%以上,平均CER低于1%。
2018-10-08 cs.CV
Baseer: A Vision-Language Model for Arabic Document-to-Markdown OCR
本文提出Baseer,一个针对阿拉伯语文档OCR微调的视觉语言模型,利用合成与真实数据及解码器微调,在Misraj-DocOCR基准上达到0.25的WER,超越现有方案,树立新最先进水平。
2025-09-17 cs.CL cs.CV
Multilingual OCR-Aware Fine-Tuning and Prompt-Guided Chain-of-Thought Reasoning for Multimodal Large Language Models
Meta AI;UT Austin(德克萨斯大学奥斯汀分校)
提出一种多语言OCR感知的多模态训练框架,通过合成数据生成、OCR感知微调和结构化视觉链式思维提示,提升多模态大语言模型在复杂视觉条件下的OCR完整性和多语言翻译准确性。
2026-08-13 cs.CL cs.CV cs.LG
HalalBench: A Multilingual OCR Benchmark for Food Packaging Ingredient Extraction
HalalLens Research(HalalLens研究)
本文提出HalalBench,首个多语言食品包装OCR基准,包含1043张图像和36438个标注,评估四种引擎并验证发现,通过后处理算法提升36%F1值,通过HalalLens验证。
2026-02-19 cs.CL cs.CV
QARI-OCR: High-Fidelity Arabic Text Recognition through Multimodal Large Language Model Adaptation
NAMAA;KAND CA Corp.;Prince Sultan University
本文提出Qari-OCR系列模型,通过基于Qwen2-VL-2B-Instruct的迭代微调,在阿拉伯语OCR中取得开源最优性能,显著提升对变音符号、多样字体及低分辨率图像的处理能力。
2025-06-02 cs.AI cs.CV
olmOCR 2: Unit Test Rewards for Document OCR
Allen Institute for AI(艾伦人工智能研究所)
该研究推出olmOCR 2文档OCR系统,基于带二元单元测试可验证奖励的强化学习训练7B参数专用视觉语言模型,通过合成文档生成流程扩展测试用例,在英文OCR基准上取得SOTA性能,尤其在公式、表格和多栏布局上提升显著,并开源相关资源。
2025-10-22 cs.CL cs.CV
Seeing Straight: Document Orientation Detection for Efficient OCR
本文提出OCR-Rotation-Bench基准,通过旋转变换的英文和多语言数据集评估OCR对图像旋转的鲁棒性,并展示基于Phi-3.5-Vision模型的轻量级旋转分类管道,提升OCR性能达14%至4倍。
2026-03-15 cs.CL cs.CV
Implicit Language Model in LSTM for OCR
Information Sciences Institute(信息科学研究所);University of Southern California(南加利福尼亚大学)
神经网络已经成为OCR的首选技术,但它们如何以及为什么提供卓越性能的许多方面仍然是未知的。使用LSTM的当前神经网络技术与先前最先进的HMM系统之间的一个关键区别在于HMM系统具有强独立性假设。相比之下,LSTM对在解码期间可以考虑的上下文的量没有明确的约束。在本文中,我们表明,他们学习一个隐式LM,并试图在等价的n-gram上下文来表征LM的强度。我们表明,与随机字符(即非自然发生的序列)的测试集相比,这种隐式学习的语言模型在我们的合成测试集上提供了2.4\%的CER改进,并且LSTM学习使用多达5个字符的上下文(在我们的配置中大约是88帧)。我们相信这是首次尝试在基于LSTM的OCR系统中表征隐式LM的强度。
2018-05-23 cs.CV cs.LG
Towards Deployable OCR models for Indic languages
International Institute of Information Technology(国际信息技术学院);CVIT(计算机视觉与图像技术中心)
本研究针对13种印度语系语言,基于CTC技术对多种神经网络OCR模型进行实证评估,并发布包含超120万张标注图像的Mozhi数据集,其端到端流水线在8种语言上优于现有公开OCR工具。
2024-12-18 cs.CL cs.CV
Jina-OCR-v1: Efficient Document Parsing with Speculative Decoding and Dense Verifiable Rewards
Jina AI(金纳人工智能)
Jina-OCR-v1是专为低预算GPU设计的端到端文档解析模型,结合DeepSeek-OCR的编码器与解码器,采用FastMTP推测解码和密集可验证奖励训练,在多个基准上取得优异性能且解码速度提升显著。
2026-09-04 cs.CL cs.CV
Seeing the Signs: A Survey of Edge-Deployable OCR Models for Billboard Visibility Analysis
本研究针对户外广告牌文本可见性验证问题,系统评测了Qwen 2.5 VL 3B等VLMs与PaddleOCRv4在天气干扰数据集上的表现,发现轻量级CNN在边缘部署中仍具优势,并公开了基准与代码。
2025-07-15 cs.AI cs.CV
Combining OCR Models for Reading Early Modern Printed Books
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);University of Mainz(美因茨大学);University of Graz(格拉茨大学)
本文研究细粒度字体识别在15至18世纪印刷书籍OCR中的应用,提出结合多个字体识别模型输出的系统,显著提升了多字体和单字体文本行的识别性能。
2023-05-11 cs.CV
Digitization of Document and Information Extraction using OCR
RV College of Engineering(RV工程学院)
针对混合格式文档的信息抽取需求,提出融合OCR与LLM的文本抽取框架,结合布局感知处理与LLM语义分析生成结构化结果,经多维度OCR工具对比验证,该方法优于传统规则与模板方法,提升了跨文档类别的抽取灵活性与语义精度。
2025-06-11 cs.CV cs.IR
Comparative analysis of optical character recognition methods for Sámi texts from the National Library of Norway
National Library of Norway(挪威国家图书馆);The Arctic University of Norway(挪威北极大学)
针对挪威国家图书馆馆藏萨米语文档OCR准确率不足的问题,本研究微调并对比了三种OCR方法,验证了微调预训练模型结合多源标注补充可在中等人工数据量下实现萨米语高精度OCR。
2025-01-13 cs.CL cs.CV
PorTEXTO: A European Portuguese Benchmark for Visual Text Extraction
NOVA School of Science and Technology(NOVA科学与技术学校);NOVA LINCS
提出PorTEXTO,首个针对现代欧洲葡萄牙语视觉文本提取的基准,通过结合前沿LVLM转录和母语者审核构建,发现合成到真实样本性能显著下降,多语言数据比模型规模更关键。
2026-09-15 cs.CV
DDI-100: Dataset for Text Detection and Recognition
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
如今,文档分析和识别仍然是具有挑战性的任务。然而,只有少数数据集设计的文本检测(TD)和光学字符识别(OCR)的问题存在。在本文中,我们提出了失真的文档图像数据集(DDI-100),并证明了它的有用性,在广泛的文档分析问题。DDI-100数据集是一个基于7000个真实独特文档页面的合成数据集,由超过100000个增强图像组成。地面实况包括文本和图章掩码、文本和字符边界框以及相关注释。DDI-100数据集的验证使用了几个TD和OCR模型,这些模型在真实数据上表现出高质量的性能。
2019-12-25 cs.CV
Designing Production-Scale OCR for India: Multilingual and Domain-Specific Systems
Krutrim AI
本文提出两种多语言OCR训练策略,通过Chitrapathak系列在印度多语言文档中实现SOTA性能,并展示了Parichay在政府文档中的高效提取能力。
2026-02-18 cs.AI cs.CV
Guidelines for External Disturbance Factors in the Use of OCR in Real-World Environments
National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院);NEC Corporation(日本电气株式会社);Ricoh Co., Ltd.(理光株式会社);Fujitsu Limited(富士通株式会社);Toshiba Digital Solutions Corporation(东芝数字解决方案公司)
针对OCR在真实环境中因外部干扰导致性能下降的问题,本文整理了外部干扰因素表及其使用方法,形成指南,以帮助用户正确使用OCR并提升识别质量。
2025-04-21 cs.AI cs.CV
BusiNet -- a Light and Fast Text Detection Network for Business Documents
IBM Research - Haifa(IBM研究院(海法));IBM Research - Zurich(IBM研究院(苏黎世))
对于数字化或索引物理文档,光学字符识别(OCR),即从扫描文档中提取文本信息的过程,是一项至关重要的技术。当文档在视觉上受损或包含非文本元素时,现有技术可能会产生较差的结果,因为错误的检测结果可能会极大地影响OCR的质量。在本文中,我们提出了一个检测网络称为BusiNet,旨在OCR的业务文件。业务文档通常包括敏感信息,因此无法将其上传到云服务以进行OCR。BusiNet被设计为快速和轻便,因此它可以在本地运行,防止隐私问题。此外,BusiNet是使用专门的合成数据集来处理扫描文档损坏和噪声的。通过采用对抗性训练策略,该模型对看不见的噪声具有鲁棒性。我们对公开的数据集进行了评估,证明了我们的模型的有用性和广泛的适用性。
2022-07-04 cs.AI cs.CV
MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios
Kling Team(Kling团队);PKU(北京大学);THU(清华大学);CASIA(中国科学院自动化研究所);CUHKSZ(香港科技大学);NTU(国立台湾大学);NJU(南京大学);XJTU(吉林大学)
本文推出MME-VideoOCR视频OCR基准,评估18个最先进MLLMs的视频OCR能力,发现现有模型在需视频整体理解的任务中表现有限,最优模型准确率仅73.7%,明确了高分辨率输入等对视频OCR的重要性。
2026-08-18 cs.CV
Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Gianforte School of Computing(吉安福特计算学院);Montana State University Bozeman(蒙大拿州立大学博兹曼分校)
本文系统比较了基于视觉的ColPali与基于OCR的Llama 3.2和Nougat文档检索RAG系统,发现视觉方法在微调文档上表现好但泛化弱,OCR方法泛化更强,并为生产环境选型提供实用指导。
2025-05-08 cs.AI cs.CV
A BLSTM Network for Printed Bengali OCR System with High Accuracy
Society for Natural Language Technology Research(自然语言技术研究协会);Techno India University(Techno印度大学)
本文介绍了一个打印孟加拉语和英语文本OCR系统,我们使用一个单一的隐藏BLSTM-CTC架构有128个单元。在这里,我们没有在BLSTM中使用任何窥视孔连接和辍学,这有助于我们获得更好的准确性。这个架构由47,720个文本行训练,其中也包括英语单词。当测试超过20种不同的孟加拉字体时,它产生了99.32%的字符级准确率和96.65%的单词级准确率。一个很好的印度多脚本OCR系统也是由谷歌开发的。它有时会将孟加拉语的字符识别为非孟加拉语脚本的相同字符,特别是阿萨姆语,除了少数字符外,阿萨姆语与孟加拉语没有区别。例如,孟加拉语的“RA”有时被认为是阿萨姆语的,主要是在联合辅音形式中。我们的OCR没有此类错误。此OCR系统可在https://banglaocr.nltr.org上在线获得
2019-08-23 cs.CL cs.CV cs.LG
Arabic-Nougat: Fine-Tuning Vision Transformers for Arabic OCR and Markdown Extraction
Faculty of Engineering Ain Shams University(艾因夏姆斯大学工程学院)
本文提出Arabic-Nougat——基于Meta的Nougat架构微调的阿拉伯语OCR模型套件,含三个专用模型,在合成数据集arabic-img2md上训练,还贡献了Aranizer-PBE-86k分词器,模型性能领先且相关资源开源。
2024-11-19 cs.AI cs.CL cs.CV
Fine-tuning DeepSeek-OCR-2 for Molecular Structure Recognition
Department of Computer Science, Princeton University, Princeton, NJ, USA(普林斯顿大学计算机科学系);School of Pharmacy, University of Pittsburgh, Pittsburgh, PA, USA(匹兹堡大学药学院);Khoury College of Computer Science, Northeastern University, Boston, MA, USA(东北大学Khoury计算机科学学院);Computational Chemical Genomics Screening Center, University of Pittsburgh, Pittsburgh, PA, USA(匹兹堡大学计算化学基因组筛选中心)
本文提出通过图像条件生成SMILES的方法微调DeepSeek-OCR-2,采用分阶段监督微调策略提升稳定性,训练数据结合合成图像和专利图像,模型在精确匹配上表现良好但不如图结构模型。
2026-04-21 cs.AI cs.CV q-bio.BM
Data Generation for Post-OCR correction of Cyrillic handwriting
Dbrain
本文提出一种基于贝塞尔曲线的西里尔文手写体合成引擎,通过生成数据训练T5架构的seq2seq模型进行OCR后纠正,显著提升了真实手写文本的词与字符准确率。
2023-11-27 cs.CL cs.CV
Vision Token Masking Alone Cannot Prevent PHI Leakage in Medical Document OCR: A Systematic Evaluation
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);Department of Neuroscience(神经科学系)
本研究发现,仅靠视觉标记无法有效防止医疗文档OCR中的PHI泄露,需结合NLP后处理以提高隐私保护效果。
2025-11-23 cs.CR cs.CV
Generating Synthetic Invoices via Layout-Preserving Content Replacement
BEO AI Address(BEO AI)
针对发票处理模型训练数据获取难的问题,提出一种利用OCR提取布局、LLM生成内容并修复替换的合成发票生成流水线,可自动扩充数据集,提升模型鲁棒性。
2025-08-04 cs.CV
Qalam : A Multimodal LLM for Arabic Optical Character and Handwriting Recognition
The University of British Columbia(不列颠哥伦比亚大学);Invertible AI(可逆人工智能公司)
Qalam是基于SwinV2编码器和RoBERTa解码器的新型阿拉伯语OCR与手写识别模型,在手写和OCR任务中分别达到0.80%和1.18%的词错误率,并擅长处理变音符号和高分辨率输入。
2024-07-18 cs.AI cs.CL cs.CV
PLATTER: A Page-Level Handwritten Text Recognition System for Indic Scripts
IIT Bombay(印度理工学院孟买分校)
针对印度语手写文本识别中模型比较困难、数据集稀缺及忽略检测阶段的问题,提出页面级端到端框架PLATTER,发布CHIPS数据集并开源代码,促进印度语HTR研究。
2025-02-10 cs.CV
Handwriting Extraction and Analysis of Signature Lists in Swiss Popular Initiatives
AIBEX Group, University of Fribourg(AIBEX集团,弗里堡大学);Pattern Recognition Lab, FAU Erlangen-Nürnberg(模式识别实验室,埃尔兰根-纽伦堡大学)
针对瑞士民众倡议中签名列表验证的繁重人工流程,提出结合模板行分割、OCR和基于AI的手写分析(特别是作者检索)的自动化管道,实验表明OCR对短文本识别率低(CER 29.6%),而作者检索mAP达50.6%,可有效支持重复提交检测。
2026-06-03 cs.CV
Finetuning Vision-Language Models as OCR Systems for Low-Resource Languages: A Case Study of Manchu
Division of Humanities(人文学院);The Hong Kong University of Science and Technology(香港科学与技术大学);History, Religious and Philosophy Academy(历史、宗教与哲学学院);Hong Kong Baptist University(香港 Baptist 大学)
本研究通过微调视觉语言模型(LLaMA-3.2-11B等)在合成满语图像上训练OCR系统,实现合成到真实领域迁移,以高准确率处理历史手写文档,提供低成本可部署的濒危语言OCR方案。
2025-07-09 cs.CV
Reading in the Dark with Foveated Event Vision
Robotics and Perception Group, University of Zurich, Switzerland(苏黎世大学机器人与感知组)
针对智能眼镜在低光、高速场景下RGB相机模糊、动态范围有限且带宽功耗高的问题,提出基于眼动注视的中央凹事件流OCR方法,结合深度二值重建与多模态LLM,实现低带宽文本读取。
2025-06-07 cs.CV cs.RO
Reading in the Dark: Low-light Scene Text Recognition
Computer Vision Center, Barcelona, Spain(巴塞罗那计算机视觉中心,西班牙);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出LSTR和ESTR数据集,通过改进的OCR模型和联合训练策略提升低光照环境下的文本识别性能,探讨了光照强度对识别效果的影响。
2026-04-26 cs.CV
Optimal Boxes: Boosting End-to-End Scene Text Recognition by Adjusting Annotated Bounding Boxes via Reinforcement Learning
Ant Group(蚂蚁集团);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);University of Rochester(罗切斯特大学);Hangzhou Dianzi University(杭州电子科技大学);Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学)
文本检测和识别是现代OCR系统的重要组成部分。大多数OCR方法试图在检测阶段获得文本的准确边界框,其用作文本识别阶段的输入。我们观察到,当使用紧密的文本边界框作为输入时,由于边界框和文本识别的深度表示之间的不一致,文本识别器经常无法实现最佳性能。在本文中,我们提出了Box Adjuster,这是一种基于强化学习的方法,用于调整每个文本限界框的形状,使其与文本识别模型更兼容。此外,当处理跨域问题,如合成到真实的,所提出的方法显着减少不匹配的域分布之间的源域和目标域。实验表明,当使用调整后的边界框作为训练的地面真值时,端到端文本识别系统的性能可以得到改善。具体而言,在场景文本理解的几个基准数据集上,所提出的方法在端到端文本识别任务上的平均F-Score为2.0%,在领域自适应任务上的平均F-Score为4.6%,优于最先进的文本定位器。
2022-07-26 cs.CV
Handwritten Text Segmentation via End-to-End Learning of Convolutional Neural Network
Seoul National University(首尔大学);Ajou University(亚洲大学)
本文提出了一种新的手写体文本分割方法,通过端到端的方式训练卷积神经网络(CNN)。许多传统的方法解决了这个问题,通过提取连接组件,然后将它们分类。然而,当手写组件和机器打印的部分重叠时,这种两步方法具有局限性。与传统方法不同,我们针对这个问题开发了一个端到端的深度CNN,它不需要任何预处理步骤。由于没有公开可用的数据集用于此目标,并且像素级注释既耗时又昂贵,因此我们还提出了一种数据合成算法,该算法可以生成逼真的训练样本。为了训练我们的网络,我们开发了一个基于交叉熵的损失函数来解决不平衡问题。对合成图像和真实图像的实验结果表明了该方法的有效性。具体来说,所提出的网络仅在合成图像上进行训练,然而,去除真实文档中的手写文本将OCR性能从71.13%提高到92.50%,显示了我们的网络和合成图像的泛化性能。
2019-06-12 cs.CV
Generating Synthetic Handwritten Historical Documents With OCR Constrained GANs
University of Fribourg(弗里堡大学)
我们提出了一个框架来生成合成的历史文件与精确的地面真相只不过是一个未标记的历史图像的集合。获取大型标记数据集通常是有效使用监督式深度学习方法进行文档图像分析(DIA)的限制因素。针对合成数据生成的现有方法要么需要专业知识,要么导致合成文档的准确性差。为了在不需要专业知识的情况下实现高精度转换,我们分两步解决这个问题。首先,我们创建具有用户指定的内容和结构的模板文档。其次,我们将未标记的历史图像集合的风格转移到这些模板文档中,同时保留它们的文本和布局。我们在预训练环境中评估了我们的合成历史文档的使用,发现我们的表现优于基线(随机初始化和预训练)。此外,通过可视化示例,我们展示了一种高质量的合成,可以生成具有精确地面事实的大型标记历史文档数据集。
2021-05-16 cs.AI cs.CV