From the Paft to the Fiiture: a Fully Automatic NMT and Word Embeddings Method for OCR Post-Correction
University of Helsinki（赫尔辛基大学）
大量的历史语料库在数字化过程中由于使用了光学字符识别（光学字符识别）方法而产生错误。手动纠正这些错误是一个耗时的过程，并且很大一部分自动方法一直依赖于规则或监督机器学习。我们提出了一种全自动无监督的方法来提取并行数据，用于训练基于字符的序列到序列NMT（神经机器翻译）模型来进行OCR纠错。
2019-10-12 cs.CL
Leveraging Text Repetitions and Denoising Autoencoders in OCR Post-correction
University of Turku（图尔库大学）
提高OCR质量的一种常见方法是基于模型的后处理步骤，用于纠正误检测的字符和标记。这些模型通常在OCR读取文本的对齐对及其手动校正的对应物上进行训练。在本文中，我们表明，手动校正的训练数据的要求，可以减轻估计OCR错误，从重复的文本跨度在大型OCR阅读文本语料库中发现，并生成合成训练样本以下的错误分布。我们使用生成的数据来训练字符级神经seq2seq模型，并评估建议的模型在手动校正的芬兰报纸语料库上的性能，这些语料库主要来自19世纪。结果表明，一个明显的改善，底层OCR系统以及以前建议的模型，利用均匀产生的噪声可以实现。
2019-06-26 cs.CL
OCR Error Post-Correction with LLMs in Historical Documents: No Free Lunches
University of Turku（图尔库大学）
本研究评估了开放权重LLMs在历史英语和芬兰语OCR后校正中的效果，发现LLMs能降低英语CER但对芬兰语效果有限，揭示了其在大规模历史语料库应用中的潜力与局限。
2025-02-03 cs.CL
Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction
Universidad de los Andes（安第斯大学）；Rice University（莱斯大学）
本文构建了19世纪拉丁美洲报纸文本新数据集，并开发了基于大语言模型的半自动化框架，用于OCR错误校正和语言表层形式检测，填补了该地区历史语言学语料库空白。
2024-10-04 cs.CL cs.DL
Data Generation for Post-OCR correction of Cyrillic handwriting
Dbrain
本文提出一种基于贝塞尔曲线的西里尔文手写体合成引擎，通过生成数据训练T5架构的seq2seq模型进行OCR后纠正，显著提升了真实手写文本的词与字符准确率。
2023-11-27 cs.CL cs.CV
Enhancing Assamese NLP Capabilities: Introducing a Centralized Dataset Repository
The Assam Kaziranga University（阿萨姆卡齐兰加大学）
本文提出了一个集中式开源数据集存储库，为低资源的阿萨姆语提供预训练和微调语料库，支持情感分析、命名实体识别和机器翻译等任务，以推动阿萨姆语NLP研究。
2024-10-16 cs.AI cs.CL
An Assessment of the Impact of OCR Noise on Language Models
University of Amsterdam（阿姆斯特丹大学）；Institute for Logic, Language and Computation (ILLC)（逻辑、语言与计算研究所（ILLC））
神经语言模型是现代自然语言处理应用的支柱。因此，它们在经过光学字符识别（OCR）的文本遗产收藏品中的使用也在增加。然而，我们对OCR噪声对语言模型的影响的理解仍然有限。我们使用荷兰语、英语、法语和德语的数据评估OCR噪声对各种语言模型的影响。我们发现，OCR噪声对语言建模构成了重大障碍，随着OCR质量的降低，语言模型越来越偏离其无噪声目标。在小语料库的情况下，包括PPMI和Word2Vec在内的简单模型在这方面始终优于基于transformer的模型。
2022-01-26 cs.CL cs.LG
Data Centric Domain Adaptation for Historical Text with OCR Errors
Ludwig Maximilian University（路德维希-马克西米利安大学）；University of Vienna（维也纳大学）；Volkswagen AG（大众汽车集团）；Bayerische Staatsbibliothek München（慕尼黑巴伐利亚州立图书馆）
我们提出了新的方法，在域和跨域的命名实体识别（NER）的历史数据为荷兰语和法语。对于跨域的情况下，我们解决域移位通过集成无监督的域内数据通过上下文字符串嵌入;和OCR错误通过注入合成OCR错误到源域和地址数据为中心的领域自适应。我们提出了一种通用的方法来模仿OCR错误在任意输入数据。我们的跨域和域内结果优于几个强大的基线，并建立了最先进的结果。我们发布法语和荷兰语Europeana NER语料库的预处理版本。
2021-07-02 cs.CL cs.LG
Cleaning Dirty Books: Post-OCR Processing for Previously Scanned Texts
Stony Brook University（石溪大学）
为了进行NLP分析，需要清理大量的数字化书籍，这是因为扫描文本中存在错误，语料库中存在重复的卷。在本文中，我们认为存在的光学字符识别（OCR）错误的重复数据删除的问题。我们提出了处理这些错误的方法，对来自古腾堡项目数据集的19，347个文本和来自HathiTrust图书馆的96，635个文本进行了评估。我们证明了语言模型的改进，现在可以检测和纠正OCR错误，而不考虑扫描图像本身。通过对齐相同基础工作的成对扫描发现的不一致性提供了训练数据以构建用于检测和校正错误的模型。我们从58，808次扫描中识别出17，136本重复扫描的书籍中的每一本的规范版本。最后，我们研究的方法来检测和纠正单拷贝文本中的错误。我们表明，平均而言，我们的方法纠正的错误是它引入的错误的六倍以上。我们还提供了有趣的分析扫描质量和其他因素，如位置和出版年份之间的关系。
2021-10-22 cs.CL
Measuring Intersectional Biases in Historical Documents
Aarhus University（奥胡斯大学）；Erasmus University Rotterdam（伊拉斯姆斯大学鹿特丹分校）；University of Copenhagen（哥本哈根大学）
本文研究了殖民时代加勒比历史报纸中性别与种族的交叉偏见，利用分布语义模型和词嵌入分析偏见的演变，并评估了OCR数据处理技术的稳定性，揭示了多重边缘化身份偏见的叠加效应。
2023-05-21 cs.CL cs.CY cs.LG
People and Places of Historical Europe: Bootstrapping Annotation Pipeline and a New Corpus of Named Entities in Late Medieval Texts
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Faculty of Arts, Masaryk University（马萨里克大学艺术学院）
针对中世纪晚期多语言契据中的 NER 难题，本文利用已知人物地名和信息检索自动自举构建 360 万句标注语料库，训练模型并公开数据、模型与代码。
2023-06-06 cs.CL
An Unsupervised method for OCR Post-Correction and Spelling Normalisation for Finnish
University of Helsinki（赫尔辛基大学）；Rootroo Ltd（Rootroo有限公司）；University of Gothenburg（哥德堡大学）
已知历史语料库包含由数字化过程中使用的OCR（光学字符识别）方法引入的错误，通常被认为是降低NLP系统的性能。手动纠正这些错误是一个耗时的过程，并且很大一部分自动方法一直依赖于规则或监督机器学习。我们建立在以前的工作上的全自动无监督提取并行数据训练一个基于字符的序列到序列NMT（神经机器翻译）模型进行OCR纠错设计的英语，并适应芬兰提出的解决方案，考虑到丰富的形态的语言。我们的新方法显示出更高的性能，同时保持完全无监督，并增加了拼写规范化的好处。源代码和模型可以在GitHub和Zenodo上找到。
2020-11-06 cs.CL cs.LG
Obscuring Data Contamination Through Translation: Evidence from Arabic Corpora
Department of Electrical and Computer Engineering, Maroun Semaan Faculty of Engineering and Architecture（电气与计算机工程系，马鲁恩·塞马安工程与建筑学院）
本研究通过阿拉伯语翻译实验发现，数据污染在多语言环境下表现复杂，提出翻译感知污染检测方法以提升LLM评估的公平性与透明度。
2026-10-09 cs.AI cs.CL
SiDiaC: Sinhala Diachronic Corpus
Department of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，穆拉图瓦大学）
SiDiaC 是首个全面的僧加罗语历时性语料库，涵盖从5世纪到20世纪的58,000个单词，经过筛选和标注后，为僧加罗语NLP研究提供了基础资源，支持词形变化、新词追踪和历史语法研究。
2025-12-30 cs.CL
Evaluating BERT-based Scientific Relation Classifiers for Scholarly Knowledge Graph Construction on Digital Library Collections
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心（TIB））；L3S Research Center at Leibniz University of Hannover（汉诺威莱布尼茨大学L3S研究中心）
针对现有基于BERT的科学关系分类器评估场景不统一、未考虑OCR噪声的问题，构建含噪平行语料，从BERT变体、分类策略、噪声影响三方面评估8种模型，得出领域特定BERT最优、单关系预测策略更佳、噪声使F值降10%-20%等结论，为数字图书馆知识图谱构建提供选型参考。
2023-05-03 cs.CL cs.DL
synthocr-gen: A synthetic ocr dataset generator for low-resource languages- breaking the data barrier
SynthOCR-Gen通过生成低资源语言OCR数据集，解决OCR开发中的数据瓶颈问题，为视觉-语言AI模型的普及提供实用路径。
2026-01-22 cs.CL cs.CV
Adapting the Tesseract Open-Source OCR Engine for Tamil and Sinhala Legacy Fonts and Creating a Parallel Corpus for Tamil-Sinhala-English
University of Moratuwa（莫拉图瓦大学）
大多数低资源语言甚至没有必要的资源来创建一个实质性的单语语料库。这些语言可能经常出现在政府程序中，但主要是包含传统字体的可移植文档格式（PDF）。从这些文档中提取文本以创建单语语料库是具有挑战性的，这是由于传统的字体使用和打印机友好的编码，这些都没有针对文本提取进行优化。因此，我们提出了一个简单的，自动的，新颖的想法，可以扩展为泰米尔语，僧伽罗语，英语语言和许多文件以及并行语料库。由于泰米尔语和僧伽罗语是低资源语言，我们通过对20多种传统字体进行基于LSTM的训练来识别这些语言中的印刷字符，从而提高了Tesseract的性能。特别是，我们的模型检测代码混合文本，数字，和专用字符从打印文档。实验结果表明，该方法可以将Tesseract的字符级出错率从6.03降低到2.61僧伽罗语为7.61至4.74（相对变动为-3.42%）（-2.87%相对变化），在测试集上，泰米尔语的词级错误率从39.68到20.61（相对变化为-19.07%），僧伽罗语的词级错误率从35.04到26.58（相对变化为-8.46%）。此外，我们新创建的平行语料库包括185.4k，168.9k和181.04k句子和2.11M，2.22M和2.33M泰米尔语，僧伽罗语和英语单词。这项研究表明，在多种新字体上微调Tesseract模型有助于理解文本并提高OCR的性能。我们免费提供了新训练的模型和微调Tesseract的…
2022-12-15 cs.CL
ferret: a Framework for Benchmarking Explainers on Transformers
Bocconi University（博科尼大学）；Politecnico di Torino（都灵理工大学）；King’s College London（伦敦国王学院）
本文提出ferret框架，用于在Transformer分类器上便捷使用、可视化和基准测试多种XAI方法，并通过情感分析与仇恨言论检测实验表明特定方法能提供更忠实且合理的解释。
2023-03-02 cs.CL
Benchmarking and Boosting Multilingual Capabilities of LVLMs via OCR-Centric Reinforcement Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Sun Yat-Sen University（中山大学）；Chinese University of Hong Kong（香港中文大学）
PM4Bench通过平行多语言多模态多任务语料库评估大型视觉-语言模型，揭示跨语言性能差异与OCR能力的关系。
2026-08-25 cs.CL cs.CV
Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation
Novelcore；Department of Statistics & Insurance University of Piraeus（统计与保险系 帕里埃斯大学）
针对希腊语数据稀缺和架构局限，提出GEMs模型家族，通过质量策展语料库训练，在三个基准上显著提升准确率，最高达3.6%。
2025-10-24 cs.AI cs.CL
LexGen: Domain-aware Multilingual Lexicon Generation
Indian Institute of Technology Bombay（印度理工学院孟买分校）；NVIDIA（英伟达）
本文提出LexGen模型，通过领域特定与通用层及可学习路由技术，为6种印度语言生成多领域词典，并构建含75K翻译对的基准，在零样本和少样本实验中验证了有效性。
2025-06-02 cs.CL
Seeing Justice Clearly: Handwritten Legal Document Translation with OCR and Vision-Language Models
本文提出利用视觉大语言模型统一OCR与机器翻译流程，以提升低资源环境下手写法律文件的翻译效率和准确性。
2025-12-19 cs.AI cs.CL cs.CV
REDACT: A Systematically Controlled Multilingual Benchmark for Personal Information Detection
ServiceNow
提出REDACT基准，包含13,427条记录、51种实体类型、25种语言，通过强度-2覆盖阵列采样控制9个生成轴，并引入实体级元数据（披露状态、形式、GDPR敏感层级）以支持分层评估，揭示检测器在敏感数据上的架构依赖性失败模式。
2026-06-19 cs.CL
hmBERT: Historical Multilingual Language Models for Named Entity Recognition
Bayerische Staatsbibliothek München（慕尼黑巴伐利亚州立图书馆）；University of Vienna（维也纳大学）；Volkswagen AG（大众汽车集团）
与标准的命名实体识别（NER）相比，识别历史文本中的人物、地点和组织是一个很大的挑战。为了获得机器可读的语料库，通常需要对历史文本进行扫描并进行光学字符识别（OCR）。因此，历史语料库中存在错误。此外，位置或组织等实体可能会随着时间的推移而变化，这构成了另一个挑战。总的来说，历史文本有几个特点，与现代文本有很大的不同，并且用于训练神经标记器的大型标记语料库几乎不适用于这个领域。在这项工作中，我们通过训练大型历史语言模型来解决历史德语，英语，法语，瑞典语和芬兰语的NER。我们通过使用未标记的数据来预训练语言模型，从而避免了对大量标记数据的需求。我们提出了hmBERT，一个历史的多语言BERT为基础的语言模型，并发布了不同大小的几个版本的模型。此外，作为今年HIPE-2022共享任务的一部分，我们通过解决下游NER来评估hmBERT的能力，并提供详细的分析和见解。对于多语言经典评论粗粒度NER挑战，我们的标记器HISTEria在三种语言中的两种语言上优于其他团队的模型。
2022-07-01 cs.CL
Corpus structure, language models, and ad hoc information retrieval
大多数以前的工作，最近开发的语言建模方法信息检索的重点是特定于文档的特征，因此没有考虑到周围的语料库的结构。我们提出了一种新的算法框架，在该框架中，基于文档的语言模型所提供的信息被增强了从相似文档的集群中提取的信息。使用这个框架，我们开发了一套新的算法。即使是最简单的方法在精确度和召回率方面也优于标准的语言建模方法，我们的新插值算法在所有三个测试语料库中的两个指标都有统计学上的显着改进。
2004-05-12 cs.CL cs.IR
A large-scale pipeline for LLM-assisted corpus annotation: variation and change in the English consider construction
Université Paris-Cité（巴黎-城市大学）；University of Gothenburg（哥德堡大学）
提出一种利用大语言模型自动标注大规模语料的四阶段流水线，在历史英语语料库中标注14万条consider构式，准确率超98%，揭示未记录的体裁特异性变化轨迹。
2026-10-16 cs.CL
Automated Transcription of Non-Latin Script Periodicals: A Case Study in the Ottoman Turkish Print Archive
NYUAD（纽约大学阿布扎比分校）
我们的研究利用深度学习方法，使用Transkribus平台对19世纪末和20世纪初以阿拉伯语脚本奥斯曼土耳其语（OT）撰写的期刊进行自动转录。我们讨论了OT文本集合的历史情况，以及它们是如何被排除在20世纪后期的语料库数字化，发生在许多拉丁字母语言的大部分。这种排除有两个基本原因：阿拉伯文字OCR的技术挑战，以及在土耳其历史背景下迅速放弃这种文字。在OT的特定情况下，向数字化工具开放期刊收藏需要训练HTR模型，以在土耳其当代读者的拉丁书写系统中生成音译，而不是像一些人可能期望的那样，在从右到左的阿拉伯字母文本中生成音译。在本文中，我们讨论了训练这种模型的挑战，其中一对一的对应关系的书写系统不存在，我们报告的结果基于我们的HTR实验与两个OT期刊从二十世纪初。最后，我们反映了HTR模型在历史语言中表现出时空差异的潜在领域偏见，以及经历了语言改革和脚本变化的语言社区的写作系统之间的工作的意义。
2020-11-02 cs.CL
CHURRO: Making History Readable with an Open-Weight Large Vision-Language Model for High-Accuracy, Low-Cost Historical Text Recognition
Stanford University（斯坦福大学）
针对现有模型难以识别历史文本的问题，提出30亿参数的开放权重VLM CHURRO，基于最大历史文本识别数据集CHURRO-DS训练，在印刷体和手写体识别上超越所有对比模型，且成本效益显著。
2025-09-24 cs.CL cs.CV
