HERITAGE: An End-to-End Web Platform for Processing Korean Historical Documents in Hanja
KAIST(韩国科学技术院);New York University(纽约大学);Genentech(基因泰克公司)
针对韩国历史文献因汉文专业知识门槛高而难以理解的问题,HERITAGE作为首个开源汉文NLP工具包,提供标点恢复、命名实体识别和机器翻译功能,并辅以交互式词汇表,旨在降低翻译门槛,促进文献的现代语言翻译。
2025-01-21 cs.CL
OCR Error Post-Correction with LLMs in Historical Documents: No Free Lunches
University of Turku(图尔库大学)
本研究评估了开放权重LLMs在历史英语和芬兰语OCR后校正中的效果,发现LLMs能降低英语CER但对芬兰语效果有限,揭示了其在大规模历史语料库应用中的潜力与局限。
2025-02-03 cs.CL
LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);College of Literature and Journalism, Sichuan University(四川大学文学与新闻学院)
LongHisDoc是首个中文长历史文档理解综合基准,含1012个专家标注问答对,评估显示顶尖LVLM、LLM准确率仅62.9%、69.9%,还评估了模态检索器与RAG性能,可推动相关研究。
2026-10-21 cs.CL
Two Demonstrations of the Machine Translation Applications to Historical Documents
Pattern Recognition and Human Language Technology Research Center(模式识别与人类语言技术研究中心);Universitat Politècnica de València(瓦伦西亚理工大学)
我们提出了我们的示范两个机器翻译应用历史文件。第一项任务是用原始语言的现代版本编写一份历史文件的新版本。第二个应用程序仅限于文档的正字法。它使文档的拼写适应现代标准,以实现拼写的一致性,并弥补拼写惯例的不足。我们遵循一个交互式的,自适应的框架,允许用户引入纠正系统的假设。系统通过生成考虑到这些修正的新假设来对这些修正做出反应。一旦用户对系统的假设感到满意并验证了它,系统就按照在线学习策略调整其模型。该系统是按照客户端-服务器架构实现的。我们开发了一个与神经模型通信的网站。所有代码都是开源的,并且是公开的。演示在http://demosmt.prhlt.upv.es/mthd/上进行。
2021-02-02 cs.CL
A Tool for Facilitating OCR Postediting in Historical Documents
Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林圣三一学院)
历史文件的光学字符识别(OCR)是一个复杂的程序,存在一系列独特的实质性问题,包括字体不一致和扫描质量低。因此,即使是最复杂的OCR引擎也会产生错误。本文报告了一个工具,用于对Tesseract的输出进行后期编辑,更具体地说,用于纠正数字化历史文档中的常见错误。拟议的工具建议替代词的形式没有发现在指定的词汇。假设的错误在后编辑中基于语言模型(LM)的分数被假定正确的替代替换。该工具是测试的一章书的论文对规范贸易和雇用穷人的这个王国(卡里,1719年)。如下所示,该工具成功地纠正了一些常见错误。虽然有时不可靠,但它也是透明的,并受到人为干预。
2020-04-23 cs.CL
Shared Heritage, Distinct Writing: Rethinking Resource Selection for East Asian Historical Documents
KAIST(韩国科学技术院);New York University(纽约大学);Genentech(基因科技)
本文质疑通过古典汉语资源进行跨语言迁移在处理韩日古文历史文件的有效性,实验显示古典汉语数据对模型性能影响有限,强调需谨慎验证而非盲目依赖跨语言迁移。
2025-11-10 cs.CL
Large Language Models for Summarizing Czech Historical Documents and Beyond
Department of Computer Science and Engineering, University of West Bohemia in Pilsen(计算机科学与工程系,西波西米亚大学)
本研究应用Mistral和mT5等大语言模型处理捷克语文本摘要,在SumeCzech数据集上取得新最优结果,并引入历史捷克语文档摘要新数据集Posel od Čerchova及基线结果。
2025-08-14 cs.CL
Archive TimeLine Summarization (ATLS): Conceptual Framework for Timeline Generation over Historical Document Collections
University of Bourgogne(勃艮第大学);University of La Rochelle(拉罗谢尔大学);University of Innsbruck(因斯布鲁克大学)
如今,档案收藏大多可通过搜索引擎界面获得,用户可通过查询检索文件。然而,对这些收藏的研究可能会受到搜索引擎某些方面的影响,例如返回的文件数量过多或缺乏所提供的上下文知识。新的方法,可以独立工作或结合搜索引擎,然后需要访问这些集合。在这份立场文件中,我们建议延长时间轴总结(TLS)方法的档案收集,以协助他们的研究。我们提供了现有的TLS方法的概述,我们描述了一个概念框架的档案时间轴摘要(ATLS)系统,其目的是生成信息丰富,可读和可解释的时间线。
2023-01-31 cs.CL
Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出双三角形标注框架,通过两层人机协同和跨模型共识自动完成大部分标注工作,实现高精度历史文档结构化信息提取。
2026-05-25 cs.CL
Processing the structure of documents: Logical Layout Analysis of historical newspapers in French
Centre de Recherches Interdisciplinaires et Transculturelles (CRIT)(跨学科与跨文化研究中心(CRIT));Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Institut Universitaire de France (IUF)(法国大学研究院(IUF))
本文提出一种基于规则的方法进行法语历史报纸的逻辑版面分析,在召回率上优于RIPPER和梯度提升模型,并可用于生成大规模注释数据以支持机器学习方法。
2022-05-25 cs.CL
HistRED: A Historical Document-Level Relation Extraction Dataset
KAIST AI(韩国科学技术院人工智能学院)
本文提出基于《燕行录》构建的历史文档级关系抽取数据集 HistRED,提供韩文与汉文双语标注及多长度子文本,并设计双语 RE 模型验证多语言上下文对关系抽取的增益。
2023-07-10 cs.CL
Investigating OCR-Sensitive Neurons to Improve Entity Recognition in Historical Documents
EPFL(洛桑联邦理工学院);Digital Humanities Laboratory(数字人文实验室)
本文研究了Transformer架构中OCR敏感神经元对历史文档命名实体识别的影响,通过识别并中和这些神经元,在Llama2和Mistral模型上提升了历史报纸和古典注释的NER性能。
2024-11-18 cs.AI cs.CL
Named Entity Recognition and Classification on Historical Documents: A Survey
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of La Rochelle(拉罗谢尔大学)
本文综述了历史文献中命名实体识别与分类面临的挑战、现有资源、主要方法及未来优先发展方向。
2021-09-23 cs.CL cs.LG
Ground Truth for training OCR engines on historical documents in German Fraktur and Early Modern Latin
Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Universität Würzburg(维尔茨堡大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Bayerische Staatsbibliothek München(慕尼黑巴伐利亚州立图书馆)
在本文中,我们描述了一个数据集的德语和拉丁语\textit{ground truth}(GT)的历史OCR的形式,印刷文本行图像与他们的转录配对。这个数据集被称为\textit{GT4HistOCR},由313,173个线对组成,涵盖了从15世纪到19世纪的印刷日期,以Fraktur字体印刷的书籍,并在CC-BY 4.0许可证下公开提供。GT作为线图像/转录对的特殊形式使其可直接用于训练最先进的识别模型,用于在LSTM架构中采用循环神经网络的OCR软件,如Tesseract 4或OCRopus。我们还为我们的数据集的子语料库提供了一些预训练的OCRopus模型,这些模型在看不见的测试用例上产生了95\%(早期印刷)和98\%(19世纪的Fraktur印刷)的字符准确率,一个Perl脚本来协调由不同转录规则产生的GT,并给出了关于如何构建GT用于OCR目的的提示,这些目的可能与语言动机的转录不同。
2018-09-14 cs.CL
Lacuna Reconstruction: Self-supervised Pre-training for Low-Resource Historical Document Transcription
University of California, San Diego(加州大学圣迭戈分校);University of Maryland(马里兰大学)
我们提出了一种自我监督的预训练方法,用于学习手写和打印历史文档转录的丰富视觉语言表示。经过监督微调,我们的预训练编码器表示低资源的文件转录两种语言,(1)一组异构的手写体Islamicate手稿图像和(2)早期现代英语印刷文档,我们显示了一个有意义的提高识别准确性从零开始训练的相同的监督模型,只有30行图像transmittance训练。我们的掩蔽语言模型风格的预训练策略,其中模型被训练为能够从同一行内采样的干扰项中识别出真正的掩蔽视觉表示,鼓励学习鲁棒的上下文语言表示,这些语言表示不受抄写风格和跨文档的打印噪声的影响。
2021-12-16 cs.CL cs.CV cs.LG
Evaluating LLMs for Historical Document OCR: A Methodological Framework for Digital Humanities
Italian Institute of Germanic Studies (IISG)(意大利德语研究学院);University of Bologna(博洛尼亚大学)
针对历史文档OCR缺乏评估框架的问题,提出包含HCPR和AIR等新指标的评估方法,发现Gemini和Qwen模型优于传统OCR但存在过度历史化现象。
2025-10-08 cs.AI cs.CL cs.CV
CzechTopic: A Benchmark for Zero-Shot Topic Localization in Historical Czech Documents
Faculty of Information Technology, Brno University of Technology(信息科技学院,布拉格技术大学)
CzechTopic提出一个用于历史捷克文档零样本主题定位的基准测试,评估多种模型在主题检测和片段定位上的性能差异。
2026-09-17 cs.AI cs.CL
Transformer-based HTR for Historical Documents
University of Zurich(苏黎世大学);Walter Benjamin Kolleg(瓦尔特·本雅明学院);University of Bern(伯尔尼大学)
我们将TrOCR框架应用于现实世界的历史手稿,并表明TrOCR本身是一个强大的模型,非常适合迁移学习。TrOCR只接受过英语的训练,但它可以很容易地适应使用拉丁字母的其他语言,而且训练材料很少。我们将TrOCR与SOTA HTR框架(Transkribus)进行比较,并表明它可以击败这样的系统。这一发现是必不可少的,因为Transkribus在获得基线信息时表现最好,而微调TrOCR根本不需要这些信息。
2022-03-21 cs.CL cs.CV
Contrastive Entity Coreference and Disambiguation for Historical Texts
Kellogg School of Management, Northwestern University(西北大学凯洛格管理学院);Harvard University(哈佛大学);National Bureau of Economic Research(美国国家经济研究局)
针对历史文本实体跨文档共指与消歧准确率低的问题,本研究构建了含1.9亿实体对的对比训练集与人工标注历史基准,训练的双编码器模型在历史新闻消歧任务上显著优于现有方法,且在现代基准上表现具竞争力。
2024-06-21 cs.CL econ.GN q-fin.EC
SegHist: A General Segmentation-based Framework for Chinese Historical Document Text Line Detection
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Peking University(北京大学)
本文提出通用分割框架 SegHist,并结合 DB++ 构建 DB-SegHist,以提升历史文档中高长宽比文本行检测能力,在多个中文历史文档基准上取得 SOTA 或有竞争力的结果。
2024-07-08 cs.CL cs.CV
CONDITOR1: Topic Maps and DITA labelling tool for textual documents with historical information
Universidad de Zaragoza(萨拉戈萨大学)
Conditor是一个处理包含历史信息的文本文档的软件工具。这项工作的目的是双重的:首先,以显示开发的引擎的有效性,正确地识别和标记的实体的宇宙的话语与标记组合的XTM-DITA模型。其次,解释了由于使用面向对象的数据库(JPOX)以及将其集成到Lucene类型的数据库搜索过程中,从而不仅实现更准确的搜索,而且还有助于推荐系统的未来发展,从而在信息检索过程中实现的改进。最后,我们以上述搜索结果的3D图中的简短演示结束。
2016-03-23 cs.CL cs.DL cs.IR
Yes but.. Can ChatGPT Identify Entities in Historical Documents?
University of La Rochelle(拉罗谢尔大学);EPFL(洛桑联邦理工学院);University of Toulouse(图卢兹大学)
大语言模型(LLM)已经被利用了好几年,在从现代文档中识别实体方面获得了最先进的性能。在过去的几个月里,会话代理ChatGPT已经“引起”了科学界和公众的极大兴趣,因为它能够生成听起来可信的答案。在本文中,我们通过在主要来源的命名实体识别和分类(NERC)任务中探索这种能力(例如,历史报纸和经典评论),在一个zero-shot的方式,并通过比较它与国家的最先进的LM为基础的系统。我们的研究结果表明,在确定历史文本中的实体,范围从实体注释准则的一致性,实体的复杂性,和代码转换,提示的特异性的几个缺点。此外,正如预期的那样,公众无法查阅历史档案(因此也无法在互联网上查阅)也影响了其业绩。
2023-03-30 cs.CL cs.DL cs.IR
Textual Analysis for Studying Chinese Historical Documents and Literary Novels
National Chengchi University(台湾政治大学);Harvard University(哈佛大学);National Central University(台湾中央大学);National Taiwan University(台湾大学)
我们分析了中国的历史和文学文献,以深入了解研究问题,并概述了我们的研究,利用四个不同的文本材料来源,在本文中。我们利用包含1830年至1930年有关中国的历史文献的《现代中国思想与文学研究数据库》调查了中国的概念和音译词的历史。我们还试图消除歧义的名字,多个政府官员谁在618年和1912年之间服务,并记录在中国地方志。为了展示计算机辅助分析中国文学的潜力和挑战,我们探讨了一些关于中国四大古典小说中的两部的有趣而又重要的问题:(1)在16世纪出版的《西游记》(JTTW)中,哪些怪物试图吃掉佛教僧侣玄奘,(2)《西游记》中最强大的怪物是什么,(3)在18世纪出版的《红楼梦》中,哪个主要角色笑得最多。类似的方法也可以应用于现代文献的分析和研究,例如1947年台湾发生的关于二二八事件的报纸文章。
2015-10-11 cs.CL cs.DL
Multimodal LLMs for OCR, OCR Post-Correction, and Named Entity Recognition in Historical Documents
University of Mannheim(曼海姆大学)
本研究探讨了多模态大语言模型(mLLMs)在历史文档OCR、OCR后纠错及命名实体识别任务中的应用,发现其表现优于传统模型,且无需预处理或微调即可实现高精度转录与结构化数据提取。
2025-04-01 cs.AI cs.CL cs.DL
Noise-Aware Named Entity Recognition for Historical VET Documents
Federal Institute for Vocational Education and Training (BIBB)(联邦职业教育培训研究所);Department of Computer Science, University of Koblenz(科隆大学计算机科学系)
本文提出了一种基于噪声感知训练的命名实体识别方法,用于处理受OCR噪声影响的历史职业培训文档,通过多阶段微调提升在噪声环境下的识别鲁棒性和准确性。
2026-01-01 cs.CL cs.IR cs.LG
PreP-OCR: A Complete Pipeline for Document Image Restoration and Enhanced OCR Accuracy
University College Dublin(都柏林大学);Trinity College Dublin(都柏林三一学院);University of Toronto(多伦多大学);Shanghai University(上海大学)
本文提出两阶段流水线PreP-OCR,结合合成数据训练的图像修复模型与微调的ByT5后校正模型处理退化历史文档,实验证明其可大幅降低字符错误率,助力历史档案数字化。
2025-05-28 cs.CL cs.CV
D4R -- Exploring and Querying Relational Graphs Using Natural Language and Large Language Models -- the Case of Historical Documents
Univ. Paul-Valéry Montpellier(保罗-瓦莱里蒙彼利埃大学);INU Jean-François Champollion(让-弗朗索瓦·商博良国家大学);CNRS(法国国家科学研究中心);INSPE, UT2J(图卢兹第二大学教育学院);Univ. de Toulouse(图卢兹大学);IRIT(图卢兹计算机科学研究所)
D4R是一个利用大语言模型将自然语言转换为Cypher查询,帮助历史学家等非技术用户探索文本关系图的平台,并已提供演示。
2025-03-26 cs.AI cs.CL cs.IR
Reference-Based Post-OCR Processing with LLM for Precise Diacritic Text in Historical Document Recognition
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对历史变音符号文档OCR错误,提出利用电子书参考与LLM的后处理方法,生成高精度伪标签,平均评分8.72,优于现有模型,并公开数据集。
2025-02-27 cs.CL cs.CV
Large Language Models for the Summarization of Czech Documents: From History to the Present
Department of Computer Science and Engineering(计算机科学与工程系);NTIS - New Technologies for the Information Society(信息社会新技术);LaBRI
本文利用大型语言模型和翻译方法,展示了在捷克语历史文档摘要中的新成果,并引入了新的数据集。
2025-11-24 cs.CL
Measuring Intersectional Biases in Historical Documents
Aarhus University(奥胡斯大学);Erasmus University Rotterdam(伊拉斯姆斯大学鹿特丹分校);University of Copenhagen(哥本哈根大学)
本文研究了殖民时代加勒比历史报纸中性别与种族的交叉偏见,利用分布语义模型和词嵌入分析偏见的演变,并评估了OCR数据处理技术的稳定性,揭示了多重边缘化身份偏见的叠加效应。
2023-05-21 cs.CL cs.CY cs.LG
Predicting the Ordering of Characters in Japanese Historical Documents
Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所);ROIS-DS Center for Open Data in the Humanities, National Institute of Informatics(国立信息学研究所ROIS-DS开放数据人文中心);German Research Center for Environmental Health(德国环境健康研究中心);University of Cambridge(剑桥大学)
日本是一个独特的国家,拥有独特的文化遗产,这反映在数十亿保存下来的历史文献中。然而,1900年日本文字系统的变化使这些文件无法为公众所用。一个主要的研究项目是使这些历史文件易于访问和理解。越来越多的研究集中在字符识别任务和字符在图像上的位置,而很少有研究集中在如何预测字符的顺序。这是因为古典日语中的序列与现代日语中的序列非常不同。将字符按顺序排列对于使文档文本易于阅读和搜索非常重要。此外,它是对数据进行任何类型的自然语言处理(例如,机器翻译、语言建模和词嵌入)的必要步骤。我们探索了几种方法来预测字符的顺序排序:一种使用简单的手工规则,另一种使用具有自适应阈值的手工规则,另一种使用经过教师强迫训练的深度递归序列模型。我们提供了这些技术的定量和定性比较,以及他们独特的权衡。我们表现最好的系统具有98.65%的准确率,并且在我们数据集中49%的书籍上具有完美的准确率,这表明该技术能够很好地预测字符的顺序。
2021-06-12 cs.CL cs.DL cs.LG
Post-OCR Text Correction for Bulgarian Historical Documents
AWS AI Labs(亚马逊云科技人工智能实验室);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对19世纪保加利亚历史文献的OCR后文本校正问题,构建首个基准数据集,提出利用当代文本生成合成数据并结合大语言模型与改进的编码器-解码器框架,使校正质量较现有最优方法提升16%。
2024-08-31 cs.CL cs.DL cs.LG
Reviving Cultural Heritage: A Novel Approach for Comprehensive Historical Document Restoration
South China University of Technology(南方科技大学);Intsig Information Co., Ltd.(Intsig信息有限公司);INTSIG-SCUT Joint Lab on Document Analysis and Recognition(INTSIG-SCUT文档分析与识别联合实验室);SCUT-Zhuhai Institute of Modern Industrial Innovation(南方科技大学珠海现代工业创新研究院)
本文提出整页历史文档修复数据集FPHDR和自动化修复方案AutoHDR,通过OCR定位、上下文文本预测与自回归外观修复三阶段流程,将严重损坏文档的OCR准确率从46.83%提升至84.05%,人机协作后达94.25%。
2025-07-21 cs.AI cs.CL cs.CV
Improving historical spelling normalization with bi-directional LSTMs and multi-task learning
Ruhr-Universität Bochum(波鸿鲁尔大学);University of Copenhagen(哥本哈根大学)
历史文献的自然语言处理由于大量的变体拼写和缺乏注释数据而变得复杂。一种常见的方法是将历史词汇的拼写规范为现代形式。我们探索了深度神经网络架构对这项任务的适用性,特别是应用于字符级别的深度双LSTM网络。我们的模型比较以及以前建立的归一化算法时,从早期的新高地德语的不同的文本集进行评估。我们表明,使用额外的归一化数据进行多任务学习可以进一步提高模型的性能。
2016-10-25 cs.CL
Transformer-Based Approach for Joint Handwriting and Named Entity Recognition in Historical documents
InstaDeep;Digital Research Center of Sfax(斯法克斯数字研究中心)
手写文档中命名实体相关信息的提取仍然是一个具有挑战性的任务。与传统的信息抽取方法,通常面临的文本转录和命名实体识别作为单独的后续任务,我们在本文中提出了一个端到端的转换为基础的方法来共同执行这两个任务。拟议的方法在段落一级运作,这带来了两个主要好处。首先,它允许模型避免由于线分割而导致的不可恢复的早期错误。其次,它允许模型利用更大的二维上下文信息来识别语义类别,达到更高的最终预测精度。我们还探索了不同的训练场景,以显示它们对性能的影响,我们证明了两阶段学习策略可以使模型达到更高的最终预测精度。据我们所知,这项工作提出了第一种方法,采用Transformer网络的命名实体识别的手写文档。我们在ICDAR 2017信息抽取竞赛中使用Esposalles数据库实现了最先进的性能,即使所提出的技术不使用任何字典,语言建模或后处理。
2021-12-08 cs.CL cs.CV
Page Layout Analysis of Text-heavy Historical Documents: a Comparison of Textual and Visual Approaches
EPFL(洛桑联邦理工学院);UNIL(洛桑大学)
页面布局分析是文档处理中的基本步骤,它能够将页面分割成感兴趣的区域。由于高度复杂的布局和混合的脚本,学术评论是文本繁重的文档,对于最先进的模型来说仍然具有挑战性。它们的布局在不同版本之间有很大的差异,它们最重要的区域主要由语义而不是图形特征(如位置或外观)定义。这种情况要求对文本、视觉和混合方法进行比较。因此,我们评估两个Transformers(LayoutLMv 3和RobERTa)和一个目标检测网络(YOLOv 5)的性能。如果结果显示后者有明显的优势,我们也会对这一发现提出一些警告。除了我们的实验之外,我们还发布了ca的数据集。300页注释,摘自19世纪的评论。
2022-12-12 cs.AI cs.CL cs.CV
Application of deep learning approaches for medieval historical documents transcription
Vasyl Stefanyk Carpathian National University(瓦西尔·斯特凡尼克喀尔巴阡国立大学);SoftServe Inc(SoftServe公司)
本文提出深度学习方法用于中世纪拉丁文文献的转录,通过改进的模型流程提升识别效率,并提供了实验结果与数据集开发细节。
2025-12-21 cs.CL cs.CV cs.LG
Translating Hanja Historical Documents to Contemporary Korean and English
KAIST(韩国科学技术院);Sungkyunkwan University(成均馆大学);New York University(纽约大学);Genentech(基因泰克公司)
针对朝鲜王朝实录汉文历史文献翻译缓慢且译文难懂的问题,提出基于多语言神经机器翻译的H2KE模型,利用新旧数据集训练,在BLEU和人工评估上均优于基线。
2023-12-29 cs.AI cs.CL cs.LG
Lightweight Person-Place Relation Extraction from Historical Newspapers with Dependency Graphs and Proximity Features
Georgia Institute of Technology(佐治亚理工学院)
研究从历史报纸中提取人物-地点关系,构建文档级图,提取实体对特征,用小型模型分类。在官方评估中取得一定成绩,发现最小字符距离重要,且文档分组交叉验证对避免数据泄漏、保证结果可靠至关重要。
2026-07-23 cs.CL
Unlocking the Archives: Using Large Language Models to Transcribe Handwritten Historical Documents
Wilfrid Laurier University(劳里埃大学)
本研究展示大型语言模型在手写历史文档转录中准确性、速度和成本均优于专门HTR软件,并推出开源工具Transcription Pearl,实现接近人类水平的转录精度,大幅提升数字化效率。
2024-11-02 cs.CL cs.CV cs.DL
Placing (Historical) Facts on a Timeline: A Classification cum Coref Resolution Approach
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
时间轴提供了一种最有效的方式来可视化一段时间内发生的重要历史事实,呈现出阅读文本形式的等效信息可能不那么明显的见解。通过利用生成对抗学习进行重要句子分类,并通过吸收基于知识的标签来提高事件共指消解的性能,我们引入了一个两阶段的系统,用于从多个(历史)文本文档生成事件时间轴。我们证明了我们的结果,两个手动注释的历史文本文件。我们的研究结果对历史学家非常有帮助,有助于推进历史研究,并有助于理解一个国家的社会政治景观,如著名人物的著作所反映的那样。
2022-06-28 cs.CL cs.IR
Evaluation of LLMs on Long-tail Entity Linking in Historical Documents
Department of Management, University of Turin, Italy(管理系,都灵大学);Department of Computer Science, University of Catania, Italy(计算机科学系,卡塔尼亚大学);Department of Computer Science, University of Turin, Italy(计算机科学系,都灵大学);Department of Modern Languages, Literatures and Cultures, University of Bologna, Italy(现代语言、文学与文化系,博洛尼亚大学);Department of Information Engineering (DII), University of Pisa, Italy(信息工程系(DII),比萨大学);Department of Mathematics and Computer Science, University of Cagliari, Italy(数学与计算机科学系,卡利亚里大学);Institute of Information Science and Technologies (ISTI), National Research Council of Italy (CNR), Pisa, Italy(信息科学与技术研究所(ISTI),意大利国家研究委员会(CNR),比萨)
本文在历史文档长尾实体链接任务上评估 GPT 和 LLama3,并与 ReLiK 框架对比,发现大语言模型表现良好,可作为弥合头部与长尾实体链接差距的有效辅助技术。
2025-05-06 cs.CL
ICDAR 2026 HIPE-OCRepair Competition on LLM-Assisted OCR Post-Correction for Historical Documents
École Polytechnique Fédérale de Lausanne (EPFL), Switzerland(瑞士联邦理工学院洛桑分校);University of Zurich, Switzerland(苏黎世大学)
ICDAR 2026的HIPE-OCRepair竞赛旨在评估大语言模型辅助历史文档OCR后校正系统能力,提供可重现评估框架。四支队伍提交不同策略系统,结果显示虽能提高OCR质量,但性能因多种因素而异,还存在过度校正问题,相关资源已发布供后续研究。
2026-07-10 cs.AI cs.CL cs.IR
From Codicology to Code: A Comparative Study of Transformer and YOLO-based Detectors for Layout Analysis in Historical Documents
University of Luxembourg(卢森堡大学)
本文在三个历史文献数据集上对比了五种Transformer与YOLO检测器,发现基于CNN的YOLOv11x-OBB在复杂文档上泛化更强,并证明定向边界框(OBB)是准确建模历史手稿的必要基础。
2025-06-25 cs.CL cs.CV cs.DB
Lifelong learning for text retrieval and recognition in historical handwritten document collections
本章概述了在构建终身学习的检索、识别和索引引擎时需要处理的问题,该引擎用于多种脚本和语言的大型历史文档集,即Monk系统。这种应用随着时间的推移是高度可变的,因为最终用户的连续标记改变了“地面实况”的概念。尽管深度学习的当前进展在该应用领域中提供了巨大的潜力,但是问题的规模,即,超过520种不同的书籍,文档和手稿排除了目前设计和开发成功的深度学习系统所需的细致和艰苦的人力努力。介绍了球场原理,它描述了从稀疏标记阶段(只能通过传统方法或预训练神经网络的嵌入向量上的最近邻方法来解决)到另一端(大规模标记允许深度学习方法的可靠训练)的演变。内容包括:介绍、期望管理、深度学习、大致原理、技术实现、工作流程、材料的质量和数量、工业化和可扩展性、人工努力、算法、识别对象、处理管道、性能、组合性、结论。
2019-12-11 cs.CL cs.CV cs.LG
Overview of HIPE-2026: Person-Place Relation Extraction from Multilingual Historical Texts
University of Zurich(苏黎世大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Swiss Federal Institute of Technology Zurich (ETHZ)(苏黎世联邦理工学院)
提出HIPE-2026评测任务,针对多语言历史文档中的人物-地点关系(at和isAt)进行提取,采用三方面评估框架,比较了多种方法在准确性、效率和跨域泛化上的表现。
2026-06-25 cs.AI cs.CL
Combining Visual and Textual Features for Semantic Segmentation of Historical Newspapers
École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Universität Zürich(苏黎世大学)
针对历史报纸语义分割中仅用视觉特征的问题,提出结合视觉与文本特征的多模态方法,实验证明其性能优于视觉基线且对材料变异更鲁棒。
2020-12-14 cs.CL cs.CV cs.IR
Entities, Dates, and Languages: Zero-Shot on Historical Texts with T0
The University of Western Australia(西澳大学);Leipzig University(莱比锡大学);National Library of Norway(挪威国家图书馆);Inria Paris(法国国家信息与自动化研究所巴黎分院);Leiden University(莱顿大学);Bayerische Staatsbibliothek(巴伐利亚州立图书馆);British Library(大英图书馆)
在这项工作中,我们探讨最近证明的zero-shot能力的T0模型扩展到命名实体识别的分布语言和时间段。以三种语言的历史报纸语料库为实验平台,使用提示词抽取可能的命名实体。我们的研究结果表明,一个天真的方法为基础的zero-shot多语言命名实体识别是容易出错的,但突出了这种方法的潜力,缺乏标记的数据集的历史语言。此外,我们还发现,T0类模型可以用来预测一份文件的出版日期和语言,这可能是非常相关的历史文本的研究。
2022-04-11 cs.CL
Urdu Katib Handwritten Dataset: A Historical Document Dataset for Offline Urdu Handwritten Text Recognition with CRNN-Based Baseline Evaluation
Department of Computer Science, University of Gujrat(瓜尔杰特大学计算机科学系)
为解决乌尔都语手写文本识别中数据集稀缺的问题,本文提出了首个由历史时期Katib书写的离线乌尔都语手写文本行数据集UKHD,并评估了多种CRNN混合模型,其中CNN-BGRU-CTC在字符错误率和词错误率上表现最优。
2026-06-18 cs.CL cs.CV
Restoring and Mining the Records of the Joseon Dynasty via Neural Language Modeling and Machine Translation
Scatter Lab;Chung-Ang University(中央大学);KAIST(韩国科学技术院)
了解大量的历史记录可以从各个方面提供关于过去的线索,例如社会和政治问题,甚至自然科学事实。然而,由于大多数文件不是用现代语言编写的,部分内容随着时间的推移而损坏,因此很难充分利用历史记录。因此,修复受损或无法辨认的部分以及将记录翻译成现代语言是至关重要的任务。作为回应,我们提出了一个多任务的学习方法来恢复和翻译历史文献的基础上自我注意力机制,特别是利用两个韩国的历史记录,在世界上最庞大的历史记录之一。实验结果表明,我们的方法显着提高了翻译任务的准确性比基线没有多任务学习。此外,我们通过主题建模对我们的翻译结果进行了深入的探索性分析,揭示了几个重要的历史事件。
2021-05-07 cs.AI cs.CL
The Role of Verbs in Document Analysis
我们目前的两种方法来评估事件的新闻文章的功能,动词类型的配置文件的结果。这项研究的独特贡献是关注动词的作用,而不是名词。两种算法,提出和评估,其中之一被证明是准确区分文件的类型和语义属性,即事件配置文件。最初的方法,使用WordNet(Miller et al. 1990),产生了多个交叉分类的文章,主要是由于灌木丛性质的动词树加上意义消歧问题。我们的第二种方法使用英语动词类别和交替(EVCA)Levin(1993)表明,WSJ中频繁动词的单义分类使得有效区分文档成为可能。例如,我们的研究结果表明,交流动词占主导地位的文章往往是意见,而协议动词比例高的文章往往是关于合并或法律案件。使用Kendall’s Tau对结果进行评估。我们提出了令人信服的证据,使用动词语义类作为判别式的文件分类。
1998-07-13 cmp-lg cs.CL
Improving MLLM Historical Record Extraction with Test-Time Image
Brigham Young University
提出一种基于LLM的集成框架,通过融合多图像增强变体转录结果来稳定提取嘈杂历史文档文本,有效提升了转录准确率并提供了置信度评估。
2025-09-10 cs.CL cs.CV cs.LG
Indiscapes: Instance Segmentation Networks for Layout Parsing of Historical Indic Manuscripts
Centre for Visual Information Technology (CVIT)(视觉信息技术中心);International Institute of Information Technology, Hyderabad (IIIT-H)(海得拉巴国际信息技术学院)
印度次大陆的棕榈叶手稿和早期纸质文献是世界文学文化遗产的重要组成部分。尽管其重要性,大规模的注释印度手稿图像数据集不存在。为了解决这一缺陷,我们引入了Indiscapes,这是有史以来第一个具有历史印度手稿多区域布局注释的数据集。为了解决脚本的巨大多样性和存在密集的不规则布局元素(例如文本行、图片、每个图像多个文档)的挑战,我们采用全卷积深度神经网络架构,用于手稿图像的全自动实例级空间布局解析。我们证明了所提出的架构的有效性,从Indiscapes数据集的图像。为了注释的灵活性和保持领域专家的非技术性质,我们还提供了一个自定义的基于Web的GUI注释工具和一个仪表板风格的分析门户。总的来说,我们的贡献为大规模启用下游应用程序(如OCR和历史印度语手稿中的单词识别)奠定了基础。
2019-12-15 cs.CL cs.CV
PalmLeaf-VQA: A Multi-Script Visual Question Answering Benchmark for Historical Palm-Leaf Manuscript Understanding Across Diverse Regions
PalmLeaf-VQA构建了一个包含923幅图像和7,384个问答对的多脚本棕榈叶手稿视觉问答基准,评估多模态大模型在跨区域历史文档理解上的表现,发现最强模型仅达58%准确率,揭示了现有模型在稀有脚本和退化布局理解上的重大局限。
2026-09-29 cs.AI cs.CL cs.CV