Can LLMs Act as Historians? Evaluating Historical Research Capabilities of LLMs via the Chinese Imperial Examination
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文提出ProHist-Bench基准,基于中国科举制度评估LLMs的历史研究能力,揭示其在复杂历史问题上的不足,旨在推动领域特定推理LLM的发展。
2026-04-27 cs.CL
CHisAgent: A Multi-Agent Framework for Event Taxonomy Construction in Ancient Chinese Cultural Systems
The Hong Kong Polytechnic University(香港理工大学);Renmin University of China(中国人民大学)
CHisAgent通过多智能体框架实现古代中国历史事件的自动分类,提升历史知识组织与跨文化理解能力。
2026-10-08 cs.CL
A Comparative Analysis of Word Segmentation, Part-of-Speech Tagging, and Named Entity Recognition for Historical Chinese Sources, 1900-1950
University of Chicago(芝加哥大学);Purdue University(普渡大学)
本文比较了LLMs与传统NLP工具在1900-1950年中文历史文本上的分词、词性标注和命名实体识别性能,发现LLMs在准确率上全面领先,但计算成本更高,且能更好地处理诗歌及时间变化带来的挑战。
2025-03-25 cs.AI cs.CL
LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);College of Literature and Journalism, Sichuan University(四川大学文学与新闻学院)
LongHisDoc是首个中文长历史文档理解综合基准,含1012个专家标注问答对,评估显示顶尖LVLM、LLM准确率仅62.9%、69.9%,还评估了模态检索器与RAG性能,可推动相关研究。
2026-10-21 cs.CL
CHisIEC: An Information Extraction Corpus for Ancient Chinese History
Peking University(北京大学)
本文提出面向中国古代历史的CHisIEC信息抽取语料库,涵盖13个朝代超1830年,含4类实体和12类关系,并评估了多种模型与LLMs在NER和RE任务上的表现。
2024-04-20 cs.CL
Shared Heritage, Distinct Writing: Rethinking Resource Selection for East Asian Historical Documents
KAIST(韩国科学技术院);New York University(纽约大学);Genentech(基因科技)
本文质疑通过古典汉语资源进行跨语言迁移在处理韩日古文历史文件的有效性,实验显示古典汉语数据对模型性能影响有限,强调需谨慎验证而非盲目依赖跨语言迁移。
2025-11-10 cs.CL
SegHist: A General Segmentation-based Framework for Chinese Historical Document Text Line Detection
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Peking University(北京大学)
本文提出通用分割框架 SegHist,并结合 DB++ 构建 DB-SegHist,以提升历史文档中高长宽比文本行检测能力,在多个中文历史文档基准上取得 SOTA 或有竞争力的结果。
2024-07-08 cs.CL cs.CV
AC-EVAL: Evaluating Ancient Chinese Language Understanding in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出 AC-EVAL 基准,通过三层难度、13 项任务评估主流 LLM 的古汉语知识与推理能力,揭示其不足并支持古文教育与研究。
2024-03-11 cs.CL
The 'Letter' Distribution in the Chinese Language
School of Systems Science, Beijing Normal University(北京师范大学系统科学学院);New England Complex Systems Institute(新英格兰复杂系统研究所);Brandeis University(布兰迪斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Business College, Shanghai Normal University(上海师范大学商学院)
基于语料库的统计分析在语言学研究中起着重要的作用,大量的证据表明,不同的语言之间存在着一些共同的规律。研究发现,一些字母书写语言中的字母具有惊人相似的统计使用频率分布。这是否适用于使用表意文字的中文?我们获得了一些拼音文字的字母频率数据,发现了字母分布的共同规律。此外,我们还收集了从唐代到现在不同历史时期的汉语文学语料,并将汉语书面语分解为三种基本粒子:汉字、笔画和构字。统计分析的结果表明,在不同的历史时期,基本助词在汉语写作中的使用强度有所不同,但分布形式是一致的。特别是汉语构式部件的分布与拼音文字的分布有一定的一致性。这项研究为人类语言的一致性提供了新的证据。
2020-05-26 cs.CL
Cross-Linguistic Transcription and Phonological Representation in the Huìtóngguǎnxì Huáyíyìyǔ
Department of Korean language and literature, Duksung Women’s University(韩国语言文学系,杜克松女子大学)
本研究将《会同馆华夷译语》视为一个连贯的多语言转写系统,通过数字化和音系分析,揭示了其主要转写和补充转写的跨语言规律,并论证了该系统作为历史音系证据的价值。
2026-05-26 cs.CL
Do Evaluation Metrics Detect Errors in Classical Chinese to English Translations?
University of Maryland(马里兰大学)
本研究以古文汉英翻译为测试案例,引入诊断框架探查现有翻译评估指标的可靠性,发现MetricX24整体表现最佳,凸显需开发更适配历史文化独特场景的翻译评估指标。
2026-08-13 cs.AI cs.CL
CLiMP: A Benchmark for Chinese Language Model Evaluation
University of Colorado Boulder(科罗拉多大学博尔德分校);New York University(纽约大学)
对语言模型的语言学分析有助于理解和改进这些模型。在这里,我们介绍了语料库的中文语言最小对(CLiMP),它可以用来调查什么知识的中国LM收购。CLiMP由1,000个最小对(MP)组成,用于16个普通话句法对比,涵盖9个主要的普通话语言现象。MP是半自动生成的,人类与CLiMP中标签的一致性为95.8%。我们在CLiMP上评估了11种不同的LM,包括n-gram、LSTM和中文BERT。我们发现,量名一致和动词补语选择是模型通常表现最好的现象。然而,模型在ba构造、绑定和填充缺口依赖性方面做得最多。总体而言,中国BERT达到了81.8%的平均准确率,而LSTM和5-gram的性能仅略高于机会水平。
2021-01-26 cs.CL
Evolution of Part-of-Speech in Classical Chinese
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(Vector人工智能研究所)
古汉语是一种以其词类灵活性而闻名的语言:同一个词可以经常用作名词或动词。Bisang(2008)认为,古汉语是一种前范畴语言,词的句法位置决定其词性范畴。在本文中,我们采用基于熵的度量来评估这些索赔的历史语料库。我们进一步探讨了古汉语中名词和动词的差异:使用心理语言学规范,我们发现具体性和名词用法之间存在正相关。最后,我们对比了古今汉语中的字嵌入,发现动词比名词经历了更多的语义变化。
2020-09-23 cs.CL
A complexity measure for diachronic Chinese phonology
本文讨论的问题,得出父母和女儿的语言与具体相关的历史汉语音韵之间的距离措施。语言之间的历时关系被建模为概率有限状态自动机。最小消息长度的原则,然后找到这个结构的复杂性。这个想法是,这个措施是代表两种语言之间的差异量。
1997-08-20 cmp-lg cs.CL
Summarising Historical Text in Modern Languages
The University of Sheffield(谢菲尔德大学);Beihang University(北京航空航天大学);The Open University(开放大学)
我们介绍了历史文本摘要的任务,其中一种语言的历史形式的文件被总结在相应的现代语言。这对历史学家和数字人文研究人员来说是一个非常重要的程序,但从未被自动化。我们编制了一个高质量的黄金标准文本摘要数据集,其中包括数百年前用现代德语或中文摘要的历史德语和中国新闻。基于跨语言迁移学习技术,我们提出了一个即使没有跨语言(历史到现代)并行数据也可以训练的摘要模型,并进一步将其与最先进的算法进行基准测试。我们报告了将历史到现代语言摘要任务与标准跨语言摘要(即,现代到现代语言),突出我们数据集的独特性和价值,并证明我们的迁移学习方法在这项任务上优于标准的跨语言基准。
2021-01-27 cs.AI cs.CL cs.CY
A Phonemically Comprehensive, ASCII-Only Romanization Scheme for Thai and Lao: Systematic Cross-Lingual Correspondence and Chinese-User-Friendly Design
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种音位全面、纯ASCII的泰语和老挝语罗马化方案,统一设计以保持系统对应,兼顾拼音和粤拼,并采用紧凑声调表示,便于学习与跨语言处理。
2026-09-18 cs.CL
CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity
Nara Institute of Science and Technology(奈良科学技術大學);Liaoning Normal University(遼寧師範大學)
提出CARTBENCH基准,通过四个子任务评估视觉语言模型在中国艺术作品上的识别、推理、鉴赏和真伪鉴别能力,发现现有模型在复杂证据链接、风格断代和真伪诊断方面表现不足。
2026-05-25 cs.CL
HERITAGE: An End-to-End Web Platform for Processing Korean Historical Documents in Hanja
KAIST(韩国科学技术院);New York University(纽约大学);Genentech(基因泰克公司)
针对韩国历史文献因汉文专业知识门槛高而难以理解的问题,HERITAGE作为首个开源汉文NLP工具包,提供标点恢复、命名实体识别和机器翻译功能,并辅以交互式词汇表,旨在降低翻译门槛,促进文献的现代语言翻译。
2025-01-21 cs.CL
ChunQiuTR: Time-Keyed Temporal Retrieval in Classical Chinese Annals
Sun Yat-Sen University(中山大学);Shaanxi Normal University(陕西师范大学)
本文提出ChunQiuTR基准,通过编年史和注释传统构建,结合傅里叶绝对日历上下文与相对偏移偏差,提升时间键检索的准确性,支持历史RAG的忠实生成。
2026-04-08 cs.CL
Evaluating LLMs on Chinese Idiom Translation
Georgia Institute of Technology(佐治亚理工学院)
针对中文成语翻译难题,提出IdiomEval框架并标注900个翻译对,发现现有大模型及评估指标表现不佳,进而开发了检测错误达0.68 F1分数的改进模型。
2025-08-14 cs.CL
Evaluating Hallucinations in Chinese Large Language Models
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
本文提出中文幻觉问答基准HalluQA,包含450个对抗性问题,通过GPT-4自动化评估24个大模型,发现多数模型非幻觉率低于50%,并分析了幻觉成因。
2023-10-25 cs.CL
Large Language Models for Classical Chinese Poetry Translation: Benchmarking, Evaluating, and Improving
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);Pengcheng Laboratory(鹏城实验室)
本文构建中国古典诗歌翻译基准PoetMT并提出基于GPT-4的评估指标,进而设计检索增强机器翻译方法RAT,实验证明其在自动指标和人工评估上均优于现有方法。
2024-12-30 cs.AI cs.CL
Evaluation of Google Translate for Mandarin Chinese translation using sentiment and semantic analysis
School of Mathematics and Statistics, UNSW Sydney(新南威尔士大学悉尼分校数学与统计学院);Pingala Institute(平加拉研究所);Centre for Artificial Intelligence and Innovation(人工智能与创新中心)
本研究以《阿Q正传》为语料,通过情感与语义分析自动评估Google Translate的中译英质量,发现其在语义、情感传达精准度上不及人工翻译,且存在传统典故等特定表达误译问题。
2024-09-16 cs.AI cs.CL
The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation
Computer Science Department University of Brasilia(布拉兹利亚大学计算机科学系);Math Department Federal Institute of Brasilia(布拉兹利亚联邦学院数学系)
本研究构建多样化语料库,利用BT-Fried评估系统对比大语言模型与传统翻译工具在中英翻译中的表现,揭示了“诗意意图悖论”并提出改进的BLEU变体,推进了对AI翻译文化保真度的理解。
2025-04-28 cs.CL
Glyce: Glyph-vectors for Chinese Character Representations
Glyce通过引入历史中文字体和定制CNN结构,提升中文NLP任务中的字形信息利用,实现多项任务的性能突破。
2026-07-29 cs.AI cs.CL cs.CV
Time Travel Engine: A Shared Latent Chronological Manifold Enables Historical Navigation in Large Language Models
Peking University(北京大学);Zhejiang University(浙江大学)
时间旅行引擎通过共享的潜在时间流形,使大型语言模型能够导航历史,揭示语言模型中时间进程的连续几何结构。
2026-01-10 cs.CL
CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis
Peking University(北京大学);LLM-Core
针对LLM法律知识可靠性问题,提出CLaw基准,含306部中国法律细粒度语料与254个案例推理实例,发现模型复现法条困难,强调知识检索与推理协同。
2025-09-25 cs.CL
Enhancing OCR for Sino-Vietnamese Language Processing via Fine-tuned PaddleOCRv5
本研究通过微调PaddleOCRv5提升汉那姆文本识别精度,实现对越南历史文件的高效OCR处理及跨语言语义研究。
2025-11-29 cs.CL cs.CV
Revisiting Absence withSymptoms that *T* Show up Decades Later to Recover Empty Categories
The University of British Columbia(不列颠哥伦比亚大学)
本文研究英汉韩宾州树库中空成分的恢复,将基于语言上下文的规则方法扩展至 CTB,并采用语言无关的 seq2seq 模型跨 PTB、CTB、KTB 取得最高 90.94 的 F1。
2024-12-02 cs.CL
Enhancing Multimodal Large Language Models for Ancient Chinese Character Evolution Analysis via Glyph-Driven Fine-Tuning
College of Computer Science and Technology, Jilin University, China(吉林大学计算机科学与技术学院);Key Laboratory of Ancient Chinese Script, Culture Relics and Artificial Intelligence, Jilin University, China(吉林大学古文字、文物与人工智能重点实验室);School of Artificial Intelligence, Jilin University, China(吉林大学人工智能学院);School of Archaeology, Jilin University, China(吉林大学考古学院)
本文提出GEVO框架,通过字形驱动微调提升多模态大语言模型在古汉字演变分析中的能力,实验显示模型在多个任务上均取得显著提升。
2026-04-13 cs.AI cs.CL
Lüshi-1840: Building and Probing a Knowledge Cutoff for a Classical Chinese Language Model
Ybuild LLC(Ybuild有限责任公司)
本文构建了9.83亿参数的古典中文语言模型Lüshi-1840,通过重新标注清洗语料库探究其知识截止点,发现其对1840年后事件的意外值比值显著高于现代通用模型,相关资源将发布。
2026-10-14 cs.CL
ICH-Qwen: A Large Language Model Towards Chinese Intangible Cultural Heritage
Nanjing Agricultural University(南京农业大学);Nanjing Institute of Technology(南京工程学院)
本研究利用开源中文非物质文化遗产语料库,结合合成数据与微调技术开发了大型语言模型ICH-Qwen,实验证明其能有效执行非遗领域特定任务,为非遗保护传承与数字人文研究提供新路径。
2025-05-28 cs.CL
Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts
本文介绍了一个涵盖1300年历史的韩国语料库,用于量化分析语言演变,包括韩文书写系统的变化及现代语言模型的改进。
2026-03-05 cs.CL
Internal Knowledge Without External Expression: Probing the Generalization Boundary of a Classical Chinese Language Model
Eaglewood Japan Co., Ltd.(日本鹰木公司)
研究通过训练纯经典中文语料库的Transformer模型,探讨模型能否区分已知与未知输入,并揭示内部与外部不确定性之间的差异。
2026-07-24 cs.AI cs.CL
HUE: Pretrained Model and Dataset for Understanding Hanja Documents of Ancient Korea
KAIST(韩国科学技术院);Sungkyunkwan University(成均馆大学);New York University(纽约大学)
在20世纪之前,韩国的历史记录主要是用汉字书写的,这是一种基于汉字的灭绝语言,现代韩国人或中国人都不理解。在这一时期具有专业知识的历史学家一直在分析这些文件,但这一过程非常困难和耗时,而语言模型将大大加快这一过程。为了构建和评估汉字的语言模型,我们发布了汉字理解评估数据集,包括时间属性,主题分类,命名实体识别和摘要检索任务。我们还提出了基于BERT的模型继续培训的两个主要语料库从14世纪到19世纪:朝鲜王朝的编年史和皇家秘书处的日记。我们将模型与所有任务的几个基线进行了比较,并显示通过在两个语料库上进行训练获得了显着的改进。此外,我们还对《朝官实录》进行了zero-shot实验。DRRI数据集还没有被历史学家研究过,NLP社区也没有研究过。
2022-10-11 cs.CL
Towards Lingua Franca Named Entity Recognition with BERT
IBM Research AI(IBM研究院人工智能部门)
信息抽取是自然语言处理中的一项重要任务,它能够自动抽取数据,用于关系数据库的填充。从历史上看,研究和数据是针对英文文本产生的,随后几年是阿拉伯语,中文(ACE/OntoNotes),荷兰语,西班牙语,德语(CoNLL评估)等数据集。自然的趋势是将每种语言视为不同的数据集,并为每种语言构建优化的模型。在本文中,我们研究了一个单一的命名实体识别模型,基于一个多语言的BERT,这是联合训练的许多语言同时,能够解码这些语言更好的准确性比模型只训练一种语言。为了改进初始模型,我们研究了正则化策略的使用,如多任务学习和部分梯度更新。除了作为可以处理多种语言(包括代码切换)的单个模型之外,该模型还可以用于对新语言进行zero-shot预测,即使是那些没有训练数据的语言。结果表明,该模型不仅与单语模型具有竞争力,而且在CoNLL 02荷兰语和西班牙语数据集,OntoNotes阿拉伯语和中文数据集上也取得了最先进的结果。此外,它在看不见的语言上表现得相当好,在三种CoNLL语言上实现了最先进的zero-shot。
2019-12-12 cs.CL cs.LG stat.ML