arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2101.05225cs.CL
收藏

关于文本数据中的一致性分数,并在R中实现

On consistency scores in text data with an implementation in R

University of Toronto(多伦多大学)

Ke-Li Chiu, Rohan Alexander

摘要:

在本文中,我们介绍了一个可重复的清洗过程中提取的PDF文件使用n-gram模型的文本。我们的方法将最初提取的文本与使用早期文本作为刺激的这些模型生成的或预期的文本进行比较。为了指导这个过程,我们引入了一致性分数的概念,它是指模型所期望的文本比例。这是用来监测在清洁过程中的变化,并在不同的语料库。我们说明了我们的过程中的文本从书简爱,并介绍了一个闪亮的应用程序和R包,使我们的过程更容易为他人采用。

英文摘要:

In this paper, we introduce a reproducible cleaning process for the text extracted from PDFs using n-gram models. Our approach compares the originally extracted text with the text generated from, or expected by, these models using earlier text as stimulus. To guide this process, we introduce the notion of a consistency score, which refers to the proportion of text that is expected by the model. This is used to monitor changes during the cleaning process, and across different corpuses. We illustrate our process on text from the book Jane Eyre and introduce both a Shiny application and an R package to make our process easier for others to adopt.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑