基于高效语言模型的书目异构数据自动集成中的重复检测
Duplicate Detection with Efficient Language Models for Automatic Bibliographic Heterogeneous Data Integration
摘要：
本文提出了一种新的重复项检测方法，该方法利用词汇信息和社会信息对不同书目记录语料库进行合并。正如我们所示，一个平凡的关键是不能用来删除无用的文档。合并异构文档数据库以获得最大信息可能是令人感兴趣的。在我们的案例中，我们试图建立一个关于TOR分子的文档语料库，以便从PubMed和WebOfScience文档数据库中提取与其他基因组件的关系。我们的方法基于n-gram生成关键指纹。我们用这个语料库做了两个文献金标准来做评价。与其他已知的方法在重复数据删除的比较给出了最好的成绩召回率（95%）和精度（100%）。
英文摘要：
We present a new method to detect duplicates used to merge different bibliographic record corpora with the help of lexical and social information. As we show, a trivial key is not available to delete useless documents. Merging heteregeneous document databases to get a maximum of information can be of interest. In our case we try to build a document corpus about the TOR molecule so as to extract relationships with other gene components from PubMed and WebOfScience document databases. Our approach makes key fingerprints based on n-grams. We made two documents gold standards using this corpus to make an evaluation. Comparison with other well-known methods in deduplication gives best scores of recall (95\%) and precision (100\%).
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
