一种可定制的自动标注方法：解决文本文档的过度标注和标注不足问题
Method for Customizable Automated Tagging: Addressing the Problem of Over-tagging and Under-tagging Text Documents
摘要：
使用作者提供的标记来预测新文档的标记通常会导致标记的过度生成。在作者没有提供任何标签的情况下，我们的文档面临着严重的标签不足问题。在本文中，我们提出了一种方法来生成一个通用的标签，可以广泛应用于一个大型的文档语料库。使用IBM Watson的NLU服务，首先，我们从语料库中的8，854个流行报告中收集我们称之为“复杂文档标签”的关键字/短语。我们将LDA模型应用于这些复杂的文档标签，生成一组765个唯一的“简单标签”。在将标记应用于文档语料库时，我们通过IBM Watson NLU运行每个文档并应用适当的简单标记。仅使用765个简单的标签，我们的方法允许我们在语料库中的88，583个文档中使用至少一个标签标记87，397个。在总共87，397份文件中，约有92.1%也被确定为被标记。最后，我们讨论了我们的方法的性能及其局限性。
英文摘要：
Using author provided tags to predict tags for a new document often results in the overgeneration of tags. In the case where the author doesn't provide any tags, our documents face the severe under-tagging issue. In this paper, we present a method to generate a universal set of tags that can be applied widely to a large document corpus. Using IBM Watson's NLU service, first, we collect keywords/phrases that we call "complex document tags" from 8,854 popular reports in the corpus. We apply LDA model over these complex document tags to generate a set of 765 unique "simple tags". In applying the tags to a corpus of documents, we run each document through the IBM Watson NLU and apply appropriate simple tags. Using only 765 simple tags, our method allows us to tag 87,397 out of 88,583 total documents in the corpus with at least one tag. About 92.1% of the total 87,397 documents are also determined to be sufficiently-tagged. In the end, we discuss the performance of our method and its limitations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
