识别机器改写的抄袭行为
Identifying Machine-Paraphrased Plagiarism
AI总结:
本研究针对机器改写抄袭文本的检测问题,评估了多种预训练词嵌入模型与神经语言模型的性能,发现 Longformer 模型在检测 SpinBot 和 SpinnerChief 改写文本时表现优于人工评估,并证明该方法能弥补传统文本匹配系统的不足。
摘要:
使用改写工具隐藏抄袭文本对学术诚信构成严重威胁。为了检测机器改写的文本,我们评估了五种预训练词嵌入模型结合机器学习分类器的有效性,以及八种最先进的神经语言模型。我们分析了研究论文预印本、毕业论文和维基百科文章,并使用 SpinBot 和 SpinnerChief 工具的不同配置进行改写。表现最佳的 Longformer 模型平均 F1 分数为 81.0%(SpinBot 案例 F1=99.7%,SpinnerChief 案例 F1=71.6%),而人工评估者在 SpinBot 案例中 F1=78.4%,SpinnerChief 案例 F1=65.6%。我们证明自动化分类缓解了 Turnitin 和 PlagScan 等广泛使用的文本匹配系统的不足。为促进未来研究,所有数据、代码和两个展示我们贡献的 Web 应用程序均公开于 https://github.com/jpwahle/iconf22-paraphrase。
英文摘要:
Employing paraphrasing tools to conceal plagiarized text is a severe threat to academic integrity. To enable the detection of machine-paraphrased text, we evaluate the effectiveness of five pre-trained word embedding models combined with machine-learning classifiers and eight state-of-the-art neural language models. We analyzed preprints of research papers, graduation theses, and Wikipedia articles, which we paraphrased using different configurations of the tools SpinBot and SpinnerChief. The best-performing technique, Longformer, achieved an average F1 score of 81.0% (F1=99.7% for SpinBot and F1=71.6% for SpinnerChief cases), while human evaluators achieved F1=78.4% for SpinBot and F1=65.6% for SpinnerChief cases. We show that the automated classification alleviates shortcomings of widely-used text-matching systems, such as Turnitin and PlagScan. To facilitate future research, all data, code, and two web applications showcasing our contributions are openly available at https://github.com/jpwahle/iconf22-paraphrase.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。