arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2407.17629cs.CL
收藏

Papilusion 在 DAGPap24:论文还是幻觉?检测 AI 生成的科学论文

Papilusion at DAGPap24: Paper or Illusion? Detecting AI-generated Scientific Papers

CAIT;Applied AI Institute(应用人工智能研究院);HSE University(高等经济大学);University of Oslo(奥斯陆大学);Toloka AI

Nikita Andreev, Alexander Shirnin, Vladislav Mikhailov, Ekaterina Artemova

AI总结:

本文提出集成式 AI 生成科学论文检测器 Papilusion,参与 DAGPap24 任务并通过消融研究优化配置,最终在官方测试集上取得 99.46 的 F1 分数。

摘要:

本文介绍了 Papilusion,一个在 DAGPap24 共享任务(检测自动生成的科学论文)中开发的 AI 生成科学文本检测器。我们提出了一种基于集成的方法,并进行了消融研究,以分析检测器配置对性能的影响。Papilusion 在排行榜上排名第 6,在比赛结束后我们进一步提升了性能,在官方测试集上取得了 99.46(+9.63)的 F1 分数。

英文摘要:

This paper presents Papilusion, an AI-generated scientific text detector developed within the DAGPap24 shared task on detecting automatically generated scientific papers. We propose an ensemble-based approach and conduct ablation studies to analyze the effect of the detector configurations on the performance. Papilusion is ranked 6th on the leaderboard, and we improve our performance after the competition ended, achieving 99.46 (+9.63) of the F1-score on the official test set.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑