为什么AI检测无法保障学术诚信
Why AI Detection Fails for Academic Integrity
浏览论文内容
中文总结 AI 辅助
该研究发现商业AI检测器无法区分AI编辑与LLM完整生成稿，轻度AI辅助润色的论文标记率远高于未修改稿，且人性化处理可大幅规避检测，表明检测器分数不能单独作为学术不端证据。
中文摘要 AI 辅助
各机构使用商业AI检测器来维护学术诚信，但这类检测器无法区分AI编辑与完整的大语言模型（LLM）生成稿，可能将两者都判定为学术不端。在一项针对已发表英文摘要的对照研究中（涵盖四个领域；对比2013至2015年与2023至2025年的摘要），我们在tau=0.50的代理人类/AI标签下量化了这一政策失效情况。仅对摘要进行轻度“润色”（作为符合指南的AI辅助的代理）的论文，被Pangram和GPTZero检测器标记的比例达64%至80%；2023至2025年的未修改原创论文被标记的比例为9%至15%，且非STEM领域的标记率远高于STEM领域（p<0.001）；升高的检测分数与长 token 及学术词汇表密度相关，而非仅与作者意图有关。经Undetectable AI工具进行“人性化”处理后，规避检测的效果几乎完全：AI标记的改写稿中，被检测器再次标记的不足4%（人性化后检测率<4%，漏检率FNR>96%）。诚实的AI编辑结果面临的处罚风险，高于经人性化工具辅助的规避行为。因此，检测器分数不应作为判定学术不端的独立证据。
英文摘要
Institutions use commercial AI detectors for academic integrity, yet detectors cannot distinguish AI editing from full LLM drafts and may treat both as misconduct. In a controlled study of published English abstracts (four domains; 2013 to 2015 vs. 2023 to 2025), we quantify this policy failure under proxy human/AI labels at tau=0.50. Light "refine abstract only" edits, a proxy for guideline-compliant AI assistance, are flagged at 38 to 80%. Unmodified 2023 to 2025 originals are flagged at 9 to 15%, with non-STEM rates far above STEM (p<0.001); elevated scores track long-token and Academic Word List density, not authorship intent alone. After Undetectable AI humanization, evasion is near-total: fewer than 4% of AI-labeled rewrites remain flagged (post-humanization detection rate <4%; FNR >96%). Honest AI-editing results in a higher sanction risk than humanizer-assisted evasion. Therefore, detector scores should not serve as standalone misconduct evidence.
发表机构
- University of Notre Dame（圣母大学）
机构由 AI 辅助整理，请以论文原文为准。
