arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

AI文章换词也藏不住?看结构仍能做到98.1 F1

作者:arXivDaily编辑部 arXiv 2609.15369 cs · cs.CL

论文导读

Sitefire提出SlopShape,不盯AI偏爱的单词,而是检查信息顺序、证据使用和语气等文章结构。它在268家公司、13500篇英文商业博客上,仅凭187个结构特征取得98.0宏F1,模型自行改写后仍为98.1;结果不能直接外推到中文或人工深度编辑内容。

换词能骗过检测,骨架更难改

常见AI文本检测器依据词频、困惑度或局部措辞。原始机器文本容易识别,但经过同义改写、人工润色后,词面信号会迅速变弱。SlopShape追问的是更深一层:文章先讲什么、何时摆证据、怎样转折、是否反复预告结构,这些组织习惯会不会跨越具体词句保留下来。

论文图:从博客语料提取结构特征,再完成真人与AI识别及来源归因。

研究复现了此前用于小说的StoryScope思路,并转向商业内容。语料包括268个公司域在ChatGPT出现前发布的2250篇真实博客,以及五个前沿模型生成的11250篇镜像文章。每篇AI文还由原模型再次改写,用来检验检测器是否只记住表面措辞。

214维工具拆文章的写法

特征工具共有214维,其中187维描述结构:信息如何呈现、以什么顺序出现、用哪类证据、采取何种口吻。标注不是完全交给模型;团队用人工金标准会话核验,人工之间的kappa为0.928,人工与模型之间为0.946。

论文图:六来源模型在测试集上的混淆矩阵,整体准确率79.3%,随机水平为16.7%。

只使用结构特征时,检测器在未见过的公司上达到98.0宏F1。让每篇AI文由生成它的模型自行改写,成绩仍为98.1。论文据此认为,改写可以换掉词,却未必会重排文章论证的整体形状。

不只判断真假,还能猜来源

结构信号还能用于刻画和归因。六类来源识别中,79.3%的文章被正确分到人类或五个AI模型之一,远高于16.7%的随机概率。降维图显示人类文章与AI文章明显分开,而五种模型之间重叠更多,最难的是DeepSeek V3.2。

论文图:12900篇文章的结构特征投影,人类与AI沿主要方向分离,AI模型彼此更接近。

这不等于单篇文章能被确定“定罪”。数据聚焦英文商业博客,AI样本按研究流程生成,人类深度重写、中文表达、混合作者和新模型都可能改变分布。高F1适合说明数据集上的可分性,不能直接当作平台处罚阈值。

更稳妥的用法,是把结构分数当作复核线索,并保留作者申诉与人工判断。

下一步是做可解释的内容治理

结构检测比一个真假分数更有用的地方,是能指出文章为何可疑:是否过度整齐地列出观点、是否用模板化证据、是否不断自报接下来要讲什么。平台可把这些特征用于抽样复核和质量提示,而非自动封禁。后续应加入多语言、真实编辑链和时间外测试,观察“文章骨架”能稳定多久。

参考资料

https://arxiv.org/abs/2609.15369

https://arxiv.org/html/2609.15369

https://github.com/pulse-energy-eu/slopshape