arXiv 2503.036012025-03-05cs.CLcs.ITmath.IT

利用稀疏自编码器对人工文本检测进行特征层面洞察

Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders

Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；AI Foundation and Algorithm Lab（人工智能基金会与算法实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；CNRS（法国国家科学研究中心）；Université Paris Cité（巴黎西岱大学）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））

Kristian Kuznetsov, Laida Kushnareva, Polina Druzhinina, Anton Razzhigaev, Anastasia Voznyuk, Irina Piontkovskaya, Evgeny Burnaev, Serguei Barannikov

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文使用 Sparse Autoencoders 从 Gemma-2-2b 残差流提取可解释且有效的特征，结合统计、引导与解释分析揭示不同 LLM 文本相对人类文本的风格差异，以提升人工文本检测的可解释性与泛化认识。

摘要：

随着先进大型语言模型（LLM）的兴起，人工文本检测（ATD）正变得愈发重要。尽管已有大量努力，但没有任何单一算法能够在不同类型的未见文本上始终表现良好，也无法保证有效泛化到新的 LLM。可解释性在实现这一目标方面发挥着关键作用。在本研究中，我们通过使用稀疏自编码器（SAE）从 Gemma-2-2b 残差流中提取特征，增强了 ATD 的可解释性。我们识别出兼具可解释性和高效性的特征，并通过特定领域和特定模型的统计、一种引导方法以及人工或基于 LLM 的解释，分析其语义和相关性。我们的方法为不同模型生成的文本与人类撰写内容之间的差异提供了宝贵见解。我们表明，现代 LLM 具有独特的写作风格，尤其是在信息密集领域，即便它们能够借助个性化提示生成类似人类的输出。

英文摘要：

Artificial Text Detection (ATD) is becoming increasingly important with the rise of advanced Large Language Models (LLMs). Despite numerous efforts, no single algorithm performs consistently well across different types of unseen text or guarantees effective generalization to new LLMs. Interpretability plays a crucial role in achieving this goal. In this study, we enhance ATD interpretability by using Sparse Autoencoders (SAE) to extract features from Gemma-2-2b residual stream. We identify both interpretable and efficient features, analyzing their semantics and relevance through domain- and model-specific statistics, a steering approach, and manual or LLM-based interpretation. Our methods offer valuable insights into how texts from various models differ from human-written content. We show that modern LLMs have a distinct writing style, especially in information-dense domains, even though they can produce human-like outputs with personalized prompts.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。