迈向包容性有害内容审核：解决面向LLM生成内容的有害性分类器对抗攻击的脆弱性
Towards Inclusive Toxic Content Moderation: Addressing Vulnerabilities to Adversarial Attacks in Toxicity Classifiers Tackling LLM-generated Content
AI总结：
针对LLM生成内容的有害性分类器易受对抗攻击的问题，提出基于机制可解释性的方法识别并抑制脆弱电路，提升模型鲁棒性并揭示人口统计学层面的公平性差距。
摘要：
由于大型语言模型（LLM）的广泛使用，在线机器生成内容的数量急剧增长，给内容审核系统带来了新的挑战。传统的内容审核分类器通常基于人类生成的文本进行训练，由于LLM生成的文本偏离其训练数据以及旨在逃避检测的对抗攻击，导致分类错误。当前的防御策略是反应性的而非主动性的，因为它们依赖于对抗训练或外部检测模型来识别攻击。在这项工作中，我们旨在识别导致错误分类的有害性分类器的脆弱组件，提出了一种基于机制可解释性技术的新策略。我们的研究聚焦于微调的BERT和RoBERTa分类器，在涵盖多种少数群体的不同数据集上进行测试。我们使用对抗攻击技术来识别脆弱电路。最后，我们抑制这些脆弱电路，提高对抗攻击下的性能。我们还提供了这些脆弱电路在人口统计学层面的洞察，揭示了模型训练中的公平性和鲁棒性差距。我们发现模型具有不同的注意力头，这些头要么对性能至关重要，要么容易受到攻击，抑制脆弱头可以提高对抗输入的性能。我们还发现不同的头负责不同人口群体的脆弱性，这可以为更具包容性的有害性检测模型开发提供信息。
英文摘要：
Adversarial perturbations can reduce state-of-the-art toxicity classifiers to near-zero accuracy, yet existing defences treat models as black boxes. We apply mechanistic interpretability to toxicity classification for the first time, identifying the internal attention-head circuits responsible for both correct classification and adversarial vulnerability. Across a 2$\times$2 factorial study (BERT $\times$ RoBERTa) $\times$ (Jigsaw $\times$ ToxiGen), extended to Llama Guard~2 (8B), we show that zeroing a single attention head recovers up to 70.4 pp of adversarial accuracy for RoBERTa on Jigsaw and 37.3 pp for Llama Guard 2 on ToxiGen, at $\leq$0.6 pp clean cost. Vulnerable heads generalise to held-out examples within $\leq$1 pp, and a class-imbalance sweep confirms they act as selective toxic-class detectors. Head suppression matches or outperforms adversarial training on Jigsaw; data augmentation dominates on ToxiGen: a dataset-specific reversal explained by whether the classifier encodes a concentrated bottleneck or a distributed circuit. Demographic analysis across 20 Jigsaw and 13 ToxiGen minority groups reveals structurally unequal adversarial vulnerability, exposing mechanistically traceable fairness gaps in current toxicity classifiers.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
