Debias-SparseGPT：面向大语言模型的感知偏差剪枝方法
Debias-SparseGPT: Bias-Aware Pruning for Large Language Models
浏览论文内容
中文总结 AI 辅助
Debias-SparseGPT是一种后训练剪枝方法，通过引入人口统计学对比输入的二阶项实现去偏差，可在保持大语言模型稀疏化后计算效率的同时，降低剪枝引发的偏差并优化偏差-性能权衡。
中文摘要 AI 辅助
剪枝、量化等模型压缩技术可助力大语言模型（LLM）的高效部署与加速，但近期研究表明，SparseGPT等权重稀疏化方法会放大模型中已存在的偏差，输出会随提示中的角色线索发生显著变化。本文提出Debias-SparseGPT，这是一种后训练剪枝方法，利用在人口统计学对比输入上定义的二阶项来实现表示层面的去偏差。我们在多种生成式LLM上对该方法进行了实证验证，在25%、50%及结构化2:4稀疏度等不同稀疏度 regime下，Debias-SparseGPT相比SparseGPT可持续降低剪枝引发的偏差，同时保持模型困惑度与零样本准确率。在最严格的2:4结构化稀疏度（对模型质量破坏最严重）下，用长上下文、内容丰富的示例扩充校准集可进一步提升下游性能与公平性。总体而言，Debias-SparseGPT在保持稀疏模型计算效率的同时，优化了偏差-性能的权衡关系。
英文摘要
Model compression techniques such as pruning and quantization facilitate the efficient deployment and acceleration of Large Language Models (LLMs). However, recent studies show that weight sparsification methods, such as SparseGPT, can amplify existing biases in models, with outputs varying significantly depending on persona cues in the prompt. In this paper, we introduce Debias-SparseGPT, a post-training pruning method incorporating representational debiasing using a second-order term defined over demographically contrasting inputs. We perform empirical validation of our method over a wide range of generative LLMs. Across models and sparsity regimes (25%, 50%, and structured 2:4 sparsity), Debias-SparseGPT consistently reduces pruning-induced bias compared to SparseGPT while preserving model perplexity and zero-shot accuracy. Under the most restrictive 2:4 structured sparsity pattern, which most aggressively degrades model quality, augmenting the calibration set with long-context, content-rich examples further improves both downstream performance and fairness. Overall, Debias-SparseGPT advances the bias-performance trade-off while preserving the computational efficiency of sparse models.
发表机构
- Laboratoire Hubert Curien（于贝尔·屈里安实验室）
- Université Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））
- Université Lumière Lyon 2（里昂第二大学（吕米埃尔））
- École Centrale de Lyon（里昂中央理工学院）
机构由 AI 辅助整理，请以论文原文为准。
