使用对比提示词的基于特征引导的SAE转向以控制拒绝率
Feature-Guided SAE Steering for Refusal-Rate Control using Contrasting Prompts
AI总结：
本文提出一种基于稀疏自编码器（SAE）的特征引导转向方法，利用创新的对比提示词在Llama-3 8B上系统选择最优特征，在提升安全性能18.9%的同时增加效用11.1%，成功克服了传统的安全与效用权衡。
摘要：
大型语言模型（LLM）的部署需要引导LLM识别且不回答不安全提示词，同时遵从安全提示词。以往实现这一目标的方法需要调整模型权重以及其他昂贵的程序。尽管稀疏自编码器（SAEs）的最新进展已能从LLM中提取可解释特征，但现有方法缺乏系统的特征选择方法以及对安全-效用权衡的原则性评估。我们探索了使用稀疏自编码器（SAEs）的不同转向特征和转向强度来提供一种解决方案。我们采用一种准确且创新的对比提示词方法，结合来自 teknium/OpenHermes-2p5-Mistral-7B 的 AI生成提示词数据集和 Air Bench eu-dataset，以高效选择模型中最佳特征进行转向，并在 Llama-3 8B 上测试了该方法。我们得出结论，使用该方法，我们的方法在安全性能上实现了 18.9% 的提升，同时效用增加了 11.1%，这表明当通过原则性选择方法识别出最优特征时，有针对性的SAE转向能够克服传统的安全-效用权衡。
英文摘要：
Large Language Model (LLM) deployment requires guiding the LLM to recognize and not answer unsafe prompts while complying with safe prompts. Previous methods for achieving this require adjusting model weights along with other expensive procedures. While recent advances in Sparse Autoencoders (SAEs) have enabled interpretable feature extraction from LLMs, existing approaches lack systematic feature selection methods and principled evaluation of safety-utility tradeoffs. We explored using different steering features and steering strengths using Sparse Auto Encoders (SAEs) to provide a solution. Using an accurate and innovative contrasting prompt method with the AI-Generated Prompts Dataset from teknium/OpenHermes-2p5-Mistral-7B and Air Bench eu-dataset to efficiently choose the best features in the model to steer, we tested this method on Llama-3 8B. We conclude that using this method, our approach achieves an 18.9% improvement in safety performance while simultaneously increasing utility by 11.1%, demonstrating that targeted SAE steering can overcome traditional safety-utility tradeoffs when optimal features are identified through principled selection methods.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
