上下文线性激活引导的语言模型
Contextual Linear Activation Steering of Language Models
AI总结：
本文提出CLAS方法，通过动态调整线性激活引导强度，在有限标注数据下提升语言模型的专精能力，优于传统方法和ReFT、LoRA。
摘要：
线性激活引导是一种通过有限标注数据激发大型语言模型能力并专门化其行为的有效方法。尽管有效，现有方法通常对所有token应用固定引导强度，导致在多样输入提示下引导质量不一致。本文引入上下文线性激活引导（CLAS），一种能动态适应上下文依赖引导强度的方法。在 eleven 个引导基准和 four 个模型家族中，CLAS 一致优于标准线性激活引导，并在有限标注数据设置中匹配或超过 ReFT 和 LoRA 的性能。因此，我们提出 CLAS 作为一种可扩展、可解释且准确的方法，用于专门化和引导大型语言模型。
英文摘要：
Linear activation steering is a powerful approach for eliciting the capabilities of large language models and specializing their behavior using limited labeled data. While effective, existing methods often apply a fixed steering strength to all tokens, resulting in inconsistent steering quality across diverse input prompts. In this work, we introduce Contextual Linear Activation Steering (CLAS), a method that dynamically adapts linear activation steering to context-dependent steering strengths. Across eleven steering benchmarks and four model families, it consistently outperforms standard linear activation steering and matches or exceeds the performance of ReFT and LoRA in settings with limited labeled data. We therefore propose CLAS as a scalable, interpretable, and accurate method for specializing and steering large language models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
