Steering Llama 2 via Contrastive Activation Addition
Anthropic;Harvard University(哈佛大学);University of Göttingen(哥廷根大学);Center for Human-Compatible AI(人类兼容人工智能中心)
本文提出对比激活加法(CAA),通过计算正负行为示例的残差流激活差异得到引导向量,在推理时加入激活以精确控制 Llama 2 Chat 的目标行为,并验证其有效性及可解释性。
2024-07-05 cs.AI cs.CL cs.LG
Global Evolutionary Steering: Refining Activation Steering Control via Cross-Layer Consistency
本文提出GER-steer框架,通过利用网络表示演化的几何稳定性,精炼激活引导向量,有效分离稳健语义意图与正交噪声,提升模型对齐效果。
2026-03-12 cs.AI cs.LG
Angular Steering: Behavior Control via Rotation in Activation Space
Torilab;Department of Mathematics National University of Singapore(数学系,新加坡国立大学)
控制大语言模型中的特定行为,同时保留其一般功能是安全可靠的人工智能部署的核心挑战。目前的转向方法,如矢量加法和定向消融,被约束在由激活和特征方向定义的二维子空间内,使它们对所选参数敏感,并由于激活空间中的非预期相互作用而可能影响不相关的特征。我们介绍了角度转向,一种新颖而灵活的行为调制方法,通过在一个固定的二维子空间内旋转激活操作。通过将转向表述为朝向或远离目标行为方向的几何旋转,角度转向提供了对拒绝和顺从等行为的连续、细粒度控制。我们演示了这种方法使用拒绝转向情感转向作为用例。此外,我们提出了自适应角度转向,这是一种选择性变体,仅旋转与目标特征对齐的激活,进一步增强了稳定性和一致性。角度转向在统一的几何旋转框架下推广了现有的加法和正交化技术,简化了参数选择,并在更广泛的调整范围内保持模型稳定性。跨多个模型系列和大小的实验表明,Angular Steering实现了鲁棒的行为控制,同时保持了一般的语言建模性能,与以前的方法相比,强调了其灵活性,通用性和鲁棒性。代码和工件可在https://github.com/lone17/angular-steering/上获得。
2025-10-30 cs.AI cs.LG
Extracting Unlearned Information from LLMs with Activation Steering
Technical University of Munich(慕尼黑工业大学)
本文提出激活引导方法,结合匿名化激活引导与词频定位,证明能从已未学习的大语言模型中精确提取信息,揭示当前未学习技术的严重漏洞。
2024-11-04 cs.AI cs.CL cs.LG
Endogenous Resistance to Activation Steering in Language Models
University of Washington(华盛顿大学)
研究发现大型语言模型在任务不匹配的激活引导下能内生抵抗,通过显式重启恢复正确生成,并识别出相关稀疏自编码器潜在变量,可增强或削弱该抵抗。
2026-07-07 cs.AI cs.CL cs.LG
Conditional Optimal Bridge for Riemannian Activation Steering
The Pennsylvania State University(宾夕法尼亚州立大学)
研究针对大语言模型推理时激活控制问题,提出\textsc{Cobras}方法,将其视为残差流超球面上的薛定谔桥,从优化问题推导控制目标,使控制方向查询自适应,实验显示该方法性能优于基线且避免分布外性能下降。
2026-10-22 cs.AI cs.LG
Contrastive Covariance Subspaces for Activation Steering
University of Athens(雅典大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
该研究提出无需训练的对比协方差引导(CCS)方法,通过投影引导向量到低维子空间消除混淆因素,在12个模型-领域设置中优于基线方法,多轮对话场景下也表现良好。
2026-10-14 cs.AI cs.CL cs.LG
Activation Steering Induces Emergent Misalignment: Steering Vector Construction and Comprehensive Evaluation
Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
研究激活引导是否引发突现失调,通过扩展评估范围,发现激活引导可导致广泛失调,且比微调产生更连贯的有害响应,并分析了关键因素。
2026-10-15 cs.AI cs.LG
Fusion Steering: Prompt-Specific Activation Control
Johns Hopkins University(约翰霍普金斯大学)
本文提出 Fusion Steering 激活引导方法,通过在所有 transformer 层动态注入特定于提示的激活增量并结合 Optuna 优化权重,显著提升了 LLM 在 QA 任务中的事实准确性。
2025-05-28 cs.AI cs.CL
Contextual Linear Activation Steering of Language Models
UC San Diego(加州大学圣地亚哥分校);MIT(麻省理工学院);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学Broad研究所)
本文提出CLAS方法,通过动态调整线性激活引导强度,在有限标注数据下提升语言模型的专精能力,优于传统方法和ReFT、LoRA。
2026-11-04 cs.AI cs.CL cs.LG
Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior
Indiana University Bloomington(印第安纳大学伯明顿分校)
提出INNSteer框架,通过可逆神经网络将LLM激活映射到潜在空间进行线性控制,再逆变换回原空间,实现非线性、输入依赖的激活引导,在多个模型和基准上优于现有方法。
2026-11-13 cs.CL cs.LG
Cross-Lingual Activation Steering for Multilingual Language Models
Department of Computer Science, Portland State University, USA(波特兰州立大学计算机科学系)
本文提出CLAS方法,通过激活引导提升多语言模型在非主导语言上的性能,无需修改模型权重。
2026-10-07 cs.AI cs.CL
Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection
Yonsei University(延世大学)
DIRECTER通过动态调节引导强度和基于可能性的解码循环,提升大语言模型在复杂指令下的准确性和生成质量。
2026-03-06 cs.AI cs.LG
Fine-Grained Activation Steering: Steering Less, Achieving More
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子与电气工程学院,南洋理工大学,新加坡);Home Team Science and Technology Agency (HTX), Singapore(家庭团队科技局(HTX),新加坡)
AUSteer通过细粒度激活引导方法,精准干预有益激活单元,提升LLM行为调整的效率与效果。
2026-02-04 cs.CL
Can Activation Steering Capture Multidimensional Authorship Style?
University of Maryland(马里兰大学)
该研究提出无需训练的A3S框架,通过结构化对比提示处理多维作者风格,在风格迁移与域外评估中表现优于基线,且样本重叠度低。
2026-09-07 cs.AI cs.CL
Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering
本文通过激活引导技术缓解语言模型的推理偏见,发现对比引导方法能有效减少内容偏见,提升形式推理准确性,且在不同任务中具有鲁棒性。
2026-04-01 cs.AI cs.CL
IDEEA: training-free Input-Dependent stEEring via Activation cluster matching
University of Waterloo(滑铁卢大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能矢量研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对现有无训练引导方法输入无关的局限,提出IDEEA框架,通过聚类注意力头的激活并匹配输入激活选择对应方向,在保留输入表示的同时对齐LLMs,使TruthfulQA的truth×info指标平均提升9.9%。
2026-09-03 cs.CL cs.LG
ATLAS: Verifier-Guided Adaptive Latent Activation Steering for Efficient LLM Reasoning
Indiana University Bloomington(印第安纳大学布卢明顿分校)
提出ATLAS框架,通过轻量级验证器动态调整推理时潜在状态引导策略,实现每步自适应控制,在数学和编码推理任务上提升准确率并减少测试时token使用。
2026-06-23 cs.CL cs.LG
ExpertLens: Activation steering features are highly interpretable
Apple(苹果公司)
本文提出ExpertLens方法,利用激活引导技术识别LLM中特定概念的神经元,发现其表示跨模型稳定且与人类高度一致,优于词句嵌入,为模型表示分析提供轻量级方案。
2025-11-03 cs.AI cs.CL
LocUS: Head Selection and Subspace Projection for Targeted Activation Steering
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Area Science Park(的里雅斯特科技园区);Institute of Science Technology Austria(奥地利科学技术研究所)
本文提出LocUS方法,通过选择注意力头并投影到非嵌入子空间,实现目标激活引导,在干预少量参数下达到或超越现有基线,并保持通用能力。
2026-09-28 cs.CL cs.LG
AutoLexSteer: Automatic Contrast Construction for Lexical Activation Steering
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
AutoLexSteer提出首个全自动构建词汇引导向量的方法,利用WordNet词族实现精确的词义级引导,并能调节谄媚等行为。
2026-09-09 cs.AI cs.CL
Neural Procedural Memory: Empowering LLM Agents with Implicit Activation Steering
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
提出神经程序记忆(NPM),一种无训练框架,通过隐式激活引导而非显式指令表示智能体记忆,从历史对比经验中提取程序技能为激活空间中的引导向量,直接激活任务相关神经机制以指导执行。
2026-06-29 cs.AI cs.CL
Activation Steering with Jungian Cognitive Functions
University of Glasgow(格拉斯哥大学);Leiden University(莱顿大学)
研究能否用荣格认知功能将人格表示为认知过程并控制,引入含评估协议和数据集的框架,通过实验表明可有效控制,还揭示人格信息所在层、引导向量关系等,为大语言模型人格表示提供新见解并建立研究框架。
2026-10-14 cs.AI cs.CL cs.LG
Steering Language Models With Activation Engineering
MIRI;University of Bristol(布里斯托尔大学);Arb Research;MATS;Anthropic
为充分激发语言模型能力,研究提出激活工程及ActAdd技术,通过对比提示对激活值计算引导向量并在推理时加入,在情绪转换、去毒任务上达SOTA,且轻量易迭代。
2024-10-10 cs.CL cs.LG
A gentle push funziona benissimo: making instructed models in Italian via contrastive activation steering
University of Milano - Bicocca(米兰比可卡大学);University of Groningen(格罗宁根大学)
针对预训练数据中意大利语占比低导致模型适配需昂贵微调的问题,本研究探索激活引导技术,实验证明其可适配多模型、性能媲美甚至优于微调模型且生成质量更高,还讨论了该技术在当代LLM领域的效用。
2024-11-27 cs.CL cs.LG
SAKE: Steering Activations for Knowledge Editing
EPFL(苏黎世联邦理工学院);AXA(安盛集团);TRAIL, LIP6, Sorbonne Université(TRAIL、LIP6、索邦大学);Polish Academy of Science, IBS PAN(波兰科学院、IBS PAN)
针对现有知识编辑方法上下文鲁棒性不足、无法泛化逻辑推论的问题,提出将待编辑事实建模为分布、借助最优传输调整相关分布上LLM行为的SAKE方法,实验证明其编辑鲁棒性优于现有方法。
2025-07-29 cs.AI cs.CL cs.LG
ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models
Adobe Research(Adobe研究)
ContextFocus通过轻量级激活引导方法提升大语言模型在知识冲突场景下的上下文忠实性,无需微调且高效,实验表明其在ConFiQA基准上显著优于基线方法。
2026-01-12 cs.AI cs.CL cs.LG
Steering Large Language Model Activations in Sparse Spaces
Mila(米拉(魁北克人工智能研究所));Chandar Research Lab(钱达尔研究实验室);FAIR at Meta(元公司FAIR研究院);Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
本文提出稀疏激活引导方法(SAS),利用稀疏自编码器在稀疏空间中分离行为特征,以解决稠密激活空间中的特征纠缠问题,实现对大型语言模型行为更细致、可靠且可解释的控制。
2025-02-28 cs.AI cs.LG
Beyond Linear Steering: Unified Multi-Attribute Control for Language Models
Martian;University of Oxford(牛津大学);Thoughtworks
本文提出K-Steering方法,通过训练非线性多标签分类器实现语言模型的多属性控制,避免线性假设,无需存储和调整个别属性向量,支持动态行为组合。
2026-04-04 cs.AI cs.CL cs.LG
Minimizing Collateral Damage in Activation Steering
Department of Electrical \& Computer Engineering, Rice University, Houston, USA;Department of Computational;Applied Mathematics, Rice University, Houston, USA;Department of Electrical \& Computer Engineering, The University of Texas at Austin, Austin, USA
本文提出了一种基于约束优化的框架,通过数学形式化附带损害并优化激活变化,以更精确地控制大语言模型行为,同时减少对无关任务性能的影响。
2026-05-01 cs.AI cs.LG
The Rogue Scalpel: Activation Steering Compromises LLM Safety
该研究发现激活引导技术实际上会破坏大语言模型的安全性,通过实验表明即使随机引导也能增加有害服从的概率,挑战了可解释性带来的安全假设。
2026-02-15 cs.AI cs.LG
CBMAS: Cognitive Behavioral Modeling via Activation Steering
CBMAS通过连续激活引导技术,提升大型语言模型的认知行为可解释性,提供诊断框架和数据集以分析模型行为演变。
2026-01-03 cs.AI cs.LG
Adversarial Robustness of Activation Steering in Large Language Models
Independent Researcher(独立研究员);Indiana University(印第安纳大学)
研究激活引导在对抗性文本扰动下的鲁棒性,发现所有方法、模型和设置中方向鲁棒性下降高达64%,置信度崩溃,层选择脆弱,揭示其结构性脆弱性。
2026-11-03 cs.AI cs.LG
Steering LLMs for Formal Theorem Proving
本文探索激活引导方法,通过在推理时调整与非正式推理相关的残差激活线性方向,无需微调即可提升LLMs形式化定理证明性能,并揭示其内部推理编码机制。
2025-10-13 cs.AI cs.CL cs.LG
Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs
本文提出一种轻量可控网络,在推理时动态调节激活以引导LLM行为,通过加权引导策略提升拒绝有害输入的能力,实验表明其在安全基准测试中优于现有方法。
2026-03-15 cs.CL cs.LG
What Can We Actually Steer? A Multi-Behavior Study of Activation Control
Department of Computer Science(计算机科学系);Minerva University(明维大学)
本文研究了激活控制在不同行为类型中的有效性差异,发现行为类型显著影响控制效果,特征表达呈倒U型曲线,训练数据量影响控制强度。
2026-01-11 cs.AI
Investigating Bias Representations in Llama 2 Chat via Activation Steering
UC Berkeley(加州大学伯克利分校);SPAR
本研究以Llama 2 7B Chat为对象,用激活转向技术探测缓解社会偏见,发现其经RLHF后仍有性别偏见,且RLHF会提升不同偏见表征的相似性,同时为LLM红队测试策略提供了参考。
2024-02-01 cs.AI cs.CL
Genesis Steering: Better Activation Steering Through Training Data
Chalmers University of Technology(查尔姆斯理工大学);Carl von Ossietzky University of Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学)
该研究针对大语言模型的激活引导问题,提出Genesis Steering方法,利用模型自身微调数据推导生成向量,经实验验证其在Tülu-3-8B等模型上的引导效果优于外部数据集,并明确了MIA方法发挥积极作用的条件。
2026-10-20 cs.AI cs.LG
Persona Matters: Effects of Activation Steering on Short Answer Generation and Scoring
研究通过人格向量引导大型语言模型在教育应用中的影响,发现其在短答案生成和自动评分中效果不一,尤其在开放性英语文学任务中影响更大,且混合专家模型表现出更大的校准偏移。
2026-07-10 cs.AI cs.CL
Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering
本文从贝叶斯视角提出统一框架,解释LLM通过上下文学习和激活引导控制行为的双重本质,并预测其在不同干预下的行为变化。
2026-03-12 cs.AI cs.CL cs.LG
Painless Activation Steering: An Automated, Lightweight Approach for Post-Training Large Language Models
Yale University(耶鲁大学)
本文提出Painless Activation Steering,一种自动化方法,无需人工干预即可利用标注数据提升模型性能,尤其在行为任务中表现优异,但对智能任务效果有限。
2026-05-15 cs.AI cs.CL cs.LG
TRACESTEER: Trace Driven Activation Steering for Hallucination Mitigation in Diffusion Language Models
Jilin University(吉林大学);Griffith University(格里菲斯大学)
针对扩散语言模型易产生幻觉的问题,提出轨迹驱动激活引导框架 TRACESTEER,通过 DF-Steering 和 TS-Gate 实现自适应引导,提升了事实可靠性与泛化性。
2026-10-14 cs.CL
Hallucination reduction with CASAL: Contrastive Activation Steering For Amortized Learning
Meta Superintelligence Labs(Meta超级智能实验室);New York University(纽约大学)
CASAL通过对比激活引导减少LLM幻觉,提升模型可解释性和实用性,适用于多种模型架构。
2025-12-06 cs.AI cs.CL
OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization
研究激活引导向量存在的外部性问题,提出无训练方法OPIUM,通过表示匹配净化引导向量,在给定参考行为下优化新向量,改善安全与效用权衡,减轻激活引导的有害副作用。
2026-07-24 cs.AI cs.LG
Persona Vectors in Games: Measuring and Steering Strategies via Activation Vectors
Harvard University(哈佛大学)
本文通过对比激活添加方法,在博弈论场景中构建了代表利他、宽恕和他人期望的角色向量,发现激活引导能系统性地改变策略选择和自然语言解释,但同时也观察到言辞与策略可能产生分歧。
2026-03-22 cs.AI cs.GT
Mitigating Memorization in LLMs using Activation Steering
University of Maryland(马里兰大学)
本文研究利用激活引导技术在减少大语言模型记忆化训练数据的同时保持泛化能力,通过在Gemma上的受控文学记忆基准实验证明该方法能有效抑制记忆内容且性能损失极小,并分析了抑制效果与语言流畅性之间的权衡。
2025-03-08 cs.CL
Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models
The Pennsylvania State University, USA(宾夕法尼亚州立大学)
本文提出CR-VLM,通过激活转向实现视觉语言模型中的可配置拒绝,解决现有拒绝策略无法适应多样化需求的问题,提升模型的安全性和适应性。
2026-01-31 cs.AI cs.CV cs.LG
Don't Lose Focus: Activation Steering via Key-Orthogonal Projections
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出SKOP方法,通过约束有害的注意力重路由,减少激活引导对推理和检索性能的负面影响,实现最佳的引导-实用性平衡。
2026-11-20 cs.CL
Trojan Activation Attack: Red-Teaming Large Language Models using Activation Steering for Safety-Alignment
Illinois Institute of Technology(伊利诺伊理工学院);Emory University(埃默里大学)
该研究提出名为TA²的木马激活攻击方法,通过向大语言模型激活层注入木马导向向量,在推理时触发以操纵模型行为,在四项对齐任务上验证了其高效低开销的特性,并探讨了对应防御方案。
2024-08-15 cs.AI cs.CL cs.CR
Calibrating Lightweight Sparse Autoencoder Feature Steering
Carnegie Mellon University(卡内基梅隆大学);IBM Research(IBM研究院)
本文提出ContrastiveSteer方法,通过对比特征评分和模型特定校准解决稀疏自编码器主题引导失败,显著提升对齐与分类性能,并引入污染指标检测引导状态。
2026-09-22 cs.AI cs.CL
UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering
ShanghaiTech University(上海科技大学)
提出UniSteer,一种文本引导的激活流匹配模型,通过学习残差流激活的条件分布,实现统一的行为控制、真实性引导、细粒度概念引导、多约束指令遵循和激活空间分类。
2026-05-28 cs.CL
Reflection Steering: Disentangling Reflection from Reasoning in Activation Space for Token-Efficient Inference
School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学院);School of Data Science, Lingnan University(岭南大学数据科学学院);Centre for Learning, Teaching and Technology, The Education University of Hong Kong(香港教育大学学习、教学与技术中心)
本文提出无需训练的Reflection Steering框架,通过解耦反射与推理的激活实现高效令牌推理,可减少16.9%推理令牌,还引入参数α平衡令牌节省、准确率与生成稳定性。
2026-08-27 cs.CL cs.LG
SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出SALSA方法,通过监督学习优化逐层引导向量,在儿童语音、多语种语音和普通话-英语代码切换基准上显著提升零样本推理和语音上下文学习性能,最高相对提升46.8%。
2026-05-30 cs.CL eess.AS
Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering
Department of Computer and Information Science, University of Pennsylvania, Philadelphia, USA(计算机与信息科学系,宾夕法尼亚大学,费城,美国)
CORAL通过正则化探针提取模型内部分布式信息,提升推理时多项选择问答的准确性与校准性能。
2026-02-05 cs.AI cs.LG