Exploring Diverse Generation Paths via Inference-time Stiefel Activation Steering
The Chinese University of Hong Kong(香港中文大学);Hong Kong Polytechnic University(香港理工大学)
STARS通过在推理时间利用Stiefel流形优化,提升语言模型生成路径的多样性,无需训练并在多个基准中表现更优。
2026-01-29 cs.LG
Topological Steering
National University of Singapore (NUS)(新加坡国立大学)
针对现有大语言模型行为控制方法易受局部扰动影响的问题,提出基于拓扑数据分析的Topological Steering框架,通过激活空间的拓扑表示实现更鲁棒的模型行为控制,且在多模型家族及规模上均有效。
2026-09-02 cs.LG
Scaling laws for activation steering with Llama 2 models and refusal mechanisms
Trajectory Labs(轨迹实验室);Stanford University(斯坦福大学);Dartmouth College(达特茅斯学院);Cornell University(康奈尔大学);University of Oxford(牛津大学)
本文研究了对比激活加法(CAA)在 Llama 2 模型系列中的缩放特性,发现CAA在早期至中间层最有效,其效果随模型规模增大而减弱,且负向引导比正向引导效果更显著。
2025-07-15 cs.LG
Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks
Microsoft Research, Redmond(微软研究院(红mond));Independent Researcher(独立研究员)
本文通过识别Mamba家族状态空间模型中的激活子空间瓶颈,提出了一种在测试时通过乘以标量来操控激活的干预方法,从而在多个模型和基准测试中提升了性能,并验证了这些瓶颈对性能的阻碍作用。
2026-05-21 cs.LG
Understanding (Un)Reliability of Steering Vectors in Language Models
University of Tübingen(图宾根大学);Mila, University of Montreal(蒙特利尔大学机器学习研究所);University of Cambridge(剑桥大学)
本文研究了提示类型和激活差异几何对语言模型引导向量可靠性的影响,发现当目标行为缺乏连贯方向表示时,向量引导会变得不可靠。
2025-05-28 cs.LG
Global Evolutionary Steering: Refining Activation Steering Control via Cross-Layer Consistency
本文提出GER-steer框架,通过利用网络表示演化的几何稳定性,精炼激活引导向量,有效分离稳健语义意图与正交噪声,提升模型对齐效果。
2026-03-12 cs.AI cs.LG
Angular Steering: Behavior Control via Rotation in Activation Space
Torilab;Department of Mathematics National University of Singapore(数学系,新加坡国立大学)
控制大语言模型中的特定行为,同时保留其一般功能是安全可靠的人工智能部署的核心挑战。目前的转向方法,如矢量加法和定向消融,被约束在由激活和特征方向定义的二维子空间内,使它们对所选参数敏感,并由于激活空间中的非预期相互作用而可能影响不相关的特征。我们介绍了角度转向,一种新颖而灵活的行为调制方法,通过在一个固定的二维子空间内旋转激活操作。通过将转向表述为朝向或远离目标行为方向的几何旋转,角度转向提供了对拒绝和顺从等行为的连续、细粒度控制。我们演示了这种方法使用拒绝转向情感转向作为用例。此外,我们提出了自适应角度转向,这是一种选择性变体,仅旋转与目标特征对齐的激活,进一步增强了稳定性和一致性。角度转向在统一的几何旋转框架下推广了现有的加法和正交化技术,简化了参数选择,并在更广泛的调整范围内保持模型稳定性。跨多个模型系列和大小的实验表明,Angular Steering实现了鲁棒的行为控制,同时保持了一般的语言建模性能,与以前的方法相比,强调了其灵活性,通用性和鲁棒性。代码和工件可在https://github.com/lone17/angular-steering/上获得。
2025-10-30 cs.AI cs.LG
Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention
Georgia Institute of Technology(佐治亚理工学院)
本文提出FLAS,一种基于流的激活转向方法,通过学习通用概念条件化的速度场来运输未转向的激活到转向的激活,从而在AxBench上超越了提示方法。
2026-05-07 cs.CL cs.LG
Depth-Wise Activation Steering for Honest Language Models
University of Warsaw(华沙大学);MARS(对齐研究学生导师计划);Center for AI Safety(人工智能安全中心)
深度方向激活引导方法通过高斯调度提升语言模型的诚实性,无需训练或微调,有效增强模型真实报告能力。
2025-12-08 cs.LG
Conditional Optimal Bridge for Riemannian Activation Steering
The Pennsylvania State University(宾夕法尼亚州立大学)
研究针对大语言模型推理时激活控制问题,提出\textsc{Cobras}方法,将其视为残差流超球面上的薛定谔桥,从优化问题推导控制目标,使控制方向查询自适应,实验显示该方法性能优于基线且避免分布外性能下降。
2026-10-22 cs.AI cs.LG
Where Steering Signals Come From: Activation Source Selection in Activation Steering
Peking University(北京大学);Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);YiXin-AILab(易信人工智能实验室)
研究激活转向中转向信号的来源选择,通过实验表明改变源激活会影响转向成功率,有效转向信号来自执行边界状态,基于此提出尾部减法,揭示转向取决于模型即将做的事而非已出现的内容。
2026-08-31 cs.AI cs.CL cs.LG
Steering Large Language Models using Conceptors: Improving Addition-Based Activation Engineering
University of Groningen(格罗宁根大学)
针对 LLM 激活控制问题,本文提出用 conceptors 以椭球区域建模激活集合并支持布尔组合,实验表明其在多项引导任务上优于单一或加法组合的引导向量方法。
2025-05-12 cs.LG cs.NE
First-Order Steering: Translating Weight Adaptation into Activation Steering
University of California, Davis(加州大学戴维斯分校);Chapman University(查普曼大学);University of California, Los Angeles(加州大学洛杉矶分校);Caltech(加州理工学院)
本文提出一阶引导方法,将权重适应转化为激活引导向量,并开发HeRD-Merging合并过程以最小化近似误差,实现对个体及组合行为更精确的推理时控制,同时保持模型合并性能。
2026-10-06 cs.AI cs.CL cs.LG
When Does Activation Steering Change What a Model Computes From?
Institute for Computational and Mathematical Engineering(计算与数学工程研究所);Stanford University(斯坦福大学)
通过状态跟踪任务,发现训练模型在草稿中写入中间状态后,模型会因果性地使用这些状态进行后续计算,而非仅作为文本输出。
2026-09-09 cs.CL cs.LG
Forecasting Side Effects of Activation Steering
该研究针对激活引导易产生意外副作用的问题,构建交叉效应矩阵揭示副作用的系统性与可预测性,为激活引导的安全部署提供支持。
2026-08-13 cs.AI cs.LG
Disentangling Steering Vectors
Kyoto University(京都大学)
针对激活转向中复合方向纠缠问题,提出转向向量解剖框架,通过训练稀疏自编码器解缠转向向量,实现精确控制模型行为。
2026-09-09 cs.LG
Dynamically Scaled Activation Steering
Apple(苹果公司);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
DSAS是一种动态缩放的激活引导框架,通过自适应调节引导强度,在生成过程中实现对特定概念的调控,同时提升模型的可解释性和性能平衡。
2026-07-31 cs.AI cs.LG
Activation Steering Induces Emergent Misalignment: Steering Vector Construction and Comprehensive Evaluation
Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
研究激活引导是否引发突现失调,通过扩展评估范围,发现激活引导可导致广泛失调,且比微调产生更连贯的有害响应,并分析了关键因素。
2026-10-15 cs.AI cs.LG
TADA! Tuning Audio Diffusion Models through Activation Steering
Warsaw University of Technology(华沙技术大学);IDEAS Research Institute(IDEAS研究院)
本文通过激活引导技术揭示音频扩散模型中的语义瓶颈,并展示了局部激活引导在音频概念调节中的新状态-of-the-art性能。
2026-09-29 cs.LG cs.SD
When a Zero-Shooter Cheats: Improving Age Estimation via Activation Steering
BIFOLD & TU Berlin(BIFOLD与柏林技术大学)
本文研究了基于视觉语言模型的零样本年龄估计中出现的'身份捷径'现象,提出激活引导方法以提高年龄估计的准确性,减少均方误差达25%。
2026-05-17 cs.LG
SteerVLM: Robust Model Control through Lightweight Activation Steering for Vision Language Models
Department of Computer Science(计算机科学系);Virginia Tech(弗吉尼亚理工学院)
本文提出轻量级引导模块SteerVLM,通过仅占原模型0.14%参数的逐维度激活调制与跨层自适应引导,在不修改权重的前提下动态调整VLMs激活以控制输出语义,并引入VNIA数据集,在引导与幻觉缓解基准上取得优异表现。
2025-10-30 cs.CV cs.LG
D-STEER: Two-Way Control of DPO-Induced Safety Behavior in Activation Space
IIIT Delhi(印度理工学院德里分校);Microsoft(微软);Apple (USA)(苹果(美国));Google (USA)(谷歌(美国));Pragya Lab, BITS Pilani, K. K. Birla Goa Campus(普拉吉亚实验室,比斯科大学,K.K. 布尔拉果阿校区)
D-STEER研究揭示DPO通过引导激活空间中的低秩机制实现行为对齐,而非改变模型内部信念。
2026-10-20 cs.LG
Steering grids for sparse-autoencoder features: when a top-context label names an activation regime rather than a causal axis
SimulaMet(希尤拉梅特);Simula(希尤拉)
研究稀疏自编码器特征解释协议,通过引导网格发现顶级上下文标签命名激活模式而非因果轴,三个近乎正交特征对有根据组合共同必要,匹配几何随机方向控制表明坍缩与方向模式有关,给出新特征解释及相关结论。
2026-07-28 cs.LG
Spherical Steering: Geometry-Aware Activation Rotation for Language Models
Rice University(里士大学);Tufts University(塔夫茨大学)
本文提出球面操控方法,通过激活旋转而非加法实现无训练的推理控制,有效避免隐藏状态幅度变化,提升模型在多项选择基准上的表现,同时保持开放生成能力。
2026-05-16 cs.CL cs.LG
Steering by Influence: Curvature Aware Data Weighting for Activation Steering
University of Oxford(牛津大学)
本文提出基于影响力函数的曲率感知数据加权方法,用于激活引导,通过最优传输加权概念示例,在毒性抑制、概念归纳和真实性任务上优于基线并保持模型质量。
2026-10-06 cs.AI cs.CL cs.LG
Improving Activation Steering in Language Models with Mean-Centring
King’s College London(伦敦国王学院);Imperial College London(帝国理工学院)
针对激活引导向量难以获取的问题,本文提出对目标数据集激活均值减去全部训练激活均值的均值中心化方法,并在毒性规避、故事体裁控制和功能向量提取任务中验证其显著优于基线。
2023-12-06 cs.AI cs.CL cs.LG
Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior
Indiana University Bloomington(印第安纳大学伯明顿分校)
提出INNSteer框架,通过可逆神经网络将LLM激活映射到潜在空间进行线性控制,再逆变换回原空间,实现非线性、输入依赖的激活引导,在多个模型和基准上优于现有方法。
2026-11-13 cs.CL cs.LG
Guarded Gradient-Based Activation Steering of Shutdown Responses in Qwen3.5-0.8B: A Minimum-Step Policy
针对模型回避关闭的安全问题,提出受保护梯度基激活引导方法,在Qwen3.5-0.8B上以最小步长策略选择性将KEEP响应转为STOP,保持非关闭行为,效果虽小但验证了可行性。
2026-09-28 cs.LG
Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection
Yonsei University(延世大学)
DIRECTER通过动态调节引导强度和基于可能性的解码循环,提升大语言模型在复杂指令下的准确性和生成质量。
2026-03-06 cs.AI cs.LG
Interpretable Steering of Large Language Models with Feature Guided Activation Additions
Raffles Science Institute(莱佛士科学学院);Raffles Institution(莱佛士书院);Nous Research(努斯研究机构);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Agency for Science Technology and Research (A*STAR)(新加坡科技研究局)
本文提出特征引导激活添加方法(FGAA),通过在稀疏自编码器潜空间中优化选择特征来构建精确干预向量,在保持输出连贯性的同时优于现有方法,揭示了干预规模与模型能力的权衡。
2025-04-02 cs.AI cs.CL cs.LG
Multi-property Steering of Large Language Models with Dynamic Activation Composition
University of Milano-Bicocca(米兰-比科卡大学);University of Groningen(格罗宁根大学)
针对激活引导方法仅能单一属性调节且评估场景受限的问题,提出动态激活组合这一信息论方法调节多属性引导强度,实验证明其在保持高调节性的同时最小化对生成流畅性的影响。
2024-06-25 cs.AI cs.CL cs.LG
HyperSteer: Activation Steering at Scale with Hypernetworks
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);Confirm Labs(确认实验室);Pr(Ai) 2 R Group(Pr(Ai) 2 R小组)
本文提出HyperSteer,一种基于超网络端到端生成引导向量的架构,以自然语言提示和语言模型内部状态为条件,在数千个引导提示上超越现有激活引导方法,并达到与提示引导相当的性能。
2025-06-03 cs.AI cs.CL cs.LG
One Token Can Be Enough: Bridging Prompting and Activation Steering with Prefix Steering
本研究提出前缀引导(Prefix Steering)方法,通过仅对最终提示 token 后短跨度进行干预,实现与完整激活引导相当的行为控制,同时更好地保持通用能力,挑战了逐 token 引导的常见做法。
2026-10-06 cs.CL cs.LG
IDEEA: training-free Input-Dependent stEEring via Activation cluster matching
University of Waterloo(滑铁卢大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能矢量研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对现有无训练引导方法输入无关的局限,提出IDEEA框架,通过聚类注意力头的激活并匹配输入激活选择对应方向,在保留输入表示的同时对齐LLMs,使TruthfulQA的truth×info指标平均提升9.9%。
2026-09-03 cs.CL cs.LG
ATLAS: Verifier-Guided Adaptive Latent Activation Steering for Efficient LLM Reasoning
Indiana University Bloomington(印第安纳大学布卢明顿分校)
提出ATLAS框架,通过轻量级验证器动态调整推理时潜在状态引导策略,实现每步自适应控制,在数学和编码推理任务上提升准确率并减少测试时token使用。
2026-06-23 cs.CL cs.LG
LocUS: Head Selection and Subspace Projection for Targeted Activation Steering
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Area Science Park(的里雅斯特科技园区);Institute of Science Technology Austria(奥地利科学技术研究所)
本文提出LocUS方法,通过选择注意力头并投影到非嵌入子空间,实现目标激活引导,在干预少量参数下达到或超越现有基线,并保持通用能力。
2026-09-28 cs.CL cs.LG
Test-time Diverse Reasoning by Riemannian Activation Steering
针对Best-of-N推理的输出多样性限制问题,提出测试时无监督黎曼激活引导策略,通过优化引导向量提升推理路径多样性,在数学基准上同时改善生成多样性与求解准确性。
2025-11-11 cs.AI cs.LG
Extending Activation Steering to Broad Skills and Multiple Behaviours
Utrecht University(乌得勒支大学);King’s College London(伦敦国王学院)
针对大语言模型危险能力的风险问题,研究激活引导技术在广泛技能与多种行为场景的效果,发现宽/窄技能引导效果相当,多向量合并法失效而多位置同步注入法有前景。
2024-03-09 cs.AI cs.CL cs.CY
Steering Language Models With Activation Engineering
MIRI;University of Bristol(布里斯托尔大学);Arb Research;MATS;Anthropic
为充分激发语言模型能力,研究提出激活工程及ActAdd技术,通过对比提示对激活值计算引导向量并在推理时加入,在情绪转换、去毒任务上达SOTA,且轻量易迭代。
2024-10-10 cs.CL cs.LG
A gentle push funziona benissimo: making instructed models in Italian via contrastive activation steering
University of Milano - Bicocca(米兰比可卡大学);University of Groningen(格罗宁根大学)
针对预训练数据中意大利语占比低导致模型适配需昂贵微调的问题,本研究探索激活引导技术,实验证明其可适配多模型、性能媲美甚至优于微调模型且生成质量更高,还讨论了该技术在当代LLM领域的效用。
2024-11-27 cs.CL cs.LG
Steering Large Language Model Activations in Sparse Spaces
Mila(米拉(魁北克人工智能研究所));Chandar Research Lab(钱达尔研究实验室);FAIR at Meta(元公司FAIR研究院);Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
本文提出稀疏激活引导方法(SAS),利用稀疏自编码器在稀疏空间中分离行为特征,以解决稠密激活空间中的特征纠缠问题,实现对大型语言模型行为更细致、可靠且可解释的控制。
2025-02-28 cs.AI cs.LG
Programming Refusal with Conditional Activation Steering
University of Pennsylvania(宾夕法尼亚大学);IBM Research(IBM研究院)
针对激活引导无差别改变LLM行为的问题,本文提出CAST,依据输入上下文在推理时选择性施加或撤回激活引导,从而以规则方式控制拒答并保持其他响应正常,且无需权重优化。
2025-02-17 cs.AI cs.CL cs.LG
CoCoEmo: Composable and Controllable Human-Like Emotional TTS via Activation Steering
The University of Melbourne, Australia(墨尔本大学);Wuhan University, China(武汉大学);The Hong Kong University of Science(香港科学与技术大学);The University of Auckland, New Zealand(奥克兰大学);Monash University, Australia(莫纳什大学)
提出基于激活引导的框架,在混合TTS模型中实现可组合的混合情感合成和文本-情感不匹配合成,发现情感韵律主要由语言模块而非流匹配模块生成。
2026-06-17 cs.LG cs.SD
The Rogue Scalpel: Activation Steering Compromises LLM Safety
该研究发现激活引导技术实际上会破坏大语言模型的安全性,通过实验表明即使随机引导也能增加有害服从的概率,挑战了可解释性带来的安全假设。
2026-02-15 cs.AI cs.LG
Minimizing Collateral Damage in Activation Steering
Department of Electrical \& Computer Engineering, Rice University, Houston, USA;Department of Computational;Applied Mathematics, Rice University, Houston, USA;Department of Electrical \& Computer Engineering, The University of Texas at Austin, Austin, USA
本文提出了一种基于约束优化的框架,通过数学形式化附带损害并优化激活变化,以更精确地控制大语言模型行为,同时减少对无关任务性能的影响。
2026-05-01 cs.AI cs.LG
CBMAS: Cognitive Behavioral Modeling via Activation Steering
CBMAS通过连续激活引导技术,提升大型语言模型的认知行为可解释性,提供诊断框架和数据集以分析模型行为演变。
2026-01-03 cs.AI cs.LG
Improving Instruction-Following in Language Models through Activation Steering
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
本文提出通过计算含与不含指令输入的激活差异得到指令特定向量,以模块化激活引导方法增强语言模型对输出约束的遵守能力,实验验证其在有无显式指令场景及跨模型迁移中的有效性,为指令遵循提供推理时细粒度控制。
2025-04-14 cs.AI cs.CL cs.LG
Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation
University of Technology Sydney, Sydney, Australia(技术悉尼大学);School of Cyber Science and Engineering, Southeast University, Nanjing, China(东南大学计算机科学与工程学院);Xi'an Jiaotong University, Xi'an, China(西安交通大学)
针对现有安全引导方法对未见越狱攻击泛化失败的问题,提出基于无监督潜在方向发现的双层对抗训练框架,通过外推拒绝态有害请求激活模拟多样越狱激活,并训练势诱导引导场实现零样本越狱防御。
2026-05-29 cs.CR cs.LG
From Attribution to Action: A Human-Centered Application of Activation Steering
Fraunhofer Heinrich-Hertz-Institut(弗劳恩霍夫 Heinrich-Hertz 研究所);Technische Universität Berlin(柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
提出结合SAE归因与激活导向的交互式工作流,通过专家访谈验证其能促进从检查到干预的转变,并揭示组件抑制等调试策略及潜在风险。
2026-05-26 cs.AI cs.HC cs.LG
Adversarial Robustness of Activation Steering in Large Language Models
Independent Researcher(独立研究员);Indiana University(印第安纳大学)
研究激活引导在对抗性文本扰动下的鲁棒性,发现所有方法、模型和设置中方向鲁棒性下降高达64%,置信度崩溃,层选择脆弱,揭示其结构性脆弱性。
2026-11-03 cs.AI cs.LG
Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs
本文提出一种轻量可控网络,在推理时动态调节激活以引导LLM行为,通过加权引导策略提升拒绝有害输入的能力,实验表明其在安全基准测试中优于现有方法。
2026-03-15 cs.CL cs.LG
Genesis Steering: Better Activation Steering Through Training Data
Chalmers University of Technology(查尔姆斯理工大学);Carl von Ossietzky University of Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学)
该研究针对大语言模型的激活引导问题,提出Genesis Steering方法,利用模型自身微调数据推导生成向量,经实验验证其在Tülu-3-8B等模型上的引导效果优于外部数据集,并明确了MIA方法发挥积极作用的条件。
2026-10-20 cs.AI cs.LG
Language Model Activations Inhabit Privileged Error-Correcting Basins
Goodfire;University of Southern California(南加州大学);Massachusetts Institute of Technology(麻省理工学院);Northeastern University(东北大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
本研究通过探测语言模型激活空间的几何结构,发现激活位于特权纠错盆地中,并利用自适应引导强度跨盆地传输激活,显著提升跨语言引导效果。
2026-10-06 cs.AI cs.CL cs.LG
OPIUM: Mitigating Steering Externalities and Over-Refusal via Dual Objective Latent Optimization
研究激活引导向量存在的外部性问题,提出无训练方法OPIUM,通过表示匹配净化引导向量,在给定参考行为下优化新向量,改善安全与效用权衡,减轻激活引导的有害副作用。
2026-07-24 cs.AI cs.LG