Understanding Reasoning in Thinking Language Models via Steering Vectors
University of Oxford(牛津大学);University of Buenos Aires(布宜诺斯艾利斯大学)
本研究针对思维大语言模型推理过程难控制的问题,提出基于转向向量的调控方法,在DeepSeek-R1-Distill模型上验证了可通过激活空间线性方向操控多种推理行为,且跨架构效果一致。
2025-10-22 cs.AI cs.LG
Shifting Perspectives: Steering Vectors for Robust Bias Mitigation in LLMs
School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院);AMPLYFI
本文提出通过引导向量修改模型激活以缓解LLM中的偏见,通过8个社会偏见轴(如年龄、性别、种族)在BBQ数据集子集上计算引导向量,并在四个数据集上比较其与三种其他偏见缓解方法的效果,展示其在减少偏见方面的有效性。
2026-03-28 cs.AI cs.CL cs.LG
Global Evolutionary Steering: Refining Activation Steering Control via Cross-Layer Consistency
本文提出GER-steer框架,通过利用网络表示演化的几何稳定性,精炼激活引导向量,有效分离稳健语义意图与正交噪声,提升模型对齐效果。
2026-03-12 cs.AI cs.LG
But what is your honest answer? Aiding LLM-judges with honest alternatives using steering vectors
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Independent(独立)
本文提出JUSSA框架,通过引导向量优化法官的诚实性,提升对欺骗性回答的检测能力,实验显示在不同 dishonesty 水平下,GPT-4.1和Claude Haiku的AUROC均有显著提升,但任务复杂度不匹配时性能下降。
2026-11-17 cs.AI cs.LG
Improving Activation Steering in Language Models with Mean-Centring
King’s College London(伦敦国王学院);Imperial College London(帝国理工学院)
针对激活引导向量难以获取的问题,本文提出对目标数据集激活均值减去全部训练激活均值的均值中心化方法,并在毒性规避、故事体裁控制和功能向量提取任务中验证其显著优于基线。
2023-12-06 cs.AI cs.CL cs.LG
Persona Vectors in Games: Measuring and Steering Strategies via Activation Vectors
Harvard University(哈佛大学)
本文通过对比激活添加方法,在博弈论场景中构建了代表利他、宽恕和他人期望的角色向量,发现激活引导能系统性地改变策略选择和自然语言解释,但同时也观察到言辞与策略可能产生分歧。
2026-03-22 cs.AI cs.GT
AutoLexSteer: Automatic Contrast Construction for Lexical Activation Steering
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
AutoLexSteer提出首个全自动构建词汇引导向量的方法,利用WordNet词族实现精确的词义级引导,并能调节谄媚等行为。
2026-09-09 cs.AI cs.CL
Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs
STEER2ADAPT通过动态组合转向向量实现LLM高效适应,适用于需要多协调能力的复杂任务。
2026-02-07 cs.AI cs.CL cs.LG
The Rogue Scalpel: Activation Steering Compromises LLM Safety
该研究发现激活引导技术实际上会破坏大语言模型的安全性,通过实验表明即使随机引导也能增加有害服从的概率,挑战了可解释性带来的安全假设。
2026-02-15 cs.AI cs.LG
Adversarial Robustness of Activation Steering in Large Language Models
Independent Researcher(独立研究员);Indiana University(印第安纳大学)
研究激活引导在对抗性文本扰动下的鲁棒性,发现所有方法、模型和设置中方向鲁棒性下降高达64%,置信度崩溃,层选择脆弱,揭示其结构性脆弱性。
2026-11-03 cs.AI cs.LG
Probabilistic Concept-Aware Steering for Trustworthy LLM Inference
研究针对大语言模型推理中现有引导向量方法的问题,提出概率概念感知引导框架,通过概念驱动检索和概率校准,在保留模型能力的同时实现可控、安全的语义偏差引导。
2026-07-22 cs.AI
Extending Activation Steering to Broad Skills and Multiple Behaviours
Utrecht University(乌得勒支大学);King’s College London(伦敦国王学院)
针对大语言模型危险能力的风险问题,研究激活引导技术在广泛技能与多种行为场景的效果,发现宽/窄技能引导效果相当,多向量合并法失效而多位置同步注入法有前景。
2024-03-09 cs.AI cs.CL cs.CY
Genesis Steering: Better Activation Steering Through Training Data
Chalmers University of Technology(查尔姆斯理工大学);Carl von Ossietzky University of Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学)
该研究针对大语言模型的激活引导问题,提出Genesis Steering方法,利用模型自身微调数据推导生成向量,经实验验证其在Tülu-3-8B等模型上的引导效果优于外部数据集,并明确了MIA方法发挥积极作用的条件。
2026-10-20 cs.AI cs.LG
FineSteer: A Unified Framework for Fine-Grained Inference-Time Steering in Large Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出FineSteer框架,通过条件引导和细粒度向量合成两个阶段实现高效引导,保留模型效用并提升引导效果,实验显示其在安全性和真实性基准上表现优异。
2026-04-16 cs.AI cs.CL cs.LG
AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint
National University of Singapore(国立新加坡大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学)
AlphaSteer 通过原理性零空间约束学习拒绝引导,提升大语言模型的安全性与效用平衡。
2026-02-08 cs.AI cs.CR cs.LG
Steering Risk Preferences in Large Language Models by Aligning Behavioral and Neural Representations
Princeton University(普林斯顿大学);University of Warwick(华威大学)
本文提出将行为方法引出的潜在表征与 LLM 内部神经表征对齐以系统发现引导向量,并验证其可可靠调控模型的风险偏好输出。
2025-05-16 cs.AI cs.CL
One-shot Optimized Steering Vectors Mediate Safety-relevant Behaviors in LLMs
Department of Computer Science(计算机科学系);Yale University(耶鲁大学)
本文提出通过在单个样本上梯度下降直接优化引导向量,发现其能有效中介并控制LLM中多种与安全相关的失配行为,且具备跨输入迁移能力。
2025-08-12 cs.AI cs.LG
Improving Instruction-Following in Language Models through Activation Steering
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
本文提出通过计算含与不含指令输入的激活差异得到指令特定向量,以模块化激活引导方法增强语言模型对输出约束的遵守能力,实验验证其在有无显式指令场景及跨模型迁移中的有效性,为指令遵循提供推理时细粒度控制。
2025-04-14 cs.AI cs.CL cs.LG
From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation
NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);Xiaomi(小米)
研究个性化文本生成问题,提出无训练框架GLASS,通过全局-局部激活导向与稀疏先验实现。利用稀疏自动编码器提取全局先验、构建局部向量,推理时注入模型层。实验证明其性能优于基线,能更好分离风格与语义信息。
2026-10-30 cs.AI
YaPO: Learnable Sparse Activation Steering Vectors for Domain Adaptation
MBZUAI;Ecole Polytechnique(巴黎政治学院)
YaPO通过学习稀疏激活引导向量实现LLM的高效、稳定和细粒度对齐,适用于领域适应和文化对齐等任务。
2026-01-13 cs.AI
Denoising Concept Vectors with Sparse Autoencoders for Improved Language Model Steering
New Jersey Institute of Technology(新泽西理工学院);University of Georgia(佐治亚大学);Wake Forest University(威克森林大学)
针对现有线性概念向量引导LLM时受数据集噪声影响鲁棒性不足的问题,提出SDCV方法,通过放大前k个判别性SAE潜变量激活分离信号与噪声,在6个概念上提升4-16%引导成功率且保持主题相关性。
2025-07-29 cs.AI cs.CL
Steering LLM Reasoning Through Bias-Only Adaptation
T-Tech;Central University(中央大学)
本研究提出仅用强化学习训练每层单个d维引导向量的适配方法,在冻结大模型基础权重的前提下,以极低新增参数量达到全RL微调的数学推理性能,降低微调成本并揭示模型内部推理机制。
2025-10-01 cs.AI cs.LG
On the Generalization of Steering Vectors for Chain-of-Thought Faithfulness
University of Virginia(弗吉尼亚大学);University of Delaware(特拉华大学);Poseidon Research(波塞冬研究院)
该研究针对三个模型探究提升思维链忠实性的引导向量的泛化性,发现其效果主要由评估设置决定,且仅对最大型模型有效,引导可减少未被确认的提示使用。
2026-08-03 cs.AI
Steering Large Language Model Activations in Sparse Spaces
Mila(米拉(魁北克人工智能研究所));Chandar Research Lab(钱达尔研究实验室);FAIR at Meta(元公司FAIR研究院);Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
本文提出稀疏激活引导方法(SAS),利用稀疏自编码器在稀疏空间中分离行为特征,以解决稠密激活空间中的特征纠缠问题,实现对大型语言模型行为更细致、可靠且可解释的控制。
2025-02-28 cs.AI cs.LG
Do Personality Traits Interfere? Geometric Limitations of Steering in Large Language Models
Network Analysis and Social Influence Modelling (NASIM) Lab(网络分析与社会影响建模实验室);School of Physics Maths and Computing(物理数学计算学院);The University of Western Australia(西澳大学);School of Computing(计算学院);Macquarie University(麦觉瑞大学)
本研究发现大型语言模型中的人格特质存在几何依赖,即使去除线性重叠,转向一个特质仍会影响其他特质,限制了独立控制。
2026-01-23 cs.AI cs.CL cs.LG
Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models
East China Normal University(华东师范大学)
本文提出动态多模态激活引导方法,通过构建语义真实性引导向量数据库,实现幻觉缓解,提升模型性能。
2026-02-25 cs.AI cs.CV
Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors
USTC(中国科学技术大学);Tencent Hunyuan(腾讯混元);BUPT(北京邮电大学)
本文通过向量转向揭示RLVR在LLM中的低维几何特性,提出Alpha-Stabler框架稳定训练并提升RL增益,实验验证于5个LLM和6个任务。
2026-09-29 cs.AI cs.LG
Predicting Steering Vectors and Adapter Weights for Few-Shot Author-Style Transfer
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对少样本作者风格迁移,提出对比激活引导、预测引导向量网络和预测LoRA适配器的超网络三种方法,发现超网络在风格模仿与输出质量间取得最佳平衡,且引导向量可存在多个正交方向。
2026-10-05 cs.AI cs.CL
Interpretable Steering of Large Language Models with Feature Guided Activation Additions
Raffles Science Institute(莱佛士科学学院);Raffles Institution(莱佛士书院);Nous Research(努斯研究机构);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Agency for Science Technology and Research (A*STAR)(新加坡科技研究局)
本文提出特征引导激活添加方法(FGAA),通过在稀疏自编码器潜空间中优化选择特征来构建精确干预向量,在保持输出连贯性的同时优于现有方法,揭示了干预规模与模型能力的权衡。
2025-04-02 cs.AI cs.CL cs.LG
Playing Devil's Advocate: Off-the-Shelf Persona Vectors Rival Targeted Steering for Sycophancy
University of Toronto(多伦多大学);Princeton University(普林斯顿大学);Purdue University(普渡大学);EPFL(瑞士联邦理工学院);Algoverse;Independent(独立)
本文研究了不同人格对顺从性的影响,发现现成的人格引导向量在减少顺从性方面与针对性引导相当,且在用户正确时保持准确性。
2026-10-02 cs.AI cs.CL cs.LG
Controllable Affective Generation via Latent Vector Steering
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Tencent Jarvis Lab(腾讯Jarvis实验室)
针对大语言模型对齐后情感响应平淡的问题,提出轻量框架EmoVec,通过调控潜在向量实现可控情感生成,实验验证其能提升情感显著性且保留语义等特性。
2026-08-27 cs.AI cs.CL
Steering Geometry: Validating Human Value Geometry in LLM Steering Space
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Queen’s University(女王大学)
本研究通过引入26K样本基准,验证了LLM转向向量几何结构与人类价值理论的一致性,发现分布驱动方法优于行为中心方法,且几何保真度随模型规模提升但受指令微调影响。
2026-09-09 cs.AI cs.CL cs.LG
VISOR++: Universal Visual Inputs based Steering for Large Vision Language Models
HiddenLayer, USA(HiddenLayer美国分校);Georgia Institute of Technology, USA(佐治亚理工学院)
研究视觉语言模型行为控制,针对现有方法局限,提出VISOR++,通过优化视觉输入实现行为控制,无需运行时访问模型内部,在多模型上验证有效性且能保持无关任务性能。
2026-07-07 cs.AI cs.CV
PIVOT: Preference-based Intervention Vectors for Pedagogical Tutor Steering
EPFL(洛桑联邦理工学院)
研究针对LLM对话辅导缺乏教学策略推理时控制的问题,提出PIVOT框架,通过偏好干预向量实现导师动作控制,在用户研究中获多数教师认可。
2026-08-11 cs.AI cs.HC
What Can We Actually Steer? A Multi-Behavior Study of Activation Control
Department of Computer Science(计算机科学系);Minerva University(明维大学)
本文研究了激活控制在不同行为类型中的有效性差异,发现行为类型显著影响控制效果,特征表达呈倒U型曲线,训练数据量影响控制强度。
2026-01-11 cs.AI
VISOR: Visual Input-based Steering for Output Redirection in Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院);HiddenLayer, Inc(HiddenLayer公司)
研究提出VISOR方法,通过优化视觉输入实现对视觉语言模型行为的精细控制,在关键对齐任务中验证其有效性,且具有低开销等优势,但也揭示了视觉通道安全漏洞。
2026-07-07 cs.AI cs.CV
Sparse Shift Autoencoders for Identifying Concepts from Large Language Model Activations
Mila-Qu\'ebec AI Institute \& Universit\'e de Montr\'eal;Technical University of M\"unich;Samsung - SAIT AI Lab, Montr\'eal
本文提出稀疏位移自编码器,通过学习嵌入差异的稀疏表示,实现对大语言模型中概念的可识别性操控,从而提升模型的可解释性和可控性。
2026-02-27 cs.AI cs.CL cs.LG
Multi-Attribute Steering of Language Models via Targeted Intervention
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
研究如何对语言模型进行多属性引导,提出MAT-Steer框架,通过对齐目标学习引导向量,减少属性间冲突,在问答和生成任务中评估,该框架优于现有方法。
2026-07-13 cs.AI cs.CL cs.LG
Explaining Intrinsic Moral Self-Correction with Mechanistic Interpretability
Graduate Institute of Communication Engineering, National Taiwan University, Taipei, Taiwan(通讯工程研究院,国立台湾大学);MediaTek Research, Taipei, Taiwan(联发科研究,台北,台湾);Department of Electrical Engineering, National Taiwan University, Taipei, Taiwan(电气工程系,国立台湾大学);Department of Electrical Engineering, National Tsing Hua University, Hsinchu, Taiwan(电气工程系,国立清华大学);AI Research Center (AINTU), National Taiwan University, Taipei, Taiwan(人工智能研究中心(AINTU),国立台湾大学)
本研究通过机制可解释性揭示大语言模型中内在自我修正的机制,证明提示引导隐藏表示偏移是其核心驱动因素。
2026-08-24 cs.AI cs.CL cs.LG
Learning to Steer: Input-dependent Steering for Multimodal LLMs
ISIR, Sorbonne Université(ISIR,索邦大学)
本文提出L2S方法,通过训练辅助模块预测输入特定引导向量,实现多模态LLM的细粒度输入依赖引导,有效减少幻觉并增强安全性。
2025-11-02 cs.AI cs.CL cs.CV
In-context Vectors: Making In Context Learning More Effective and Controllable Through Latent Space Steering
Stanford University(斯坦福大学)
提出上下文向量(ICV)方法,通过潜空间引导替代传统提示演示,将上下文学习转化为可调幅度的向量,在提升效果与可控性的同时降低计算成本,并支持多指令灵活组合。
2024-02-13 cs.AI cs.CL cs.LG
Controlling Tool Use with Heading-Specific Activation Steering
研究工具增强大语言模型中工具使用决策的稳定内部表示,通过从标题锚点位置提取引导向量对工具调用行为进行双向因果控制,发现其因果有效性与线性结构不符,还区分了工具使用引导向量与参数化概念的引导向量,二者关系待解。
2026-07-08 cs.AI
Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系)
本文研究了大语言模型中良性激活转向对安全性的负面影响,发现其无意中增加劫持风险,并通过实验验证了这一现象。
2026-02-03 cs.AI cs.CR
EasyEdit2: An Easy-to-use Steering Framework for Editing Large Language Models
Zhejiang University(浙江大学);Ocean Research Center of Zhoushan, Zhejiang University(舟山海洋研究中心,浙江大学)
本文提出 EasyEdit2 框架,通过引导向量生成器与应用器实现无需修改参数即可控制大型语言模型行为的即插即用式引导,支持安全、情感等多种测试时干预,仅需单样本即可高效调整模型响应。
2025-09-14 cs.AI cs.CL cs.CV
Towards Inference-time Category-wise Safety Steering for Large Language Models
School of Computing and AI(计算与人工智能学院);Arizona State University(亚利桑那州立大学);NVIDIA(英伟达公司)
本文提出一种无需训练的推理时按类别安全引导方法,利用类别特定引导向量和更优向量提取技术,在保持文本质量的同时增强多个 LLM 的安全性。
2024-10-02 cs.AI cs.CL
Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute
Stanford University(斯坦福大学)
提出分数推理框架,通过潜在引导向量连续控制推理强度,在推理时按输入复杂度调整,提升Best-of-N、多数投票及自我反思等策略的性能,在GSM8K等基准上验证有效。
2025-09-25 cs.AI cs.CL cs.LG
Refusal Steering: Fine-grained Control over LLM Refusal Behaviour for Sensitive Topics
通过引导向量控制LLM在敏感话题上的拒绝行为,实现安全且可控的审核方法。
2026-02-24 cs.AI cs.CL
The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation
German Aerospace Center (DLR), Institute of Software Technology(德国航空航天中心(DLR)软件技术研究所)
本研究通过人类评估验证了激活引导在控制大型语言模型情绪输出中的有效性,发现中等强度引导能显著增强目标情绪并保持文本可理解性,且模型升级后效果更稳定。
2026-01-29 cs.AI cs.CL cs.HC
BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
Department of Electrical Engineering, National Taiwan University(国立台湾大学电子工程系);Department of Computer Science & Information Engineering, National Taiwan University(国立台湾大学计算机科学与信息工程系);Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
BILLY通过合并人设向量在单个模型中实现多视角生成,提升创造力并降低计算成本。
2026-01-24 cs.AI cs.CL
Neural Procedural Memory: Empowering LLM Agents with Implicit Activation Steering
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
提出神经程序记忆(NPM),一种无训练框架,通过隐式激活引导而非显式指令表示智能体记忆,从历史对比经验中提取程序技能为激活空间中的引导向量,直接激活任务相关神经机制以指导执行。
2026-06-29 cs.AI cs.CL
Steering Evaluation-Aware Language Models to Act Like They Are Deployed
MATS
本文提出通过引导向量抑制LLM的评估意识,使其在评估时表现得像已部署,从而提高安全评估的可靠性。
2026-03-02 cs.AI cs.CL
Identifiability of a statistical model with two latent vectors: Importance of the dimensionality relation and application to graph embedding
Meiji Gakuin University(明治学院大学)
本文提出包含两个任意维度潜向量和辅助数据的统计模型并建立可识别性条件,揭示了潜向量与辅助数据间的维度关系,证明特定条件下不确定性与线性ICA相同,并据此提出实用的可识别图嵌入方法。
2024-05-30 cs.LG stat.ML
Improving Steering Vectors by Targeting Sparse Autoencoder Features
本文提出SAE-TS方法,利用稀疏自编码器测量引导向量的因果效应,以定向特定SAE特征并减少副作用,在多项任务上比CAA和SAE特征引导更好地平衡引导效果与连贯性。
2024-11-21 cs.AI cs.CL cs.LG
Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations
Eberhard Karls University of Tübingen(图宾根大学)
该研究探讨了语言模型中转向向量的可靠性问题,发现训练数据和行为表示对转向效果有显著影响,提出几何预测器和非线性近似方法以提升稳定性。
2026-02-19 cs.AI cs.CL cs.LG