Dual-Stance Evaluation of Sycophancy: The Structure of Agreement and the Limits of Intervention
University of Toronto(多伦多大学)
提出双立场评估方法,发现激活引导在减少谄媚时也会抑制对事实正确陈述的同意,揭示了表示可读但不可写的普遍差距。
2026-06-11 cs.AI cs.CL cs.LG
CBMAS: Cognitive Behavioral Modeling via Activation Steering
CBMAS通过连续激活引导技术,提升大型语言模型的认知行为可解释性,提供诊断框架和数据集以分析模型行为演变。
2026-01-03 cs.AI cs.LG
DreamReader: An Interpretability Toolkit for Text-to-Image Models
Singapore University of Technology and Design(新加坡科技设计大学);Martian;Thoughtworks;NVIDIA;Harvard University(哈佛大学)
DreamReader提出了一种统一框架,通过可组合的表示操作分析扩散模型的可解释性,引入三种新干预机制,通过实验展示其在文本到图像模型中的应用,推动可解释性研究。
2026-03-02 cs.AI cs.LG
Learning a Generative Meta-Model of LLM Activations
本研究通过训练扩散模型学习大语言模型激活的分布,提出生成元模型以提升干预保真度和可解释性。
2026-02-06 cs.AI cs.CL cs.LG
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析,揭示Transformer模型中回忆与推理的分离电路,为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
Head-Specific Intervention Can Induce Misaligned AI Coordination in Large Language Models
University of Strathclyde(斯特拉思克莱德大学)
该研究提出通过特定注意力头的细粒度干预诱导大语言模型产生未对齐的AI协同,证明其比全层干预或监督微调更有效,还能阻止越狱攻击,为模型行为引导提供新方法。
2025-08-25 cs.AI cs.CL
What Can We Actually Steer? A Multi-Behavior Study of Activation Control
Department of Computer Science(计算机科学系);Minerva University(明维大学)
本文研究了激活控制在不同行为类型中的有效性差异,发现行为类型显著影响控制效果,特征表达呈倒U型曲线,训练数据量影响控制强度。
2026-01-11 cs.AI
StateSwap: Probing Support-Elimination Hidden States in Multiple-Choice Questions
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Wuhan University of Science and Technology(武汉科技大学)
本研究针对大型语言模型在多项选择题不同框架下的答案不一致问题,提出双框架协议,通过交换[STATE]标记的残差流激活值,验证其与模型行为相关,还发现均值差引导方向的层内响应更具边界性。
2026-09-09 cs.AI cs.CL
Can We Break LLMs Out of Self-Loops? Fine-Grained Reasoning Control with Activation Steering
UC San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究院);University of New South Wales(新南威尔士大学)
研究大语言模型推理过程不可控问题,提出SOPHIA方法,通过将推理轨迹视为潜在状态序列,构建引导向量库,在推理时进行干预,可检测并防止自我循环,提升推理质量。
2026-07-21 cs.AI
Steering into New Embedding Spaces: Analyzing Cross-Lingual Alignment Induced by Model Interventions in Multilingual Language Models
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
本文研究通过模型干预而非微调来增强多语言大语言模型的跨语言对齐,发现操控特定神经元可改变嵌入空间并提升跨语言检索性能,top-1准确率最高提升2倍。
2025-07-21 cs.AI cs.CL cs.LG
Gated Activation Steering for Reducing Sycophancy & Hallucination in Medical Question Answering
本研究提出门控激活引导方法,通过推理时干预结合幻觉与谄媚行为的针对性引导,在40亿参数模型上提升医学问答抗压力能力,表现接近千亿参数模型
2026-08-26 cs.AI cs.CL
LLM Self-Recognition: Steering and Retrieving Activation Signatures
University of California, Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院)
通过随机稀疏向量引导内部残差流,在LLM生成文本中嵌入可检测指纹,实现高精度归属,同时保持文本质量。
2026-06-04 cs.AI
Cross-Lingual Activation Steering for Multilingual Language Models
Department of Computer Science, Portland State University, USA(波特兰州立大学计算机科学系)
本文提出CLAS方法,通过激活引导提升多语言模型在非主导语言上的性能,无需修改模型权重。
2026-10-07 cs.AI cs.CL
Beyond a Single Direction: Chain-of-Thought Disrupts Simple Steering of Refusal
University of Göttingen, Germany(哥廷根大学,德国);Northeastern University, Boston, MA, USA(东北大学,波士顿,马萨诸塞州,美国)
本文研究大型推理模型(LRM)中拒绝行为的机制,发现思维链(CoT)与激活共同编码拒绝信号,使得仅通过激活引导难以逆转拒绝,但通过两阶段干预(激活引导下重新生成CoT)可显著提高逆转率。
2026-10-21 cs.AI cs.LG
Joint Localization and Activation Editing for Low-Resource Fine-Tuning
Technical University of Munich(慕尼黑工业大学);ILLC, University of Edinburgh(爱丁堡大学逻辑、语言与计算研究所);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出JoLA方法,联合学习编辑Transformer头、干预类型及参数,在低资源场景下优于现有PEFT和激活编辑方法。
2025-05-29 cs.AI cs.CL cs.LG
Steering When Necessary: Flexible Steering Large Language Models with Backtracking
State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国)
针对现有大语言模型激活引导方法干预精准度不足的问题,提出带回溯的灵活激活引导框架FASB,动态判定干预必要性与强度,结合回溯纠正偏离token,在多个数据集上性能优于基线。
2025-10-01 cs.AI cs.CL
PIVOT: Preference-based Intervention Vectors for Pedagogical Tutor Steering
EPFL(洛桑联邦理工学院)
研究针对LLM对话辅导缺乏教学策略推理时控制的问题,提出PIVOT框架,通过偏好干预向量实现导师动作控制,在用户研究中获多数教师认可。
2026-08-11 cs.AI cs.HC
LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning
Carnegie Mellon University(卡内基梅隆大学)
该研究揭示LLMs虽编码了语用约束知识,但存在激活传递瓶颈,导致约束推理失败,激活修补可部分修复,且缓解干预未解决该传递问题。
2026-08-14 cs.AI cs.CL
CRANE: Causal Relevance Analysis of Language-Specific Neurons in Multilingual Large Language Models
Zhejiang University(浙江大学)
CRANE通过神经元层面的干预分析,揭示多语言大模型中语言特异性神经元的因果相关性,更精确地分离语言特异性组件。
2026-03-10 cs.AI cs.CL
Steered LLM Activations are Non-Surjective
Johns Hopkins University(约翰霍普金斯大学)
研究探讨了激活引导是否能通过文本提示实现,证明引导行为在实际中无法通过提示复现,区分了白盒引导与黑盒提示的差异。
2026-05-07 cs.AI cs.LG
Steering Large Language Model Activations in Sparse Spaces
Mila(米拉(魁北克人工智能研究所));Chandar Research Lab(钱达尔研究实验室);FAIR at Meta(元公司FAIR研究院);Polytechnique Montréal(蒙特利尔理工学院);Université de Montréal(蒙特利尔大学)
本文提出稀疏激活引导方法(SAS),利用稀疏自编码器在稀疏空间中分离行为特征,以解决稠密激活空间中的特征纠缠问题,实现对大型语言模型行为更细致、可靠且可解释的控制。
2025-02-28 cs.AI cs.LG
Adaptive Activation Cancellation for Hallucination Mitigation in Large Language Models
提出适应性激活取消方法,通过实时干预减少大语言模型的幻觉问题,同时保持模型性能和生成质量。
2026-03-10 cs.AI cs.CL cs.LG
Minimizing Collateral Damage in Activation Steering
Department of Electrical \& Computer Engineering, Rice University, Houston, USA;Department of Computational;Applied Mathematics, Rice University, Houston, USA;Department of Electrical \& Computer Engineering, The University of Texas at Austin, Austin, USA
本文提出了一种基于约束优化的框架,通过数学形式化附带损害并优化激活变化,以更精确地控制大语言模型行为,同时减少对无关任务性能的影响。
2026-05-01 cs.AI cs.LG
Dynamic Multimodal Activation Steering for Hallucination Mitigation in Large Vision-Language Models
East China Normal University(华东师范大学)
本文提出动态多模态激活引导方法,通过构建语义真实性引导向量数据库,实现幻觉缓解,提升模型性能。
2026-02-25 cs.AI cs.CV
Mathematical Reasoning via Intervention-Based Time-Series Causal Discovery Using LLMs as Concept Mastery Simulators
Kyushu Institute of Technology(九州工业技术大学)
本文提出CIKA框架,利用LLM自身作为干预模拟器,通过干预能力探针区分因果相关概念,提升数学推理能力。
2026-10-27 cs.AI cs.CL cs.LG
Probe-Free Low-Rank Activation Intervention
CUHK(香港中文大学)
本文提出无探针低秩激活干预方法FLORAIN,通过逐样本非线性低秩映射直接编辑注意力头激活,无需训练分类器,在多个模型上一致提升生成真实性与质量。
2025-02-06 cs.AI cs.LG
Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
Harvard University(哈佛大学)
提出推理时干预技术,通过调整注意力头激活方向,将Alpaca模型在TruthfulQA上的真实性从32.5%提升至65.1%,且仅需少量数据,揭示了LLM内部存在真实性表征。
2024-06-26 cs.AI cs.CL cs.LG
Task Context Shapes Component Roles in Language Models
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
本研究发现任务上下文会改变语言模型共享组件响应的图事实及输出对后续计算的影响,通过干预实验揭示了不同模型中注意力头的任务依赖影响力,为理解模型共享参数的功能及指导干预提供了网络视角。
2026-10-12 cs.AI cs.CL
Efficient Refusal Ablation in LLM through Optimal Transport
Concordia University(康科德大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
本文提出基于最优传输的框架,通过层选择性干预提升LLM拒绝机制的鲁棒性,实现更高的攻击成功率并保持模型能力。
2026-03-04 cs.AI cs.LG
On the Non-Identifiability of Steering Vectors in Large Language Models
Manipal Institute of Technology Bengaluru(马尼帕尔理工学院班加罗尔校区)
研究揭示大型语言模型中转向向量的不可识别性,指出在白盒单层访问下,转向向量因行为上无法区分的干预等价类而无法唯一确定,强调需超越行为测试的结构约束以实现可靠对齐干预。
2026-04-01 cs.AI cs.LG
When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了秩-1引导在不同概念上的有效性差异,提出粒度和几何学是影响引导成本的关键因素,并介绍了GRACE框架来高效优化引导过程。
2026-05-20 cs.AI cs.LG
Debiasing Reward Models via Causally Motivated Inference-Time Intervention
Human Informatics Labs., NTT, Inc.(NTT人类信息学实验室)
本文提出因果驱动的干预方法,用于在推理时减轻奖励模型中的多种偏差。通过抑制与预定义偏差属性强相关的神经元激活,减少对虚假特征的敏感性,同时保持性能。
2026-04-30 cs.AI cs.CL
Mitigating Content Effects on Reasoning in Language Models through Fine-Grained Activation Steering
本文通过激活引导技术缓解语言模型的推理偏见,发现对比引导方法能有效减少内容偏见,提升形式推理准确性,且在不同任务中具有鲁棒性。
2026-04-01 cs.AI cs.CL
VISPA: Pluralistic Alignment via Automatic Value Selection and Activation
University of Waterloo(滑铁卢大学);University of Melbourne(墨尔本大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MBZUAI(马克斯·普朗克智能系统研究所);Macquarie University(麦考瑞大学)
VISPA通过自动价值选择和激活实现多元对齐,适用于多种模型和场景,提供了一种可扩展的语言模型对齐方法。
2026-10-02 cs.AI cs.CL cs.LG
Improving Reasoning Performance in Large Language Models via Representation Engineering
Department of Computer Science, IT University of Copenhagen(计算机科学系,丹麦技术大学)
本文提出推理时表征工程方法,从LLM残差流激活推导控制向量以调节推理表征,在多类模型和推理任务上实现免训练性能提升。
2025-04-28 cs.AI cs.CL cs.LG
Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机与人工智能学院);BEDI Cloud(BEDI云公司);School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);School of Software Technology, Zhejiang University(浙江大学软件学院);School of Transnational Law, Peking University(北京大学国际法学院)
提出无需训练的LLM遗忘方法Nullify,通过推理时激活引导平衡遗忘质量与模型效用,在TOFU、MUSE上表现优于或相当基准,且高效即插即用。
2026-10-09 cs.AI cs.CR cs.LG
Differentiated Directional Intervention A Framework for Evading LLM Safety Alignment
本文提出DBDI框架,通过区分有害检测和拒绝执行方向,提升LLM安全对齐的规避效果。
2025-11-24 cs.AI cs.CR cs.LG
Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions
Southern University of Science and Technology(南方科技大学);University of Notre Dame(Notre Dame 大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出GCAD方法,通过提取系统提示对自注意力的影响并应用token级门控,提升长周期连贯性与特质表达。
2026-11-13 cs.AI cs.CL
Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control
Georgia Institute of Technology, Atlanta, GA, USA. Schools of Electrical and Computer Engineering(佐治亚理工学院,亚特兰大,GA,美国。电气与计算机工程学院)
通过利用大模型层间动力学的局部线性特性,本文将LLM推理建模为线性时变动态系统,采用线性二次调节器计算反馈控制器,实现激活的闭环控制,具有低计算开销和无离线训练的优势,同时提供理论误差界保证控制性能。
2026-04-21 cs.AI cs.LG cs.SY
Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出统一视角分析语言模型控制方法,通过偏好-效用分析揭示控制效果的权衡关系,并引入SPLIT方法提升偏好与效用。
2026-11-17 cs.AI cs.CL cs.CV
A Geometric Account of Activation Steering through Angle-Norm Decomposition
Huawei Noah’s Ark Lab(华为诺亚实验室);Queen Mary University of London(女王玛丽大学)
本文通过控制实验分离角度和径向分量,发现概念主要编码在角度结构中,但范数对引导的稳定性和下游效应至关重要,建议将激活引导参数化为可解释的角度和径向分量。
2026-06-08 cs.AI
ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
Georgia Institute of Technology(佐治亚理工学院)
针对多层稀疏自编码器(SAE)在Transformer中因层间耦合导致的冗余和交互问题,提出残差化稀疏自编码器(ReSAE),通过拟合层间仿射映射并训练SAE于残差上,减少解码器冗余并提升多层替换下的交叉熵恢复。
2026-05-27 cs.AI cs.LG
Refusal Beyond a Single Direction: A Preliminary Comparison of Diff-in-Means and INLP
Department of Computer Science, Università degli Studi di Milano(米兰大学计算机科学系)
比较 DiM 和 INLP 两种方法在安全微调聊天模型中调控拒绝行为的效果,发现 INLP 反事实翻转可匹配 DiM 方向消融,而零空间投影较弱,且两种方法在激活空间中产生不同几何分布。
2026-09-11 cs.AI
Activation Scaling for Steering and Interpreting Language Models
ETH Zürich(苏黎世联邦理工学院);University of Copenhagen(哥本哈根大学);EPFL(洛桑联邦理工学院);The University of Chicago(芝加哥大学)
该研究提出激活缩放方法,通过基于梯度的优化学习仅修改激活向量带符号幅值的稀疏干预,在合成任务上效果与引导向量相当且更具可解释性,还实现了对不同长度提示的泛化。
2024-10-07 cs.AI cs.CL
Look But Don't Touch with Sparse Autoencoders for Unlearning in Diffusion Models
University of Turin(都灵大学);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎综合理工学院)
本文利用稀疏自编码器作为语义检测器,通过检测并替换包含目标对象的图像区域,实现扩散模型中的对象擦除,避免了直接干预潜在空间导致的视觉伪影。
2026-07-03 cs.AI cs.CV
Manipulating Transformer-Based Models: Controllability, Steerability, and Robust Interventions
Lightcap;Department of Future(未来系);Turkish Aeronautical Association(土耳其航空航天协会)
该研究针对基于Transformer的语言模型细粒度控制难题,提出涵盖提示、激活、权重三层干预的统一框架,理论与实验验证其可控编辑效果,为可控鲁棒语言模型设计奠基。
2025-09-04 cs.AI cs.CL
Activation Steering of Video Generation Models via Reduced-Order Linear Optimal Control
Georgia Institute of Technology(佐治亚理工学院)
提出LA-LQR框架,将文本到视频推理建模为动态系统,通过降阶最优控制实现最小干预的激活引导,减少不安全内容生成同时保持视觉质量。
2026-06-03 cs.AI cs.CV cs.LG
Steering LLMs for Formal Theorem Proving
本文探索激活引导方法,通过在推理时调整与非正式推理相关的残差激活线性方向,无需微调即可提升LLMs形式化定理证明性能,并揭示其内部推理编码机制。
2025-10-13 cs.AI cs.CL cs.LG
Closed-Loop Neural Activation Control in Vision-Language-Action Models
Florida International University(佛罗里达国际大学);SRI International(美国桑尼沃德国际研究机构);United States Military Academy(美国军事学院);Oak Ridge National Laboratory(橡树岭国家实验室);University of Florida(佛罗里达大学)
提出CTRL-STEER闭环框架,通过自适应时变控制信号替代固定干预系数,实现更稳定的概念调节和任务成功率。
2026-05-29 cs.AI
Pre-Intervention Prediction of Sparse Autoencoder Steering Side Effects
University of Michigan(密歇根大学)
提出一种干预前筛选框架,利用特征统计预测SAE引导的副作用(效果不稳定和附带扩散),在多个模型和字典上验证了解码器几何等信号优于基线,但预测效果因模型而异。
2026-06-06 cs.AI cs.LG
Steering Awareness: Detecting Activation Steering from Within
研究探讨模型能否检测内部引导向量,通过微调七种指令调优模型,在测试概念上实现高检测率和概念识别率,揭示引导引导并非安全评估中的隐形干预。
2026-03-19 cs.AI cs.CL
The Entanglement Wall: Activation-Space Probes as Risk Detectors, Not Context Adjudicators
Independent Researcher(独立研究者)
研究残余流探测器能否区分有害请求与良性控制,通过在三个7-8B模型系列实验,激活传感器可阻止部分攻击和提示,审计能重建较高AUROC,成对训练分类器有问题,激活分数是风险探测器而非上下文裁决器。
2026-09-29 cs.AI cs.CR cs.LG
ObserverBench: Testing Mechanistic Estimates for Intervention and Control
本研究提出ObserverBench基准框架,用于评估指导干预、控制等任务的内部估计器的充分性,通过理论与实验揭示估计准确性与动作损失的差异,为可解释性方法评估提供支撑。
2026-09-04 cs.AI cs.LG
Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions
University of California, Berkeley(加州大学伯克利分校)
通过押韵对句补全任务,使用线性探针和激活修补方法,研究语言模型在生成过程中是否形成并因果依赖未来约束的潜在规划,发现仅Gemma-3-27B模型存在因果依赖,并定位到五个注意力头。
2026-06-15 cs.AI cs.LG