Enhancing LLM Steering through Sparse Autoencoder-Based Vector Refinement
LMU Munich（慕尼黑大学）；University of Georgia（佐治亚大学）；Northwestern University（西北大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；The Hong Kong Polytechnic University（香港理工大学）
针对现有大语言模型引导方法依赖大规模数据、小数据提取的引导向量含噪声的问题，提出基于稀疏自编码器的引导向量优化方法SAE-RSV，经语义去噪与特征增强后，效果优于包括监督微调的所有基线方法，可基于有限数据构建有效引导向量。
2025-10-03 cs.AI cs.LG
SAIF: A Sparse Autoencoder Framework for Interpreting and Steering Instruction Following of Language Models
Case Western Reserve University（凯斯西储大学）；Wake Forest University（维克森林大学）；Cisco（思科公司）
提出 SAIF 框架，利用稀疏自编码器识别并因果验证指令相关潜在特征，实现对 LLM 指令遵循行为的可解释引导，并验证其跨规模扩展性。
2025-02-17 cs.AI cs.CL cs.LG
Interpreting and Steering LLM Agents for Social Simulations
Data Innovation and AI Lab (DIAL), University of California, Berkeley（加州大学伯克利分校数据创新与人工智能实验室）；National Bureau of Economic Research (NBER)（美国国家经济研究局）
本研究通过比较提示操控、SAE特征引导和探针方向引导三种方法，解读并引导LLM智能体的偏好与能力，发现SAE和探针方法在引导上更有效，为社会科学模拟提供了可解释且可引导的流程。
2026-09-16 cs.AI cs.CL cs.LG
Graph-Regularized Sparse Autoencoders for LLM Safety Steering
ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Intesa Sanpaolo（Intesa Sanpaolo公司）；University of Southern California（南加州大学）
本文提出图正则化稀疏自编码器，通过在神经元共激活图上平滑解码器向量并应用方向库，提升安全引导效果，在多个基准测试中显著提高有害请求拒绝率。
2026-05-15 cs.AI cs.LG
Riemannian-Manifold Steering: Geometry-Aware Generative Autoencoders for Label-Free Steering
Martian；Harvard University（哈佛大学）；Thoughtworks；University of Utah（犹他大学）
提出将语言模型操控重新定义为激活空间上的黎曼测地线计算，通过基于输出空间Hellinger距离学习的编码器实现无标签、无拓扑先验的流形操控。
2026-06-06 cs.AI cs.LG
Pre-Intervention Prediction of Sparse Autoencoder Steering Side Effects
University of Michigan（密歇根大学）
提出一种干预前筛选框架，利用特征统计预测SAE引导的副作用（效果不稳定和附带扩散），在多个模型和字典上验证了解码器几何等信号优于基线，但预测效果因模型而异。
2026-06-06 cs.AI cs.LG
A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models
Northwestern University（西北大学）；University of Georgia（佐治亚大学）；New Jersey Institute of Technology（新泽西理工学院）；George Mason University（乔治·马歇尔大学）
本文系统综述了稀疏自编码器在解释大型语言模型内部机制中的技术框架、特征解释方法、评估指标及实际应用。
2025-09-23 cs.AI cs.CL cs.LG
SAEMark: Steering Personalized Multilingual LLM Watermarks with Sparse Autoencoders
Peking University（北京大学）
SAEMark通过稀疏自编码器实现多语言大语言模型的高效水印标记，无需修改模型参数，保持文本质量，适用于多种语言和领域。
2026-01-11 cs.AI cs.CL cs.LG
Interpretable Steering of Large Language Models with Feature Guided Activation Additions
Raffles Science Institute（莱佛士科学学院）；Raffles Institution（莱佛士书院）；Nous Research（努斯研究机构）；Centre for Frontier AI Research (CFAR)（前沿人工智能研究中心）；Agency for Science Technology and Research (A*STAR)（新加坡科技研究局）
本文提出特征引导激活添加方法（FGAA），通过在稀疏自编码器潜空间中优化选择特征来构建精确干预向量，在保持输出连贯性的同时优于现有方法，揭示了干预规模与模型能力的权衡。
2025-04-02 cs.AI cs.CL cs.LG
Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models
Language Technologies Institute（语言技术研究所）
针对通用稀疏自编码器难捕捉基础模型稀有概念的问题，提出专用稀疏自编码器，结合稠密检索选数据与倾斜经验风险最小化训练，在子领域尾部概念捕捉及去偏任务上表现更优。
2024-11-01 cs.AI cs.CL cs.LG
Beyond Input Activations: Identifying Influential Latents by Gradient Sparse Autoencoders
Northwestern University（西北大学）；University of Georgia（佐治亚大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出GradSAE方法，通过引入输出侧梯度信息识别具有高因果影响力的潜在特征，解决了传统SAE分析仅依赖输入激活而忽略特征对输出因果贡献的问题，从而提升模型操控的有效性。
2025-09-23 cs.AI cs.CL cs.LG
Steering Language Model Refusal with Sparse Autoencoders
Microsoft（微软）
本文提出在推理时利用稀疏自编码器(SAE)特征引导语言模型拒答行为，发现该方法虽能提升对越狱攻击的鲁棒性，但会导致多个基准任务性能系统性退化，揭示了安全特征与通用能力间的深层纠缠。
2025-05-22 cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架，通过稀疏潜在特征实现头部剪枝的可解释和可控，提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks
Microsoft Research, Redmond（微软研究院（红mond））；Independent Researcher（独立研究员）
本文通过识别Mamba家族状态空间模型中的激活子空间瓶颈，提出了一种在测试时通过乘以标量来操控激活的干预方法，从而在多个模型和基准测试中提升了性能，并验证了这些瓶颈对性能的阻碍作用。
2026-05-21 cs.LG
Interpreting and Steering Protein Language Models through Sparse Autoencoders
Area Science Park（区域科学园）
本文针对蛋白质语言模型内部机制理解难题，通过稀疏自编码器（SAE）解释ESM-2 8M参数模型的内部表示并识别蛋白质特征相关潜在成分，进而利用该见解引导序列生成，为生物序列模型可解释性与引导提供新方法。
2025-02-13 cs.LG q-bio.BM
On the transferability of Sparse Autoencoders for interpreting compressed models
Department of Computer Science and Engineering（计算机科学与工程系）
本文研究稀疏自编码器在压缩模型上的可迁移性，发现原始模型训练的SAE可直接解释压缩模型，且剪枝原始SAE即可达到重新训练的效果，从而大幅降低训练成本。
2025-07-21 cs.AI cs.LG
Cross-Layer Discrete Concept Discovery for Interpreting Language Models
University of Washington（华盛顿大学）
提出跨层向量量化变分自编码器（CLVQ-VAE），通过离散向量量化瓶颈将残差流中的重复特征压缩为紧凑可解释的概念向量，在三个数据集上优于聚类、单层VQ-VAE和稀疏自编码器基线。
2026-10-01 cs.AI cs.CL cs.LG
Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders
School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））
该研究针对稀疏自编码器可解释性与引导效用的关联问题，通过多模型多配置实验发现二者弱相关，提出Delta Token Confidence特征选择准则显著提升引导性能，且高效用特征的可解释性与效用相关性消失甚至为负。
2025-10-04 cs.AI cs.CL cs.LG
Sparse Autoencoders are Capable LLM Jailbreak Mitigators
本文提出基于SAE的CC-Delta方法，通过比较带有和无劫持上下文的有害请求的token级表示，识别劫持相关的稀疏特征，从而在稀疏SAE特征空间中实现更优的安全-效用权衡。
2026-06-27 cs.CL cs.CR cs.LG
Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering
Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）；Department of Statistics, Rutgers University（罗格斯大学统计系）
本文提出无标签视觉稀疏引导方法VS2，通过训练稀疏自编码器并利用其重构误差和稀疏特征放大来引导冻结的视觉语言模型，在九个图像分类数据集上提升零样本准确率。
2026-05-26 cs.AI cs.CV cs.LG
Interpreting Outliers in Time Series Data through Decoding Autoencoder
University of Mannheim（曼海姆大学）；Robert Bosch GmbH（罗伯特·博世有限公司）
针对制造业时间序列数据，该研究利用自编码器压缩数据并进行异常检测，通过应用XAI技术、提出AEE融合解释方法及定量评估技术，实现了异常值的定性与定量解释。
2025-02-03 cs.AI cs.LG
Steering grids for sparse-autoencoder features: when a top-context label names an activation regime rather than a causal axis
SimulaMet（希尤拉梅特）；Simula（希尤拉）
研究稀疏自编码器特征解释协议，通过引导网格发现顶级上下文标签命名激活模式而非因果轴，三个近乎正交特征对有根据组合共同必要，匹配几何随机方向控制表明坍缩与方向模式有关，给出新特征解释及相关结论。
2026-07-28 cs.LG
CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits
University of Southern California（南加利福尼亚大学）
CircuitSteer是利用SAEs识别多层语义回路的新型框架，通过几何对齐合成引导向量实现多点干预，在多任务多模型上，其引导效果优于牺牲流畅性或覆盖不足的对比方法。
2026-08-07 cs.LG
Inside the Visual Mind: Neuroscience-Motivated Concept Circuits for Interpreting and Steering Vision Transformers
University of Science and Technology of China（中国科学技术大学）
提出ViSAE工具箱，通过神经科学启发的概念电路解释视觉变换器内部机制，包含高效概念集、自动电路追踪算法和概念编辑应用，在WaterBirds上最差组准确率提升48.2%。
2026-06-04 cs.AI cs.CV cs.LG
University of Florida（佛罗里达大学）
Building a scalable machine learning system for unsupervised anomaly detection via representation learning is highly desirable. One of the prevalent methods is using a reconstruction error from variational autoencoder (VAE) via maximizing the evidence lower bound. We revisit VAE from the perspective of information theory to provide some theoretical foundations on using the reconstruction error, and finally arrive at a simpler and more effective model for anomaly detection. In addition, to enhance the effectiveness of detecting anomalies, we incorporate a practical model uncertainty measure int…
2020-05-07 cs.IT cs.LG math.IT
Steering LVLMs via Sparse Autoencoder for Hallucination Mitigation
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University)（东南大学新一代人工智能技术及其交叉应用关键实验室）；Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Wuhan University of Technology（武汉理工大学）；National University of Singapore（新加坡国立大学）
本文提出SSL方法，利用稀疏自编码器提取解耦的幻觉相关表示，通过引导忠实方向缓解大型视觉语言模型的幻觉，显著优于现有方法且跨架构可迁移。
2025-09-15 cs.AI cs.CL cs.CV
Interpreting CFD Surrogates through Sparse Autoencoders
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出利用稀疏自编码器对CFD图代理模型的节点嵌入进行事后解释，提取与涡量等物理现象对齐的可解释特征字典，以增强模型可信度。
2025-07-21 cs.CE cs.LG
HyperSteer: Activation Steering at Scale with Hypernetworks
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Confirm Labs（确认实验室）；Pr(Ai) 2 R Group（Pr(Ai) 2 R小组）
本文提出HyperSteer，一种基于超网络端到端生成引导向量的架构，以自然语言提示和语言模型内部状态为条件，在数千个引导提示上超越现有激活引导方法，并达到与提示引导相当的性能。
2025-06-03 cs.AI cs.CL cs.LG
Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs
Independent Researcher（独立研究员）
研究稀疏自编码中特征竞争与模型不确定性之间的关系，发现高熵问题在特定层产生更强的竞争，且竞争方向影响输出，竞争分数预测答案正确性。
2026-05-03 cs.CL cs.LG
TSAE: Structured Sparse Autoencoders for Interpreting Time-Series Forecasting Models
TSAE提出结构化稀疏自编码器，通过共享/私有字典、门控编码和时间连续性约束分解时间序列预测模型的隐藏状态，并配合TSEVAL协议审计，在三个数据集上以更低重建误差和NFRE实现可解释特征。
2026-10-06 cs.AI cs.LG
Steering CLIP's vision transformer with sparse autoencoders
Mila（米拉计算研究所）；McGill University（麦吉尔大学）；Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；UC Berkeley（加州大学伯克利分校）
本文首次系统研究 CLIP 视觉 Transformer 的可引导性，通过训练稀疏自编码器发现 10-15% 的神经元和特征可被引导，并利用 SAE 特征抑制在视觉解耦与排版攻击防御上取得最优性能。
2025-04-11 cs.AI cs.CV cs.LG
Sparse Autoencoders as a Steering Basis for Phase Synchronization in Graph-Based CFD Surrogates
本文提出利用稀疏自编码器对冻结的图基流体动力学模型进行后处理，通过时间相干的方法纠正相位漂移，展示了在物理系统中使用隐空间转向的可行性。
2026-03-28 cs.CE cs.LG physics.comp-ph
Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects
研究稀疏自编码器特征与模型行为不一致问题，引入FEGA框架分析特征干预致模型对数几率变化的几何结构，区分值类和指针类特征，揭示特征可解释性及因果相关性与引导方向无关的现象。
2026-07-28 cs.AI cs.CL cs.LG
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
SungKyunKwan University（顺天妇女大学）
本文提出利用稀疏自编码器将DPR稠密嵌入分解为可解释的潜在概念，并基于此构建概念级稀疏检索框架CL-SR，在保持稳健性能的同时提升透明度和效率。
2025-08-27 cs.IR cs.LG
Rethinking Sparse Autoencoders: Select-and-Project for Fairness and Control from Encoder Features Alone
Bitdefender；University Politehnica of Bucharest（巴特亚大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种基于编码器特征的选择和投影框架，通过改进公平性和可控性，提升模型在视觉语言和大语言模型中的表现。
2025-12-05 cs.AI cs.LG
Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery
The University of Hong Kong（香港大学）；Hunyuan Team, Tencent（腾讯混元团队）
本文提出块级稀疏自编码器（Mean-Chunk、Cross-Chunk、Joint-Chunk），通过编码块级均值池化激活来发现可靠语义特征，在检索、推理检测和引导等下游任务中取得改进。
2026-09-29 cs.AI cs.CL cs.LG
Mechanistic Interpretability of Code Correctness in LLMs via Sparse Autoencoders
College of Computer Studies（计算机科学学院）
本研究利用稀疏自编码器分解大语言模型表征，识别代码正确性相关方向并分析其机制，发现测试用例注意力对代码生成的关键作用，提出了提示优化、错误警报和选择性引导三项实际应用。
2025-10-03 cs.LG cs.SE
Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders
Department of Physics, Cornell University（康奈尔大学物理系）；Center for Applied Mathematics, Cornell University（康奈尔大学应用数学中心）
利用稀疏自编码器从神经量子态内部激活中无监督提取物理可观测量相关特征，并通过后训练干预单一特征因果地平滑引导对应可观测量，揭示其可解释内部表示。
2026-07-03 cond-mat.dis-nn cond-mat.str-el cs.AI
Interpreting CLIP with Hierarchical Sparse Autoencoders
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
提出分层稀疏自编码器（MSAE）以同时学习多粒度分层表示，在 CLIP 上实现重建质量与稀疏性的新帕累托前沿，并提取超 120 个语义概念用于下游任务的解释与控制。
2025-05-28 cs.AI cs.CV cs.LG
Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models
University of California, Irvine（加州大学 Irvine 分校）
提出残差化时间稀疏自编码器，通过去噪时间步间的线性预测残差学习扩散激活轨迹中的可解释特征，并在Stable Diffusion 1.5上验证其有效性。
2026-10-08 cs.AI cs.CV cs.LG
That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究将知识冲突研究拓展至代码生成领域，提出领域无关的冲突构建解读框架及适配的评估方法与数据集，实现最高80.65%的冲突检测准确率，激活层引导较随机基线最高提升12.6%的成功率。
2025-10-21 cs.AI cs.CL cs.LG
Re-envisioning Euclid Galaxy Morphology: Identifying and Interpreting Features with Sparse Autoencoders
Space Telescope Science Institute（太空望远镜科学研究所）；Johns Hopkins University（约翰霍普金斯大学）；University of Toronto（多伦多大学）
该研究利用稀疏自编码器（SAEs）从预训练神经网络中识别欧几里得星系形态的单语义特征，通过监督模型和自监督模型验证，发现SAEs能识别星系动物园决策树外的可解释特征，且与标签对齐度优于PCA，为天体物理现象发现提供工具。
2025-11-12 astro-ph.IM cs.LG
Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders
Columbia University（哥伦比亚大学）；Google Research（谷歌研究院）；Independent（独立研究者）
本文提出机制性主题模型（MTMs），利用稀疏自编码器学习可解释特征，以揭示深层概念主题，并通过topic judge评估框架验证其有效性。
2026-08-25 cs.CL cs.LG
Steering Large Language Models for Machine Translation Personalization
CLCG, University of Groningen（格罗宁根大学）；University of Milano-Bicocca（米兰比可卡大学）
本文探讨在少量示例下如何个性化自动翻译，聚焦文学翻译领域，通过对比引导与稀疏自编码器（SAE）潜变量实现稳健的风格条件和翻译质量，提升推理效率。
2025-10-14 cs.AI cs.CL cs.LG
From Black Box to Biomarker: Sparse Autoencoders for Interpreting Speech Models of Parkinson's Disease
McGill University（麦吉尔大学）；Centre for Research on Brain, Language, and Music（大脑、语言和音乐研究中心）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Douglas Research Centre（道格拉斯研究中心）；Concordia University（Concordia大学）
针对帕金森病语音检测深度学习模型的黑箱问题，本文用稀疏自编码器及新型掩码激活提取可解释字典特征，并将其与构音缺陷和MRI壳核体积相关联。
2025-07-16 cs.LG eess.AS
DSPA: Dynamic SAE Steering for Data-Efficient Preference Alignment
Carnegie Mellon University（卡内基梅隆大学）
DSPA通过在推理阶段动态调整稀疏自编码器的提示条件，提升数据效率的偏好对齐，同时在多个基准测试中表现优异。
2026-09-09 cs.AI cs.CL cs.LG
SAEs Are Good for Steering -- If You Select the Right Features
Technion – Israel Institute of Technology（技术学院–以色列理工学院）；Boston University（波士顿大学）
本文提出输入和输出评分以区分SAE特征类型，通过过滤低输出评分特征，提升SAE在转向任务中的性能。
2025-12-22 cs.AI cs.CL cs.LG
Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model
Stuttgart Center for Simulation Science, Cluster of Excellence EXC 2075, University of Stuttgart（斯图加特大学卓越模拟科学中心，卓越集群EXC 2075）
研究伊辛模型微观自旋配置上训练的无监督自动编码器如何学习宏观变量，通过量化多尺度学习揭示两种动态模式，利用递归动态轨迹分析证明预测误差诱导流场，建立学习动态观点并提供解释基础。
2026-07-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models
AWS AI Labs（AWS人工智能实验室）
本文提出一种自适应调度器，通过集中干预属性形成阶段以提升离散扩散语言模型的控制精度，避免均匀干预导致的性能下降。
2026-10-08 cs.AI cs.CL cs.LG
Endogenous Resistance to Activation Steering in Language Models
University of Washington（华盛顿大学）
研究发现大型语言模型在任务不匹配的激活引导下能内生抵抗，通过显式重启恢复正确生成，并识别出相关稀疏自编码器潜在变量，可增强或削弱该抵抗。
2026-07-07 cs.AI cs.CL cs.LG
Interpreting Attention Layer Outputs with Sparse Autoencoders
本研究在高达2B参数的transformer注意力层输出上训练稀疏自编码器（SAEs），发现其可分解出长/短程上下文等可解释特征，并利用SAEs深入分析了模型行为、归纳头冗余现象及间接对象识别电路的语义。
2024-06-25 cs.LG
Language Model Activations Inhabit Privileged Error-Correcting Basins
Goodfire；University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）；Northeastern University（东北大学）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）
本研究通过探测语言模型激活空间的几何结构，发现激活位于特权纠错盆地中，并利用自适应引导强度跨盆地传输激活，显著提升跨语言引导效果。
2026-10-06 cs.AI cs.CL cs.LG
What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions
St. Jude Children’s Research Hospital（圣犹大儿童研究医院）；Columbia University（哥伦比亚大学）
该研究以干预归因为目标，发现观测性特征发现证据无法识别该归因，推导了差距的梯度分解，经多组实验验证归因选择SAE特征更优，为SAE特征干预提供了原则性目标。
2026-10-14 cs.CL cs.LG stat.ML
Forecasting With LLMs: Improved Generalization Through Feature Steering
University of Chicago（芝加哥大学）；University of Chicago, Illinois, United States（芝加哥大学）
本文利用稀疏自编码器分析LLM内部状态，识别时间感知和前瞻偏差特征，并通过增强时间感知特征减少预测中的前瞻偏差，提升泛化能力。
2026-08-12 cs.CL cs.LG
