Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention
Georgia Institute of Technology(佐治亚理工学院)
本文提出FLAS,一种基于流的激活转向方法,通过学习通用概念条件化的速度场来运输未转向的激活到转向的激活,从而在AxBench上超越了提示方法。
2026-05-07 cs.CL cs.LG
Adaptive Multi-Value Control in LLMs via Causal Activation Steering
University of Arizona(亚利桑那大学)
本文提出AIMES框架,利用因果激活引导和在线观察者反馈,在推理时自适应调整多价值干预强度,实现轻量级、状态感知的多值控制,优于固定联合引导。
2026-09-28 cs.LG
DreamReader: An Interpretability Toolkit for Text-to-Image Models
Singapore University of Technology and Design(新加坡科技设计大学);Martian;Thoughtworks;NVIDIA;Harvard University(哈佛大学)
DreamReader提出了一种统一框架,通过可组合的表示操作分析扩散模型的可解释性,引入三种新干预机制,通过实验展示其在文本到图像模型中的应用,推动可解释性研究。
2026-03-02 cs.AI cs.LG
CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
University of California at Santa Barbara(加州大学圣巴巴拉分校);University at Albany, SUNY(阿尔巴尼大学,SUNY);Argonne National Laboratory(阿贡国家实验室)
针对大语言模型预训练计算资源消耗高的问题,提出利用低秩激活特性的CoLA及内存优化版CoLA-M,用自编码器替换全尺寸层,在保持全秩性能的同时大幅提升训练与推理效率、降低成本。
2025-10-01 cs.AI cs.LG
Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
Nanjing University(南京大学);Southeast University(东南大学)
针对参数高效微调中激活内存开销过大的问题,本文提出 LoRAct,利用激活低秩性进行无校准数据的在线正交分解压缩,在视觉和语言任务上较 LoRA 减少约80%激活内存并保持性能。
2025-09-27 cs.AI cs.LG
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析,揭示Transformer模型中回忆与推理的分离电路,为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
RolloutFaith: Auditing Persistent Internal Interventions in Visual World Model
MBZUAI(穆罕默德·本·扎耶德人工智能大学);UESTC(电子科技大学);Dalian University of Technology(大连理工大学)
提出RolloutFaith框架,审计视觉世界模型中内部干预的持久性,发现现有编辑器长期效果有限,并验证训练应奖励未来后果的假设。
2026-09-30 cs.LG
Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations
University of Michigan(密歇根大学);EECS Department, University of Michigan, Ann Arbor, MI, USA(密歇根大学电子工程与计算机科学系)
本文研究了多层感知机中平滑激活函数下的低秩训练动态,揭示了权重动态在低维子空间中的集中现象,并展示了低秩参数化在分类任务中的有效性。
2026-11-10 cs.AI cs.LG
One Token Can Be Enough: Bridging Prompting and Activation Steering with Prefix Steering
本研究提出前缀引导(Prefix Steering)方法,通过仅对最终提示 token 后短跨度进行干预,实现与完整激活引导相当的行为控制,同时更好地保持通用能力,挑战了逐 token 引导的常见做法。
2026-10-06 cs.CL cs.LG
Dual-Stance Evaluation of Sycophancy: The Structure of Agreement and the Limits of Intervention
University of Toronto(多伦多大学)
提出双立场评估方法,发现激活引导在减少谄媚时也会抑制对事实正确陈述的同意,揭示了表示可读但不可写的普遍差距。
2026-06-11 cs.AI cs.CL cs.LG
BALF: Budgeted Activation-Aware Low-Rank Factorization for Fine-Tuning-Free Model Compression
提出BALF框架,将激活感知低秩分解扩展到线性层以外的卷积层,通过白化理论处理秩亏激活,并利用拉格朗日松弛在FLOP或参数预算下分配层秩,实现免微调的高效视觉模型压缩。
2026-11-11 cs.LG
Steering LLMs for Formal Theorem Proving
本文探索激活引导方法,通过在推理时调整与非正式推理相关的残差激活线性方向,无需微调即可提升LLMs形式化定理证明性能,并揭示其内部推理编码机制。
2025-10-13 cs.AI cs.CL cs.LG
SplitLite: Low-Rank Residual Compression for Split Learning
The University of Hong Kong(香港大学);California Institute of Technology(加州理工学院)
本文针对设备端LLM联邦微调的高通信成本问题,提出SplitLite方法,利用残差的低秩结构压缩传输量,在保持性能的同时大幅降低了通信成本。
2026-11-11 cs.AI cs.LG
LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning
Delft University of Technology(代尔夫特理工大学);Purdue University(普渡大学)
LANCE通过低秩分解实现激活压缩,减少内存和计算成本,提升设备端持续学习效率,实验表明在多个数据集上效果优于传统方法。
2026-03-17 cs.AI cs.LG cs.NE
Activation-Space Order-Swap Geometry: A Site-Asymmetry Audit
Substrate Labs
本文针对激活空间序交换几何提出位点非对称性检验,通过分解响应、在多类语言模型及非语言模型上开展实验,提出解读序交换向量的测量准则。
2026-08-27 cs.LG
Activation Steering of Video Generation Models via Reduced-Order Linear Optimal Control
Georgia Institute of Technology(佐治亚理工学院)
提出LA-LQR框架,将文本到视频推理建模为动态系统,通过降阶最优控制实现最小干预的激活引导,减少不安全内容生成同时保持视觉质量。
2026-06-03 cs.AI cs.CV cs.LG
ObserverBench: Testing Mechanistic Estimates for Intervention and Control
本研究提出ObserverBench基准框架,用于评估指导干预、控制等任务的内部估计器的充分性,通过理论与实验揭示估计准确性与动作损失的差异,为可解释性方法评估提供支撑。
2026-09-04 cs.AI cs.LG
Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks
Microsoft Research, Redmond(微软研究院(红mond));Independent Researcher(独立研究员)
本文通过识别Mamba家族状态空间模型中的激活子空间瓶颈,提出了一种在测试时通过乘以标量来操控激活的干预方法,从而在多个模型和基准测试中提升了性能,并验证了这些瓶颈对性能的阻碍作用。
2026-05-21 cs.LG
Split-Treatment Analysis to Rank Heterogeneous Causal Effects for Prospective Interventions
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research India(微软印度研究院);Microsoft(微软);Microsoft Research AI(微软人工智能研究院)
对于许多类型的干预,如新广告,营销干预或功能推荐,重要的是要针对特定的人群子集,以最小的成本或潜在的伤害最大化其利益。然而,一个关键的挑战是,由于尚未部署这种前瞻性干预措施,因此没有关于其效果的数据。在这项工作中,我们提出了一个分裂治疗分析,排名个人最有可能受到积极影响的前瞻性干预使用过去的观察数据。与标准的因果推断方法不同,分割处理方法不需要对目标处理本身进行任何观察。相反,它依赖于由目标治疗引起的代理治疗的观察。在合理的假设下,我们证明了基于替代治疗的异质性因果效应的排序与基于目标治疗效应的排序是相同的。在没有任何用于交叉验证的干预性数据的情况下,分割治疗使用敏感性分析对未观察到的混杂因素进行选择模型参数。我们将分割处理应用于模拟数据和大规模的现实目标任务,并通过后者的随机实验验证我们发现的排名。
2020-11-11 cs.LG stat.ME
CARE: Covariance-Aware and Rank-Enhanced Decomposition for Enabling Multi-Head Latent Attention
University of Sydney(悉尼大学);King Abdullah University of Science and Technology(卡布斯大学);Together AI;University of Texas at Austin(德克萨斯大学奥斯汀分校)
CARE通过考虑激活协方差和增强秩,改进了多头潜在注意力的转换,减少了KV缓存成本并提升了表达能力,实验表明其在多个模型上表现更优。
2026-03-18 cs.AI cs.LG
LRQ: Optimizing Post-Training Quantization for Large Language Models by Learning Low-Rank Weight-Scaling Matrices
NAVER Cloud(NAVER云);KAIST AI(韩国科学技术院人工智能学院);AITRICS;SNU AI Center(首尔大学人工智能中心)
本文提出低秩量化方法LRQ,通过用低秩权重缩放矩阵替代全权重缩放矩阵来重建Transformer块输出,在显著减少可学习参数的同时提升量化LLMs的泛化能力,并在多种位宽量化设置下优于现有PTQ方法。
2025-02-09 cs.AI cs.LG
OASIS: Online Activation Subspace Learning for Memory-Efficient Training
Purdue University(普渡大学);Advanced Micro Devices, Inc. (AMD)(超威半导体公司(AMD))
OASIS通过在线学习动态激活子空间,减少内存消耗,无需修改前向计算,实现比全微调低2倍的峰值内存使用,同时保持性能并优于现有低秩方法。
2026-04-10 cs.LG
CARE-LoRA: Compressed Activation REconstruction for Memory-Efficient LoRA
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University(上海交通大学图像处理与模式识别研究所)
研究在有限内存下微调大型预训练模型的问题,提出CARE-LoRA框架,利用LoRA投影结构,用低秩压缩激活取代完整输入激活,并计算重建矩阵,大幅减少内存占用,性能与标准LoRA及变体相当甚至更优。
2026-07-15 cs.AI cs.LG
The Logical Implication Steering Method for Conditional Interventions on Transformer Generation
Damjan Kalajdzievski(独立研究者)
本文提出逻辑蕴含模型引导(LIMS)方法,利用线性表示假说,通过向激活添加概念向量实现条件干预,将神经符号逻辑融入预训练Transformer,实现透明可解释的生成行为调整。
2025-10-06 cs.LG
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
Fraunhofer HHI(弗劳恩霍夫研究所)
提出AIR框架,基于SVD和反向信号影响度量,通过单次交替最小二乘扫描实现权重矩阵的低秩近似,在参数保留≤60%时困惑度比SVD-LLM(W)改善>18%,并减少90%校准数据。
2026-09-09 cs.LG
Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions
BITS Pilani, India(印度比特学院)
针对神经网络多义神经元导致机制可解释性复杂的问题,提出零校准多义性指数(PSI)量化神经元激活的语义簇分解,通过三个校准组件计算,经ResNet-50实验验证有效,为多义单元研究提供实用工具。
2025-08-23 cs.CV cs.LG
Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
University of California-Santa Barbara(加州大学圣芭芭拉分校);Amazon(亚马逊)
本文提出了一种基于激活信息的帕累托引导低秩压缩方法,通过理论分析和算法设计,在保持模型精度的同时提升LLM和VLM的压缩效率和推理速度。
2026-10-08 cs.CL cs.LG
Joint Localization and Activation Editing for Low-Resource Fine-Tuning
Technical University of Munich(慕尼黑工业大学);ILLC, University of Edinburgh(爱丁堡大学逻辑、语言与计算研究所);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出JoLA方法,联合学习编辑Transformer头、干预类型及参数,在低资源场景下优于现有PEFT和激活编辑方法。
2025-05-29 cs.AI cs.CL cs.LG
LASER: Low-Rank Activation SVD for Efficient Recursion
Harvard University(哈佛大学)
本文研究了递归架构中激活流形的几何结构,提出LASER框架通过动态压缩实现激活记忆节省,同时保持模型精度。
2026-04-19 cs.LG stat.ML
CR-Net: Scaling Parameter-Efficient Training with Cross-Layer Low-Rank Structure
Peking University(北京大学)
CR-Net通过跨层低秩结构提升大语言模型预训练效率,减少计算和内存需求,同时保持模型性能。
2026-05-13 cs.LG
Lillama: Large Language Models Compression via Low-Rank Feature Distillation
LORIA(洛里亚实验室);CNRS(法国国家科学研究中心)
本文提出Lillama压缩方法,通过低秩权重局部蒸馏激活值,在单GPU上快速压缩大模型并保持高性能,适用于Transformer及非Transformer架构。
2024-12-28 cs.AI cs.LG
A Low-Rank Subspace Analysis of LLM Interventions
University of Cambridge(剑桥大学)
提出诊断框架,将行为建模为激活空间中的低秩子空间,发现干预一个行为会不对称地影响其他行为,效果与子空间重叠和决策子空间角度相关。
2026-06-15 cs.LG
Consistent Position Bias Estimation without Online Interventions for Learning-to-Rank
Cornell University(康奈尔大学)
呈现偏差是从搜索引擎中的隐式反馈中学习时的关键挑战之一,因为它由于排名中的位置、显著性和其他呈现因素而将相关性信号与无信息信号混淆。虽然最近显示了如何反事实的学习排序(LTR)方法\cite{Joachims/etal/17a}可以证明克服演示偏差,如果观察倾向是已知的,它仍然显示如何准确地估计这些倾向。在本文中,我们提出了第一种方法来产生一致的倾向估计没有手动相关性判断,破坏性干预,或限制性的相关性建模假设。我们只需要我们有来自多个不同排名函数的隐式反馈数据。此外,我们认为,我们的估计技术适用于扩展类的上下文基于位置的倾向模型,其中倾向不仅取决于位置,但也可观察到的查询和文档的功能。初步的模拟研究证实,该方法是可扩展的,准确的,和强大的。
2018-06-09 cs.IR cs.LG stat.ML
Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse
Translational Research Center for Neuroimaging and Data Science (TReNDs)(神经成像与数据科学转化研究中心(TReNDs));Georgia State University(佐治亚州立大学);Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学);Maynooth University(梅努斯大学)
本文全面研究了DNNs的梯度秩,理论分析了架构选择和数据结构对梯度秩界限的影响,并揭示激活线性、瓶颈层等设计如何影响低秩学习,为深度学习设计提供指导。
2024-02-09 cs.LG
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
Hong Kong University of Science and Technology(香港科技大学)
本文提出一种低秩激活引导的决策算子,通过行为克隆大幅降低技能注入成本,以少量参数匹配强化学习性能,并支持技能组合与迁移。
2026-10-09 cs.AI cs.LG
Exploring Diverse Generation Paths via Inference-time Stiefel Activation Steering
The Chinese University of Hong Kong(香港中文大学);Hong Kong Polytechnic University(香港理工大学)
STARS通过在推理时间利用Stiefel流形优化,提升语言模型生成路径的多样性,无需训练并在多个基准中表现更优。
2026-01-29 cs.LG
ZeroQuant-V2: Exploring Post-training Quantization in LLMs from Comprehensive Study to Low Rank Compensation
Microsoft(微软)
本文系统研究了LLM训练后量化中不同方案、模型家族和比特精度的影响,发现现有方法在INT4权重量化下均无法保持原始模型质量,并提出低秩补偿方法LoRC以极小模型尺寸代价改善质量恢复。
2023-05-26 cs.AI cs.CL cs.LG
Virtual Parameter Sharpening: Dynamic Low-Rank Perturbations for Inference-Time Reasoning Enhancement
Independent Researcher(独立研究者)
虚拟参数锐化通过动态低秩扰动提升大语言模型推理能力,实现测试时间适应与高效推理增强。
2025-12-02 cs.AI cs.LG cs.MS
ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
提出ZO-Act方法,利用输入激活构建固定低秩子空间,仅优化系数矩阵,降低扰动维度并支持Adam优化器,实现高效零阶微调,在多个LLM上取得一致提升。
2026-07-02 cs.LG math.OC
Low-Rank Correction for Quantized LLMs
Microsoft Research(微软研究院)
针对大语言模型训练后量化压缩的激活误差问题,提出添加全精度低秩权重矩阵的联合优化校正方法,在W4A4量化下可缩小甚至消除与原模型的准确率差距,已在多款主流LLM上验证。
2024-12-10 cs.LG stat.ML
IMPACT: Importance-Aware Activation Space Reconstruction
Department of Computer Science, Iowa State University, United States(爱荷华州立大学计算机科学系);Meta, United States(Meta公司)
本文提出IMPACT框架,通过结合激活结构与梯度重要性,实现低秩压缩优化,实验显示在保持准确性的同时,模型大小可减少55.4%。
2026-04-20 cs.LG stat.ML
R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI
本文提出R-Sparse,一种免训练的激活稀疏方法,通过利用输入通道和权重奇异值的秩感知稀疏性替换LLM线性层,在50%稀疏度下保持性能并实现43%端到端效率提升。
2025-04-28 cs.LG
Improving AEBS Validation Through Objective Intervention Classification Leveraging the Prediction Divergence Principle
Institute of Automotive Engineering(汽车工程研究所);Technical University of Darmstadt(达姆施塔特技术大学)
本文提出基于预测分歧原理的规则化分类方法,用于客观区分AEBS激活中的假阳性与真阳性,并探讨其与人工标注结合以提升验证过程的透明度和一致性。
2025-07-21 cs.LG cs.RO
Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations
本研究提出Fairness Pruning方法,通过最小对比提示对与激活捕获定位LLM的GLU-MLP层中人口统计偏差神经元,经实验验证该方法可针对性调控偏差且对模型能力影响极小。
2026-07-31 cs.CL cs.CY cs.LG
Generalization Bounds for Rank-sparse Neural Networks
Singapore Management University(新加坡管理大学);Czech Technical University in Prague(捷克布拉格技术大学);The University of Hong Kong(香港大学)
本文研究了秩稀疏神经网络的泛化界限,证明了利用权重矩阵近似低秩结构的神经网络的泛化界限,并探讨了Schatten p准范数在不同p值下的影响。
2025-11-25 cs.LG
SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization
Kyung Hee University(庆熙大学);Yonsei University(延世大学)
SERQ通过基于显著性的低秩误差重建方法,在低比特LLM推理中提升精度并降低校准复杂度。
2026-10-14 cs.LG
Tensor Convolutional Sparse Coding with Low-Rank activations, an application to EEG analysis
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Centre Borelli(博雷利中心);Université Sorbonne Paris Nord(索邦巴黎北大学);L2TI(L2TI实验室);eXascale Infolab;University of Fribourg(弗里堡大学)
近年来,人们对脑电图(EEG)谱图的分析越来越感兴趣,特别是研究全麻(GA)期间意识(无)的神经相关性。事实上,已经证明,三阶张量(通道x频率x时间)是这些信号的自然和有用的表示。然而,这种编码带来了很大的困难,特别是对于卷积稀疏编码(CSC),因为现有的方法没有利用张量表示的特殊性,例如秩结构,并且容易受到医疗行为期间EEG固有的高水平噪声和扰动的影响。为了解决这个问题,在本文中,我们引入了一个新的CSC模型,命名为Kruskal CSC(K-CSC),它使用激活张量的Kruskal分解来利用这些表示的内在低秩性质,以提取相关和可解释的编码。我们的主要贡献,TC-FISTA,使用多种工具来有效地解决由此产生的优化问题,尽管张量表示引起的复杂性增加。然后,我们评估TC-FISTA的合成数据集和真实的EEG记录在GA。结果表明,TC-FISTA对噪声和扰动具有鲁棒性,从而实现了信号的精确、稀疏和可解释的编码。
2020-07-10 cs.LG eess.SP stat.ML
UnAct: Gradient-Free Unlearning via Targeted Activation Intervention
Gaash Lab(Gaash实验室);National Institute of Technology Srinagar(斯利那加国立理工学院)
UnAct是一种无梯度的类别遗忘方法,仅通过前向传播和激活干预即可高效遗忘,在数据稀缺时优于现有方法,且保持高保留准确率。
2026-10-06 cs.CV cs.LG
Exemplar Partitioning for Mechanistic Interpretability
Leap Laboratories(Leap实验室)
本文提出Exemplar Partitioning方法,通过更少的token构建可解释特征字典,展示其在不同层和模型间的可比性及因果干预能力。
2026-09-21 cs.LG
Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks
Department of Industrial Engineering & Operations Research(工业工程与运筹学系)
本文研究了严格限制在低秩流形上的神经网络的极限,提出结构对应框架,证明在低秩层中加入少量稀疏对角元素即可实现通用逼近,并展示乘法深度优于加法宽度的参数-表达性比例。
2026-11-13 cs.LG
Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers
The University of Hong Kong(香港大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
该研究针对多模态扩散Transformer的W4A4量化局限,提出统一框架\textit{方法},通过降低海森矩阵与激活噪声代理优化,以秩-4实现优于SVDQuant的量化性能,且成本更低、速度更快。
2026-10-12 cs.CV cs.LG math.OC
CopyShield: A Cross-Level Benchmark of Copyright Defenses in LLMs
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本研究提出跨级别基准CopyShield,对比三种不同干预级别的大语言模型版权防御方法,在两类模型上揭示其合规性-实用性权衡,发现针对性非逐字抑制为待解决挑战。
2026-09-02 cs.LG
Controlling Refusal Behavior of LLMs via Stiefel-Constrained Rotation Steering
本研究提出基于黎曼优化的施蒂费尔约束旋转引导方法,实现高效控制大语言模型拒绝行为,经实证及消融研究验证其干预效率更优,为可靠控制LLM行为提供新方向。
2026-09-01 cs.CL cs.LG
Mitigating Memorization Where It Happens
University of British Columbia;Vector Institute;Independent Researcher
GSS通过门控子空间定向方法,有效缓解LLM中的选择性记忆问题,比优化方法节省大量计算资源并提升性能。
2026-11-05 cs.LG