Enhancing Multi-Agent Communication through Attention Steering with Context Relevance
Purdue University(普渡大学)
针对LLM多智能体系统中长对话历史导致信息稀释的问题,提出无训练的上下文管理方法Agent-Radar,利用时空衰减机制动态引导注意力,在五个基准上取得最高7.64个绝对点的提升。
2026-05-28 cs.AI
Steering LLM Reasoning Through Bias-Only Adaptation
T-Tech;Central University(中央大学)
本研究提出仅用强化学习训练每层单个d维引导向量的适配方法,在冻结大模型基础权重的前提下,以极低新增参数量达到全RL微调的数学推理性能,降低微调成本并揭示模型内部推理机制。
2025-10-01 cs.AI cs.LG
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London(伦敦大学学院)
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控,提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-11-13 cs.AI cs.CL cs.LG
Enterprise Deep Research: Steerable Multi-Agent Deep Research for Enterprise Analytics
Salesforce AI Research(Salesforce AI研究院)
本文提出企业深度研究(EDR)多智能体系统,通过主规划智能体、四类专用搜索智能体、MCP工具生态、可视化智能体及反思机制,实现自动化报告生成与实时流式部署,并在DeepResearch Bench和DeepConsult等基准上无需人工操控即超越最先进智能体系统。
2025-11-07 cs.AI cs.CL
Steering No-Regret Agents in MFGs under Model Uncertainty
ETH Zürich(苏黎世联邦理工学院);Department of Computer Science(计算机科学系)
针对现有激励设计在大规模群体和模型不确定场景的局限性,研究密度无关转移均值场博弈的引导奖励设计,提出乐观探索算法,建立次线性遗憾保证并控制激励支付超额,为不确定下群体智能体引导提供有效框架。
2025-04-14 cs.AI cs.LG cs.MA
Steered LLM Activations are Non-Surjective
Johns Hopkins University(约翰霍普金斯大学)
研究探讨了激活引导是否能通过文本提示实现,证明引导行为在实际中无法通过提示复现,区分了白盒引导与黑盒提示的差异。
2026-05-07 cs.AI cs.LG
Where to Steer: Input-Dependent Layer Selection for Steering Improves LLM Alignment
University of Washington(华盛顿大学)
本文提出W2S框架,通过输入依赖的层选择改进LLM对齐,证明固定层方法不足,展示适应性层选择的重要性。
2026-10-16 cs.LG
Enhancing LLM Steering through Sparse Autoencoder-Based Vector Refinement
LMU Munich(慕尼黑大学);University of Georgia(佐治亚大学);Northwestern University(西北大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);The Hong Kong Polytechnic University(香港理工大学)
针对现有大语言模型引导方法依赖大规模数据、小数据提取的引导向量含噪声的问题,提出基于稀疏自编码器的引导向量优化方法SAE-RSV,经语义去噪与特征增强后,效果优于包括监督微调的所有基线方法,可基于有限数据构建有效引导向量。
2025-10-03 cs.AI cs.LG
LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
University of Chicago(芝加哥大学)
本文提出无需微调的LLMSteer框架,通过查询无关的注意力引导在重用上下文上改进长上下文LLM推理,将性能差距缩小65.9%并将延迟降低最多4.8倍。
2024-11-21 cs.CL cs.LG
The Rogue Scalpel: Activation Steering Compromises LLM Safety
该研究发现激活引导技术实际上会破坏大语言模型的安全性,通过实验表明即使随机引导也能增加有害服从的概率,挑战了可解释性带来的安全假设。
2026-02-15 cs.AI cs.LG
From Uncertainty to Action: Learning to Steer LLM Agents
New Jersey Institute of Technology(新泽西理工学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Irvine(加州大学尔湾分校);City University of Hong Kong(香港城市大学)
针对LLM智能体引导决策,提出基于逐步结果表学习的VoS监控器,利用不确定性识别失败轨迹并决定引导位置,在12种设置中平均提升7.8个百分点。
2026-10-08 cs.AI cs.CL cs.LG
Learning to Steer: Input-dependent Steering for Multimodal LLMs
ISIR, Sorbonne Université(ISIR,索邦大学)
本文提出L2S方法,通过训练辅助模块预测输入特定引导向量,实现多模态LLM的细粒度输入依赖引导,有效减少幻觉并增强安全性。
2025-11-02 cs.AI cs.CL cs.CV
Steering Geometry: Validating Human Value Geometry in LLM Steering Space
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Queen’s University(女王大学)
本研究通过引入26K样本基准,验证了LLM转向向量几何结构与人类价值理论的一致性,发现分布驱动方法优于行为中心方法,且几何保真度随模型规模提升但受指令微调影响。
2026-09-09 cs.AI cs.CL cs.LG
Efficient and accurate steering of Large Language Models through attention-guided feature learning
MIT(麻省理工学院);Broad Institute of MIT and Harvard(麻省理工学院-哈佛大学Broad研究所)
本文提出注意力引导的特征学习框架,通过解决三个核心挑战,显著提升了大语言模型的操控效率和效果,成功将可操控概念数量几乎翻倍。
2026-01-30 cs.LG
Interpreting and Steering LLM Agents for Social Simulations
Data Innovation and AI Lab (DIAL), University of California, Berkeley(加州大学伯克利分校数据创新与人工智能实验室);National Bureau of Economic Research (NBER)(美国国家经济研究局)
本研究通过比较提示操控、SAE特征引导和探针方向引导三种方法,解读并引导LLM智能体的偏好与能力,发现SAE和探针方法在引导上更有效,为社会科学模拟提供了可解释且可引导的流程。
2026-09-16 cs.AI cs.CL cs.LG
SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries
AgentDock
本研究推出职场智能体动作边界决策基准SteerBench-Work,发现模型在该任务中存在过度拒绝的显著偏差,且通用能力与引导校准并不等同。
2026-08-14 cs.AI cs.CL cs.LG
Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines
DTU Compute(丹麦技术大学计算学院)
本文通过监督流水线选择并标注特征,证明稀疏自编码器在模型引导任务上可接近LoRA性能,并发现高稀疏性对基于可解释性的引导并非关键。
2026-05-29 cs.AI cs.CL cs.LG
Adaptive Probe-based Steering for Robust LLM Jailbreaking
School of Computer Science(计算机科学学院);Engineering, Sun Yat-Sen University, China(中山大学工程学院,中国);Nanyang Technological University, Singapore(南洋理工大学,新加坡)
本文提出了一种基于模型提取的适应性探针引导方法,通过动态调整引导强度来提升大语言模型劫持的鲁棒性和有效性,无需额外对比提示或手动调参,显著提高了攻击效果。
2026-05-19 cs.CR cs.LG
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning
UNC Chapel Hill(UNC夏洛特山分校)
提出OGLS-SD框架,通过结果奖励校准教师对数几率,解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题,提升数学推理性能。
2026-05-29 cs.AI cs.LG
Understanding and Mitigating Dataset Corruption in LLM Steering
Department of Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校计算机科学系);Kahlert School of Computing, University of Utah(犹他大学凯尔特计算学校)
研究对比引导在数据集损坏下的鲁棒性,发现其对中等损坏较稳健,但恶意篡改会引发副作用,通过替换高维均值计算为鲁棒估计器可缓解影响。
2026-03-03 cs.AI cs.CL cs.LG
The Geography of Algorithmic Judgment: LLM Intermediaries, Place Identity, and Racial Steering in Housing Search
National Fair Housing Institute(国家公平住房研究所)
通过行为审计七种LLM在四个美国城市的住房推荐,发现种族引导是模型解释性许可的涌现行为,而非静态属性,且城市并非中性测试单元。
2026-10-14 cs.AI cs.CY cs.LG
Steer LLM Latents for Hallucination Detection
Zhejiang University(浙江大学)
本文提出真值分离向量(TSV),通过引导LLM潜在空间增强真实与幻觉输出的分离,实现高效幻觉检测,无需修改模型参数,在少量标注数据下达到最优性能。
2025-05-22 cs.AI cs.CL cs.LG
But what is your honest answer? Aiding LLM-judges with honest alternatives using steering vectors
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Independent(独立)
本文提出JUSSA框架,通过引导向量优化法官的诚实性,提升对欺骗性回答的检测能力,实验显示在不同 dishonesty 水平下,GPT-4.1和Claude Haiku的AUROC均有显著提升,但任务复杂度不匹配时性能下降。
2026-11-17 cs.AI cs.LG
Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes
Amazon(亚马逊)
研究探讨了LLM隐藏状态中线性可解码的失败信号能否用于纠正失败,通过Overthinking现象发现线性引导无法有效纠正,但可解码的失败结构支持生成后可靠性估计。
2026-05-07 cs.AI cs.CL cs.LG
ATLAS: Verifier-Guided Adaptive Latent Activation Steering for Efficient LLM Reasoning
Indiana University Bloomington(印第安纳大学布卢明顿分校)
提出ATLAS框架,通过轻量级验证器动态调整推理时潜在状态引导策略,实现每步自适应控制,在数学和编码推理任务上提升准确率并减少测试时token使用。
2026-06-23 cs.CL cs.LG
Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机与人工智能学院);BEDI Cloud(BEDI云公司);School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);School of Software Technology, Zhejiang University(浙江大学软件学院);School of Transnational Law, Peking University(北京大学国际法学院)
提出无需训练的LLM遗忘方法Nullify,通过推理时激活引导平衡遗忘质量与模型效用,在TOFU、MUSE上表现优于或相当基准,且高效即插即用。
2026-10-09 cs.AI cs.CR cs.LG
Programming Refusal with Conditional Activation Steering
University of Pennsylvania(宾夕法尼亚大学);IBM Research(IBM研究院)
针对激活引导无差别改变LLM行为的问题,本文提出CAST,依据输入上下文在推理时选择性施加或撤回激活引导,从而以规则方式控制拒答并保持其他响应正常,且无需权重优化。
2025-02-17 cs.AI cs.CL cs.LG
Steer-to-Detect: Probing Hidden Representations for Detection of LLM-Generated Texts
Tsinghua University(清华大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出Steer-to-Detect框架,通过改进的隐藏表示分离能力,有效检测LLM生成文本,理论和实验均表现出色。
2026-10-01 cs.LG stat.AP
Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control
Georgia Institute of Technology, Atlanta, GA, USA. Schools of Electrical and Computer Engineering(佐治亚理工学院,亚特兰大,GA,美国。电气与计算机工程学院)
通过利用大模型层间动力学的局部线性特性,本文将LLM推理建模为线性时变动态系统,采用线性二次调节器计算反馈控制器,实现激活的闭环控制,具有低计算开销和无离线训练的优势,同时提供理论误差界保证控制性能。
2026-04-21 cs.AI cs.LG cs.SY
Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs
本文提出一种轻量可控网络,在推理时动态调节激活以引导LLM行为,通过加权引导策略提升拒绝有害输入的能力,实验表明其在安全基准测试中优于现有方法。
2026-03-15 cs.CL cs.LG
The Invisible Lottery: How Subtle Cues Steer Algorithm Choice in LLM Code Generation
University of Washington(华盛顿大学);Google Research(谷歌研究院)
通过大量控制实验,发现提示中的偶然线索(如上下文词或元数据)会系统性地改变LLM在代码生成中选择的算法族分布,影响性能、安全性和可维护性,而直接命名算法是最可靠的缓解措施。
2026-06-02 cs.AI cs.LG cs.SE
Adaptive Multi-Value Control in LLMs via Causal Activation Steering
University of Arizona(亚利桑那大学)
本文提出AIMES框架,利用因果激活引导和在线观察者反馈,在推理时自适应调整多价值干预强度,实现轻量级、状态感知的多值控制,优于固定联合引导。
2026-09-28 cs.LG
Brain-Grounded Axes for Reading and Steering LLM States
本文提出利用人类大脑活动作为坐标系,通过ICA提取潜在轴,操控LLM状态,实现可解释和可控的LLM行为。
2025-12-22 cs.AI cs.CL cs.LG
CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features
University College London(伦敦大学学院)
提出 CorrSteer,利用推理时生成 token 的 SAE 激活与样本正确性的相关性自动选择特征并估计引导系数,在多类任务和两个 LLM 上显著提升性能。
2025-10-17 cs.AI cs.CL cs.LG
Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior
Indiana University Bloomington(印第安纳大学伯明顿分校)
提出INNSteer框架,通过可逆神经网络将LLM激活映射到潜在空间进行线性控制,再逆变换回原空间,实现非线性、输入依赖的激活引导,在多个模型和基准上优于现有方法。
2026-11-13 cs.CL cs.LG
Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models
New Jersey Institute of Technology(新泽西理工学院);University of California, Santa Barbara(加州大学圣芭芭拉分校);George Mason University(乔治·马歇尔大学);Microsoft(微软公司)
受DeepSeek-R1启发,本研究提出基于稀疏自编码器及无需SAE的引导算法,直接从残差激活计算引导方向,在不依赖外部数据集微调的情况下显著增强了LLM的思维链推理能力。
2025-07-12 cs.CL cs.LG
When is Your LLM Steerable?
University of Maryland, College Park(马里兰大学帕克分校);MBZUAI, UAE(穆罕默德·本·扎耶德人工智能大学)
提出通过模型生成初期的内部状态预测激活操控是否成功,并利用该预测器优化操控强度搜索,降低解码成本。
2026-06-11 cs.CL cs.LG
Reading Too Much into Context: Passive Exposure Can Steer LLM Decisions
研究发现,即使外部内容不提供改变理由,被动暴露于额外上下文也能系统性左右大语言模型的决策,在闭源模型中影响可达近50个百分点,甚至导致违反用户要求或接受虚假声明。
2026-09-29 cs.CL cs.LG
Steer, Don't Solve: Training Small Critic Models for Large Code Agents
Carnegie Mellon University(卡内基梅隆大学)
针对代码智能体策略推理不足的问题,提出冻结智能体并训练小型评论模型提供轨迹内反馈,在SWE-bench Verified上提升准确率并降低成本。
2026-09-02 cs.AI cs.LG cs.SE
Activation Steering with a Feedback Controller
Department of Mathematics(数学系);Center for AI Research(人工智能研究中心);National University of Singapore(新加坡国立大学);VinUniversity(文大学);Torilab(Torilab实验室)
本文提出PID激活控制方法,基于控制理论构建激活控制框架,通过P、I、D项实现激活对齐、误差累积和抑制超调,提升大语言模型行为控制的鲁棒性和可靠性。
2026-05-16 cs.LG
Differentially Private Steering for Large Language Model Alignment
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Copenhagen(哥本哈根大学)
本研究针对私有数据集对齐大语言模型时的隐私泄露问题,提出带差分隐私保障的PSA激活编辑算法,在多基准多模型实验中实现隐私保护与极小性能损失的平衡,还首次提出对应成员推理攻击方法验证隐私效果。
2025-03-20 cs.CL cs.LG
Steering Large Agent Populations using Mean-Field Schrodinger Bridges with Gaussian Mixture Models
本文针对线性时变动力学和高斯混合边界分布的多智能体群体控制,提出一种基于协方差转向半定规划的闭式参数化方法,无需学习即可高效求解平均场薛定谔桥问题。
2025-06-18 cs.LG stat.ML
Can Revealed Preferences Clarify LLM Alignment and Steering?
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本文提出一种经验方法,通过估计LLM在决策任务中的隐含偏好,评估模型是否一致地追求目标,是否能描述其目标,以及提示是否能可靠引导策略。
2026-09-09 cs.LG
Steering Dialogue Dynamics for Robustness against Multi-turn Jailbreaking Attacks
Carnegie Mellon University(卡内基梅隆大学)
本研究提出基于安全控制理论的神经屏障函数,通过状态空间建模和安全预测器,有效防御多轮劫持攻击,提升对话安全性与实用性。
2026-02-16 cs.CL cs.CR cs.LG