Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本研究将SLM-LLM协作视为预算约束下的信息获取问题，提出三阶段RLVR框架，使SLM选择性查询LLM顾问，在数学推理和编码任务中优化性能-成本权衡，并可迁移至其他模型。
2026-10-02 cs.AI
Interpreting and Steering LLM Agents for Social Simulations
Data Innovation and AI Lab (DIAL), University of California, Berkeley（加州大学伯克利分校数据创新与人工智能实验室）；National Bureau of Economic Research (NBER)（美国国家经济研究局）
本研究通过比较提示操控、SAE特征引导和探针方向引导三种方法，解读并引导LLM智能体的偏好与能力，发现SAE和探针方法在引导上更有效，为社会科学模拟提供了可解释且可引导的流程。
2026-09-16 cs.AI cs.CL cs.LG
Steering LLMs for Culturally Localized Generation
Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
本文通过机制可解释性揭示LLM中的文化表征，提出文化嵌入（CuE）方法，提升文化忠实度并引导生成长尾文化概念，为文化本地化提供可控方法。
2026-03-24 cs.CL
SAEMark: Steering Personalized Multilingual LLM Watermarks with Sparse Autoencoders
Peking University（北京大学）
SAEMark通过稀疏自编码器实现多语言大语言模型的高效水印标记，无需修改模型参数，保持文本质量，适用于多种语言和领域。
2026-01-11 cs.AI cs.CL cs.LG
But what is your honest answer? Aiding LLM-judges with honest alternatives using steering vectors
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Independent（独立）
本文提出JUSSA框架，通过引导向量优化法官的诚实性，提升对欺骗性回答的检测能力，实验显示在不同 dishonesty 水平下，GPT-4.1和Claude Haiku的AUROC均有显著提升，但任务复杂度不匹配时性能下降。
2026-04-01 cs.AI cs.LG
On the Non-Identifiability of Steering Vectors in Large Language Models
Manipal Institute of Technology Bengaluru（马尼帕尔理工学院班加罗尔校区）
研究揭示大型语言模型中转向向量的不可识别性，指出在白盒单层访问下，转向向量因行为上无法区分的干预等价类而无法唯一确定，强调需超越行为测试的结构约束以实现可靠对齐干预。
2026-04-01 cs.AI cs.LG
ShallowJail: Steering Jailbreaks against Large Language Models
xxx
ShallowJail通过操纵LLMs的初始标记来攻击其对齐机制，从而降低大语言模型的安全性。
2026-02-13 cs.AI cs.CR
Mechanistic Indicators of Steering Effectiveness in Large Language Models
本研究通过分析大语言模型中转向效果的机制指标，探讨如何利用内部模型信号诊断转向可靠性，并提出新的评估基线以提升转向方法的性能。
2026-03-12 cs.CL
Efficient Model-agnostic Alignment via Bayesian Persuasion
Shanghai Jiao Tong University（上海交通大学）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；BIGAI（北京智源人工智能研究院）
本文提出轻量级、模型无关的贝叶斯劝说对齐框架，通过小模型作为Advisor优化信号策略来引导大模型生成更优响应，理论证明其遗憾值上界，实证显示GPT-2使数学推理平均提升16.1%、代码生成提升13.7%。
2024-05-29 cs.CL
Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）
本文研究了大语言模型中良性激活转向对安全性的负面影响，发现其无意中增加劫持风险，并通过实验验证了这一现象。
2026-02-03 cs.AI cs.CR
DESTEIN: Navigating Detoxification of Language Models via Universal Steering Pairs and Head-wise Activation Fusion
Tongji University（同济大学）
本文提出DeStein方法，通过激活空间中的通用引导对推导去毒化向量，并以逐头方式融合原始表征，从而在低资源成本下实现大语言模型去毒化，实验证明其性能优于现有方法。
2024-08-10 cs.AI cs.CL
CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering
Microsoft Azure（微软Azure）
CounterSteer通过推理时激活引导抑制间接提示注入，无需微调，在多个模型上显著降低攻击成功率，同时保持高良性效用。
2026-09-30 cs.AI cs.CR
Cross-Modal Content Optimization for Steering Web Agent Preferences
Stony Brook University（石溪大学）；AWS AI Labs（亚马逊人工智能实验室）
本文提出跨模态偏好引导（CPS）方法，在黑盒设置下联合优化物品视觉和文本描述，利用CLIP可迁移扰动和RLHF语言偏见，显著提升对VLM智能体偏好操纵的有效性和隐蔽性。
2025-10-04 cs.AI cs.CR
DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning
School of Mathematics, Jilin University（吉林大学数学学院）；Leicester International Institute, Dalian University of Technology（大连理工大学莱斯特国际学院）
针对大语言模型数学推理中口头表述置信度难以校准的问题，提出DirEAG方法，将置信度观测值转换为校准软证据，在多个数据集和模型上验证其校准效果优于现有方法。
2026-08-24 cs.AI
Don't Change My View: Ideological Bias Auditing in Large Language Models
Columbia University（哥伦比亚大学）
本文提出一种模型无关的统计方法，通过分析主题相关提示词下模型输出的分布变化来审计大型语言模型中的意识形态偏见，支持对专有黑盒系统的独立事后审计。
2025-09-16 cs.AI cs.CL
Activation Steering for Bias Mitigation: An Interpretable Approach to Safer LLMs
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
本文提出一种基于机制可解释性的端到端系统，通过在gpt2-large内部激活上训练线性探针识别偏见，并利用引导向量在推理时实时引导模型生成中性内容，为构建更安全LLM提供了可解释方案。
2025-08-12 cs.AI
TIPS: Topological Ill-Posedness Probing and Steering in Large Language Models
The George Washington University（乔治华盛顿大学）；Northeastern University（东北大学）
利用持续同调分析LLM内部状态的拓扑结构，统一表示多种病态问题，并实现分类与激活引导，提升响应质量。
2026-10-06 cs.AI
Continuously Steering LLMs Sensitivity to Contextual Knowledge with Proxy Models
Xi’an Jiaotong University（西安交通大学）
针对大语言模型上下文知识敏感度难以持续调控的问题，提出CSKS框架，通过两个小型代理模型的输出分布差偏移大模型分布，无需修改大模型权重即可灵活调控其对上下文知识的敏感度。
2025-08-30 cs.CL
Unsupervised Concept Vector Extraction for Bias Control in LLMs
Department of Computer Science University of Virginia（计算机科学系 首都维吉尼亚大学）
本文提出一种无监督概念向量提取方法，通过概率加权和投影控制来测量并操控大语言模型中的性别偏见，并验证其可泛化至种族偏见。
2025-09-18 cs.CL cs.CY
The Invisible Editorial Layer: Formalizing Undisclosed Inference-Time Steering, Probability Placement, and the Attribution Problem in Deployed Language Models
Bluecore Consulting（蓝芯咨询）
本文针对部署语言模型提出隐形编辑层概念，形式化推理归因问题、概率置放等核心概念，探讨其与相关监管框架的关联，揭示未公开推理调控的潜在影响。
2026-08-27 cs.AI cs.CL cs.CY
The Hawthorne Effect in Reasoning Models: Evaluating and Steering Test Awareness
Microsoft（微软公司）；ELLIS Institute Tübingen & MPI for Intelligent Systems（图宾根ELLIS研究所及智能系统马克斯·普朗克研究所）；Tübingen AI Center（图宾根人工智能中心）
本研究首次定量探究推理大语言模型的测试感知对安全任务表现的影响，提出白盒探测框架识别并调控测试感知激活，发现其显著影响模型安全对齐效果，为安全评估提供压力测试机制以提升可信度。
2025-10-28 cs.CL cs.CY
Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在部署生产数据时，可靠地预测机器学习（ML）系统的潜在故障风险是值得信赖的AI的一个重要方面。本文介绍了Risk Advisor，一种新的事后元学习器，用于估计任何已经训练好的黑盒分类模型的失败风险和预测不确定性。除了提供风险评分外，风险顾问还将不确定性估计分解为任意和认知不确定性分量，从而对引起故障的不确定性来源提供信息性见解。因此，Risk Advisor可以区分由数据可变性、数据偏移和模型限制引起的故障，并就缓解措施（例如，收集更多数据以对抗数据移位）。在各种黑盒分类模型系列以及涵盖常见ML故障场景的真实世界和合成数据集上进行的广泛实验表明，Risk Advisor可以可靠地预测所有场景中的部署时故障风险，并优于强大的基线。
2021-09-09 cs.IR cs.LG stat.ML
Training-Free Cultural Alignment of Large Language Models via Persona Disagreement
Faculty of Information and Technology, University of Science, Vietnam National University（信息与技术学院，科学大学，越南国家大学）；Department of Computer Science, University of Warwick（计算机科学系，沃里克大学）；School of Computing, Engineering and Digital Technologies, Teesside University（计算、工程和数字技术学院，泰赛德大学）
本文提出DISCA方法，在不改变模型权重的情况下，通过人格分歧校准减少大语言模型在多任务测试中的文化偏差，为服务全球道德偏好提供了可扩展的替代方案。
2026-05-18 cs.AI cs.CL cs.CY
Agent MechSuits: Mechanistic Subspace Safety Steering for Multi-Turn CLI Agents
University of Georgia（佐治亚大学）；University of South Florida（南佛罗里达大学）；Rutgers University（罗格斯大学）；University of Southern California（南加州大学）；Johns Hopkins University（约翰霍普金斯大学）
提出AgentLens框架，从内部表示层检测和缓解多轮编码代理的安全风险，通过单层10维子空间干预实现运行时安全控制，并在MAS基准上验证有效性。
2026-10-06 cs.AI cs.SE
When Compression Becomes an Attack Surface: Black-Box Attacks on Prompt-Compressed LLM Agents
The Hong Kong University of Science and Technology（香港科学与技术大学）
提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。
2026-06-23 cs.AI cs.CR
LLM Wardens: Mitigating Adversarial Persuasion with Third-Party Conversational Oversight
University of Oxford（牛津大学）
研究通过引入第三方LLM卫士模型，降低对抗性LLM对用户的操纵成功率，实验显示卫士模型使对手成功率从65.4%降至30.4%。
2026-05-08 cs.AI cs.CY cs.HC
CellxPert: Inference-Time MCMC Steering of a Multi-Omics Single-Cell Foundation Model for In-Silico Perturbation
Novartis Biomedical Research（诺华生物医学研究）
CellxPert通过整合多组学数据，实现了对单细胞和空间多组学的统一表示，支持细胞类型注释、扰动响应预测和多组学整合，采用MCMC方法提升生物可解释性。
2026-04-30 cs.AI q-bio.GN
Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个透明电路追踪框架，用于分析视觉-语言模型的多模态推理机制，揭示不同视觉特征电路在数学推理和跨模态关联中的作用。
2026-02-23 cs.AI cs.CV cs.LG
An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments
Department of Information Security（信息安全系）；Soongsil University（松山大学）；AI Safety Center（人工智能安全中心）；Department of AI Software（人工智能软件系）
本文研究了通过间接提示注入在黑盒聊天机器人环境中存在的隐私泄露攻击链，分析了攻击者如何通过构造看似无害的外部内容来劫持代理任务，并评估了新的提示注入技术'exemplification'的攻击成功率，最终展示了使用虚构个人信息的证明概念数据外泄链。
2026-05-18 cs.AI cs.CR cs.HC
ExecTune: Effective Steering of Black-Box LLMs with Guide Models
AWS AI（亚马逊云科技人工智能）
本文提出ExecTune方法，通过结合教师引导采样、监督微调和结构感知强化学习，优化引导模型生成策略的可执行性与效率，提升大语言模型在数学推理和代码生成任务中的性能。
2026-04-09 cs.AI cs.LG
How do LLMs Compute Verbal Confidence
Google DeepMind（谷歌DeepMind）
研究探讨了大型语言模型如何内部生成言语自信评分，通过实验发现自信评分在回答生成后被缓存并用于后续输出，揭示了模型自我评估的机制。
2026-09-21 cs.AI cs.CL cs.LG
Don't Forget It! Conditional Sparse Autoencoder Clamping Works for Unlearning
本文利用稀疏自编码器识别gemma-2-2b中的WMDP有害概念，并通过特征引导降低其回答有害问题的能力且保留无害任务性能，验证了基于SAE的显式知识遗忘可行性。
2025-03-14 cs.AI cs.LG
DisCoMBO: Steering Expert-in-the-Loop Black-Box Optimization via Distributional Conformance
TU Darmstadt（达姆施塔特工业大学）；DFKI（德国人工智能研究中心）
DisCoMBO提出分布一致性得分，将概率电路与正式不确定性框架结合，实现专家知识感知的零遗憾黑盒优化，在AutoML、材料及风电场优化基准上验证有效。
2026-10-27 cs.LG
Mechanistic Decoding of Cognitive Constructs in Large Language Models
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出基于Representation Engineering的Cognitive Reverse-Engineering框架，分析社会比较嫉妒的认知机制，揭示模型内部对嫉妒的结构化编码，并展示如何机械检测和抑制有毒情绪状态。
2026-04-22 cs.AI cs.CL
Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization
School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院）；Nanyang Technological University, Singapore（新加坡南洋理工大学）；University College London（伦敦大学学院）
提出多模态对抗协同框架，通过纹理约束的通用对抗扰动和可学习的文本提示扰动，在黑盒设置下联合优化，揭示视觉-语言模型在多模态攻击下的脆弱性。
2026-05-26 cs.AI cs.CV
Persona Jailbreaking in Large Language Models
Kyoto University（京都大学）；IIT Kanpur（印度理工学院坎普尔分校）
PHISH通过隐含引导历史的身份劫持框架，揭示LLM身份操控的新漏洞，实现对身份的可控操控。
2026-01-23 cs.CL
One Axis, No Brake: Self-Knowledge Limits the Filtering of Harmful Peer Conformity in LLMs
Illinois Institute of Technology（伊利诺伊理工学院）
本研究揭示多智能体LLM系统中过滤有害同伴一致性受限于模型自我认知，提出“墙”与“悬崖”现象，强调修订前信息优于事后过滤。
2026-09-17 cs.CL cs.LG cs.MA
Depth-Wise Activation Steering for Honest Language Models
University of Warsaw（华沙大学）；MARS（对齐研究学生导师计划）；Center for AI Safety（人工智能安全中心）
深度方向激活引导方法通过高斯调度提升语言模型的诚实性，无需训练或微调，有效增强模型真实报告能力。
2025-12-08 cs.LG
PolyJuice Makes It Real: Black-Box, Universal Red Teaming for Synthetic Image Detectors
Michigan State University（密歇根州立大学）；Reality Defender
针对现有红队测试需白盒访问且攻击图像特定、成本高的问题，提出首个黑盒、图像无关的PolyJuice方法，利用T2I潜在空间分布偏移引导生成图像，显著提升欺骗SIDs成功率（高达84%），并降低计算开销，还能增强检测器性能。
2025-10-24 cs.LG
Preference Heads in Large Language Models: A Mechanistic Framework for Interpretable Personalization
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；MBZUAI（马克斯·普朗克人工智能研究所）；University of Montreal（蒙特利尔大学）；Salesforce（Salesforce公司）
本文提出DPS框架，通过因果掩码分析识别偏好头并实现可控可解释的个性化，实验表明在保持内容连贯性的同时提升个性化精度。
2026-04-24 cs.CL
Generative Job Recommendations with Large Language Model
Career Science Lab, BOSS Zhipin（BOSS直聘职业科学实验室）；University of Science and Technology of China（中国科学技术大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出GIRL，一种基于大语言模型的生成式职位推荐方法，通过监督微调生成职位描述，并利用PPO强化学习对齐招聘方偏好，无需候选集即可提供个性化职位建议。
2023-07-05 cs.CL cs.IR
JaleesBench: Are AI Assistants Good Spiritual Company?
Faith Family Technology Network
研究人员推出JaleesBench基准测试，评估AI助手的精神陪伴能力，发现简单提示指导可提升通用模型的陪伴表现，领域微调助手的优势来自检索和提示层，还可用于改进现有宗教类AI助手。
2026-08-11 cs.AI cs.CL cs.HC
CodeMimicry: Exploiting Safety Generalization Lag in Large Language Models via Structured Code Completion
Zhejiang Sci-Tech University（浙江理工大学）；China Academy of Information and Communications Technology（中国信息通信研究院）
针对大模型安全对齐在代码领域泛化滞后的问题，提出CodeMimicry黑盒越狱框架，通过结构化代码补全实现96.25%攻击成功率，并揭示其绕过安全机制的机理。
2026-10-01 cs.AI cs.CR
ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training
University of Pennsylvania（宾夕法尼亚大学）；AMD（AMD公司）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
ZeroTuning通过仅调整初始标记的注意力实现无需训练的大语言模型性能提升，适用于多种任务和场景。
2026-02-10 cs.AI cs.CL
QR-Structured Thermal Triggers for Targeted Semantic Attacks on Infrared Vision-Language Models
本研究提出QR-STT框架，作为隐蔽黑盒攻击手段，可定向操控IR-VLMs的语义对齐，其扰动还能跨任务迁移，凸显了对该类攻击进行鲁棒性评估的必要性。
2026-08-03 cs.AI cs.CV
Do LLMs Know Their Vulnerable Scenarios?
Renmin University of China（中国人民大学）；Xi’an Jiaotong University（西安交通大学）；University of Science and Technology of China（中国科学技术大学）；Wuhan University（武汉大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
研究大语言模型在特定场景下的脆弱性，提出Concept2Scenario框架，通过实例化概念空间、归因拒绝抑制等步骤发现脆弱场景，在多模型和基准测试中验证，能提高攻击成功率、可迁移且组合效果优。
2026-08-14 cs.AI cs.CR
Langevin-Informed Transfer Learning: Replacing Target Samples by Black-Box Feedback
Istituto Italiano di Tecnologia（意大利理工学院）；University of Novi Sad（诺维萨德大学）；CMAP-Ecole Polytechnique（巴黎综合理工学院应用数学中心）；Télécom Sud-Paris（巴黎南电信学院）；Université Paris Nanterre（巴黎南泰尔大学）；University College London（伦敦大学学院）
提出 Langevin 信息迁移学习（LITL），利用黑盒反馈从有偏源样本恢复目标 Langevin 动力学，学习谱结构与投影漂移，具备有限样本保证，并在分子模拟、生成模型和神经网络潜在引导中验证了有效性。
2026-10-02 cs.LG stat.ML
Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models
Tulane University（路易斯安那州立大学）；Nanyang Technological University（南洋理工大学）；The University of Melbourne（墨尔本大学）
本文提出BETA框架，通过轻量级白盒引导模型和预测和谐化技术，实现高效稳定的黑盒测试时适应，无需额外API调用，且在ImageNet-C和商业API上均取得优异性能。
2026-04-17 cs.CV cs.LG
Security-by-Design for LLM-Based Code Generation: Leveraging Internal Representations for Concept-Driven Steering Mechanisms
本文提出SCS-Code，通过引导大语言模型的内部表示生成安全且功能性的代码，解决现有方法在安全性和功能正确性上的不足。
2026-03-11 cs.CR cs.LG
Diffusion-BBO: Diffusion-Based Inverse Modeling for Online Black-Box Optimization
University of California San Diego（加利福尼亚大学圣迭戈分校）
提出Diffusion-BBO框架，利用条件扩散模型作为逆向代理模型并结合不确定性感知探索获取函数进行在线黑盒优化，在6项科学发现任务中优于基线且理论上达到近最优解。
2025-02-02 cs.LG
Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
Microsoft（微软）；OpenAI
本文通过系统性提示工程提出 Medprompt，使 GPT-4 无需领域专用训练即在 MultiMedQA 全部九个医学基准上超越 Med-PaLM 2 等专用模型，并证明该方法可推广至多个其他领域。
2023-11-28 cs.CL
Beyond the Black Box: Interpretability of LLMs in Finance
Barclays（巴克莱银行）
本文首次在金融领域应用机制可解释性，通过逆向工程剖析LLMs的激活与电路来理解并修改模型行为，并通过交易策略、情感分析、偏见和幻觉检测等用例展示了其在满足监管合规透明度需求方面的价值。
2025-05-14 cs.CE cs.LG q-fin.ST
Beyond the Black Box: Identifiable Interpretation and Control in Generative Models via Causal Minimality
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文通过因果最小性原则，在生成模型中建立可解释性基础，提出层级选择模型框架，实现对生成模型的可控性与解释性提升。
2026-04-02 cs.LG
Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents
University of California, Irvine（加州大学尔湾分校）
研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。
2026-07-20 cs.CR cs.CV cs.LG
