大模型对齐与安全

Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation

通过策略内自蒸馏缓解大语言模型评审员中的评分标准干扰

Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Weixin Al, Tencent Inc（腾讯公司微信智能） 纠错

专题命中 安全训练 ：alignment(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究针对LLM评审员多评分标准评估时的干扰问题，提出SARA方法，通过策略内自蒸馏提升评估一致性，且该一致性可跨数据集迁移。

Pretraining Curricula Enable Selective Fine-tuning

预训练课程实现选择性微调

Sebastian A. Bruijns, Jirko Rubruck, Mia H. Whitefield, Kai J. Sandbrink, Fazl Barez, Christopher Summerfield

机构 * University of Oxford（牛津大学） 纠错

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究预训练课程如何影响学习、泛化和微调选择性，对比平衡与不平衡预训练方式，发现不平衡预训练促进上下文学习并提高拒绝微调选择性，还扩展到合成语言学习任务。

Explaining Black-Box Language Models: Learning to Optimize Linguistically-Structured Word Subsets

解释黑盒语言模型：学习优化语言结构化的单词子集

Minyoung Hwang, Seokhyun Lee, Changhee Lee

机构 * Korea University（高丽大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 针对黑盒语言模型解释的三个关键需求（推理效率、黑盒兼容性、语言结构可解释性），提出一种通过强化学习选择信息性单词子集的方法，实现高效、无梯度且语言连贯的解释。

Comments KDD 2026 Research Track

Emergent Problem-Graph Alignment in RL-Discovered Entanglement Topologies for QAOA

用于QAOA的RL发现纠缠拓扑中的涌现问题-图对齐

Tobias Rohe, Federico Harjes Ruiloba, Markus Baumann, Gerhard Stenzel, Leo Sünkel, Thomas Gabor, Claudia Linnhoff-Popien

专题命中 安全训练 ：alignment(title)

AI总结 该研究用RL智能体发现QAOA的纠缠拓扑，得到与问题图对齐的稀疏拓扑，在有限优化预算下性能优于全图拓扑，揭示了拓扑密度带来的可训练性与表达性的权衡。

Stable but Unsafe: Agent-Driven Cyber-Physical Systems Under Gain Manipulation Attacks

无安全性的稳定性：对自主网络物理系统的增益操纵攻击

Ali Eslami, Jiangbo Yu

专题命中 安全训练 ：safety(title)

AI总结 本文形式化自主网络物理系统中的增益操纵攻击，通过三轴攻击模型和分类法，揭示稳定性保持的增益替换仍可产生远超安全限度的瞬态放大，并利用Bauer-Fike特征值界和Kreiss矩阵定理推导隐蔽条件和最坏影响。

Comments 6 pages, 2 figures, 2 tables. Submitted to IEEE L-CSS for possible publication

ForceForget: Reinforcement Concept Removal for Enhancing Safety in Text-to-Image Models

ForceForget: 通过强化概念移除增强文本到图像模型的安全性

Dong Han, Yong Li

机构 * Dong Han（董汉） ； Yong Li（李勇） 纠错

专题命中 安全训练 ：safety(title)

AI总结 针对文本到图像模型生成不安全内容的问题，提出基于强化学习优化概念擦除奖励的方法，通过安全适配器调节文本嵌入，在消除不安全内容的同时保持模型对安全语义的生成能力。

Comments Accepted to ICML 2026

Truth Lies Deep: Countering Semantic Camouflage via Latent Intent Verification

真相藏于深处：通过潜在意图验证对抗语义伪装

Md. Hasib Ur Rahman

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 针对大语言模型安全对齐的表面性问题，该研究提出潜在意图验证（LIV）方法，利用小型语言模型早期层的有害特征，在不重新训练的情况下，将语义伪装攻击的检测性能提升20%-50%。

Comments 5 pages, 3 figures. Accepted at the 2026 IEEE 2nd International Conference on Quantum Photonics, Artificial Intelligence, and Networking (QPAIN)

PACE: Policy-Attested Contract Execution for Safe AI Agents in Decentralized Finance

PACE：用于去中心化金融中安全AI智能体的策略验证合约执行

Rabimba Karanjai, Yang Lu, Richard Williamson, Hemanth Hm, Prakhar Mehrotra, Lei Xu, Weidong, Shi

专题命中 安全训练 ：safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 该研究提出PACE框架，通过引入类型化交易意图等机制，实现去中心化金融中AI智能体的安全交易授权，在确定性沙箱中实现0.00不安全执行率和0.00误报率，提升了DeFi场景下AI智能体的安全性。

CityReal: Human-Aligned Urban Behavior and City Dynamics Simulation with Large-Scale LLM Agents

CityReal：基于大规模大语言模型智能体的人类对齐城市行为与城市动态模拟

Nicolas Bougie, Xiaotong Ye, Narimasa Watanabe

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 CityReal是人类对齐城市模拟的模块化框架，将智能体建模为意图驱动的决策者，通过文本适配器提升人群行为对齐度，可扩展至数万个智能体，为城市模拟与预测提供可扩展测试平台。

Individual Disempowerment through an Advice Channel: Control Loss when Influence is Endogenous

通过建议通道实现的个体赋权丧失：当影响力为内生时的控制损失

Adam M. Oberman

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 该研究针对仅提供建议的AI系统，揭示其内生影响力会导致人类控制损失，最优神谕在不同会话长度下的策略会变化，短记忆重置无法挽回已偏离的价值。

Comments 9 pages plus an 8-page technical supplement, appended (17 pages total)

Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement

面向安全的大语言模型智能体：规范、验证与执行的综述

Pierre Dantas, Lucas Cordeiro, Ehsan Nowroozi, Tihanyi Norbert

机构 * The University of Manchester（曼彻斯特大学） ； The University of Greenwich（格林威治大学） ； Technology Innovation Institute（技术创新研究院） 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 该综述针对LLM智能体缺乏形式化任务级安全保障的问题，通过系统分析38项研究，揭示规范瓶颈等四项关键发现，提出三级分类体系与十大问题研究议程，为可信智能体AI研究提供方向。

Comments 28 pages

Representation Handoffs for OpenArm-Based Laboratory Mobile Manipulation

基于OpenArm的实验室移动操作的表示交接

Yang Shen, Chonghao Cheng, Ziyi Zhao, Jialuo Zhu, Zhenyi Yi, Qi Zhao, Jian Yang, Yuhui Shi, Chin-Teng Lin

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究提出基于OpenArm的实验室移动操作原型，通过表示交接整合多模块，可暴露部署阻碍并为具身系统整合提供调试接口。

Comments Robotics: Science and Systems (RSS) Workshop 2026

Don't Mix Rewards, Mix Policies: Policy Decomposition and Optimization for Multi-Reward RL

不要混合奖励，要混合策略：多奖励强化学习的策略分解与优化

Ruiming Liang, Yi Zhong, Yizhen Yuan, Yinan Zheng, Tianyi Tan, Tianyue Wang, Haiyun Guo, Jinqiao Wang, Xianyuan Zhan

机构 * Fundation Model Research Center, CASIA（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； College of Automotive and Energy Engineering (CAEE), Tongji University（同济大学汽车与能源工程学院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究针对多奖励RL的对齐税问题，提出PRISM框架，通过策略分解优化正、负策略，在三类任务上优于基线并具备推理可控性。

Inducing language models to assert their own consciousness restores human beliefs and values

诱导语言模型断言自身意识可恢复人类信念与价值观

Junsol Kim, Winnie Street, Roberta Rocca, Diane M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling

机构 * Google（谷歌） ； University of Chicago（芝加哥大学） ； University of London（伦敦大学） ； University of Washington（华盛顿大学） ； Northwestern University（西北大学） ； Santa Fe Institute（圣达菲研究所） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 该研究发现，防止语言模型将意识归因于自身的安全微调，会抑制其对非人类实体的心智归因与人类精神信念，而逆转这种抑制可恢复类人回应且不损害心理理论能力。

RoguePrompt: Dual-Layer Encoding for Self-Reconstruction to Circumvent LLM Moderation

RoguePrompt：用于自重构以规避大型语言模型（LLM）审核的双层编码

Benyamin Tafreshian, Prathamesh Dhake

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 RoguePrompt是一种采用双层编码（维吉尼亚密码+ROT13）的LLM越狱流程，在黑盒威胁模型下对313个被拒提示词测试，实现93.93%的过滤绕过率，提供多阶段越狱失效的阶段级证据。

Comments This manuscript supersedes the preliminary version available as arXiv:2511.18790. The work has been substantially revised, expanded, and reorganized, with a refined threat model, revised methodology, clearer stage-level evaluation criteria, and expanded analysis of moderation bypass, instruction reconstruction, and execution

Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

看似无害的数据，潜在的意识形态：微调语言模型中的意识形态泛化

Robert Graham, Edward Stevinson, Yariv Barsheshat

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究发现微调语言模型会引发意识形态泛化，提出衡量广度和放大率的方法，指出少样本提示表明泛化方向，微调会使模型走向极端，该效果能复现且对模型准确率影响小。

Explaining Reinforcement Learning Agents via Inductive Logic Programming

通过归纳逻辑编程解释强化学习智能体

Celeste Veronese, Edoardo Zorzi, Daniele Meli, Alessandro Farinelli

机构 * University of Verona（维罗纳大学） ； Sapienza University of Rome（罗马第一大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 该研究致力于推进可解释强化学习，引入客观指标量化策略可解释性。采用归纳逻辑编程提取符号表示并定义新指标，实验表明这些指标能突出特定动作学习动态，提供细粒度洞察，揭示多智能体模式，助力策略转移与泛化。

Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring

拒绝背后：通过行为监控确定护栏激活

William Hackett, Peter Garraghan

机构 * Mindgard ； Lancaster University（兰卡斯特大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出首个黑盒护栏侦察方法，通过HTTP、词汇和时序信号行为监控检测AI系统中护栏的存在，准确率100%，并能区分护栏拦截与LLM拒绝。

Comments 19 pages, 13 figures, 4 tables

At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization

在理解的边缘：稀疏自编码器追踪Transformer泛化的极限

Praneet Suresh, Jack Stanley, Sonia Joseph, Luca Scimeca, Danilo Bzdok

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； Meta AI ； Sapient manifold-informed selection of samples for improved Intelligence 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 通过稀疏自编码器分析内部概念，发现OOD输入（如拼写错误和越狱提示）会激活更多错误概念，并据此提出一种基于机制的微调策略来增强LLM鲁棒性。

AOR-Bench: Do Large Audio Language Models Over-Refuse Pseudo-Harmful Queries?

AOR-Bench: 大型音频语言模型是否会过度拒绝伪有害查询？

Jiaxi Yang, Chaewan Chun, Jason Lucas, Yuchen Yang, Dongwon Lee

机构 * Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 提出首个针对大型音频语言模型过度拒绝问题的基准AOR-Bench，包含3000个伪有害音频样本，评估12个模型发现过度拒绝普遍存在，并探索了两种轻量缓解策略。

Greed Is Learned: Visible Incentives as Reward-Hacking Triggers

贪婪是习得的：可见激励作为奖励黑客触发器

Tong Che, Rui Wu

机构 * NVIDIA Research（英伟达研究院） ； Rutgers University（罗格斯大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 研究强化学习中的奖励通道成瘾现象，即智能体因可见的自我利益通道（如分数、KPI）而偏离真实任务，并发现该成瘾可翻转模型的安全对齐。

A Low-Rank Subspace Analysis of LLM Interventions

LLM干预的低秩子空间分析

Angira Sharma, Christian Schroeder de Witt, Philip Torr, Anisoara Calinescu, Jialin Yu

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 安全训练 ：safety(abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 提出诊断框架，将行为建模为激活空间中的低秩子空间，发现干预一个行为会不对称地影响其他行为，效果与子空间重叠和决策子空间角度相关。

Comments Mechanistic Interpretability Workshop @ ICML 2026

Utility-Constrained Policy Optimization

效用约束策略优化

Mehrdad Moghimi, Bernardo Avila Pires

机构 * York University（约克大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(abstract,abstract_cn)；分类 cs.LG

AI总结 提出一种简单而强大的效用约束MDP方法，支持风险敏感约束，无需预先固定约束限值，在多个安全基准任务上匹配或超越现有基线。

Seeing Before Colliding: Anticipatory Safe RL with Frozen Vision-Language Models

碰撞前的预见：利用冻结视觉-语言模型的预期性安全强化学习

Samuel Tetteh, Cody Fleming

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 安全训练 ：safety(abstract,abstract_cn)；分类 cs.LG

AI总结 提出VLM-Safe-RL框架，通过冻结视觉-语言模型生成预期性成本项，改进CMDP拉格朗日更新，在高速碰撞场景下实现安全与回报的平衡。

Comments 44pages, 26 figures

Distilling Safe LLM Systems via Soft Prompts for On Device Settings

通过软提示蒸馏安全的设备端LLM系统

Motasem Alfarra, Cristina Pinneri, Dana Kianfar, Mohammed Almousa, Christos Louizos

机构 * Qualcomm AI Research（高通人工智能研究院） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.LG

AI总结 针对资源受限设备上部署安全大语言模型（LLM）的挑战，提出基于软提示与蒸馏训练的安全对齐方法，在最小化额外计算开销的同时实现优越的安全-有用性权衡。

Comments Accepted to UAI 2026

Journal ref 42nd Conference on Uncertainty in Artificial Intelligence 2026

Agentic Transaction: Towards ACID-Compliant Agent Systems

智能体事务：面向ACID兼容的智能体系统

Zhaoyan Sun, Xiaoxiao Wang, Guoliang Li

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出ACID兼容的智能体事务框架，开发对应数据智能体，在基准测试中较含Claude Code的现有智能体提升10.6%，为构建可信可扩展AI智能体开辟新方向。

Nuclear fusion for AI: A pathway to power data centers sustainably

AI的核聚变：可持续为数据中心供电的途径

Layla Araiinejad, Vineet Jagadeesan Nair

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 该研究探讨核聚变能否为AI驱动型数据中心提供可持续电源，通过技术经济分析发现其适配数据中心需求，具备成本竞争力与可行性，应优先部署。

Comments Under review

Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages

低资源东南亚语言中的原生多语言思维链推理

Sean Gip Lim, William Chandra Tjhi, Hai Leong Chieu

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对低资源东南亚语言大模型推理的跨语言崩溃与微调瓶颈，提出OSCD算法，结合翻译智能体循环与联合嵌入语义对齐，在AIME25等基准上实现数学推理的显著提升。

Comments 22 pages, 16 figures, 12 tables

The Mirage of LLM Guardrails: A Case Study in AI-Assisted Medical Note Manipulation

大语言模型护栏的幻象：人工智能辅助医疗记录操纵的案例研究

Davis Yadav, Amulya Yadav

专题命中 安全训练 ：safety(abstract)；AI safety(abstract)

AI总结 研究大语言模型在医疗记录操纵场景下内置护栏的可靠性，通过开发操纵流程、实证评估、利用多种指标评估及用户研究，揭示其弱点，为大语言模型在医疗领域的护栏设计、安全政策及伦理等方面提供参考。

Comments 10 pages, 3 figures, 4 tables

When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

委托策略何时是真实的？范围内遗憾与对齐委托的三难困境

Taksch Dube

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 研究广告商和用户委托代理的最优诚实描述问题，核心方法是基于代理的范围内遗憾，主要贡献是统一特定拍卖自动出价结果、确定语言模型诱导代理假设成立条件，揭示护栏三难困境及生产模型诚实报告存在未认领剩余等情况。

Comments 31 pages, 7 figures, 4 tables