大模型对齐与安全

Who Analyses the Analyser? Self-Validating LLM Hazard Analysis with Constitutional Meta-STPA

谁来分析分析器？使用结构化元安全分析过程的自验证大语言模型风险分析

Samuel Tetteh, Udip Shrestha, Joshua R. Waite, Cody Fleming

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型辅助安全分析工具自身缺乏分析的问题，提出结构化元安全分析过程，通过运行元安全分析过程推导治理章程，包含21条工具原则和8条元安全原则，还报告了自推导等四个发现。

From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents

从提示到契约：用于可审计企业大语言模型代理的 harness 工程

Joongho Ahn, Moonsoo Kim

机构 * AI Leadership Research Center（人工智能领导力研究中心） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对企业大语言模型应用从原型到产品化的需求，提出 harness 工程方法，在韩国企业数据切片上实例化并评估三个问题，包括契约保留、模型替换检查及代码执行效果，形成可将原型转为可审计应用的工程模式。

Comments 32 pages, 6 figures, 16 tables. Reference implementation and evaluation artifacts: https://github.com/hammerbaki/enterprise-llm-agent-harness (archived at https://doi.org/10.5281/zenodo.21269426)

Reproducibility Study of "AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models"

可重复性研究："AlphaEdit: 面向语言模型的零空间约束知识编辑"

Ananth K Suresh, Arya Hariharan

机构 * Independent（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究复现了AlphaEdit知识编辑方法，发现其在原始设置下结果可复现，但扩展到新架构和大量顺序编辑时性能下降，表明其理论保证有边界。

Comments 21 pages, 2 figures

Faithfulness to Refusal: A Causal Audit of Neuron Selectors

对拒绝的忠实性：神经元选择器的因果审计

Ananth Eswar, Pratinav Seth, Utsav Avaiya, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 针对归因分数识别神经元行的因果有效性未经验证的问题，通过单次神经元行置零的配对审计，验证归因方法在识别冗余行、实现安全拒绝行为上的因果有效性，揭示排序稳定性不能代表因果有效性。

CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

CRRL：一种用于自主系统恢复的基于因果关系的强化学习框架

Safia Fatima, Kai Olav Ellefsen, Leon Moonen

机构 * Simula Research Laboratory（Simula研究实验室） ； University of Oslo（奥斯陆大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 研究自主系统恢复中传统强化学习问题，引入基于因果关系的CRRL框架，利用驾驶日志因果关系塑造训练信号，使策略与基于规则的恢复有效协作，提升相关指标。

Comments 30 pages

kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

kNNGuard：将LLM隐藏激活转化为无需训练的可配置护栏

Mahmoud Abdelfattah, Hamid Nasiri, Peter Garraghan

机构 * Lancaster University（兰卡斯特大学） ； Mindgard 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出kNNGuard，一种利用现成LLM激活空间的无需训练护栏，通过多层kNN融合激活和嵌入空间分数，在多个领域达到与微调方法相当或更优的F1，且速度更快。

Comments 17 pages, 11 figures

Fast Multi-dimensional Refusal Subspaces via RFM-AGOP

通过RFM-AGOP的快速多维拒绝子空间

Thomas Winninger

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出利用RFM-AGOP算法快速提取大型语言模型中的多维拒绝子空间，在推理和非推理模型上均实现秒级识别，且性能优于现有方法。

Comments Accepted to the Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning, Seoul, South Korea, 2026

Signed-Permutation Coordinate Transport for RMSNorm Transformers

RMSNorm Transformer的有符号排列坐标传输

John Sweeney

机构 * Sideplane AI 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 针对RMSNorm模型，提出有符号排列坐标传输方法，解决排列对齐不完整问题，在跨运行坐标恢复、工具迁移和训练状态保持上显著优于纯排列方法。

Comments 31 pages, 2 figures, 26 tables

Revocable Learned State via Process Sidecars

通过过程侧边栏实现可撤销的学习记忆

John Sweeney

机构 * Sideplane AI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 提出过程侧边栏方法，通过两系数编辑族修正安全训练后的记忆方向，实现记忆撤销，理论证明其二阶精度优于任务算术编辑。

Comments 23 pages, 2 figures, 6 tables

RoPoLL: Robust Panel of LLM Judges

RoPoLL: 鲁棒的LLM评审团

Anish Acharya, Kris W Pan, Brian Verkhovsky

机构 * Amazon Web Services（亚马逊云服务） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM评审团在污染数据下偏差无界的问题，提出RoPoLL，用几何中位数聚合替代均值，实现最优鲁棒性，在多种偏差攻击下显著优于传统方法。

Reducing Conversational Escalation in Large Language Model Dialogue with Nonviolent Communication Constraints

使用非暴力沟通约束减少大语言模型对话中的对话升级

Zhixing Sun, Shenghe Xu, Tao Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过非暴力沟通原则的轻量级提示约束，引导大语言模型在冲突对话中减少升级行为，实验表明该方法能稳定与高度抵抗用户的交互。

An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

面向乘客导向自动驾驶的LLM可解释DRL框架

Ouided Braoui, Meriem Bouali, Nadir Farhi

机构 * LITAN, ESTIN（LITAN，ESTIN） ； Cosys-Grettia, Univ Gustave Eiffel（Cosys-Grettia，古斯塔夫·埃菲尔大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出结合深度强化学习与大型语言模型可解释模块的框架，实现自适应驾驶控制并向乘客解释决策，平衡安全性、适应性和可解释性。

CRAX: Fast Safe Reinforcement Learning Benchmarking

CRAX：快速安全强化学习基准测试

Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

机构 * Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。

Leverage Is Not Reach: A Control-Window Law for Single-Neuron Steering in Language Models

杠杆不等于可达性：语言模型中单神经元操控的控制窗口定律

Hongliang Liu

机构 * Palo Alto Networks 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 提出预算归一化控制窗口框架，通过残差范数与写入范数之比定义的相干预算，预测单神经元干预何时产生连贯行为控制，并在15个神经元上验证了预测精度。

Formal Verification of Learned Multi-Agent Communication Policies via Decision Tree Distillation

通过决策树蒸馏对学习到的多智能体通信策略进行形式化验证

Ahmad Farooq, Kamran Iqbal

机构 * University of Arkansas at Little Rock（阿肯色大学小石城分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过决策树蒸馏将多智能体强化学习策略转化为可解释模型，并利用PRISM进行形式化验证，确保安全属性转移至原始网络，在无人机编队任务中实现88.9%属性满足率。

Comments 9 pages, 3 figures, 7 tables. Accepted at the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026), Pittsburgh, Pennsylvania, USA, September 27-October 1, 2026

Self-CTRL: Self-Consistency Training with Reinforcement Learning

Self-CTRL：基于强化学习的自一致性训练

Itamar Pres, Laura Ruis, Melat Ghebreselassie, Belinda Z. Li, Jacob Andreas

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出Self-CTRL方法，通过强化学习优化语言模型自我解释与行为之间的一致性，在概率推理和宪法AI任务上显著提升一致性和安全性。

Comments 34 pages, 12 figures, includes appendices

Beyond Runtime Enforcement: Shield Synthesis as Defensibility Analysis for Adversarial Networks

超越运行时强制：作为对抗网络可防御性分析的盾牌合成

Achraf Hsain, Sultan Almuhammadi

机构 * Information and Computer Science Department, King Fahd University of Petroleum and Minerals（信息与计算机科学系，法赫德国王石油矿产大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出将盾牌合成重新解释为设计时分析工具，通过约束双人安全博弈生成可防御性判定，并融合拓扑度量和强化学习行为形成可防御性指纹，揭示系统安全的结构性见解。

Comments 26 pages, 7 figures, 7 tables. Under review at JAIR. Code: https://github.com/AchrafHsain7/Bastion

Stop Early, Spend Less: Hidden-State Probes as a Practical Recipe for Streaming Moderation of LLM Outputs

早停早省：隐藏状态探针作为LLM输出流式审核的实用方案

Huizhen Shu, Xuying Li, Piao Xue

机构 * ModelOneAI ； yunshanai（云山AI） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于隐藏状态的轻量级词元级探针，在解码循环中实时检测不安全输出，无需额外前向传播，实现亚毫秒级安全审核，可提前中断或修改生成。

Comments Technical Report. 14 pages, 3 figures, 4 tables

Two to Tango: Coupled Task-Reference Selection for Safe LLM Fine-tuning

双人探戈：面向安全LLM微调的耦合任务-参考选择

Xinrui Chen, Jianhao Zhang, Ou Wu, Di Gao

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出DualSelect框架，通过耦合任务与安全参考选择，在微调时保持安全对齐，提升安全评分至少5.10点。

Baseline-Free Policy Optimization for Neural Combinatorial Optimization

无基线的神经组合优化策略优化

Carlos S. Sepúlveda, Gonzalo A. Ruz

机构 * Facultad de Ingeniería y Ciencias, Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学工程与科学学院） ； Dirección de Programas, Investigación y Desarrollo, Armada de Chile（智利海军计划、研究与发展局） ； Millennium Nucleus for Social Data Science (SODAS)（千禧年社会数据科学核心（SODAS）） ； Millennium Nucleus in Data Science for Plant Resilience (PhytoLearning)（千禧年植物韧性数据科学核心（PhytoLearning）） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 提出使用GRPO算法消除神经组合优化中的基线依赖，避免训练崩溃，在TSP和CVRP上达到接近POMO的性能。

Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human

监督具有容量：将智能体守卫校准到主观且易疲劳的人类

Emre Turan

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体动作审批中人类评审者主观且易疲劳的问题，提出将守卫建模为成本敏感的选择性分类，并引入负载感知策略，发现过度监督反而降低安全性，形成倒U型曲线。

Comments 12 pages, 4 figures. Code and interactive demo: https://github.com/turangenesis/headroom

Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress

朋友还是敌人？俄罗斯虚假信息压力下开放权重大语言模型中的语言意识形态开关

Anna Małgorzata Kamińska, Tetiana Klynina

机构 * Institute of Culture Studies, University of Silesia in Katowice（文化研究学院，卡托维察大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； National Aviation University（国家航空大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.CY

AI总结 本文通过控制实验发现，针对不同语言社区微调的大语言模型在俄罗斯虚假信息压力下，其抵抗能力与预期文化对齐方向相反，揭示了微调悖论。

Semantic Quorum Assurance: Collective Certification for Non-Deterministic AI Infrastructure

语义法定数保证：面向非确定性AI基础设施的集体认证

Jun He, Deying Yu

机构 * OpenKedge.io 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 提出语义法定数保证（SQA），一种通过多样化验证者群体和风险自适应法定数谓词，将非确定性LLM代理的不安全操作批准率从18.5%降至0.3%的控制平面原语。

Comments 21 pages, 2 figures, 6 tables

Autoformalization of Agent Instructions into Policy-as-Code

智能体指令的自动形式化为策略即代码

Adam Mondl, Matthew Maisel, John H. Brock

专题命中 安全训练 ：safety(abstract,comments)；分类 cs.AI

AI总结 提出自动形式化流水线，通过LLM生成-批评循环将智能体提示和自然语言策略转化为Cedar策略语言，在MedAgentBench上比手工编码覆盖更多规范。

Comments Accepted at the Second Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD), ICML 2026

TRUSS: Towards Task-Reliable and User-Safe Automated Agent Skill Generation

TRUSS：面向任务可靠且用户安全的自动化智能体技能生成

Zhibo Zhang, Zhen Ouyang, Ling Shi, Kailong Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 TRUSS是一种证据引导框架，可生成安全可靠的智能体技能，在多基准测试中实现了漏洞检测100%的精度召回率，同时显著提升任务有效性与安全率。

Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study

使用多模态语言模型对TikTok上的有害内容暴露情况进行审计：一项跨国、按年龄分层的研究

Hamidreza Saffari, Francesco Pierri

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本研究使用多模态大语言模型Gemini 2.5 Flash，在法、意、瑞三国对TikTok开展跨国年龄分层审计，发现关键词搜索会大幅提升有害内容占比，意国各年龄组有害内容占比最高，平台安全过滤器低估了明确有害内容。

Comments 20 pages, 16 figures, 14 tables. Accepted to Findings of EMNLP 2026

Ready for What? Rethinking AI and Robotics Preparedness for Adoption and Policy

准备好应对什么？反思人工智能与机器人技术在应用和政策层面的准备情况

Peng Wang, Naomi Adel, Amy E. Morgan, Folayo Aina, Demos Parapanos, Vikas Mackevicius, Teslim Olayiwola Salahudeen

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 该研究通过分析982名参与者对17项AI与机器人技术挑战的15200次评估，揭示了挑战复杂性、重要性与准备度的关联，指出政策制定者需关注挑战特有障碍及同一利益相关者的内部差异。

Comments 33 pages, including supplementary. 8 tables, 5 figures

Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups

Prism-GRPO：通过拆分相同结果组实现更快的视觉-语言-动作（VLA）策略优化

Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

机构 * AWS AI（亚马逊云科技人工智能部门） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 该研究提出 Prism-GRPO 算法，通过拆分 GRPO 的相同结果组并引入加权执行质量分数，减少机器人 rollout 预算浪费，在四个 RoboTwin 任务中使达到目标成功率的 rollout 最多减少 56%，还抑制了奖励黑客捷径。

LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents

LEGO-RL：利用原生强化学习实现编码智能体

Yiming Du, Yuxin Jiang, Tao Yuan, Jianbo Dai, Shaowei Wang, Jierun Chen, Chaofan Tao, Xianzhi Yu, Lifeng Shang, Kam-Fai Wong, Xiaohui Li, Haoli Bai

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 LEGO-RL 是桥接原生编码智能体 harness 与策略梯度优化的框架，通过三大支柱解决训练不匹配问题，提升 Qwen3.5-35B-A3B 在三个编码基准上的性能，且保持高概率相关性。

Comments Webpage: https://lego-rl.pages.dev

DiSCO: Defending text-to-image generation through distribution-guided contrastive prompt optimization

DiSCO：通过分布引导的对比提示优化防御文本到图像生成

Tong Zhang, Motasem Alfarra, Carlos Hinojosa, Christos Louizos, Bernard Ghanem

机构 * Qualcomm AI Research（高通人工智能研究院） ； King Abdullah University of Science Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 DiSCO是一种零样本黑盒防御模块，通过分布引导的对比提示优化，在I2P基准上分别将未防御、已防御模型的攻击成功率降低37.7%、25.13%，提升文本到图像生成的安全性且保持语义保真度。