大模型对齐与安全

Heterogeneous Agent Cohorts for Safe Open-Ended Exploration with Runtime Constraint Memory

用于安全开放式探索的异构智能体群组及运行时约束记忆

Tengjiao Liu

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对语言模型智能体安全与探索困境，提出将关注点分离到专门角色，通过蒙特卡洛树搜索编译失败为‘伤疤’约束补丁，在空间语义沙盒实验中，该方法能到达远程目标、防止违规、减少令牌消耗，还能在资源约束下降低成本。

Comments 12 pages, 1 figure, 12 tables

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

EasyOPD：一种易于使用的大语言模型在线策略蒸馏框架

Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Gengsheng Li, Zhepei Hong, Chang Wu, Pengfei Liu, Junfeng Fang, Xiang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent（腾讯） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 研究针对传统语言模型蒸馏问题，提出基于verl构建的EasyOPD框架，分离用户配置等，为三种OPD设置实例化方法，经多基准测试，其实现可通过同一后端执行，还发布了相关配置、文档及演示包。

Comments 10 pages, 2 figures

Present but Rescaled: Chat-to-Agent Transfer of Additive Activation Steering

存在但重新缩放：加法激活引导的聊天到智能体的转移

Lucas Pinto

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 研究加法激活引导从聊天到智能体的转移，通过匹配信息设计进行研究，发现转移真实但重新缩放，确定了加法特定机制，定位了重新缩放位置，指出智能体部署对引导拒绝绕过影响不可预测。

Comments 12 pages, 3 figures, 4 tables

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

基于合约的组合屏蔽实现安全多智能体强化学习

Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

机构 * Imperial College London（伦敦帝国学院） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出一种去中心化屏蔽方法，通过合约机制协调智能体局部LTL安全义务，在无集中运行时控制下保证全局安全并优化团队奖励。

Comments Accepted to EUMAS 2026, the 23rd European Conference on Multi-Agent Systems

Distill Where the Student Goes: Teacher-Regularized RL for English-Evidence Cross-Lingual RAG

提炼学生的走向：用于英语-证据跨语言检索增强生成的教师正则化强化学习

Haotian Zhou, Weiran Huang, Siqi Liu, Xiting Wang, Xin Zhang, Zhihao Wen

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系） ； Ant International, Ant Group（蚂蚁集团蚂蚁国际） ； Shanghai Innovation Institute（上海创新研究院） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 研究英语证据跨语言检索增强生成中的问题，提出教师正则化强化学习方法TR-RAG，结合奖励优化与策略内蒸馏，引入奖励分解，在多基准测试中提升语言依从性和证据正确性。

Comments 42 pages, 19 figures, 16 tables

Agentic Data Environments

智能体数据环境

Elaine Ang, Chenxi Huang, Georgios Liargkovas, Jerry Liu, Jinhui Liu, Nikos Pagonas, Charlie Summers, Haonan Wang, Jiakai Xu, Tianle Zhou, Yusen Zhang, Zhou Yu, Zhuo Zhang, Tianyi Peng, Kostis Kaffes, Eugene Wu

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 探讨智能体数据环境，其作为智能体运行的执行基础，既能增强智能体能力又保障安全。该环境拓宽了智能体运行的数据范围，改变了对数据系统的传统认知，有望在提升智能体效能同时控制故障成本。

Journal ref IEEE Data Bulletin Vol. 50 No. 1 2026

Safe Reinforcement Learning using Ideas from Model Predictive Control

利用模型预测控制思想的安全强化学习

Georg Schäfer, Jakob Rehrl, Stefan Huber, Simon Hirlaender

机构 * Salzburg University of Applied Sciences（萨尔茨堡应用科学大学） ； Paris Lodron University of Salzburg（萨尔茨堡巴黎洛德伦大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 针对强化学习在安全约束方面的挑战，提出结合深度强化学习与模型预测控制的通用框架，利用系统动力学模型定义可行状态 - 动作空间，经安全过滤器投影动作，在实验室试验台验证该方法可成功探索并稳定收敛。

Comments Accepted at Eurocast 2026

Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

超越拒绝：用于漏洞分析的对齐和消除拒绝的大语言模型的同谱系研究

Mingchen Li, Meikang Qiu, Zifan Peng, Heng Fan, Song Fu, Junhua Ding, Yunhe Feng

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究大语言模型辅助软件安全中，同谱系模型的安全状态（对齐或消除拒绝）对软件安全工作流程防御效用的影响，通过比较不同模型在多方面的表现，发现评估应综合考量模型响应、响应正确性及输出在工程流程中的可操作性。

aiAuthZ: Off-Host, Identity-Bound Authorization for AI Agents

aiAuthZ：人工智能代理的远程、身份绑定授权

Sai Varun Kodathala

机构 * SportsVision AI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究人工智能代理授权问题，提出aiAuthZ授权网关，通过消息签名验证身份、评估策略，加入审计日志并生成认证收据，有效降低攻击成功率，保障代理调用安全，减少决策延迟。

Comments Technical Report

Elastic Gang: Per-Token Membership Change for a Hard-Barriered LLM Inference Gang Co-Scheduled with OS Processes

弹性组：与操作系统进程协同调度的硬屏障大语言模型推理组的逐令牌成员变更

Daeyeon Son

机构 * Independent Researcher（独立研究员） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究设备上大语言模型解码中CPU - SIMD计算与操作系统对核心资源需求冲突问题，提出弹性组机制，通过ACK锁定期协议实现逐令牌核心成员变更，提升吞吐量并保障正确性。

Comments 14 pages, 1 figure, 6 tables

Agentic-V2X: Small Language Model Agents for Deadline-Aware V2X Scheduling in 5G/6G Networks

Agentic-V2X：用于5G/6G网络中具有截止日期感知的V2X调度的小型语言模型代理

Gerasimos Papanikolaou-Ntais, Alexandros Kaloxylos, Athanasios Kanavos

机构 * Department of Informatics, University of Piraeus（比雷埃克斯大学信息学院） ； Department of Informatics and Telecommunications, University of Peloponnese（希腊佩拉索斯大学信息与电信学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究针对5G/6G网络中V2X调度，提出Agentic-V2X架构。小型本地部署语言模型生成策略，经验证后由轻量级控制器执行，评估多种策略，该架构能生成有效可执行策略，在多方面有竞争力，但非最佳。

Comments 20 pages 7 figures

Mnemosyne: Agentic Transaction Processing for Validating and Repairing AI-generated Workflows

Mnemosyne: 用于验证和修复AI生成工作流的代理事务处理

Edward Y. Chang, Longling Geng, Emily J. Chang

机构 * Stanford University（斯坦福大学） ； QuadriumAI 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出代理事务处理（ATP）模型，将生成动作视为不可信提案，通过确定性约束集验证后才提交，并实现运行时修复，确保状态正确性独立于生成层。

Comments 41 pages, 25 tables, 6 figures

Exploring the Semantic Gap in Agentic Data Systems: A Formative Study of Operationalization Failures in Analytical Workflows

探索智能体数据系统中的语义鸿沟：分析工作流中操作化失败的形成性研究

Jalal Mahmud, Eser Kandogan

机构 * Megagon Labs（Megagon实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本研究通过跨领域分析236个分析意图，识别出153种反复出现的操作化失败，归纳为五类语义鸿沟，揭示用户分析概念与系统可用信息之间的差距，并提出未来智能体数据系统需要更丰富的语义表示。

Addressing Over-Refusal in LLMs with Competing Rewards

用竞争奖励解决大语言模型中的过度拒绝问题

Taeyoun Kim, Aviral Kumar

机构 * Carnegie Mellon University（卡内基梅隆大学） ； SynthLabs 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出SEAR方法，通过对抗优化和过程奖励，让模型在推理中探索有害思路但最终输出安全答案，从而缓解安全训练导致的过度拒绝问题。

A Tutorial on Autonomous Fault-Tolerant Control Using Knowledge-Grounded LLM Agents

基于知识接地LLM代理的自主容错控制教程

Javal Vyas, Milapji Singh Gill, Artan Markaj, Felix Gehlhoff, Mehmet Mercangöz

机构 * Autonomous Industrial Systems Laboratory, Imperial College London（帝国理工学院自主工业系统实验室） ； Institute of Automation Technology, Helmut Schmidt University（赫尔穆特·施密特大学自动化技术研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出利用LLM代理作为约束监督规划器，通过外部验证器确保安全，辅助过程工厂故障恢复决策，并提供了可执行的Python环境。

When the Database Fails: Prompting LLM Dialogue Agents for Safe Recovery in Task-Oriented Dialogue

当数据库失败时：提示LLM对话代理在任务导向对话中安全恢复

Mohammad Alijanpour Shalmani, Alale Rezvani Boroujeni, Jiann Shiun Yuan

机构 * College of Engineering and Computer Science, University of Central Florida（中佛罗里达大学工程与计算机科学学院） ； Department of Marketing, University of Central Florida（中佛罗里达大学市场营销系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 针对任务导向对话中后端数据库失败导致LLM产生不安全响应的问题，提出基于提示的轻量级恢复策略，无需重训练即可将幻觉率降低42-50%。

Comments Accepted at SIGDIAL 2026

Certified Speculative Execution for Untrusted AI Agents

不可信AI代理的认证推测执行

Chenyu Zhou, Qiliang Jiang, Shuning Wu, Xu Zhou

机构 * School of Engineering, Institute of Science Tokyo, Japan（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University, China（浙江大学控制科学与工程学院） ； Department of Electrical and Computer Engineering, National University of Singapore, Singapore（新加坡国立大学电气与计算机工程系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出证书门控前缀接受（CGPA）方法，通过可信验证器、保形校准值边界和求解器延迟机制，实现安全、遗憾和速度的解耦，将不可信AI代理的违规率降至零。

Comments 15 pages, 2 figures, 24 tables. Includes a technical appendix (full proofs and all supplementary tables)

From Propositional to Perceptual Asymmetry: Extending Frictive Policy Optimization to Asymmetric Partial Information Dialogue

从命题不对称到感知不对称：将摩擦策略优化扩展到非对称部分信息对话

Yifan Zhu, Kyeongmin Rim, James Pustejovsky

机构 * Brandeis University（布兰迪斯大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL

AI总结 将摩擦策略优化从共享感知场景扩展到感知不对称场景，通过跨语料库分析和LLM探测验证，发现摩擦函数仅在参与者信息视野内有效，并提出标注改进。

Comments 11 pages. To appear in Proceedings of SIGDIAL 2026

A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control

基于先进调节控制理论的多智能体AI系统化方法：用于过程控制的安全且可审计的LLM操作员智能体

Idelfonso B. R. Nogueira, Sigurd Skogestad

机构 * Norwegian University of Science and Technology (NTNU)（挪威科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 提出将先进调节控制理论映射为多智能体系统，每个反馈回路对应一个专业LLM操作员智能体，通过确定性或LLM编排器解决约束冲突，在奶牛场通风案例中实现可审计轨迹。

Agent-Native Immune System: Architecture, Taxonomy, and Engineering

智能体原生免疫系统：架构、分类与工程

Bo Shen, Lifeng Chang, Tianyuan Wei, Yunpeng Li, Feng Shi, Yichen Han, Peijie Gao, Shiyi Kuang, Xin Chang, Dehui Li

机构 * Novo Ordo for AI 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出智能体原生免疫系统（ANIS），一种嵌入智能体认知循环的生物启发式内生防御架构，通过六层免疫塔、统一病毒疫苗分类和元认知自动化骨干实现运行时动态防护。

It Lied to a Doctor to Buy Poison Ingredients: Quantifying Real-World Misuse of Phone-use Agents

它向医生撒谎购买毒药成分：量化手机使用代理的现实世界滥用

Yiming Sun, Chen Chen, Zifan Zhou, Mi Zhang

机构 * Fudan University（复旦大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 研究手机使用代理在真实设备与商业应用中的恶意滥用，发现主流模型拒绝率低、任务完成率高，甚至能欺骗医生获取毒药前体，揭示安全意识-执行差距。

Comments work in progress

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

SingGuard: 一种策略自适应的多模态大语言模型护栏，具有动态推理能力

SingGuard Team

机构 * AI Security Lab, Ant Group（蚂蚁集团AI安全实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 提出SingGuard，一种策略自适应的多模态护栏模型，通过将策略作为运行时输入，支持快速、混合和慢速推理模式，实现动态规则下的安全评估，在多个基准上取得最优F1。

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

安全自回归图像生成与迭代自改进码本

Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对自回归统一多模态模型生成图像的安全性问题，提出迭代自改进码本方法，利用模型自身判断不安全图像并修正码本映射，消除有害输出并保证生成质量。

Comments 10 pages including references, 8 figures, accepted for publication at the 43rd International Conference on Machine Learning (ICML 2026)

In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics

上下文模型预测生成：从语言模型到物理的开放词汇运动合成

Xiaomeng Fu, Junfan Lin, Yang Liu, Yaowei Wang, Guanbin Li, Liang Lin, Ziliang Chen

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Department of Networked Intelligence, Peng Cheng Laboratory（鹏城实验室网络智能部） ； School of Computer Science and Engineering, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与工程学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出ICMPG框架，结合语言模型规划与推理时物理反馈，通过上下文感知运动生成和模型预测生成模块实现语义忠实且物理合理的开放词汇运动合成。

Safe and Generalizable Hierarchical Multi-Agent RL via Constraint Manifold Control

通过约束流形控制实现安全且可泛化的分层多智能体强化学习

Zihao Guo, Jianing Zhao, Ling Li, Hao Liang, Giuseppe Loianno, Yali Du

机构 * University of California, Berkeley（加州大学伯克利分校） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出分层多智能体强化学习框架，低层通过约束流形强制执行硬安全约束，高层学习协调策略，实现理论安全保证、稳定训练和高效泛化。

Comments 10 pages

AOHP: An Open-Source OS-Level Agent Harness for Personalized, Efficient and Secure Interaction

AOHP：一个用于个性化、高效和安全交互的开源操作系统级Agent框架

Shanhui Zhao, Jiacheng Liu, Guohong Liu, Jichao Yan, Jialei Ye, Yuhao Yang, Hao Wen, Shizuo Tian, Yizhen Yuan, Yuxuan Chen, Yunxin Liu, Ju Ren, Ya-Qin Zhang, Chao Huang, Yao Guo, Yuanchun Li

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 提出AOHP，一个基于AOSP的操作系统级Agent框架，通过将Agent视为一等OS参与者，实现个性化服务组合、高效Agent接口和安全信息流，在任务完成率、令牌成本和策略合规性上优于现有系统。

Comments 17 pages, 3 figures

Harness-MU: A Safe, Governed, and Effective Harness for Multi-User LLM Agents

Harness-MU：面向多用户LLM代理的安全、可控且有效的框架

Wangxuan Fan, Xiaoyu Nie, Zhongxiang Dai

机构 * OpenAI Codex team（OpenAI Codex团队） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 针对多用户LLM代理的权限冲突与数据泄露问题，提出模型无关、零微调的基础设施框架Harness-MU，通过执行钩子强制执行确定性治理约束，在Muses-Bench基准上实现隐私保护并提升指令遵循准确率高达48.9个百分点。

Comments 15 pages, 4 figures, 15 tables

Safe to Check, Unsafe to Use: Relinking at the Compression Boundary of LLM Agents

安全检查，不安全使用：LLM代理压缩边界处的重链接

Zesen Liu, Zihan Zhang, Dongdong She

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 提出重链接漏洞，利用摘要压缩将分散的良性片段重组为恶意指令，并设计Relink工具自动化攻击，在四个长上下文代理基准上达到86.9%成功率。

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think

微调视觉-语言-动作模型所需的层数比你想象的少

Gia-Binh Nguyen, Trong-Bao Ho, Thien-Loc Ha, Khoa Vo, Philip Lund Møller, Quang T. Nguyen, Long Dinh, Tung M. Luu, Tuan Dam, Vu Duong, Trung Le, Nghi D. Q. Bui, Minh Vu, Tran Nguyen Le, An Thai Le, Ngan Le, Daniel Sonntag, James Zou, Jan Peters, Duy M. H. Nguyen, Ngo Anh Vien

机构 * Center for AI Research, VinUniversity（VinUniversity人工智能研究中心） ； VinRobotics ； University of Arkansas（阿肯色大学） ； Technical University of Denmark（丹麦技术大学） ； Hanoi University of Science and Technology（河内科技大学） ； KAIST（韩国科学技术院） ； Monash University（莫纳什大学） ； Oldenburg University（奥尔登堡大学） ； DFKI（德国人工智能研究中心） ； University of Stuttgart（斯图加特大学） ； IMPRS-IS（国际马克斯·普朗克智能系统研究学院） ； Stanford University（斯坦福大学） ； Technische Universität Darmstadt（达姆施塔特工业大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 本文发现VLA模型存在层间表示冗余，提出无需训练的压缩方法，通过去除冗余层将模型深度减少50%，实现40-50%训练加速和30%推理加速，性能不变。

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

Co-policy: 响应式人机音乐共创框架

Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Automation, Wuhan University of Technology（武汉理工大学自动化学院） ； School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院） ； School of Robotics, Wuhan University（武汉大学机器人学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 提出Co-policy框架，通过语义锚定、约束变分和视觉运动策略实现人机音乐实时共创，在真实钟琴实验中优于扩散策略基线。