大模型对齐与安全

Automatic Generation of Communication Requirements for Enforcing Multi-Agent Safety

多智能体安全性的自动通信需求生成

Eric S. Kim, Murat Arcak, Sanjit A. Seshia, BaekGyu Kim, Shinichi Shiraishi

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文研究多智能体系统中通信需求的自动生成，提出无需协调的可控前驱运算符以确定安全约束下的自主行为，展示连接延迟上限和自触发协调方案的应用。

Comments In Proceedings SCAV 2018, arXiv:1804.03406

Journal ref EPTCS 269, 2018, pp. 3-16

ICAN-Deploy: Identity-Stable Canary Deployment for Safety-Critical Embodied Agents

ICAN-Deploy：面向安全关键具身智能体的身份稳定金丝雀部署

Xue Qin, Simin Luan, John See, Zeyd Boukhers, Cong Yang, Zhijun Li

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Heriot-Watt University, Malaysia Campus（赫瑞-沃德大学马来西亚分校） ； Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所） ； Soochow University（苏州大学） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出ICAN-Deploy中间件，通过分离能力名称与版本，在安全关键具身智能体的金丝雀部署中保持身份哈希不变，避免重新认证。

Comments 14 pages, 6 figures, 4 tables

VLM-Based Advanced Rider Assistance System for Motorcycle Safety

基于VLM的摩托车安全高级骑手辅助系统

Mohamed Elnoor, Francesca Baldini, Ananya Trivedi, Faizan M. Tariq, Jovin D'sa, David Isele, Sangjae Bae, Dinesh Manocha, Yosuke Sakamoto

机构 * HRI ； Honda Research Institute（本田研究院） ； University of Maryland（马里兰大学） ； Northeastern University（东北大学） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 提出一种利用视觉语言模型进行语义感知和风险感知规划的摩托车高级骑手辅助系统，通过构建密集风险地图并采用基于采样的规划器，在CARLA模拟器中实现更高的成功率和更低的风险暴露。

Comments Accepted to IEEE IV 2026

Time-To-Reach Separation and Safety Filtering for Safe, Fair, and Efficient Multi-Agent Coordination

时间到达分离与安全过滤用于安全、公平和高效的多智能体协调

Matthew Low, Jasmine Jerry Aloor, Victoria Marie Tuck, Pierluigi Nuzzo, Jason J. Choi

机构 * Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电子工程与计算机科学系） ； Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（麻省理工学院航空与航天系） ； GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室） ； Department of Electrical and Computer Engineering, University of California, Los Angeles（加州大学洛杉矶分校电子与计算机工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出了一种多智能体协调框架，利用最小时间到达（TTR）作为统一指标用于优先级分配、时间分离和安全过滤，以协调多个空中车辆进入空中走廊并保持车辆间安全分离。

Comments 9 pages, 3 figures. Extended version (including appendix) of a paper submitted to the 65th IEEE Conf. on Decision and Control (2026)

Toward a Principled Framework for Agent Safety Measurement

迈向代理安全测量的原理性框架

Shuyi Lin, Anshuman Suri, Alina Oprea, Cheng Tan

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出基于搜索而非采样的原理性框架，用于评估代理安全，通过BOA框架在预算内搜索轨迹空间，发现贪心和采样方法遗漏的不安全轨迹。

Learning over Forward-Invariant Policy Classes: Reinforcement Learning without Safety Concerns

在前向不变策略类中学习：无安全顾虑的强化学习

Chieh Tsai, Muhammad Junayed Hasan Zahed, Salim Hariri, Hossein Rastgoftar

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出了一种基于前向不变性诱导的动作空间设计的安全强化学习框架，通过构造有限可接受动作集，确保策略安全性和性能优化分离，验证了在四旋翼飞行器悬停调节中的有效性。

Proactive Hierarchical Control Barrier Function-Based Safety Prioritization in Close Human-Robot Interaction Scenarios

主动式分层控制屏障函数基安全优先级在近距离人机交互场景中的应用

Patanjali Maithani, Aliasghar Arab, Farshad Khorrami, Prashanth Krishnamurthy

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出基于控制屏障函数的分层框架，用于在近距离人机交互中主动管理碰撞风险，通过实时安全约束优先级调整和深度感知实现安全协作。

Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems

预执行安全闸门与任务安全合同用于LLM控制的机器人系统

Ike Obi, Vishnunandan L. N. Venkatesh, Weizheng Wang, Ruiqi Wang, Dayoon Suh, Temitope I. Amosa, Wonse Jo, Byung-Cheol Min

机构 * SMART Laboratory, Department of Computer and Information Technology, Purdue University（普渡大学计算机与信息技术系SMART实验室） ； Department of Information and Telecommunication Engineering, Incheon National University（仁川国立大学信息与通信工程系） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出SafeGate和Task Safety Contracts，通过神经符号安全架构和约束检查，提升LLM控制机器人系统的安全性，减少缺陷命令的执行。

Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward

Saliency-R1: 通过显著图对齐奖励增强可解释性和忠实的视觉-语言推理

Shizhan Gong, Minda Hu, Qiyuan Zhang, Chen Ma, Qi Dou

机构 * The Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 Saliency-R1通过显著图对齐奖励提升视觉-语言模型的推理可解释性和忠实性，利用显著图技术高效突出关键图像区域，结合GRPO优化策略增强模型对相关区域的关注，实验显示提升推理忠实性和任务性能。

Comments CVPR 2026

Inverse Safety Filtering: Inferring Constraints from Safety Filters for Decentralized Coordination

逆安全过滤：从安全过滤器推断约束以实现去中心化协调

Minh Nguyen, Jingqi Li, Gechen Qu, Claire J. Tomlin

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出一种在线方法，通过观察其他智能体的安全过滤动作推断约束，结合去中心化规划方法确保安全，通过仿真和硬件实验验证有效性。

Tube-Based Safety for Anticipative Tracking in Multi-Agent Systems

基于管状的安全性用于多智能体系统中的前瞻性跟踪

Armel Koulong, Ali Pakniyat

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出了一种基于管状的安全框架，用于非线性Brunovsky多智能体系统在有界扰动下的鲁棒前瞻性跟踪，通过建立反馈增强的辅助控制策略的安全证书，避免了传统的Lipschitz界可行性条件，从而得到显式的鲁棒正不变管半径，减少约束保守性并保持正式的前向不变性。

Comments This work has been submitted to the 65th IEEE Conference on Decision and Control for possible publication

Robust Multi-Agent Safety via Tube-Based Tightened Exponential Barrier Functions

通过管状紧缩指数屏障函数实现多智能体系统鲁棒安全性

Armel Koulong, Ali Pakniyat

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出一种构造性框架，用于合成非线性多智能体系统在有界扰动下的可证明安全控制器。核心贡献是通过约束紧缩方法将鲁棒误差反馈与名义轨迹规划相结合，利用RPI管的几何特性推导状态依赖的安全余量，从而保证轨迹安全性。

Comments Joint submission to IFAC World Congress 2026 and NAHS journal (Reference: NAHS_101717). Accepted for NAHS journal; under review by World Congress

Safety Guardrails in the Sky: Realizing Control Barrier Functions on the VISTA F-16 Jet

天空中的安全护栏：在VISTA F-16喷气式飞机上实现控制障碍函数

Andrew W. Singletary, Max H. Cohen, Tamas G. Molnar, Aaron D. Ames

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出Guardrails机制，通过结合人类或AI指令与安全控制动作，确保自主系统在边缘操作域安全运行，展示了其在F-16飞行测试中的有效性。

The Verifier Tax: Horizon Dependent Safety Success Tradeoffs in Tool Using LLM Agents

验证者税：工具使用LLM代理中地平线依赖的安全成功权衡

Tanmay Sah, Vishal Srivastava, Dolly Sah, Kayden Jordan

专题命中 安全训练 ：safety(title,abstract)

AI总结 研究运行时强制执行对多步骤工具使用大语言模型代理端到端任务性能的影响，发现安全调解虽能拦截94%的非合规动作，但难以保证安全完成，凸显了需要具备基础身份验证和后干预推理能力的代理。

Comments 10 pages, 7 figures

Toward Scalable Patient Safety Training: A Prototype for Root Cause Analysis Simulation With AI Virtual Avatars

迈向可扩展的患者安全培训：一种基于AI虚拟仿真的根因分析原型

Yuqi Hu, Qiwen Xiong, Zhenzhen Qin, Brandon Watanabe, Yujing Wang, Mirjana Prpa, Ilmi Yoon

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出一种AI驱动的仿真平台，通过根因分析模拟提升患者安全培训的可扩展性，利用虚拟角色和AI技术实现沉浸式学习，降低培训成本。

Comments This works has been accepted at the 2026 IEEE Conference on Artificial Intelligence, where a revised version of this work will be published

KidsNanny: A Two-Stage Multimodal Content Moderation Pipeline Integrating Visual Classification, Object Detection, OCR, and Contextual Reasoning for Child Safety

KidsNanny：一种集成视觉分类、目标检测、OCR和上下文推理的双阶段多模态内容审查流水线，用于儿童安全

Viraj Panchal, Tanmay Talsaniya, Parag Patel, Meet Patel

机构 * KidsNanny Research Team, Vartit Technology Inc.（KidsNanny研究团队，Vartit技术公司） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出KidsNanny，一种双阶段多模态内容审查架构，通过视觉Transformer和目标检测器进行视觉筛查，结合OCR和基于文本的7B语言模型进行上下文推理，以提高儿童安全的内容审查效率和准确性。

Comments 12 pages, 2 figures, 6 tables

R3R: Decentralized Multi-Agent Collision Avoidance with Infinite-Horizon Safety

R3R：具有无限时间安全性的去中心化多智能体避障

Thomas Marshall Vielmetti, Devansh R. Agrawal, Dimitra Panagou

专题命中 安全训练 ：safety(title,abstract)

AI总结 R3R是首个在通信受限条件下提供无限时间安全保证的去中心化多智能体运动规划框架，通过结合安全框架与几何约束实现轨迹的可证明安全。

Comments 8 pages, LaTeX; submitted to the American Control Conference (ACC) 2026

SSP: Safety-guaranteed Surgical Policy via Joint Optimization of Behavioral and Spatial Constraints

SSP：通过行为和空间约束的联合优化实现安全的手术策略

Jianshu Hu, ZhiYuan Guan, Lei Song, Kantaphat Leelakunwet, Hesheng Wang, Wei Xiao, Qi Dou, Yutong Ban

机构 * Global College, Shanghai Jiao Tong University（上海交通大学全球学院） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 SSP通过联合优化行为和空间约束，实现安全的手术策略，确保在不确定性下的严格安全性，同时保持高任务成功率。

DVLA-RL: Dual-Level Vision-Language Alignment with Reinforcement Learning Gating for Few-Shot Learning

DVLA-RL：基于强化学习门控的双层视觉-语言对齐用于少样本学习

Wenhao Li, Xianjing Meng, Qiangchang Wang, Zhongyi Han, Zhibin Wu, Yilong Yin

机构 * Software School, Shandong University（山东大学软件学院） ； Shenzhen Loop Area Institute（深圳河套学院） ； School of Computing and Artificial Intelligence, Shandong University of Finance and Economics（山东财经大学计算机与人工智能学院） 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 DVLA-RL通过双层语义构建和强化学习门控注意力，实现少样本学习中视觉与语言的双层次对齐，提升泛化能力。

Comments Accepted by ICLR 2026

Personalization Aids Pluralistic Alignment Under Competition

个性化有助于竞争中的多元对齐

Natalie Collina, Surbhi Goel, Aaron Roth, Mirah Shi

专题命中 安全训练 ：alignment(title,abstract)

AI总结 本文研究了竞争中AI提供者通过个性化策略实现用户多元对齐的可能性，并探讨了不同对齐条件下的均衡结果。

LCLA: Language-Conditioned Latent Alignment for Vision-Language Navigation

LCLA：语言引导的潜在对齐用于视觉-语言导航

Nitesh Subedi, Adam Haroon, Samuel Tetteh, Prajwal Koirala, Cody Fleming, Soumik Sarkar

专题命中 安全训练 ：alignment(title,abstract)

AI总结 LCLA通过将视觉-语言观测对齐到专家策略的潜在空间，实现轻量级的视觉-运动学习，提升在不同环境下的泛化能力。

ARGOS: Automated Functional Safety Requirement Synthesis for Embodied AI via Attribute-Guided Combinatorial Reasoning

ARGOS：通过属性引导的组合推理实现具身AI的自动功能安全需求合成

Dongsheng Chen, Yuxuan Li, Yi Lin, Guanhua Chen, Jiaxin Zhang, Xiangyu Zhao, Lei Ma, Xin Yao, Xuetao Wei

机构 * Southern University of Science and Technology, Shenzhen, China（南方科技大学, 深圳, 中国） ； City University of Hong Kong, Hong Kong, China（香港城市大学, 香港, 中国） ； The University of Tokyo, Tokyo, Japan（东京大学, 东京, 日本） ； Lingnan University, Hong Kong, China（岭南大学, 香港, 中国） 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 ARGOS通过属性引导的组合推理，实现具身AI自动功能安全需求生成，提升开放环境中的安全性和可靠性。

Allocating Corrective Control to Mitigate Multi-agent Safety Violations Under Private Preferences

为缓解多智能体安全违规分配纠正控制

Johnathan Corbin, Sarah H. Q. Li, Jonathan Rogers

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出一种基于隐私保护拍卖机制的多智能体安全纠正控制框架，通过规避信用机制实现高效安全纠正分配。

Comments 8 pages, 3 figures, Submitted to IEEE Robotics and Automation Letters (RA-L)

VSA:Visual-Structural Alignment for UI-to-Code

VSA：面向UI到代码的视觉-结构对齐

Xian Wu, Ming Zhang, Zhiyu Fang, Fei Li, Bin Wang, Yong Jiang, Hao Zhou

专题命中 安全训练 ：alignment(title,abstract)

AI总结 VSA通过视觉-结构对齐提升UI到代码的模块化和一致性，生成类型安全的组件以提高软件工程效率。

Identifying Features Associated with Bias Against 93 Stigmatized Groups in Language Models and Guardrail Model Safety Mitigation

识别与偏见相关的93个被污名化的群体特征及语言模型的安全防护措施

Anna-Maria Gueorguieva, Aylin Caliskan

专题命中 安全训练 ：safety(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究探讨了语言模型对93个污名化群体的偏见来源，并测试了防护模型对减少偏见的效果。

Combinatorial Control Barrier Functions: Nested Boolean and p-choose-r Compositions of Safety Constraints

组合控制障碍函数：安全约束的嵌套布尔和p-choose-r组合

Pio Ong, Haejoon Lee, Tamas G. Molnar, Dimitra Panagou, Aaron D. Ames

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出组合控制障碍函数框架，用于处理安全约束的嵌套布尔和p-choose-r组合，通过可扩展的方式确保系统安全性。

Comments 6 pages, 3 figures, Accepted for publication in Control System Letters (L-CSS) with the possibility of presenting at the American Control Conference (ACC) 2026

Near-Field Perception for Safety Enhancement of Autonomous Mobile Robots in Manufacturing Environments

近场感知用于制造环境中自主移动机器人的安全增强

Li-Wei Shih, Ruo-Syuan Mei, Jesse Heidrich, Hui-Ping Wang, Joel Hooton, Joshua Solomon, Jorge Arinez, Guangze Li, Chenhui Shao

机构 * Department of Mechanical Engineering, University of Michigan, MI 48109, USA ； Materials \& Manufacturing Systems Research, General Motors R \& D, Warren, MI 48092, USA 纠错

专题命中 安全训练 ：safety(title,abstract)

AI总结 本文提出三级近场感知框架，通过光断续检测、光位移测量和计算机视觉分类，提升自主移动机器人在制造环境中的安全性能。

Comments Submitted to the 54th SME North American Manufacturing Research Conference (NAMRC 54)

Spatial-Aware VLA Pretraining through Visual-Physical Alignment from Human Videos

通过人类视频中的视觉-物理对齐实现空间感知的VLA预训练

Yicheng Feng, Wanpeng Zhang, Ye Wang, Hao Luo, Haoqi Yuan, Sipeng Zheng, Zongqing Lu

机构 * Peking University（北京大学） ； Renmin University of China（中国人民大学） ； BeingBeyond 纠错

专题命中 安全训练 ：alignment(title,abstract)

AI总结 通过人类视频中的视觉-物理对齐实现空间感知的VLA预训练，提升机器人任务的稳健性和通用性。

Osprey: Production-Ready Agentic AI for Safety-Critical Control Systems

Osprey：面向安全关键控制系统的生产级代理AI

Thorsten Hellert, João Montenegro, Antonin Sulc

专题命中 安全训练 ：safety(title,abstract)

AI总结 Osprey通过四种机制解决安全关键控制系统的协调与安全问题，展示在先进光源中的生产应用。

SmartC2Rust: Iterative, Feedback-Driven C-to-Rust Translation via Large Language Models for Safety and Equivalence

SmartC2Rust: 基于大语言模型的迭代反馈驱动C到Rust翻译用于安全性和等价性

Momoko Shiraishi, Yinzhi Cao, Takahiro Shinagawa

专题命中 安全训练 ：safety(title,abstract)

AI总结 SmartC2Rust通过迭代反馈机制利用大语言模型实现C到Rust的翻译，提升内存安全性和语义等价性。

Journal ref ICSE '26: Proceedings of the 48th International Conference on Software Engineering, April 12-18, 2026, Rio de Janeiro, Brazil