大模型对齐与安全

Learning Optimal Personalized Treatment Rules Using Robust Regression Informed K-NN

Ruidi Chen, Ioannis Paschalidis

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments Machine Learning for Health (ML4H) Workshop at NeurIPS 2018 arXiv:1811.07216

Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering

Bryant Chen, Wilka Carvalho, Nathalie Baracaldo, Heiko Ludwig, Benjamin Edwards, Taesung Lee, Ian Molloy, Biplav Srivastava

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

SafeRoute: Learning to Navigate Streets Safely in an Urban Environment

Sharon Levy, Wenhan Xiong, Elizabeth Belding, William Yang Wang

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments 8 pages

A path to AI

Ion Dronic

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

Comments 6 pages

Autonomous Ramp Merge Maneuver Based on Reinforcement Learning with Continuous Action Space

Pin Wang, Ching-Yao Chan

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Safe Exploration in Continuous Action Spaces

Gal Dalal, Krishnamurthy Dvijotham, Matej Vecerik, Todd Hester, Cosmin Paduraru, Yuval Tassa

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning

Benjamin Eysenbach, Shixiang Gu, Julian Ibarz, Sergey Levine

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments Videos of our experiments are available at: https://sites.google.com/site/mlleavenotrace/

Interpreting Shared Deep Learning Models via Explicable Boundary Trees

Huijun Wu, Chen Wang, Jie Yin, Kai Lu, Liming Zhu

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.LG

Comments 9 pages, 10 figures

Constrained Policy Optimization

Joshua Achiam, David Held, Aviv Tamar, Pieter Abbeel

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments Accepted to ICML 2017

Contribution to the Formal Specification and Verification of a Multi-Agent Robotic System

Nadeem Akhtar, Malik M. Saad Missen

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

Comments arXiv admin note: text overlap with arXiv:1501.05120

Journal ref European Journal of Scientific Research, ISSN 1450-216X / 1450-202X Vol.117 No.1 January, 2014, pp. 35-55

Learning Invariants using Decision Trees

Siddharth Krishna, Christian Puhrsch, Thomas Wies

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments 15 pages, 2 figures

Spike-Killer: Evidence-Gated LLM Assistance for Safe Performance Diagnosis on a Real Windows Workstation

Spike-Killer：面向真实Windows工作站安全性能诊断的证据门控大语言模型辅助方案

Baocheng Zeng, Jinhao Yang

专题命中 安全训练 ：trustworthy(abstract)；safety(comments)

AI总结 该研究提出Spike-Killer，一种人在环的证据门控工作流，用于安全诊断Windows工作站的帧时间问题，以CS2为目标应用验证了其可审计性，为LLM辅助智能体提供了可信操作模式。

Comments 6 pages. Experience report; no causal CS2 frame-time improvement or autonomous-safety claim is made

How Could Generative AI Support Compliance with the EU AI Act? A Review for Safe Automated Driving Perception

Mert Keser, Youssef Shoeb, Alois Knoll

机构 * Technical University of Munich（慕尼黑工业大学） ； Continental AG（大陆集团） ； Technical University of Berlin（柏林工业大学） 纠错

专题命中 安全训练 ：safety(abstract,journal_ref)

Journal ref 2024 IEEE International Conference on Vehicular Electronics and Safety (ICVES)

Safe Collective Control under Noisy Inputs and Competing Constraints via Non-Smooth Barrier Functions

Clinton Enwerem, John S. Baras

专题命中 安全训练 ：safety(abstract,comments)

Comments Accepted to the 2024 European Control Conference. See Section VI.B (in particular, Theorem 1, Proposition 2, and Remark 2) for updates incorporating new results (from Reference 3) on almost-sure safety of ZCBFs

Conceptual Belief-Informed Reinforcement Learning

Xingrui Gu, Chuyi Jiang, Laixi Shi

机构 * University of California, Berkeley（加州大学伯克利分校） ； Columbia University（哥伦比亚大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 安全训练 ：alignment(comments,journal_ref)；分类 cs.AI、cs.LG

Comments Accepted by ICML 2025 Workshop on Models of Human Feedback for AI Alignment

Journal ref ICML 2025 Workshop on Models of Human Feedback for AI Alignment

The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions

会喊“狼来了”的守卫：恐怖词汇如何导致智能体防护栏拒绝合法操作

Yingjie Zhang, Yuanbo Xie, Kai Chen

专题命中 安全训练 ：safety(abstract)

AI总结 本研究构建了首个针对智能体防护栏过度安全问题的基准Cautious Bench，发现防护栏存在名称迷信效应，会因对象名称而非授权上下文过度拒绝合法操作。

Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

Self-OPD：无需教师模型的流匹配模型的在线策略蒸馏

Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu, Yunlong Yu, Jian Song, Hao Jiang, Pipei Huang, Bo Zheng

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 本文提出Self-OPD，一种无需教师模型的流匹配模型在线策略蒸馏框架，通过分支SDE候选与奖励比较优化速度场，在基准测试中优于现有无教师的RL和OPD方法。

Comments 19 pages, 10 figures

QuantGuard: Learnable Rounding for Repairing Quantization-Conditioned Backdoors in LLMs

打破舍入陷阱：保护LLM免受量化条件后门攻击

Aoying Zheng, Anqi Du, Zizhuang Deng, Yuxuan Chen, Shanqing Guo, Kening Zheng

专题命中 安全训练 ：alignment(abstract)

AI总结 提出QuantGuard方法，通过可微舍入控制变量和误差引导的舍入反转约束等机制，在仅使用少量校准数据且不修改量化算法的情况下，阻断后门激活路径，有效降低攻击成功率至接近干净模型水平。

AirMoE: Realizing Over-the-Air Distributed Mixture-of-Experts Inference at the Wireless Edge

AirMoE：在无线边缘实现无线分布式混合专家（Mixture-of-Experts，MoE）推理

Huiling Yang, Zhanwei Wang, Kaibin Huang

专题命中 安全训练 ：alignment(abstract)

AI总结 AirMoE是利用AirComp实现无线分布式MoE推理的框架，通过双时间尺度策略解决AirComp带来的挑战，在ARC-Easy基准上显著提升了E2E推理准确性，尤其适用于强设备异构场景。

Heimdall: Formally Verified Automated Migration of Legacy eBPF Programs to Rust

Heimdall: 形式化验证的遗留 eBPF 程序到 Rust 的自动迁移

Vishnu Asutosh Dasu, Monika Santra, Md Rafi Ur Rashid, Ashish Kumar, Saeid Tizpaz-Niari, Gang Tan

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出 Heimdall，一个利用大语言模型将遗留 libbpf C 程序自动翻译为 Aya Rust 的管道，通过静态分析和符号执行确保迁移后程序行为等价，并修复了 eBPF 程序中六类源级漏洞，包括未报告的信息泄露。

When Can Agents Safely Checkpoint, Fork, Restore, and Merge? Exact Checking for Execution Edits

智能体何时能安全地进行检查点、分叉、恢复与合并？执行编辑的精确检查

Yusheng Zheng, Xiaoyu Song, Yanpeng Hu, Lebin Cheng, Yuxi Huang, Wei Zhang

专题命中 安全训练 ：safety(abstract)

AI总结 该研究针对智能体的检查点、分叉等执行编辑操作，提出一种精确判定编辑安全性的算法，通过形式化方法验证，相关成果已在 Lean 中实现并开源。

Comments 24 pages

AgentFlow: A Flow-Centric Policy Language and Framework for Securing LLM Agent Systems

AgentFlow：一种以流为中心的策略语言与框架，用于保障大语言模型智能体系统的安全

Basavesh Ammanaghatta Shivakumar, Swarn Priya, Peng Gao

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出以流为中心的AgentFlow策略语言与框架，通过运行时监控与SMT验证保障LLM智能体系统安全，在多基准测试中显著降低入侵率并提升效用。

Safe Deep Reinforcement Learning for Energy-Efficient HVAC Control in Multi-Zone Residential Buildings

面向多区域住宅建筑节能HVAC控制的安全深度强化学习

Oussama Ziadi, Abdelilah Rochd, Samir Idrissi Kaitouni, Mohamed Oualid Mghazli, Adnane Saoud

专题命中 安全训练 ：safety(abstract)

AI总结 该研究针对多区域住宅建筑HVAC控制的能耗-安全问题，提出带安全认证的深度强化学习框架，在仿真中训练PPO与SAC智能体，验证了其在降低能耗、减少舒适度违规方面的有效性及安全保证的可行性。

Comments 6 pages, 5 figures. Accepted to IEEE Conference on Control Technology and Applications (CCTA) 2026

Distributed Multi Robot Lunar Cargo Transportation via Phase Decomposed Reinforcement Learning

基于相位分解强化学习的分布式多机器人月球货物运输

Ashutosh Mishra, Elian Neppel, Shreya Santra, Antoine Jonquières, Muhammad Athallah Naufal, Kentaro Uno, Kazuya Yoshida

机构 * Tohoku University（东北大学） ； École Centrale de Lille（里尔中央理工学院） ； Institut Teknologi Bandung（万隆理工学院） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出相位分解强化学习框架，将月球货物运输分解为提升、运输和放置三个阶段，分别优化联合状态策略，实现分布式机器人协同运输，仿真和硬件实验验证了可靠性。

Comments 8 pages, 9 Figures, Accepted at IROS2026

Robust Validation to Geometric Perturbations for Autonomous Pose Estimation

面向自主位姿估计的几何扰动鲁棒性验证

Gregoire Theau, Melanie Ducoffe

机构 * Airbus SAS（空中客车公司） ； IRT Saint-Exupery（圣埃克苏佩里技术研究院） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 本文针对自主位姿估计的几何扰动鲁棒性验证问题，提出基于全局利普希茨优化（GLO）的方法，在YOLOv8-Pose模型上验证其可高效定位失效模式并剪枝80%以上搜索空间，为鲁棒自主感知验证提供了新途径。

Comments 15 pages, 7 figures

When Do LLM Agents Help? Deadline-Aware Mixed-Criticality Task Scheduling at the Autonomous-Vehicle Edge

大语言模型智能体何时有用？自动驾驶车辆边缘的感知期限感知混合关键度任务调度

Reza Zakerian

专题命中 安全训练 ：safety(abstract)

AI总结 该研究针对自动驾驶车辆边缘MEC的混合关键度任务调度，构建强启发式算法，发现LLM控制平面仅在安全关键任务激增时优于静态启发式算法。

Comments 8 pages, 5 figures, and 4 tables

Investigating Vision-Language Model for Point Cloud-based Vehicle Classification

Yiqiao Li, Jie Wei, Camille Kamga

机构 * City College of New York（纽约城市学院） 纠错

专题命中 安全训练 ：safety(abstract)

Comments 5 pages,3 figures, 1 table, CVPR DriveX workshop

Journal ref DriveX Workshop at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026

Brief Announcement: Fair Binding for Hidden-State Authorization in Byzantine SMR

简短公告：拜占庭SMR中隐藏状态授权的公平绑定

Arnab Mallick

专题命中 安全训练 ：safety(abstract)

AI总结 针对拜占庭SMR中隐藏状态授权问题，提出公平预留/使用协议，满足授权安全性与先到者活性，解决隐藏资源安全动态分配问题。

Comments Accepted at DISC 2026

Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models

先见后答：面向视觉语言模型的无训练视觉层分析

Ruchen Liu, Yi Yang, Yiming Xu, Michael Ying Yang, Monika Sester, Bodo Rosenhahn

机构 * Leibniz Universität Hannover（汉诺威莱布尼茨大学） ； University of Bath（巴斯大学） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 该研究提出无需训练的视觉数据集熵（VDE）方法，可预测视觉语言模型的最优视觉层，缩小搜索范围，相比GW距离更具实用性。

Comments ECCVW'26 eXCV

Deep Reinforcement Learning for 6G AI-RAN: A Comprehensive Survey

面向6G AI-RAN的深度强化学习：一项综合调查

Jie Lu, Peihao Yan, Qijun Wang, Ruxin Lin, Huacheng Zeng

专题命中 安全训练 ：trustworthy(abstract)

AI总结 本文针对6G开放AI-RAN，首次开展深度强化学习（DRL）综合调查，梳理DRL基础、O-RAN感知框架、DRL应用分类及相关研究方向，填补了DRL方法论与O-RAN部署间的系统关联空白。