大模型对齐与安全

RePolicy: Reinforcement Learning for Safety-Policy Invocation in Agent Safeguards

RePolicy：用于智能体安全保障中安全策略调用的强化学习方法

Houcheng Jiang, Boxuan Zhang, Qiyong Zhong, Junfeng Fang, Xiang Wang, Xiangnan He

机构 * Zhejiang University（浙江大学） ； Zhongguancun Academy（中关村学院） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对现有智能体安全保障方法难以适应未见轨迹和变化策略上下文的问题，提出RePolicy方法，结合PolicyTraj-20K与带可验证奖励和策略上下文扰动的GRPO，在六个智能体安全基准上取得良好安全检测与策略调用效果。

Is Your Neighborhood Safe? Place-based Stigma in Large Language Models' Urban Safety Judgments

你的社区安全吗？大型语言模型城市安全判断中的基于地点的污名

Huy Nguyen, Yue Lin

机构 * Augustana College（奥古斯塔纳学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 该研究探究大型语言模型的城市安全判断是否受社区名称携带的人口刻板印象影响，发现名称会降低边缘化群体占比高的社区的安全评分，移除名称可减少偏见与准确性损失。

Comments 12 pages, 8 figures

AirLLM: Diffusion Policy-based Adaptive LoRA for Remote Fine-Tuning of LLM over the Air

AirLLM：面向空中远程微调的基于扩散策略的自适应LoRA方法

Shiyi Yang, Xiaoxue Yu, Rongpeng Li, Jianhang Zhu, Zhifeng Zhao, Honggang Zhang

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AirLLM是一种分层扩散策略框架，通过PPO智能体与DDIM交替优化实现自适应LoRA秩配置，可提升LLM空中远程微调性能并降低传输成本。

Comments 11 pages, 8 figures

Reinforcement Learning-Based Control of CAV Platoon Joining Maneuvers in Mixed Traffic

基于强化学习的混合交通环境下网联自动驾驶车辆（CAV）队列汇入机动控制

Biao Yin, Abderrahmane Kasmi, Nadir Farhi

机构 * Université Gustave Eiffel（古斯塔夫·埃菲尔大学） ； Université Paris Dauphine-PSL（巴黎多芬大学-PSL） ； Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学Cosys-Grettia机构） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对混合交通环境下CAV队列汇入的安全高效控制问题，提出结合SUMO的建模框架，评估PPO等DRL算法，发现PPO在平衡安全与效率上表现更优。

MENTOR: Reinforcement Learning via Flexible Teacher-Optimized Rewards for Tool-Use Distillation

MENTOR: 通过灵活的教师优化奖励进行工具使用蒸馏的强化学习

ChangSu Choi, Hoyun Song, Dongyeon Kim, Minkyung Cho, WooHyeon Jung, Sunjin Park, NohHyeob Bae, Seona Yu, KyungTae Lim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； LG CNS 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 提出MENTOR方法，通过灵活的教师优化奖励结构，平衡行为对齐与下游性能，提升小模型在工具使用任务中的域外泛化能力。

Accelerating Scientific Research with Gemini in the Real-World

利用Gemini加速现实世界中的科学研究

Samuel Schmidgall, Xiaokai Zhu, Marian Shaw, Lin Yang, Valentin Liévin, Jingyun Yang, Yuchen Zhuang, Tim Strother, Alex Bijamov, Min Woo Sun, Anil Palepu, Justin Chen, David Steiner, Jacqueline Shreibati, Wei-Hung Weng, Yilin Zhao, Xingjian Hu, Nicholas Zahn, Sadhya Garg, Julia Kirby, Yuxiang Gan, Jiaoli Li, Divy Thakkar, Shekoofeh Azizi, David Racz, Juraj Gottweis, Vivek Natarajan, Chenglin Wu, Tal Danino, Keran Rong, Haozhe Wang, Benoit Schillings, Yong Cheng, Quoc V. Le, Tao Tu

机构 * Google DeepMind（谷歌DeepMind） ； Duke University（杜克大学） ； Columbia University（哥伦比亚大学） ； Google Research（谷歌研究） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 该研究扩展并验证了基于Gemini的多智能体系统Co-Scientist，其可在材料、生物、计算机科学领域推进闭环科学工作流，提升研究效率并减少幻觉抄袭。

The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions

会喊“狼来了”的守卫：恐怖词汇如何导致智能体防护栏拒绝合法操作

Yingjie Zhang, Yuanbo Xie, Kai Chen

专题命中 安全训练 ：safety(abstract)

AI总结 本研究构建了首个针对智能体防护栏过度安全问题的基准Cautious Bench，发现防护栏存在名称迷信效应，会因对象名称而非授权上下文过度拒绝合法操作。

Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher

Self-OPD：无需教师模型的流匹配模型的在线策略蒸馏

Shiyi Zhang, Mushui Liu, Yunze Tong, Wanggui He, Siyu Zou, Jinlong Liu, Yunlong Yu, Jian Song, Hao Jiang, Pipei Huang, Bo Zheng

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全训练 ：alignment(abstract)

AI总结 本文提出Self-OPD，一种无需教师模型的流匹配模型在线策略蒸馏框架，通过分支SDE候选与奖励比较优化速度场，在基准测试中优于现有无教师的RL和OPD方法。

Comments 19 pages, 10 figures

QuantGuard: Learnable Rounding for Repairing Quantization-Conditioned Backdoors in LLMs

打破舍入陷阱：保护LLM免受量化条件后门攻击

Aoying Zheng, Anqi Du, Zizhuang Deng, Yuxuan Chen, Shanqing Guo, Kening Zheng

专题命中 安全训练 ：alignment(abstract)

AI总结 提出QuantGuard方法，通过可微舍入控制变量和误差引导的舍入反转约束等机制，在仅使用少量校准数据且不修改量化算法的情况下，阻断后门激活路径，有效降低攻击成功率至接近干净模型水平。