大模型对齐与安全

Towards Fast Safe Online Reinforcement Learning via Policy Finetuning

通过策略微调实现快速安全在线强化学习

Keru Chen, Honghao Wei, Zhigang Deng, Sen Lin

机构 * School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院） ； Arizona State University（亚利桑那州立大学） ； School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） ； Washington State University（华盛顿州立大学） ； Department of Computer Science（计算机科学系） ； University of Houston（休斯顿大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Marvel框架，通过价值预对齐和自适应PID控制，实现更高效安全的在线强化学习。

Comments Accepted by Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation

CORD：通过加权在线跨模态蒸馏弥合音频-文本推理差距

Jing Hu, Danxiang Zhu, Xianlong Luo, Dan Zhang, Shuwei He, Yishu Lei, Haitao Zheng, Shikun Feng, Jingzhou He, Yu Sun, Hua Wu, Haifeng Wang

机构 * ERNIE Team, Baidu（百度ERNIE团队） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 CORD通过加权在线跨模态蒸馏方法，有效弥合音频与文本推理之间的差距，提升音频条件推理能力。

Comments 13 pages, 4 figures