大模型对齐与安全

Black-Box Guardrail Reverse-engineering Attack

Hongwei Yao, Yun Xia, Shuo Shao, Haoran Shi, Tong Qiao, Cong Wang

机构 * City University of Hong Kong（香港城市大学） ； Zhejiang University（浙江大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

Exchange Policy Optimization Algorithm for Semi-Infinite Safe Reinforcement Learning

Jiaming Zhang, Yujie Yang, Haoning Wang, Liping Zhang, Shengbo Eben Li

机构 * Department of Mathematical Sciences Tsinghua University（清华大学数学科学系） ； School of Vehicle and Mobility Tsinghua University（清华大学车辆与移动系统学院） ； Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系） ； School of Vehicle and Mobility & College of AI Tsinghua University（清华大学车辆与移动系统学院与人工智能学院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

Comments Submitted to the Journal of Machine Learning Research (JMLR), under review