大模型对齐与安全

SafeLLM: Unlearning Harmful Outputs from Large Language Models against Jailbreak Attacks

Xiangman Li, Xiaodong Wu, Qi Li, Jianbing Ni, Rongxing Lu

机构 * Department of Electrical and Computer Engineering, Queen’s University（电气与计算机工程系，皇后大学） ； School of Computing, Queen’s University（计算机学院，皇后大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；safety(abstract)；分类 cs.LG

Adversarial Attacks against Neural Ranking Models via In-Context Learning

Amin Bigdeli, Negar Arabzadeh, Ebrahim Bagheri, Charles L. A. Clarke

机构 * University of Waterloo（多伦多大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Toronto（多伦多大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.CL

Security Steerability is All You Need

Itay Hazan, Idan Habler, Ron Bitton, Itsik Mantin

专题命中 越狱攻击 ：prompt injection(abstract)

GLOV: Guided Large Language Models as Implicit Optimizers for Vision Language Models

M. Jehanzeb Mirza, Mengjie Zhao, Zhuoyuan Mao, Sivan Doveh, Wei Lin, Paul Gavrikov, Michael Dorkenwald, Shiqi Yang, Saurav Jha, Hiromi Wakaki, Yuki Mitsufuji, Horst Possegger, Rogerio Feris, Leonid Karlinsky, James Glass

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Sony（索尼） ； Weizmann Institute of Science（魏茨曼科学研究院） ； JKU（约翰纳斯堡大学） ； Tübingen AI Center（图宾根人工智能中心） ； UVA（乌得勒支大学） ； UNSW（新南威尔士大学） ； TU Graz（格拉茨技术大学） ； MIT-IBM（麻省理工学院-IBM） 纠错

专题命中 越狱攻击 ：safety(abstract)

Comments Code: https://github.com/jmiemirza/GLOV