大模型对齐与安全

Can We Predict Alignment Before Models Finish Thinking? Towards Monitoring Misaligned Reasoning Models

Yik Siu Chan, Zheng-Xin Yong, Stephen H. Bach

机构 * Brown University（布朗大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

The Safety Challenge of World Models for Embodied AI Agents: A Review

Lorenzo Baraldi, Zifan Zeng, Chongzhe Zhang, Aradhana Nayak, Hongbo Zhu, Feng Liu, Qunli Zhang, Peng Wang, Shiming Liu, Zheng Hu, Angelo Cangelosi, Lorenzo Baraldi

机构 * University of Pisa（比萨大学） ； Huawei RAMS Lab（华为RAMS实验室） ； Technical University of Munich（慕尼黑技术大学） ； Technical University of Berlin（柏林技术大学） ； University of Manchester（曼彻斯特大学） ； University of Modena and Reggio Emilia（莫德纳和雷吉奥艾米利亚大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

VeriGuard: Enhancing LLM Agent Safety via Verified Code Generation

Lesly Miculicich, Mihir Parmar, Hamid Palangi, Krishnamurthy Dj Dvijotham, Mirko Montanari, Tomas Pfister, Long T. Le

机构 * Google Cloud AI Research（谷歌云人工智能研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

Comments 22 pages

Persona Features Control Emergent Misalignment

Miles Wang, Tom Dupré la Tour, Olivia Watkins, Alex Makelov, Ryan A. Chi, Samuel Miserendino, Jeffrey Wang, Achyuta Rajaram, Johannes Heidecke, Tejal Patwardhan, Dan Mossing

机构 * OpenAI 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

An Embarrassingly Simple Defense Against LLM Abliteration Attacks

Harethah Abu Shairah, Hasan Abed Al Kader Hammoud, Bernard Ghanem, George Turkiyyah

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments preprint - under review

A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens

David Dobre, Mehrnaz Mofakhami, Sophie Xhonneux, Leo Schwinn, Gauthier Gidel

机构 * Université de Montréal（蒙特利尔大学） ； Mila（Mila研究所） ； Technical University of Munich（慕尼黑技术大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 安全训练 ：safety(abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 15 pages, 6 figures

Reinforcement Learning for Clinical Reasoning: Aligning LLMs with ACR Imaging Appropriateness Criteria

Anni Tziakouri, Filippo Menolascina

专题命中 安全训练 ：alignment(abstract)；trustworthy(abstract)

From Poisoned to Aware: Fostering Backdoor Self-Awareness in LLMs

Guangyu Shen, Siyuan Cheng, Xiangzhe Xu, Yuan Zhou, Hanxi Guo, Zhuo Zhang, Xiangyu Zhang

机构 * Purdue University（普渡大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI