大模型对齐与安全

Red Teaming LLMs as Socio-Technical Practice: From Exploration and Data Creation to Evaluation

对LLM进行红队行动作为社会技术实践：从探索和数据创建到评估

Adriana Alvarado Garcia, Ruyuan Wan, Ozioma C. Oguine, Karla Badillo-Urquiola

机构 * Responsible Tech Research IBM Research Yorktown Heights New York USA（负责技术研究 IBM 研究 Yorktown Heights 新 York 美国） ； IBM Research（IBM 研究） ； The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Notre Dame（诺特达美大学） 纠错

专题命中 红队测试 ：red teaming(title,abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文通过访谈从业者，探讨了红队行动数据集定义、创建和评估的社会技术实践，揭示了从业者在风险概念化中的不足，并提出HCI研究者扩展红队行动概念化和数据实践的三个机会。