大模型对齐与安全

A Safety and Security Framework for Real-World Agentic Systems

面向现实世界代理系统的安全与安全框架

Shaona Ghosh, Barnaby Simkin, Kyriacos Shiarlis, Soumili Nandi, Dan Zhao, Matthew Fiedler, Julia Bazinska, Nikki Pope, Roopa Prabhu, Daniel Rohrer, Michael Demoret, Bartley Richardson

机构 * NVIDIA ； Lakera AI 纠错

专题命中 红队测试 ：safety(title,abstract)；red teaming(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种动态框架，通过用户安全视角识别新型代理风险，并通过红队行动和案例研究验证其在企业级代理系统中的安全性和安全性。