大模型对齐与安全

Manifold of Failure: Behavioral Attraction Basins in Language Models

失败的流形：语言模型中的行为吸引盆地

Sarthak Munshi, Manish Bhatt, Vineeth Sai Narajala, Idan Habler, Ammar Al-Kahfah, Ken Huang, Blake Gatto

机构 * Amazon Web Services（亚马逊网络服务） ； Cisco（思科） ； Shrewd Security（精明安全） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于MAP-Elites的方法，用于系统地映射语言模型的失败流形，揭示不同模型的拓扑结构和漏洞分布。

Lifecycle-Integrated Security for AI-Cloud Convergence in Cyber-Physical Infrastructure

面向AI-云融合的生命周期集成安全机制：用于网络物理基础设施

S M Zia Ur Rashid, Deepa Gurung, Sonam Raj Gupta, Suman Rath

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文提出了一种生命周期集成的安全架构，通过综合AI治理、云安全和工业标准，实现对AI-云融合环境中多层攻击的防御。