大模型对齐与安全

Stage-wise Attention-Guided Region Sequencing for Adversarial Attacks on Large Vision-Language Models

用于对大型视觉语言模型进行对抗攻击的逐阶段注意力引导区域排序

Jaehyun Kwak, Nam Cao, Boryeong Cho, Segyu Lee, Sumyeong Ahn, Se-Young Yun

机构 * KAIST（韩国科学技术院） ； KENTECH（KENTECH研究院） 纠错

专题命中 越狱攻击 ：safety(abstract)

AI总结 研究针对大型视觉语言模型的有针对性对抗攻击，基于注意力分析提出逐阶段注意力引导区域排序，介绍了黑盒区域排序框架SAGA，在多个模型上取得了最先进的攻击成功率和最佳不可感知性。

Comments Pre-print

What LLMs Must Forget to Teach Effectively: A DIY Approach to Premodern Japanese Language Pedagogy

LLM必须忘记什么才能有效教学：前现代日语教学法的DIY方法

Ariel Stilerman, Andrew Nelson, Alan Cheng, Caleb Langley, Sera Wang, Camilla Piana, Pelin Çılgın, Qianhe Qin, Teisha Nishimitsu, Liaoliao Zhang, Huiting Liu, Josh Eyre, Gavin Sherry

专题命中 越狱攻击 ：alignment(abstract)

AI总结 本文提出一种基于大型语言模型（LLM）的DIY教学框架，通过提示工程创建定制工具，避免LLM过度解释或产生幻觉，从而促进前现代日语文学和语言课程中的主动理解与教学对齐。

From Storage to Steering: Memory Control Flow Attacks on LLM Agents

从存储到操控：针对LLM代理的内存控制流攻击

Zhenlin Xu, Xiaogang Zhu, Yu Yao, Minhui Xue, Yiliao Song

专题命中 越狱攻击 ：safety(abstract)

AI总结 本文研究了内存控制流攻击对LLM代理的影响，提出MEMFLOW框架以系统识别和量化此类攻击，发现超过90%的测试在严格安全约束下仍易受攻击，揭示了严重的安全风险。