ACL

AuthorityBench: Benchmarking LLM Authority Perception for Reliable Retrieval-Augmented Generation

AuthorityBench: 评估LLM权威感知以实现可靠的检索增强生成

Zhihui Yao, Hengran Zhang, Keping Bi

AI总结 本文提出AuthorityBench基准，通过三个数据集评估LLM权威感知能力，发现ListJudge和PairJudge方法与真实权威最相关，且权威感知对检索增强生成的准确性有显著提升。

Comments 11 pages, 4 figures. Submitted to ACL 2026

LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts

大语言模型知其弱点：通过自然分布偏移揭示安全漏洞

Qibing Ren, Hao Li, Dongrui Liu, Zhanxu Xie, Xiaoya Lu, Yu Qiao, Lei Sha, Junchi Yan, Lizhuang Ma, Jing Shao

机构 * MoE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（人工智能大模型关键实验室，上海交通大学） ； Beihang University（北京航空航天大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

AI总结 本文研究大语言模型对自然分布偏移的脆弱性，提出ActorBreaker攻击方法，通过识别有毒提示相关角色构建多轮提示，揭示模型安全漏洞，并构建安全数据集提升鲁棒性。

Comments ACL 2025 main conference. Code is available at https://github.com/AI45Lab/ActorAttack