University of Science and Technology of China（中国科学技术大学）

Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models

具有标点意识的混合可训练稀疏注意力机制用于大语言模型

Junxiang Qiu, Shuo Wang, Zhengsu Chen, Hengheng Zhang, Jinda Lu, Changcheng Li, Qi Tian

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Inc.（华为公司） 纠错

AI总结 PHSA通过利用标点符号作为语义边界锚点，提出了一种混合可训练稀疏注意力机制，有效减少信息损失并提升大语言模型的长上下文处理能力。

Defending against Indirect Prompt Injection by Instruction Detection

对抗间接提示注入的指令检测

Tongyu Wen, Chenglong Wang, Xiyuan Yang, Haoyu Tang, Yueqi Xie, Lingjuan Lyu, Zhicheng Dou, Fangzhao Wu

机构 * Renmin University of China（中国人民大学） ； Peking University Shenzhen Graduate School（北京大学深圳研究生院） ； Wuhan University（武汉大学） ； University of Science and Technology of China（中国科学技术大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Sony AI（索尼人工智能） ； Microsoft Research Asia（微软亚洲研究院） 纠错

AI总结 本文提出InstructDetector，通过检测LLMs行为状态来识别IPI攻击，实现高检测准确率和低攻击成功率。

Comments 16 pages, 4 figures