University of Chinese Academy of Sciences（中国科学院大学）

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

ShortOPD：通过短到长的策略蒸馏恢复剪枝后的语言模型

Qingyu Zhang, Qianhao Yuan, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun, Ming Xu, Jiarui Li

机构 * ByteDance（字节跳动） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

AI总结 研究结构化剪枝在语言模型自由形式生成任务中存在的问题，提出ShortOPD方法，通过短到长的策略蒸馏，检测重复后缀，合理分配展开预算，有效提升压缩模型分数，减少训练时间和展开令牌，推动结构化剪枝接近可部署的生成质量。

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。