多模态大模型

Semantic-aware Adversarial Fine-tuning for CLIP

语义感知对抗微调用于CLIP

Jiacheng Zhang, Jinhao Li, Hanxun Huang, Sarah M. Erfani, Benjamin I. P. Rubinstein, Feng Liu

机构 * School of Computing and Information Systems（计算机与信息系统学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出语义感知对抗微调方法，通过生成语义感知的对抗性示例提升CLIP模型在零样本分类任务中的对抗鲁棒性。