视觉大模型 / VLM

Semi-Supervised Adaptation of Vision-Language Models for Image Classification

面向图像分类的视觉-语言模型半监督适配

Mohamed L. Mekhalfi, Mohamad M. Al Rahhal, Yakoub Bazi, Salah E. Khenfer, Mingdeng Shi, Hua Zou, Mansour Zuair

机构 * Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会） ； King Saud University（沙特国王大学） ； Tarim University（塔里木大学） ； Wuhan University（武汉大学） 纠错

专题命中 其他VLM ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本研究针对视觉-语言模型适配遥感卫星图像时标注样本匮乏的问题，提出SE-CLIP半监督框架，通过双阶段流程与类平衡选择策略提升性能，在UCM、NWPU基准上优于现有方法。

SciMIF: Understanding Multimodal Instruction Following in Scientific Domains

SciMIF：理解科学领域中的多模态指令遵循

Ye Shen, Yuting Zheng, Dun Pei, Zijian Chen, Wenlong Zhang, Qi Jia, Guangtao Zhai

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出用于评估多模态大语言模型科学指令遵循能力的SciMIF基准，揭示模型在科学领域性能差异及规模提升未对应改善约束遵循等问题，填补相关评估空白。

Comments 21pages, 9 figures, 16 tables

MODE: Modality-Decomposed Expert-Level Mixed-Precision Quantization for MoE Multimodal LLMs

MODE: 面向MoE多模态大语言模型的模态分解专家级混合精度量化

Yuanteng Chen, Nanxin Zeng, Peisong Wang, Zhilei Liu, Yuantian Shao, Shiqiang Lang, Tao Liu, Chuangyi Li, Qinghao Hu, Gang Li, Jing Liu, Jian Cheng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对MoE多模态大语言模型在专家重要性估计中存在的跨模态和视觉内偏差，提出模态分解的专家级混合精度量化框架MODE，通过分解选择频率、过滤冗余视觉令牌并评估模态敏感性，在给定预算下分配比特宽度，在W3A16下平均性能损失控制在2.9%以内。

Comments 19 pages, 8 figures

Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios

Video-IFBench：评估多模态大语言模型在视频理解场景中的指令遵循能力

Hongbo Liu, Peixian Chen, Sihan Liu, Peiyuan Zhang, Kai Zou, Dian Zheng, Xiaoxing Hu, Yuhao Dong, Mengdan Zhang, Yunhang Shen, Haoyu Cao, Wei Liu, Weibo Gu, Xing Sun, Shengjie Zhao

机构 * TJU（天津大学） ； Tencent Youtu Lab（腾讯优图实验室） ； SJTU（上海交通大学） ； Tencent Hunyuan（腾讯混元） ； CUHK（香港中文大学） ； NTU（南洋理工大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文推出Video-IFBench基准，构建含四类模板的指令分类体系与半自动数据 pipeline，评估20余种MLLMs的视频指令遵循能力，发现当前模型在复杂指令上仍具挑战，推动相关研究。