多模态大模型

MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations

MLLMCLIP：面向鲁棒视觉-语言表征的多模态大语言模型（MLLM）特征级蒸馏

Jongsuk Kim, Qiyu Wu, Zhuoyuan Mao, Hiromi Wakaki, Junmo Kim, Yuki Mitsufuji

机构 * KAIST（韩国科学技术院） ； Sony Group Corporation（索尼集团公司） 纠错

专题命中 图文多模态 ：MLLM(title,title_cn)；multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 MLLMCLIP是一种异构特征级蒸馏框架，直接将MLLM的多模态知识迁移至CLIP，在组合性任务和通用视觉-语言任务上均实现最优性能。

Comments EMNLP 2026 Main Conference

A Lightweight Multimodal Vision-Language Framework for Early-Stage Anatomical Green Fruit Classification in Commercial Orchards

面向商业果园早期解剖结构青果分类的轻量级多模态视觉-语言框架

Ranjan Sapkota, William Bu, Chen Chen, Yunjun Xu, Manoj Karkee

机构 * Cornell University（康奈尔大学） ； University of Central Florida（中佛罗里达大学） ； Institute of Artificial Intelligence (IAI)（人工智能研究所（IAI）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出适配TinyCLIP的轻量级多模态视觉-语言框架，实现复杂果园环境下幼果解剖结构细粒度分类，在NVIDIA T4上取得0.93宏F1，经优化可边缘部署，支撑自动化幼果分析与机器人疏果系统。

VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following

VISA：用于多模态指令遵循的智能体式自进化数据合成

Min Zeng, Guanxin Tan, Libin Cen, Yawei Wen, Rui Hu, Liuyang Bian, Xiaolong Chen, Xiaoxin Chen

机构 * vivo AI Lab（vivo AI实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 VISA是一种智能体式自进化数据合成框架，通过自进化循环优化多模态指令合成，在MM-IFEval等基准上提升了多模态指令遵循性能。

V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

V-Rubrics：基于评分规则的强化学习实现视觉忠实性

Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； A*STAR（新加坡科技研究局） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型回答缺乏视觉依据的问题，提出基于评分规则的强化学习方法V-Rubrics，通过分解响应为原子命题并从三方面评分，训练的模型在相关推理基准上性能优于基线。

Comments Proj page: this https URL (https://shulin16.github.io/v-rubrics/)

Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs

检索、匹配、升级：基于VLM蒸馏的交叉编码器与智能体VLMs的准确且可扩展的商品链接

Jian Wang, Steven Xu, Sanjyot Thete, Maryam Barouti, Tom Tang, Elaine Wu, Charu Sareen, Kyle MacDonald

机构 * DoorDash Inc.（DoorDash公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大规模商品链接的成本与精度矛盾，提出“检索-匹配-升级”级联框架，用VLM蒸馏的交叉编码器处理多数简单案例，智能体VLM解决模糊案例，提升了链接覆盖率且降低成本。

Comments 9 pages, 3 figures, 5 tables

Segmentation-Based Attention Entropy: Detecting and Mitigating Object Hallucinations in Large Vision-Language Models

基于分割的注意力熵：在大视觉-语言模型中检测和缓解对象幻觉

Jiale Song, Jiaxin Luo, Xue-song Tang, Kuangrong Hao, Mingbo Zhao

机构 * School of Information and Intelligent Science, Donghua University, Shanghai, 201620, China（信息与智能科学学院，东华大学，上海，201620，中国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出基于分割的注意力熵(SAE)，通过语义分割量化视觉注意力不确定性，设计可靠性评分和注意力调整方法，有效缓解大视觉-语言模型中的对象幻觉问题。

Comments Accepted to ACM Multimedia 2026 (MM '26)

Learning to Detect Unseen Jailbreak Attacks in Large Vision-Language Models

学习检测未见过的大型视觉-语言模型中的对抗攻击

Shuang Liang, Zhihao Xu, Jiaqi Weng, Jialing Tao, Hui Xue, Xiting Wang

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 LoD通过学习模型内部激活生成安全表示，实现对未见过的对抗攻击的高效检测，提升检测性能和效率。

Comments 17 pages; Previously this version appeared as arXiv:2510.15430 (https://arxiv.org/abs/2510.15430) which was submitted as a new work by accident

Fairness-Aware Test-Time Prompt Tuning

感知公平性的测试时提示调优

Yoann Launay, Parameswaran Kamalaruban, Tom Kempton, Stuart Burrell, David Sutton

机构 * University of Cambridge（剑桥大学） ； Visa Inc.（维萨公司） ； University of Manchester（曼彻斯特大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 本文针对分布偏移下视觉-语言模型的公平性问题，提出了感知公平性的情节式测试时自适应方法FairTPT，通过软提示调优联合优化熵，实现公平性提升并优于现有方法。