视觉大模型 / VLM

Towards Understanding Best Practices for Quantization of Vision-Language Models

朝着理解视觉-语言模型量化最佳实践

Gautom Das, Vincent La, Ethan Lau, Abhinav Shrivastava, Matthew Gwilliam

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 视觉问答 ：vision-language model(title)；分类 cs.CV

AI总结 本研究探讨了视觉-语言模型量化方法对多模态流水线性能的影响，发现LLM低位量化在减少bpw时仍保持高精度，为高效部署MLLMs提供实践指导。

Comments 15 pages, 12 figures, 1 table

KBE-DME: Dynamic Multimodal Evaluation via Knowledge Enhanced Benchmark Evolution

KBE-DME: 通过知识增强的基准进化实现动态多模态评估

Junzhe Zhang, Huixuan Zhang, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology（王轩计算机技术研究所） ； Peking University（北京大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 KBE-DME通过整合多模态知识和动态基准进化，实现对多模态大语言模型能力的更全面评估。

ReinPath: A Multimodal Reinforcement Learning Approach for Pathology

ReinPath：一种用于病理学的多模态强化学习方法

Kangcheng Zhou, Jun Jiang, Qing Zhang, Shuang Zheng, Qingli Li, Shugong Xu

机构 * East China Normal University（华东师范大学） ； Shanghai University（上海大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 ReinPath提出了一种多模态强化学习方法，通过构建高质量病理学VQA数据集，结合语义奖励策略和群体相对策略优化，提升了病理图像和文本的多模态推理能力，并在零样本分类任务中表现出色。