视觉大模型 / VLM

Benchmarking Direct Preference Optimization for Medical Large Vision-Language Models

医疗大视觉-语言模型的直接偏好优化基准测试

Dain Kim, Jiwoo Lee, Jaehoon Yun, Yong Hoe Koo, Qingyu Chen, Hyunjae Kim, Jaewoo Kang

机构 * Korea University（韩国大学） ； AIGEN Sciences（AIGEN公司） ； Hanyang University College of Medicine（翰林大学医学院） ； Asan Medical Center, University of Ulsan College of Medicine（釜山大学医学院阿桑医院） ； Yale University（耶鲁大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文评估了医疗领域中多种DPO变体，发现其在视觉问答任务中存在性能不一致和视觉误解问题，并提出针对性策略提升3.6%。

Comments EACL 2026 (Findings)

Coding the Visual World: From Image to Simulation Using Vision Language Models

将视觉世界编码：通过视觉语言模型从图像到模拟

Sagi Eppel

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文研究了视觉语言模型通过Im2Sim方法从图像生成模拟的能力，发现其在复杂系统建模上表现优异，但对细节复制能力有限。

Embodied Learning of Reward for Musculoskeletal Control with Vision Language Models

具身学习奖励以实现肌肉骨骼控制与视觉语言模型

Saraswati Soedarmadji, Yunyue Wei, Chen Zhang, Yisong Yue, Yanan Sui

机构 * Tsinghua University（清华大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)

AI总结 本文提出MoVLR框架，利用视觉语言模型实现高维肌肉骨骼系统的具身学习，通过迭代交互发现和改进奖励函数。

Comments 18 pages, 8 figures

ViTCoP: Accelerating Large Vision-Language Models via Visual and Textual Semantic Collaborative Pruning

ViTCoP: 通过视觉和文本语义协同剪枝加速大型视觉-语言模型

Wen Luo, Peng Chen, Xiaotao Huang, LiQun Huang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 ViTCoP通过结合视觉和文本语义协同剪枝，有效降低大型视觉-语言模型的计算成本，提升推理效率和内存利用率。

Auditing Disability Representation in Vision-Language Models

对视觉-语言模型中残障人表示的审计

Srikant Panda, Sourabh Singh Yadav, Palkesh Malviya

机构 * Lam Research 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文研究了视觉-语言模型在残障人表示上的表现，通过引入残障情境化提示和评估框架，发现残障情境会降低模型解释忠实度，并提出针对性提示和微调方法来改善模型表现。

Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

grounded concreteness: 人类-like 的 concreteness 敏感性在 vision-language 模型中

Aryan Roy, Zekun Wang, Christopher J. MacLellan

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；grounding(abstract)

AI总结 本文研究了视觉语言模型在纯文本提示下对concreteness的敏感性，并发现其在更具体的输入上表现更优，具有更清晰的表示和更符合人类规范的判断。

Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent

通过模态解耦梯度下降缓解MLLM指令微调中的视觉知识遗忘

Junda Wu, Yuxin Xiong, Xintong Li, Yu Xia, Ruoyu Wang, Yu Wang, Tong Yu, Sungchul Kim, Ryan A. Rossi, Lina Yao, Jingbo Shang, Julian McAuley

机构 * UC San Diego（加州大学圣迭戈分校） ； University of New South Wales（新南威尔士大学） ； Adobe Research（Adobe研究） 纠错

专题命中 VLM训练与架构 ：MLLM(title)；分类 cs.CV、cs.LG

AI总结 本文提出模态解耦梯度下降方法，通过有效秩量化视觉退化并缓解过度压缩，保留预训练视觉知识并提升任务适应能力。

Comments 9 pages

DisasterInsight: A Multimodal Benchmark for Function-Aware and Grounded Disaster Assessment

DisasterInsight: 一种多模态基准，用于功能感知和基于事实的灾害评估

Sara Tehrani, Yonghao Xu, Leif Haglund, Amanda Berg, Michael Felsberg

机构 * Computer Vision Laboratory, Linköping University, Sweden（林奈大学计算机视觉实验室） ； Vantor, Linköping, Sweden（林奈瑞典） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 DisasterInsight提出一种多模态基准，用于评估视觉-语言模型在灾害分析任务中的性能，通过DI-Chat模型在损害识别和报告生成方面取得显著提升。

Comments Under review at ICPR 2026

MMR-Bench: A Comprehensive Benchmark for Multimodal LLM Routing

MMR-Bench: 多模态大语言模型路由的综合基准

Haoxuan Ma, Guannan Lai, Han-Jia Ye

机构 * School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 MMR-Bench提供多模态大语言模型路由的统一基准，通过可控环境和广泛任务集评估路由策略，实验证明多模态信号可提升路由性能并超越单模型表现。

Dynamic Role Assignment for Multi-Agent Debate

多智能体辩论中的动态角色分配

Miao Zhang, Junsik Kim, Siyuan Xiang, Jian Gao, Cheng Cao

机构 * New York University（纽约大学） ； Amazon AGI（亚马逊人工智慧） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文提出动态角色分配框架，通过元辩论选择适合的智能体，提升多代理辩论系统的性能。

DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding

DeepInsert: 早期层绕过以实现高效且高性能的多模态理解

Moulik Choraria, Xinbo Wu, Akhil Bhimaraju, Nitesh Sekhar, Yue Wu, Xu Zhang, Prateek Singhal, Lav R. Varshney

机构 * UIUC（伊利诺伊大学） ； Amazon（亚马逊） ； Capital One ； Apple（苹果） ； Stony Brook University（石溪大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 DeepInsert通过将多模态令牌插入模型中间层以绕过早期层，从而在降低训练和推理成本的同时保持或提升多模态语言模型的性能。

Comments To be presented at EACL 2026 (Main Conference)

CLIP's Visual Embedding Projector is a Few-shot Cornucopia

CLIP的视觉嵌入投影器是少样本宝库

Mohammad Fahes, Tuan-Hung Vu, Andrei Bursuc, Patrick Pérez, Raoul de Charette

机构 * Inria（法国国家信息与自动化技术研究所） ； Kyutai 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 ProLIP通过正则化投影矩阵提升CLIP在少样本分类及跨领域迁移中的性能，提供更高效的替代方案。

Comments WACV 2026

StyleDecoupler: Generalizable Artistic Style Disentanglement

StyleDecoupler: 可泛化艺术风格解耦

Zexi Jia, Jinchao Zhang, Jie Zhou

机构 * Wechat AI, Tencent, China（腾讯微信AI，腾讯，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 StyleDecoupler通过信息论方法分离多模态视觉模型中的纯风格特征，实现艺术风格的可泛化解耦，并在大规模艺术数据集上展示出强大的风格检索和生成模型评估能力。

Bears, all bears, and some bears. Language Constraints on Language Models' Inductive Inferences

熊、所有熊，以及一些熊。语言模型归纳推理中的语言约束

Sriram Padmanabhan, Siyuan Song, Kanishka Misra

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)

AI总结 该研究探讨了视觉语言模型在区分不同归纳推理类型时的语言约束，通过实验发现模型与人类在行为上具有一致性，差异源于归纳约束而非表层形式。