视觉大模型 / VLM

Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space

分析扩散模型和自回归视觉语言模型在多模态嵌入空间中的表现

Zihang Wang, Siyue Zhang, Yilun Zhao, Jingyi Yang, Tingyu Song, Anh Tuan Luu, Chen Zhao

机构 * Nanyang Technological University（南洋理工大学） ； Yale University（耶鲁大学） ； NYU Shanghai（纽约大学上海分校） ； Alibaba-NTU Singapore Joint Research Institute（阿里-国立新加坡大学联合研究机构） ； University of the Chinese Academy of Sciences（中国科学院大学） ； Center for Data Science（数据科学中心） ； New York University（纽约大学） 纠错

专题命中 视觉问答 ：vision language model(title,abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态扩散模型在多模态嵌入任务中的表现，发现其在分类、VQA和检索任务中均逊于自回归VLM。

Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering

具有相关性的多上下文对比解码用于检索增强的视觉问答

Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； Google Cloud AI（谷歌云人工智能） 纠错

专题命中 视觉问答 ：visual question answering(title)；vision language model(abstract)；分类 cs.CV

AI总结 RMCD通过结合多个相关上下文并抑制无关上下文的负面影响，提升检索增强视觉问答的性能。

Comments WACV 2026

SMMILE: An Expert-Driven Benchmark for Multimodal Medical In-Context Learning

SMMILE：一个多模态医学上下文学习的专家驱动基准

Melanie Rieff, Maya Varma, Ossian Rabow, Subathra Adithan, Julie Kim, Ken Chang, Hannah Lee, Nidhi Rohatgi, Christian Bluethgen, Mohamed S. Muneer, Jean-Benoit Delbrouck, Michael Moor

机构 * ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） ； Lund University（隆德大学） ； Jawaharlal Institute of Postgraduate Medical Education and Research（贾瓦哈拉尔·尼赫鲁医学教育与研究学院） ； UCSF（加州大学旧金山分校） ； University of Zurich（苏黎世大学） ； University Hospital Zurich（苏黎世大学医院） ； HOPPR 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.LG

AI总结 SMMILE是一个专家驱动的多模态医学上下文学习基准，评估了15个MLLMs在医学任务中的多模态ICL能力，发现其表现有限且易受无关示例和最近性偏见影响。

Comments NeurIPS 2025 (Datasets & Benchmarks Track)