多模态大模型

Exploration of Augmentation Strategies in Multi-modal Retrieval-Augmented Generation for the Biomedical Domain: A Case Study Evaluating Question Answering in Glycobiology

多模态检索增强生成在生物医学领域中的增强策略探索：一项评估糖生物学问答的案例研究

Primož Kocbek, Azra Frkatović-Hodžić, Dora Lalić, Vivian Hui, Gordan Lauc, Gregor Štiglic

机构 * University of Maribor, Faculty of Health Sciences（莫拉维亚大学健康科学学院） ； University of Ljubljana, Medical Factory（卢布尔雅那大学医疗工厂） ； Genos Ltd（基因公司） ； Center for Smart Health, School of Nursing The Hong Kong Polytechnic University（智能健康中心护理学院香港理工大学） ； University of Zagreb, Faculty of Pharmacy（扎格雷布大学药学院） ； Usher Institute University of Edinburgh（埃德蒙顿大学usher研究所） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CL

AI总结 本文研究了多模态检索增强生成在生物医学领域中的增强策略，通过实验发现多模态转换和视觉检索在不同模型中均能提升问答准确率。

Comments Will be published in IEEE BigData 2025 proceedings. Contains 10 pages, 1 figure, 5 tables

Peek-a-Boo Reasoning: Contrastive Region Masking in MLLMs

peek-a-boo推理：多模态大语言模型中的对比区域遮挡

Isha Chaturvedi, Anjana Nair, Yushen Li, Adhitya Rajendra Kumar, Kevin Zhu, Sunishchal Dev, Ashwinee Panda, Vasu Sharma

机构 * Algoverse AI Research（Algoverse AI研究机构） ； Princeton University（普林斯顿大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 对比区域遮挡通过遮挡视觉区域并对比推理轨迹，揭示多模态大语言模型在推理过程中的依赖模式和失败模式。

DAFM: Dynamic Adaptive Fusion for Multi-Model Collaboration in Composed Image Retrieval

DAFM：动态自适应融合用于复合图像检索中的多模型协作

Yawei Cai, Jiapeng Mi, Nan Ji, Haotian Rong, Yawei Zhang, Zhangti Li, Wenbin Guo, Rensong Xie

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 DAFM通过动态自适应融合多模型优势，提升复合图像检索的准确性和鲁棒性。

Comments We discovered an error that affects the main conclusions, so we decided to withdraw the paper

Retrieval-Augmented Generation in Biomedicine: A Survey of Technologies, Datasets, and Clinical Applications

生物医学中的检索增强生成：技术、数据集和临床应用的综述

Jiawei He, Boya Zhang, Hossein Rouhizadeh, Yingjian Chen, Rui Yang, Jin Lu, Xudong Chen, Nan Liu, Douglas Teodoro

专题命中 跨模态检索 ：multimodal(abstract)

AI总结 本文综述了生物医学中检索增强生成技术的发展，探讨了其在临床应用中的挑战与未来发展方向。

Comments 49 pages