多模态大模型

RETLLM: Training and Data-Free MLLMs for Multimodal Information Retrieval

RETLLM: 无需训练和数据的多模态信息检索中的大规模语言模型训练

Dawei Su, Dongsheng Wang

机构 * College of Computer Science ； Software Engineering \ University, Shenzhen, China 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)

AI总结 RetLLM通过无需训练和数据的框架，利用MLLMs的多模态推理能力提升多模态信息检索性能。

Comments 5 pages, 2 figure

RAGdb: A Zero-Dependency, Embeddable Architecture for Multimodal Retrieval-Augmented Generation on the Edge

RAGdb: 一种无依赖、可嵌入的多模态检索增强生成边缘计算架构

Ahmed Bin Khalid

机构 * SKAS IT 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 RAGdb通过单文件SQLite容器实现多模态检索增强生成，无需GPU推理，提升边缘计算效率与数据主权

Comments 6 pages, 2 tables

Understanding protein function with a multimodal retrieval-augmented foundation model

通过多模态检索增强基础模型理解蛋白质功能

Timothy Fei Truong, Tristan Bepler

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 PoET-2通过多模态检索增强方法提升蛋白质功能理解与预测能力

SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs

SoPE: 基于球坐标的位置嵌入：增强3D大视觉-语言模型的空间感知

Guanting Ye, Qiyan Zhao, Wenhao Yu, Liangyu Yuan, Mingkai Li, Xiaofeng Zhang, Jianmin Ji, Yanyong Zhang, Qing Jiang, Ka-Veng Yuen

机构 * University of Macau（澳门大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） ； Hefei University of Technology（合肥工业大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 SoPE通过基于球坐标的位置嵌入提升3D LVLMs的空间感知能力，结合多尺度频率混合策略，增强几何表示的一致性和表达性。

Comments CVPR 2026

Index Light, Reason Deep: Deferred Visual Ingestion for Visual-Dense Document Question Answering

索引轻，推理深：延迟视觉摄入用于视觉密集文档问答

Tao Xu

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出延迟视觉摄入框架，通过分层图号聚类构建索引，利用BM25检索和VLM分析提升视觉密集文档问答性能。

Comments 24 pages, 4 figures, 7 tables