AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2025-12-04 至 2025-12-04 共收录 3 篇信号源：cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 跨模态检索 3 篇

2411.05826 2025-12-04 cs.CV cs.AI cs.LG 86%

From Pixels to Prose: Advancing Multi-Modal Language Models for Remote Sensing

从像素到 prose：推进遥感多模态语言模型

Xintian Sun, Benji Peng, Charles Zhang, Fei Jin, Qian Niu, Junyu Liu, Keyu Chen, Ming Li, Pohsun Feng, Ziqian Bi, Ming Liu, Xinyuan Song, Yichao Zhang

机构 * Simon Fraser University（西蒙弗雷泽大学）； University of Minnesota - Twin Cities（明尼苏达大学双城分校）； Kyoto University（京都大学）； Georgia Institute of Technology（佐治亚理工学院）； National Taiwan Normal University（台湾师范大学）； Purdue University（普渡大学）； Emory University（埃默里大学）； The University of Texas at Dallas（德克萨斯大学达拉斯分校）

专题命中跨模态检索：multi-modal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结本文探讨了多模态语言模型在遥感中的应用，分析了其技术基础、挑战及未来发展方向，强调了其在环境监测和灾害响应中的重要作用。

Comments 10 pages, 1 figure

2512.03514 2025-12-04 cs.IR cs.AI cs.CL cs.CV 85%

M3DR: Towards Universal Multilingual Multimodal Document Retrieval

M3DR：迈向通用多语言多模态文档检索

Adithya S Kolavi, Vyoman Jain

机构 * CognitiveLab（认知实验室）

专题命中跨模态检索：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 M3DR提出了一种通用多语言多模态文档检索框架，通过对比训练实现跨语言和跨模态对齐，显著提升了多语言场景下的检索性能。

2512.03276 2025-12-04 cs.LG 78%

Too Late to Recall: Explaining the Two-Hop Problem in Multimodal Knowledge Retrieval

太迟回忆：多模态知识检索中双跳问题的解释

Constantin Venhoff, Ashkan Khakzar, Sonia Joseph, Philip Torr, Neel Nanda

机构 * University of Oxford（牛津大学）； McGill University（麦吉尔大学）； Meta ； MATS

专题命中跨模态检索：multimodal(title,abstract)

AI总结本文研究了多模态知识检索中双跳问题的影响，发现VLMs在处理视觉输入时过晚解决实体表示导致事实回忆性能下降，并提出通过修补和提示方法恢复性能。