多模态大模型

MMP-Refer: Multimodal Path Retrieval-augmented LLMs For Explainable Recommendation

MMP-Refer: 多模态路径检索增强的可解释推荐LLM

Xiangchen Pan, Wei Wei

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 MMP-Refer通过多模态路径检索增强LLM，提升推荐系统的可解释性，采用联合残差编码获取多模态嵌入，并设计启发式搜索算法获取检索路径，通过轻量级协作适配器映射图编码至LLM语义空间，提升交互信息理解。

MuCo: Multi-turn Contrastive Learning for Multimodal Embedding Model

MuCo：多轮对比学习用于多模态嵌入模型

Geonmo Gu, Byeongho Heo, Jaemyung Yu, Jaehui Hwang, Taekyung Kim, Sangmin Lee, HeeJae Jun, Yoohoon Kang, Sangdoo Yun, Dongyoon Han

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出MuCo，一种基于对话的多轮对比学习框架，通过多轮查询-目标对提升多模态嵌入模型的训练效率和表征一致性。

Comments CVPR 2026 camera-ready; 22 pages

PRISM: Enhancing Protein Inverse Folding through Fine-Grained Retrieval on Structure-Sequence Multimodal Representations

PRISM：通过结构-序列多模态表示的细粒度检索增强蛋白质反向折叠

Sazan Mahbub, Souvik Kundu, Eric P. Xing

机构 * Carnegie Mellon University（卡内基梅隆大学） ； GenBio AI（基因组生物人工智能） ； Intel（英特尔） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 PRISM通过结构-序列多模态表示的细粒度检索提升蛋白质反向折叠性能，结合混合自交叉注意力解码器，实现更高效的序列生成与折叠预测。

Comments Published as a conference paper at International Conference on Learning Representation (ICLR) 2026

RFM-HRI : A Multimodal Dataset of Medical Robot Failure, User Reaction and Recovery Preferences for Item Retrieval Tasks

RFM-HRI : 一项医疗机器人故障、用户反应和恢复偏好的多模态数据集用于物品检索任务

Yashika Batra, Giuliano Pioldi, Promise Ekpo, Arman Sayatqyzy, Purnjay Maruur, Shalom Otieno, Kevin Ching, Angelique Taylor

机构 * Cornell University, Cornell Tech（康奈尔大学，康奈尔科技） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 RFM-HRI数据集通过多模态数据研究医疗机器人故障下的用户反应与恢复偏好，揭示故障对情感和控制的影响，并为安全关键场景的故障恢复提供基础。

Addressing Missing and Noisy Modalities in One Solution: Unified Modality-Quality Framework for Low-quality Multimodal Data

解决缺失和噪声模态：统一的模态质量框架用于低质量多模态数据

Sijie Mai, Shiqin Han, Haifeng Hu

机构 * Department of Computer Science（计算机科学系） ； South China Normal University（华南师范大学） ； School of Electronics and Information Technology（电子与信息学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出统一的模态质量框架，通过联合处理缺失和噪声模态，提升低质量多模态数据的模型鲁棒性。

IDProxy: Cold-Start CTR Prediction for Ads and Recommendation at Xiaohongshu with Multimodal LLMs

IDProxy：小红书广告与推荐中基于多模态大语言模型的冷启动CTR预测

Yubin Zhang, Haiming Xu, Guillaume Salha-Galvan, Ruiyan Han, Feiyang Xiao, Yanhua Huang, Li Lin, Yang Luo, Yao Hu

机构 * Xiaohongshu Inc.（小红书公司） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 IDProxy通过多模态大语言模型生成代理嵌入，解决广告和推荐系统中物品冷启动的CTR预测问题，实现与现有嵌入空间的对齐和端到端优化，已在小红书大规模应用。

Understanding protein function with a multimodal retrieval-augmented foundation model

通过多模态检索增强基础模型理解蛋白质功能

Timothy Fei Truong, Tristan Bepler

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 PoET-2通过多模态检索增强方法提升蛋白质功能理解与预测能力

Counterfactual Understanding via Retrieval-aware Multimodal Modeling for Time-to-Event Survival Prediction

基于检索感知多模态建模的反事实理解用于生存预测

Ha-Anh Hoang Nguyen, Tri-Duc Phan Le, Duc-Hoang Pham, Huy-Son Nguyen, Cam-Van Thi Nguyen, Duc-Trong Le, Hoang-Quynh Le

机构 * University of Engineering and Technology（工程大学） ； Hanoi Vietnam National University（河内越南国家大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 CURE通过多模态建模和潜在子组检索提升生存预测，优于现有基线模型。

BLUEPRINT Rebuilding a Legacy: Multimodal Retrieval for Complex Engineering Drawings and Documents

BLUEPRINT 重筑遗产：面向复杂工程图纸和文档的多模态检索

Ethan Seefried, Ran Eldegaway, Sanjay Das, Nathaniel Blanchard, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） ； Colorado State University（科罗拉多州立大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 Blueprint通过布局感知的多模态检索系统，提升对复杂工程图纸和文档的自动化检索能力，实现结构化元数据生成与跨设施搜索效率提升。

Comments 20 pages 8 main + 12 appendix + references

Fix Before Search: Benchmarking Agentic Query Visual Pre-processing in Multimodal Retrieval-augmented Generation

在搜索前修复：多模态检索增强生成中代理查询视觉预处理的基准测试

Jiankun Zhang, Shenglai Zeng, Kai Guo, Xinnan Dai, Hui Liu, Jiliang Tang, Yi Chang

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出V-QPP-Bench，通过代理决策任务评估视觉查询预处理的改进，揭示视觉不完美对检索性能的严重影响及训练方法的优化潜力。

LILaC: Late Interacting in Layered Component Graph for Open-domain Multimodal Multihop Retrieval

LILaC：基于分层组件图的开放域多模态多跳检索中的后期交互

Joohyung Yun, Doyup Lee, Wook-Shin Han

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 LILaC通过分层组件图和后期交互子图检索方法，提升开放域多模态多跳检索的精度与效率。

Comments Project page: https://lilac-emnlp2025.github.io/

Multimodal Generative Recommendation for Fusing Semantic and Collaborative Signals

多模态生成推荐：融合语义和协同信号

Moritz Vandenhirtz, Kaveh Hassani, Shervin Ghasemlou, Shuai Shao, Hamid Eghbalzadeh, Fuchun Peng, Jun Liu, Michael Louis Iuzzolino

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 MSCGRec通过融合语义和协同信号，提升大规模物品集上的推荐性能。

Failure is Feedback: History-Aware Backtracking for Agentic Traversal in Multimodal Graphs

失败是反馈：面向多模态图中代理遍历的历史感知回溯

Joohyung Yun, Doyup Lee, Wook-Shin Han

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 FiF通过历史感知回溯和经济理性的代理工作流程，提升多模态图中检索的适应性和效率。

Comments Project page: https://failureisfeedback.github.io/

DMAP: Human-Aligned Structural Document Map for Multimodal Document Understanding

DMAP: 人类对齐的多模态文档结构地图用于多模态文档理解

ShunLiang Fu, Yanxin Zhang, Yixin Xiang, Xiaoyu Du, Jinhui Tang

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 DMAP通过构建人类对齐的多模态文档结构地图，提升文档理解的结构化表示和多模态推理能力。

Comments WebConf 2026

ManuRAG: Multi-modal Retrieval Augmented Generation for Manufacturing Question Answering (Early Version)

ManuRAG：面向制造业问答的多模态检索增强生成

Yunqing Li, Zihan Dong, Farhad Ameri, Jianbang Zhang

专题命中 跨模态检索 ：multi-modal(title,abstract)

AI总结 ManuRAG通过多模态检索增强生成技术，提升制造业问答的准确性与可靠性，适用于多种领域。

Unified Multimodal and Multilingual Retrieval via Multi-Task Learning with NLU Integration

通过多任务学习与NLU集成实现统一的多模态和多语言检索

Xinyuan Zhang, Lina Zhang, Lisung Chen, Guangyao Liu, Shuai Nie, Jiaming Xu, Runyu Shi, Ying Huang, Guoquan Zhang

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出通过多任务学习与NLU集成实现统一的多模态和多语言检索，提升跨语言和跨模态的检索效率与准确性。

Comments 4 pages, 2 figures, submitted to IEEE ICASSP 2026

A Multimodal Assistive System for Product Localization and Retrieval for People who are Blind or have Low Vision

一种多模态辅助系统，用于帮助盲人或低视力者进行产品定位与检索

Ligao Ruan, Giles Hamilton-Fletcher, Mahya Beheshti, Todd E Hudson, Maurizio Porfiri, John-Ross Rizzo

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出一种多模态辅助系统，通过目标检测与视觉-语言模型结合，帮助盲人或低视力者自主完成产品定位与检索，提升其自主性和控制感。

Backdoor Attacks on Multi-modal Contrastive Learning

多模态对比学习中的后门攻击

Simi D Kuniyilh, Rita Machacy

专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)

AI总结 本文研究了多模态对比学习中的后门攻击问题，分析了攻击方法、威胁模型及防御措施，并探讨了该领域的发展挑战与未来方向。

MultiCFV: Detecting Control Flow Vulnerabilities in Smart Contracts Leveraging Multimodal Deep Learning

MultiCFV: 利用多模态深度学习检测智能合约中的控制流漏洞

Hongli Peng, Xiaoqi Li, Wenkai Li

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 MultiCFV通过融合多模态特征提升智能合约控制流漏洞检测与代码克隆识别的准确性

Low-exposure, high-quality multimodal speckle X-ray imaging via an intrinsic gradient-flow approach

低曝光高质量多模态散射X射线成像：基于内在梯度流方法

Jayvan Liu, Samantha J. Alloo, Max Langer, Konstantin M. Pavlov

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本研究提出了一种基于内在梯度流方法的改进算法，用于高效获取高质量的多模态散射X射线成像数据。

Comments 10 pages, 5 figures

Understanding the Gain from Data Filtering in Multimodal Contrastive Learning

理解数据过滤在多模态对比学习中的收益

Divyansh Pareek, Sewoong Oh, Simon S. Du

机构 * Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文研究了数据过滤在多模态对比学习中的收益，通过理论分析证明了过滤能有效降低误差，提升模型性能。

Comments 40 pages, 8 figures, 1 table. This work is accepted to the Thirty-ninth Annual Conference on Neural Information Processing Systems, 2025

PoultryTalk: A Multi-modal Retrieval-Augmented Generation (RAG) System for Intelligent Poultry Management and Decision Support

PoultryTalk: 一种用于智能家禽管理与决策支持的多模态检索增强生成（RAG）系统

Kapalik Khanal, Biswash Khatiwada, Stephen Afrifa, Ranjan Sapkota, Sanjay Shah, Frank Bai, Ramesh Bahadur Bist

专题命中 跨模态检索 ：multi-modal(title,abstract)

AI总结 PoultryTalk是一种多模态RAG系统，通过文本和图像交互为家禽管理提供实时专家指导，实现了高准确率和用户满意度。

MUSE: A Simple Yet Effective Multimodal Search-Based Framework for Lifelong User Interest Modeling

MUSE：一种简单而有效的基于多模态搜索的终身用户兴趣建模框架

Bin Wu, Feifan Yang, Zhangming Chan, Yu-Ran Gu, Jiawei Feng, Chao Yi, Xiang-Rong Sheng, Han Zhu, Jian Xu, Mang Ye, Bo Zheng

机构 * Wuhan University（武汉大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 MUSE通过简单有效的多模态搜索框架，实现超长用户行为序列建模，提升推荐系统指标性能。

Enhancing Medical Cross-Modal Hashing Retrieval using Dropout-Voting Mixture-of-Experts Fusion

通过Dropout投票混合专家融合增强医学跨模态哈希检索

Jaewon Ahn, Woosung Jang, Beakcheol Jang

专题命中 跨模态检索 ：cross-modal(title,abstract)

AI总结 本文提出MCMFH模型，通过Dropout投票和混合专家融合提升医疗跨模态哈希检索的准确性和效率。

Comments 5 pages, 1 figure, workshop paper (MMGenSR 2025)

Too Late to Recall: Explaining the Two-Hop Problem in Multimodal Knowledge Retrieval

太迟回忆：多模态知识检索中双跳问题的解释

Constantin Venhoff, Ashkan Khakzar, Sonia Joseph, Philip Torr, Neel Nanda

机构 * University of Oxford（牛津大学） ； McGill University（麦吉尔大学） ； Meta ； MATS 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文研究了多模态知识检索中双跳问题的影响，发现VLMs在处理视觉输入时过晚解决实体表示导致事实回忆性能下降，并提出通过修补和提示方法恢复性能。

Cross-Contrastive Clustering for Multimodal Attributed Graphs with Dual Graph Filtering

多模态属性图的跨对比聚类：带有双图过滤的多视图图聚类

Haoran Zheng, Renchi Yang, Hongtao Wang, Jianliang Xu

机构 * Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出双图过滤方案，通过特征去噪和三交叉对比学习提升多模态属性图的聚类性能。

Comments Accepted by SIGKDD 2026. The code is available at https://github.com/HaoranZ99/DGF

SAFE: Harnessing LLM for Scenario-Driven ADS Testing from Multimodal Crash Data

SAFE: 借助LLM从多模态碰撞数据中驱动场景的ADS测试

Siwei Luo, Yang Zhang, Yao Deng, Linfeng Liang, Xi Zheng

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 SAFE通过多模态提取和LLM技术，提升从碰撞数据中重建真实场景和检测安全违规的能力，实现高准确率和高效生成。

Comments The paper has been accepted for publication in the proceedings of the IEEE/ACM 48th International Conference on Software Engineering to be held 12-18 April 2026 (ICSE2026)

Toward Robust and Harmonious Adaptation for Cross-modal Retrieval

Haobin Li, Mouxing Yang, Xi Peng

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） ； National Key Laboratory of Fundamental Algorithms and Models for Engineering Numerical Simulation, Sichuan University（四川省工程数值模拟基础算法与模型国家重点实验室） 纠错

专题命中 跨模态检索 ：cross-modal(title,abstract)

Comments 19 pages, 6 figures

SARCH: Multimodal Search for Archaeological Archives

Nivedita Sinha, Bharati Khanijo, Sanskar Singh, Priyansh Mahant, Ashutosh Roy, Saubhagya Singh Bhadouria, Arpan Jain, Maya Ramanath

专题命中 跨模态检索 ：multimodal(title)；multi-modal(abstract)

LLM$^3$-DTI: A Large Language Model and Multi-modal data co-powered framework for Drug-Target Interaction prediction

Yuhao Zhang, Qinghong Guo, Qixian Chen, Liuwei Zhang, Hongyan Cui, Xiyi Chen

机构 * Polytechnic Institute（多技术学院） ； School of Pharmaceutical Sciences（药学学院） ； Innovation Center of Yangtze River Delta（长江三角洲创新中心） ； Agricultural Genomics Institute at Shenzhen（深圳农业基因组研究院） ； School of Public Health（公共卫生学院） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)