多模态大模型

M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision

Che Liu, Zheng Jiang, Chengyu Fang, Heng Guo, Yan-Jie Zhou, Jiaqi Qu, Le Lu, Minfeng Xu

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Imperial College London（帝国理工学院） ； Tsinghua University（清华大学） ； Hupan Lab（华潘实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments Technical Report

AlzheimerRAG: Multimodal Retrieval Augmented Generation for Clinical Use Cases using PubMed articles

Aritra Kumar Lahiri, Qinmin Vivian Hu

机构 * Department of Computer Science, Toronto Metropolitan University（计算机科学系，多伦多 Metropolitan 大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

Journal ref Machine Learning and Knowledge Extraction. 2025; 7(3):89

Street-Level Geolocalization Using Multimodal Large Language Models and Retrieval-Augmented Generation

Yunus Serhat Bicakci, Joseph Shingleton, Anahid Basiri

机构 * Vocational School of Social Sciences, Marmara University（马尔马拉大学社会科学职业学校） ； Geospatial Data Science Group, School of Geographical & Earth Sciences, University of Glasgow（格拉斯哥大学地理与地球科学学院空间数据科学小组） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AQFusionNet: Multimodal Deep Learning for Air Quality Index Prediction with Imagery and Sensor Data

Koushik Ahmed Kushal, Abdullah Al Mamun

机构 * Department of Computer Science Clarkson University（计算机科学系克拉克逊大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 8 pages, 5 figures, 2 tables

RAMer: Reconstruction-based Adversarial Model for Multi-party Multi-modal Multi-label Emotion Recognition

Xudong Yang, Yizhang Zhu, Hanfeng Liu, Zeyi Wen, Nan Tang, Yuyu Luo

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments 9 pages

Empowering Large Language Model for Sequential Recommendation via Multimodal Embeddings and Semantic IDs

Yuhao Wang, Junwei Pan, Xinhang Li, Maolin Wang, Yuan Wang, Yue Liu, Dapeng Liu, Jie Jiang, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Tencent Inc.（腾讯公司） ； Tsinghua University（清华大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

Comments CIKM 2025 Full Research Paper

EVENT-Retriever: Event-Aware Multimodal Image Retrieval for Realistic Captions

Dinh-Khoi Vo, Van-Loc Nguyen, Minh-Triet Tran, Trung-Nghia Le

机构 * University of Science, VNU-HCM（越南国家大学科学学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

Comments ACM Multimedia 2025

PS-ReID: Advancing Person Re-Identification and Precise Segmentation with Multimodal Retrieval

Jincheng Yan, Yun Wang, Xiaoyan Luo, Yu-Wing Tai

机构 * School of Astronautics, Beihang University（北京航空航天大学航天学院） ； Department of Computer Science, Dartmouth College（达特茅斯学院计算机科学系） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

Inclusion Arena: An Open Platform for Evaluating Large Foundation Models with Real-World Apps

Kangyu Wang, Hongliang He, Lin Liu, Ruiqi Liang, Zhenzhong Lan, Jianguo Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments Our platform is publicly accessible at https://www.tbox.cn/about/model-ranking

Preserving Vector Space Properties in Dimensionality Reduction: A Relationship Preserving Loss Framework

Eddi Weinwurm, Alexander Kovalenko

机构 * Department of Applied Mathematics, Faculty of Information Technology, Czech Technical University in Prague（应用数学系，信息科技学院，布拉格捷克技术大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

Uncertainty-Aware Prototype Semantic Decoupling for Text-Based Person Search in Full Images

Zengli Luo, Canlong Zhang, Zhixin Li, Zhiwen Wang, Chunrong Wei

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

Comments 9 pages, 5 figures. Accepted by the 18th International Conference on Knowledge Science, Engineering and Management (KSEM 2025)

PBI-Attack: Prior-Guided Bimodal Interactive Black-Box Jailbreak Attack for Toxicity Maximization

Ruoxi Cheng, Yizhong Ding, Shuirong Cao, Ranjie Duan, Xiaoshuang Jia, Shaowei Yuan, Simeng Qin, Zhiqiang Wang, Xiaojun Jia

机构 * Alibaba Group（阿里巴巴集团） ； Beijing Electronic Science and Technology Institute（北京电子科技研究所） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； Northeastern University（东北大学） ； BraneMatrix AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.AI

Comments Prior-Guided Bimodal Interactive Black-Box Jailbreak Attack for Toxicity Maximization

OCR Hinders RAG: Evaluating the Cascading Impact of OCR on Retrieval-Augmented Generation

Junyuan Zhang, Qintong Zhang, Bin Wang, Linke Ouyang, Zichen Wen, Ying Li, Ka-Ho Chow, Conghui He, Wentao Zhang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Peking University（北京大学） ； The University of HongKong（香港大学） ； Shanghai Jiaotong University（上海交通大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

MARS: Modality-Aligned Retrieval for Sequence Augmented CTR Prediction

Yutian Xiao, Shukuan Wang, Binhao Wang, Zhao Zhang, Yanze Zhang, Shanqi Liu, Chao Feng, Xiang Li, Fuzhen Zhuang

专题命中 跨模态检索 ：multimodal(abstract)

A Generalization Theory for Zero-Shot Prediction

Ronak Mehta, Zaid Harchaoui

机构 * University of Washington（华盛顿大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)

Comments Published at ICML '25 (Oral)