RAG / 检索增强生成

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。

AquiLLM: An Architecture for Supporting Tacit Knowledge Capture in Research Groups

AquiLLM：支持研究群体中隐性知识捕获的架构

Jack Stark, Srinath Saikrishnan, Vikram Seenivasan, Bernie Boscoe, Andrew Lizarraga, Tuan Do

机构 * Southern Oregon University（南俄勒冈大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 AquiLLM是一款采用开放权重模型的开源模块化RAG-LLM框架，经领域专家反馈优化了架构与功能，可支持研究群体捕获隐性知识，助力AI贴合科研实践。

Comments Accepted for publication in the NGEN-AI 2026 proceedings

Intelligent Multimodal Retrieval and Reasoning for Geospatial Knowledge Discovery on the I-GUIDE Platform

面向I-GUIDE平台地理空间知识发现的智能多模态检索与推理

Yunfan Kang, Erick Li, Furqan Baig, Wei Hu, Alexander Michels, Anand Padmanabhan, Shaowen Wang

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR

AI总结 提出I-GUIDE Smart Search系统，结合多模态索引与知识图谱的迭代RAG管道，实现地理空间异构数据的语义检索、图谱溯源和对话合成，在单A100部署下支持约100并发用户，提升检索覆盖与答案质量。

CourseTimeQA: A Lecture-Video Benchmark and a Latency-Constrained Cross-Modal Fusion Method for Timestamped QA

CourseTimeQA: 一个讲座视频基准和一种用于时间戳问答的延迟约束跨模态融合方法

Vsevolod Kovalev, Parteek Kumar

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retriever(abstract)；分类 cs.CL

AI总结 针对教育讲座视频中的时间戳问答任务，在单GPU延迟/内存预算下，提出了CourseTimeQA基准和一种轻量级延迟约束跨模态检索器CrossFusion-RAG，通过冻结编码器、浅层查询无关交叉注意力和时间一致性正则化，在nDCG@10和MRR上分别提升0.10和0.08，中位端到端延迟约1.55秒。

Comments This paper is being withdrawn because an error in our measurement procedure produced incorrect values in our reported retrieval results (Tables I, II, V, and VI, and the corresponding headline figures in the Abstract). Several of our empirical claims depend on these measurements and therefore do not hold as stated

CodeMMR: Bridging Natural Language, Code, and Image for Unified Retrieval

CodeMMR：连接自然语言、代码和图像以实现统一检索

Jiahui Geng, Qing Li, Fengyu Cai, Fakhri Karray

机构 * MBZUAI ； Linköping University（林雪平大学） ； University of Groningen（格罗宁根大学） ； TU Darmstadt（图宾根大学） 纠错

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文提出CodeMMR，通过指令式多模态对齐，将自然语言、代码和图像嵌入共享语义空间，实现跨模态和语言的强泛化，优于基线模型，并提升RAG中的代码生成精度与视觉 grounding。

Journal ref CVPR 2026

ARIA: Adaptive Retrieval Intelligence Assistant -- A Multimodal RAG Framework for Domain-Specific Engineering Education

ARIA：自适应检索智能助手——面向领域特定工程教育的多模态RAG框架

Yue Luo, Dibakar Roy Sarkar, Rachel Herring Sangree, Somdatta Goswami

机构 * Dalian University of Technology（大连理工大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

AI总结 ARIA通过多模态内容提取管道和e5-large-v2模型，实现领域特定工程教育的智能教学助手，展现高精度和教学一致性，验证了其在课程相关问题上的高准确率和响应质量。

One Pic is All it Takes: Poisoning Visual Document Retrieval Augmented Generation with a Single Image

一张图片足矣：通过单张图片对视觉文档检索增强生成进行污染攻击

Ezzeldin Shereen, Dan Ristea, Shae McFadden, Burak Hasircioglu, Vasilios Mavroudis, Chris Hicks

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University College London（伦敦大学学院） 纠错

专题命中 多模态RAG ：retrieval augmented generation(title)；retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL

AI总结 本文研究了视觉文档检索增强生成（VD-RAG）对污染攻击的脆弱性，通过单张恶意图片实现针对性和通用性攻击，展示了VD-RAG在目标和通用设置下的漏洞，但在黑盒攻击下表现出一定的鲁棒性。

Comments Published in Transactions on Machine Learning Research (03/2026)

Journal ref Transactions on Machine Learning Research (TMLR), 2026

M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG

M4-RAG：大规模多语言多文化多模态检索增强生成

David Anugraha, Patrick Amadeus Irawan, Anshul Singh, En-Shiun Annie Lee, Genta Indra Winata

机构 * Stanford University（斯坦福大学） ； MBZUAI ； Indian Institute of Science（印度科学研究院） ； Ontario Tech University（安大略技术大学） ； University of Toronto（多伦多大学） ； Capital One 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 M4-RAG提出一个覆盖42种语言、56种方言和189个国家的多模态大规模基准，通过构建8万多个文化多样化的图像-问题对，评估跨语言和模态的检索增强视觉问答性能，揭示模型大小与检索效果的不匹配问题。

Comments Accepted to CVPR 2026

MARC: Multimodal and Multi-Task Agentic Retrieval-Augmented Generation for Cold-Start Recommender System

Seung Hwan Cho, Yujin Yang, Danik Baeck, Minjoo Kim, Young-Min Kim, Heejung Lee, Sangjin Park

机构 * Department of Industrial Data Engineering, Hanyang University, Republic of Korea（工业数据工程系，翰阳大学） ； School of Interdisciplinary Industrial Studies, Hanyang University, Republic of Korea（跨学科工业研究学院，翰阳大学） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.IR、cs.AI

Comments 13 pages, 2 figures, Accepted at RDGENAI at CIKM 2025 workshop

Fine-Tuning MedGemma for Clinical Captioning to Enhance Multimodal RAG over Malaysia CPGs

Lee Qi Zun, Mohamad Zulhilmi Bin Abdul Halim, Goh Man Fye

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Automating construction safety inspections using a multi-modal vision-language RAG framework

Chenxin Wang, Elyas Asadi Shamsabadi, Zhaohui Chen, Luming Shen, Alireza Ahmadian Fard Fini, Daniel Dias-da-Costa

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

Comments 33 pages, 11 figures, 7 tables

Provenance Analysis of Archaeological Artifacts via Multimodal RAG Systems

Tuo Zhang, Yuechun Sun, Ruiliang Liu

机构 * Museus ； University of Science and Technology of China（中国科学技术大学） ； British Museum（大英博物馆） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Agentic AI with Orchestrator-Agent Trust: A Modular Visual Classification Framework with Trust-Aware Orchestration and RAG-Based Reasoning

Konstantinos I. Roumeliotis, Ranjan Sapkota, Manoj Karkee, Nikolaos D. Tselikas

机构 * University of the Peloponnese, Department of Informatics and Telecommunications（希腊皮埃蒙特大学信息与电信系） ； Cornell University, Department of Biological and Environmental Engineering（康奈尔大学生物与环境工程系） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AlzheimerRAG: Multimodal Retrieval Augmented Generation for Clinical Use Cases using PubMed articles

Aritra Kumar Lahiri, Qinmin Vivian Hu

机构 * Department of Computer Science, Toronto Metropolitan University（计算机科学系，多伦多 Metropolitan 大学） 纠错

专题命中 多模态RAG ：retrieval augmented generation(title)；retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL

Journal ref Machine Learning and Knowledge Extraction. 2025; 7(3):89

Multimodal RAG Enhanced Visual Description

Amit Kumar Jaiswal, Haiming Liu, Ingo Frommholz

机构 * Indian Institute of Technology (BHU)（印度理工学院（BHU）） ； University of Southampton（南安普顿大学） ； Modul University Vienna（维也纳应用科技大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Comments Accepted by ACM CIKM 2025. 5 pages, 2 figures

Vision-Guided Chunking Is All You Need: Enhancing RAG with Multimodal Document Understanding

Vishesh Tripathi, Tanmay Odapally, Indraneel Das, Uday Allu, Biddwan Ahmed

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Comments 11 pages, 1 Figure, 1 Table

Who is in the Spotlight: The Hidden Bias Undermining Multimodal Retrieval-Augmented Generation

Jiayu Yao, Shenghua Liu, Yiwei Wang, Lingrui Mei, Baolong Bi, Yuyao Ge, Zhecheng Li, Xueqi Cheng

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学梅德福分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.CL、cs.AI

CollEX -- A Multimodal Agentic RAG System Enabling Interactive Exploration of Scientific Collections

Florian Schneider, Narges Baba Ahmadi, Niloufar Baba Ahmadi, Iris Vogel, Martin Semmann, Chris Biemann

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

Taxonomic Reasoning for Rare Arthropods: Combining Dense Image Captioning and RAG for Interpretable Classification

Nathaniel Lesperance, Sujeevan Ratnasingham, Graham W. Taylor

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Comments 12 pages, 3 figures

EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation

Yinghao Zhu, Changyu Ren, Zixiang Wang, Xiaochen Zheng, Shiyun Xie, Junlan Feng, Xi Zhu, Zhoujun Li, Liantao Ma, Chengwei Pan

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments CIKM 2024 Full Research Paper; arXiv admin note: text overlap with arXiv:2402.07016

Reducing Hallucinations of Medical Multimodal Large Language Models with Visual Retrieval-Augmented Generation

Yun-Wei Chu, Kai Zhang, Christopher Malon, Martin Renqiang Min

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments GenAI4Health - AAAI '25

A General Retrieval-Augmented Generation Framework for Multimodal Case-Based Reasoning Applications

Ofir Marom

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 7 figures

Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications

Monica Riedler, Stefan Langer

专题命中 多模态RAG ：RAG(title,abstract)；retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

RULE: Reliable Multimodal RAG for Factuality in Medical Vision Language Models

Peng Xia, Kangyu Zhu, Haoran Li, Hongtu Zhu, Yun Li, Gang Li, Linjun Zhang, Huaxiu Yao

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2024 main

RAGAR, Your Falsehood Radar: RAG-Augmented Reasoning for Political Fact-Checking using Multimodal Large Language Models

M. Abdul Khaliq, P. Chang, M. Ma, B. Pflugfelder, F. Miletić

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Comments 8 pages, submitted to ACL Rolling Review June 2024

Towards Retrieval Augmented Generation over Large Video Libraries

Yannis Tevissen, Khalil Guetari, Frédéric Petitpont

专题命中 多模态RAG ：retrieval augmented generation(title,abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted in IEEE HSI 2024

Video Enriched Retrieval Augmented Generation Using Aligned Video Captions

Kevin Dela Rosa

专题命中 多模态RAG ：retrieval augmented generation(title,abstract)；RAG(abstract)；分类 cs.IR、cs.AI

Comments SIGIR 2024 Workshop on Multimodal Representation and Retrieval (MRR 2024)

MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

MammoWise：多模型本地RAG流水线用于乳腺X线摄影报告生成

Raiyan Jahangir, Nafiz Imtiaz Khan, Amritanand Sudheerkumar, Vladimir Filkov

机构 * University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval augmented generation(abstract)；分类 cs.IR

AI总结 MammoWise是一种本地多模型流水线，通过多任务分类和检索增强生成技术，实现乳腺X线摄影报告的高准确度生成与分类。

Comments arXiv preprint (submitted 25 Feb 2026). Local multi-model pipeline for mammography report generation + classification using prompting, multimodal RAG (ChromaDB), and QLoRA fine-tuning; evaluates MedGemma, LLaVA-Med, Qwen2.5-VL on VinDr-Mammo and DMID; reports BERTScore/ROUGE-L and classification metrics

RoboHarness: A Memory-Augmented Policy Harness for Vision-Language-Action Model Robustness via In-Context Adaptation

SOMA：通过上下文适应提升视觉-语言-动作模型鲁棒性的战略编排与内存增强系统

Zhuoran Li, Zhiyang Li, Kaijun Zhou, Jinyu Gu

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)

AI总结 SOMA通过对比双记忆检索增强生成（RAG）、归因驱动大语言模型（LLM）编排器和可扩展模型上下文协议（MCP）干预，提升视觉-语言-动作模型在分布外任务中的鲁棒性，实验表明其在长周期任务链中提升了89.1%的绝对成功率。

Comments 8 pages, 10 figures, 4 tables. Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). Project page and source code: https://github.com/LZY-1021/RoboHarness

Local Brushstroke Quality Assessment via Vision-Language Feedback

通过视觉-语言反馈进行局部笔触质量评估

Mio Mitamura, Hirokatsu Kataoka

机构 * Tokyo Institute of Science High School（东京理科大学附属高中） ； National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所） ； Visual Geometry Group, University of Oxford（牛津大学视觉几何组） 纠错

专题命中 多模态RAG ：RAG(summary_cn,abstract)；retrieval-augmented generation(abstract)

AI总结 研究多模态语言模型能否评估书法局部笔触质量并生成反馈，构建评估框架让三个模型评估图像对并与专家打分比较，还研究了RAG变体，结果显示模型有一定绝对分数准确性，但与专家排名相关性不强，RAG有正负两方面表现。

Comments 6 pages, 8 figures. Accepted to the SAUAFG Workshop at CVPR 2026