RAG / 检索增强生成

Comparison of Text-Based and Image-Based Retrieval in Multimodal Retrieval Augmented Generation Large Language Model Systems

多模态检索增强生成大语言模型系统中基于文本和基于图像的检索比较

Elias Lumer, Alex Cardenas, Matt Melich, Myles Mason, Sara Dieter, Vamse Kumar Subbiah, Pradeep Honaganahalli Basavaraju, Roberto Hernandez

机构 * PricewaterhouseCoopers U.S.（普华永道美国公司） 纠错

专题命中 多模态RAG ：retrieval augmented generation(title)；retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

AI总结 本文比较了多模态RAG系统中基于文本和基于图像的检索方法，发现直接多模态嵌入检索在性能和准确性上优于基于LLM总结的方法。

Video-RAG: Visually-aligned Retrieval-Augmented Long Video Comprehension

Video-RAG: 基于视觉对齐的检索增强长视频理解

Yongdong Luo, Xiawu Zheng, Guilin Li, Shukang Yin, Haojia Lin, Chaoyou Fu, Jinfa Huang, Jiayi Ji, Fei Chao, Jiebo Luo, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学） ； Nanjing University（南京大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 Video-RAG通过视觉对齐的辅助文本提升长视频理解性能，无需训练且兼容性强，显著优于专有模型。

Comments Accepted at NeurIPS 2025. Camera-ready version

3Dify: a Framework for Procedural 3D-CG Generation Assisted by LLMs Using MCP and RAG

Shun-ichiro Hayashi, Daichi Mukunoki, Tetsuya Hoshino, Satoshi Ohshima, Takahiro Katagiri

机构 * Graduate School of Informatics（信息科学研究生学校） ； Nagoya University（名古屋大学） ； Research Institute for Information Technology（信息科学技术研究所） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

VAT-KG: Knowledge-Intensive Multimodal Knowledge Graph Dataset for Retrieval-Augmented Generation

Hyeongcheol Park, Jiyoung Seo, MinHyuk Jang, Hogun Park, Ha Dam Baek, Gyusam Chang, Hyeonsoo Im, Sangpil Kim

机构 * Korea University（韩国大学） ； Sungkyunkwan University（全北大学） ； Hanwha Systems（韩华系统） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(title)；retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments Project Page: https://vatkg.github.io/

SceneRAG: Scene-level Retrieval-Augmented Generation for Video Understanding

Nianbo Zeng, Haowen Hou, Fei Richard Yu, Si Shi, Ying Tiffany He

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室） ； College of Computer Science and Software Engineering（计算机科学与软件工程学院） 纠错

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.AI

MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems

Peiru Yang, Jinhua Yin, Haoran Zheng, Xueying Bai, Huili Wang, Yufei Sun, Xintian Li, Shangguang Wang, Yongfeng Huang, Tao Qi

机构 * Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

Retrieval-Augmented Perception: High-Resolution Image Perception Meets Visual RAG

Wenbin Wang, Yongcheng Jing, Liang Ding, Yingjie Wang, Li Shen, Yong Luo, Bo Du, Dacheng Tao

机构 * Wuhan University（武汉大学） ； Nanyang Technological University（南洋理工大学） ； The University of Sydney（悉尼大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL

Multimodal RAG-driven Anomaly Detection and Classification in Laser Powder Bed Fusion using Large Language Models

Kiarash Naghavi Khanghah, Zhiling Chen, Lela Romeo, Qian Yang, Rajiv Malhotra, Farhad Imani, Hongyi Xu

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

Comments ASME 2025 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference IDETC/CIE2025, August 17-20, 2025, Anaheim, CA (IDETC2025-168615)

Logic-RAG: Augmenting Large Multimodal Models with Visual-Spatial Knowledge for Road Scene Understanding

Imran Kabir, Md Alimoor Reza, Syed Billah

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.CL

Comments ICLR 2025

Generating a Low-code Complete Workflow via Task Decomposition and RAG

Orlando Marquez Ayala, Patrice Béchard

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

Comments Under review; 12 pages, 8 figures

Self-adaptive Multimodal Retrieval-Augmented Generation

Wenjia Zhai

专题命中 多模态RAG ：retrieval-augmented generation(title,abstract)；RAG(abstract)；分类 cs.CL

iRAG: Advancing RAG for Videos with an Incremental Approach

Md Adnan Arefeen, Biplob Debnath, Md Yusuf Sarwar Uddin, Srimat Chakradhar

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.IR

Comments Accepted in CIKM 2024

REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

Yinghao Zhu, Changyu Ren, Shiyun Xie, Shukai Liu, Hangyuan Ji, Zixiang Wang, Tao Sun, Long He, Zhoujun Li, Xi Zhu, Chengwei Pan

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)；分类 cs.AI

Dialogue to Detection: A Multimodal Hybrid NLP Pipeline for Insurance Fraud Detection

对话到检测：用于保险欺诈检测的多模态混合 NLP 流水线

Muhammad Shakeel Akram, Amal Htait, Abdul Hamid Sadka, Emma Meisingseth, Karishma Jaitly

机构 * Aston University（阿斯顿大学） ； Domestic & General 纠错

专题命中 多模态RAG ：RAG(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出一种合成多模态框架，结合ASR、NER、LLM-RAG和说话人嵌入，通过规则风险评分检测保险欺诈中的叙述复用、结构不一致和跨案件语音重复。

Comments 10 pages, 8 figures, 2 tables

WikiSeeker: Rethinking the Role of Vision-Language Models in Knowledge-Based Visual Question Answering

WikiSeeker: 重新思考视觉语言模型在基于知识的视觉问答中的作用

Yingjian Zhu, Xinming Wang, Kun Ding, Ying Wang, Bin Fan, Shiming Xiang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室 (MAIS)） 纠错

专题命中 多模态RAG ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；retriever(abstract)；分类 cs.IR、cs.CL

AI总结 本文提出WikiSeeker框架，通过引入多模态检索器和重新定义视觉语言模型的角色，提升多模态检索性能和答案质量，实现在EVQA、InfoSeek和M2KR数据集上的最优表现。

Comments Accepted by ACL 2026 Findings

UniRain: Unified Image Deraining with RAG-based Dataset Distillation and Multi-objective Reweighted Optimization

UniRain: 基于RAG的数据蒸馏和多目标重加权优化的统一图像去雨

Qianfeng Yang, Qiyuan Guan, Xiang Chen, Jiyu Jin, Guiyue Jin, Jiangxin Dong

机构 * Dalian Polytechnic University（大连理工大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval augmented generation(abstract)

AI总结 UniRain通过基于RAG的数据蒸馏和多目标重加权优化，实现统一图像去雨，有效应对不同雨损场景。

Comments Accepted by CVPR 2026; Project Page: https://github.com/QianfengY/UniRain

Multimodal Adaptive Retrieval Augmented Generation through Internal Representation Learning

多模态自适应检索增强生成通过内部表示学习

Ruoshuang Du, Xin Sun, Qiang Liu, Bowen Song, Zhongqi Chen, Weiqiang Wang, Liang Wang

机构 * Shanghaitech University School of Information Science（上海科技大学信息科学学院） ； Chinese Academy of Sciences Institute of Automation（中国科学院自动化研究所） 纠错

专题命中 多模态RAG ：retrieval augmented generation(title,abstract)；RAG(abstract)

AI总结 本文提出MMA-RAG，通过动态评估模型内部知识置信度，提升视觉问答系统在多模态场景下的检索增强生成性能。

Comments 8 pages, 6 figures

Concept-Enhanced Multimodal RAG: Towards Interpretable and Accurate Radiology Report Generation

概念增强的多模态RAG：迈向可解释且准确的放射科报告生成

Marco Salmè, Federico Siciliano, Fabrizio Silvestri, Paolo Soda, Rosa Sicilia, Valerio Guarrasi

机构 * Department of Engineering（工程系） ； Research Unit of Artificial Intelligence and Computer Systems（人工智能与计算机系统研究单位） ； Università Campus Bio-Medico of Roma（罗马大学生物医学校园） ； Department of Computer, Control and Management Engineering（计算机、控制与管理工程系） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； Department of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering（诊断与介入、辐射物理、生物医学工程系） ； Umeå University（乌梅拉大学） ； UniCamillus-Saint Camillus International University of Health Sciences（UniCamillus-圣卡米卢斯国际健康科学大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)

AI总结 概念增强的多模态RAG通过分解视觉表示为可解释的临床概念，提升放射科报告生成的可解释性和准确性。

RAPTOR-AI for Disaster OODA Loop: Hierarchical Multimodal RAG with Experience-Driven Agentic Decision-Making

RAPTOR-AI用于灾难OODA循环：基于经验驱动的多模态RAG框架

Takato Yasuno

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)

AI总结 RAPTOR-AI通过分层多模态RAG框架，结合经验驱动的代理控制和LoRA适应，提升灾害响应中的检索精度、情境基础性和任务分解准确性。

Comments 8 pages, 3 figures, 2 tables

LUMA-RAG: Lifelong Multimodal Agents with Provably Stable Streaming Alignment

Rohan Wandre, Yash Gajewar, Namrata Patel, Vivek Dhalkari

机构 * Dept. of Computer Engineering（计算机工程系） ； SIES Graduate School of Technology（SIES技术研究生学院） ； Bharatiya Vidya Bhavan's Sardar Patel Institute of Technology（巴哈里亚·维达·巴万学院萨达尔·帕特尔技术学院） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)

E-VRAG: Enhancing Long Video Understanding with Resource-Efficient Retrieval Augmented Generation

Zeyu Xu, Junkang Zhang, Qiang Wang, Yi Liu

机构 * Zeyu Xu（作者） ； Junkang Zhang（作者） ； Qiang Wang（作者） ； Yi Liu（作者） 纠错

专题命中 多模态RAG ：retrieval augmented generation(title)；retrieval-augmented generation(abstract)；RAG(abstract)

MIRA: A Novel Framework for Fusing Modalities in Medical RAG

Jinhong Wang, Tajamul Ashraf, Zongyan Han, Jorma Laaksonen, Rao Mohammad Anwer

机构 * Department of Computer Vision, MBZUAI（视觉计算系，MBZUAI） ； Department of Computer Science, Aalto University（计算机科学系，阿alto大学） 纠错

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)

Comments ACM Multimedia 2025

SlowFastVAD: Video Anomaly Detection via Integrating Simple Detector and RAG-Enhanced Vision-Language Model

Zongcan Ding, Haodong Zhang, Peng Wu, Guansong Pang, Zhiwei Yang, Peng Wang, Yanning Zhang

专题命中 多模态RAG ：RAG(title,abstract)；retrieval augmented generation(abstract)

Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation

Yinuo Liu, Zenghui Yuan, Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun, Neil Zhenqiang Gong

专题命中 多模态RAG ：retrieval augmented generation(title)；retrieval-augmented generation(abstract)；RAG(abstract)

RAAD-LLM: Adaptive Anomaly Detection Using LLMs and RAG Integration

Alicia Russell-Gilbert, Sudip Mittal, Shahram Rahimi, Maria Seale, Joseph Jabour, Thomas Arnold, Joshua Church

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)

Comments arXiv admin note: substantial text overlap with arXiv:2411.00914

Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering

Junxiao Xue, Quan Deng, Fei Yu, Yanhao Wang, Jun Wang, Yuehua Li

专题命中 多模态RAG ：RAG(title,abstract)；retrieval-augmented generation(abstract)

Comments 6 pages, 3 figures, under review

Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining

Jinlong Xue, Yayue Deng, Yingming Gao, Ya Li

专题命中 多模态RAG ：retrieval augmented generation(title,abstract)；RAG(abstract)

Comments Accepted by Interspeech 2024

A/B Agent: A Self-Evolving Agent for Strategy Iteration in Industrial A/B Testing

A/B Agent：面向工业A/B测试中策略迭代的自进化智能体

Zhuohang Jiang, Yuxin Chen, Yongsen Pan, Zheng Hu, Wenqi Fan, Qing Li, Hongyang Wang, Jun Wang, Wenwu Ou

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Kuaishou Technology（快手科技） ； University of Electronic Science and Technology of China（电子科技大学） ； Southwest Jiaotong University（西南交通大学） 纠错

专题命中 多模态RAG ：RAG(summary_cn,abstract)；分类 cs.AI

AI总结 该研究提出A/B Agent智能体，通过层级经验树与Tree-RAG技术优化工业A/B测试的策略迭代，在短视频电商场景实现GMV提升4.829%且护栏指标正向增益。

DeCoRAG: Cognitive Decoupling and Semantic-Aware Cropping for Complex Document Understanding

DeCoRAG：用于复杂文档理解的认知解耦和语义感知裁剪

Shuo Wang, Kai Zhang, Wenyuan Huang, Yizheng Yu, Xia Liao, Junming Su, Qing Wang, Fang Xi

专题命中 多模态RAG ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；hybrid retrieval(abstract)；分类 cs.IR

AI总结 研究针对复杂文档理解中多模态检索增强生成的难题，提出DeCoRAG方法，通过认知解耦、建立语义锚及区域感知裁剪机制，提升语义通过率，减少提示令牌，在复杂文档基准测试中取得良好效果。

Comments 11 pages, 4 figures, 8 tables