Multimodal Retrieval-Augmented Generation with Large Language Models for Medical VQA
George Mason University(乔治·马歇尔大学)
本文提出 MasonNLP 系统,利用通用大语言模型结合轻量级检索增强生成框架,通过文本和视觉范例提升医学视觉问答性能,在 MEDIQA-WV 2025 任务中排名第三,验证了其作为简单有效基线的价值。
2025-10-12 cs.AI cs.CL cs.CV
SCRA-VQA: Summarized Caption-Rerank for Augmented Large Language Models in Visual Question Answering
School of Computer Science, Hubei University, Wuhan, China(湖北大学计算机学院);Hubei Key Laboratory of Big Data Intelligent Analysis and Application (Hubei University)(湖北大数据智能分析与应用重点实验室);Key Laboratory of Intelligent Sensing System and Security (Hubei University)(智能传感系统与安全重点实验室);Institute of Vocational Education, Guangdong Industry Polytechnic University(广东行业职业大学职业教育学院);Shandong Police College(山东警察学院)
针对KB-VQA中图像标题噪声大且LLM不熟悉任务的问题,提出SCRA-VQA,通过预训练视觉语言模型生成标题并摘要重排,增强LLM推理,在OK-VQA和A-OKVQA上取得38.8%和34.6%的准确率。
2025-09-25 cs.AI cs.CV
mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA
The Hong Kong Polytechnic University(香港理工大学)
本文提出mKG-RAG框架,通过整合多模态知识图谱提升检索增强生成在知识密集型视觉问答中的性能,采用双阶段检索策略和图提取方法构建高质量知识图谱,实验表明优于现有方法。
2026-04-27 cs.AI cs.CV
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
University of Modena and Reggio Emilia(摩德纳大学和雷焦艾米利亚大学);University of Pisa(比萨大学)
ReAG通过结合粗粒度和细粒度检索及批评模型过滤无关信息,提升知识密集型视觉问答的准确性和可解释性。
2026-03-31 cs.AI cs.CL cs.CV
Memory-Augmented Multimodal LLMs for Surgical VQA via Self-Contained Inquiry
The Hong Kong Polytechnic University(香港理工大学);Southern University of Science and Technology(南方科技大学);University of Nottingham Ningbo China(宁波诺丁汉大学)
提出记忆增强框架SCAN,通过多模态LLMs生成直接和间接记忆以增强手术场景理解,在三个Surgical VQA数据集上达到最先进性能。
2024-11-17 cs.CL cs.CV
When RAG Hurts: Diagnosing and Mitigating Attention Distraction in Retrieval-Augmented LVLMs
University of Science and Technology of China(中国科学技术大学)
本文发现检索增强生成(RAG)在LVLMs中导致注意力分散(AD)问题,即检索文本抑制视觉注意力并偏离问题相关区域,提出MAD-RAG方法通过双问题公式和注意力混合来解耦视觉定位与上下文整合,在三个基准上提升性能并纠正大部分失败案例。
2026-06-16 cs.AI cs.CL cs.CV
Modulated Self-attention Convolutional Network for VQA
Polytechnic Mons(蒙斯理工学院);Telecom SudParis(巴黎南泰尔电信学院)
随着用于真实世界视觉推理和组合问答的新数据集的出现,可能需要在训练期间使用视觉特征提取作为端到端过程。这一小小的贡献旨在提出新的想法,以改善传统的卷积网络的视觉处理的视觉问答(VQA)。在本文中,我们提出了调制的语言输入的CNN增强自我注意。我们在这一方向的未来研究显示出令人鼓舞的相对改善。
2019-10-31 cs.CL cs.CV cs.LG
Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering
University of California, San Diego(加州大学圣地亚哥分校);The Ohio State University(俄亥俄州立大学)
研究多模态知识型视觉问答中检索上下文的位置依赖,发现不同于纯文本的U形效应,出现首因偏差(开头优于末尾),并通过消融实验定位原因为指令调优阅读器的提示槽0。
2026-09-16 cs.AI cs.CL cs.CV
Counterfactual VQA: A Cause-Effect Look at Language Bias
Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
VQA模型可能倾向于依赖语言偏见作为捷径,因此无法从视觉和语言中充分学习多模态知识。最近的去偏方法提出了在推理过程中排除语言先验。然而,他们未能从整体上理清“好的”语境和“坏的”语言偏见。在本文中,我们研究如何减轻语言偏见的VQA。受因果效应的启发,我们提出了一个新的反事实推理框架,它使我们能够捕获语言偏见作为问题对答案的直接因果效应,并通过从总因果效应中减去直接语言效应来减少语言偏见。实验表明,我们提出的反事实推理框架1)适用于各种VQA骨干和融合策略,2)在语言偏见敏感的VQA-CP数据集上实现了有竞争力的性能,同时在没有任何增强数据的平衡VQA v2数据集上表现出色。该代码可在https://github.com/yuleiniu/cfvqa上获得。
2021-04-01 cs.CL cs.CV
VLR-Bench: Multilingual Benchmark Dataset for Vision-Language Retrieval Augmented Generation
Seoul National University of Science and Technology (SeoulTech)(首尔科学技术大学);Teddysum(泰迪森姆);Hanbat National University(韩巴大学)
本研究提出用于评估视觉语言模型RAG能力的VLR-Bench基准,含5段输入文本以测试文本有用性判断能力,同时构建含32000个样本的VLR-IF训练数据集,经Llava-Llama-3验证有效,相关数据集已公开。
2024-12-13 cs.AI cs.CL cs.CV
Architecting Clinical Collaboration: Multi-Agent Reasoning Systems for Multimodal Medical VQA
Georgia Institute of Technology Atlanta, GA, USA(佐治亚理工学院)
本研究提出模拟临床协作推理的多智能体系统,在医学视觉问答中达到70%准确率,优于微调方法,证明重建循证协作实践是医学AI成功的关键。
2025-08-26 cs.AI
Question Relevance in VQA: Identifying Non-Visual And False-Premise Questions
Virginia Tech(弗吉尼亚理工大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Georgia Institute of Technology(佐治亚理工学院)
视觉问答是回答关于图像的自然语言问题的任务。我们介绍了新的问题,确定问题的相关性的图像VQA。目前的VQA模型并不考虑一个问题是否与给定的图像相关(例如,阿根廷的首都是哪里?)或者它是否需要来自外部资源的信息来正确回答。这可能会破坏人机交互中对话的连续性。我们确定相关性的方法由两个阶段组成。给定一个图像和一个问题,(1)我们首先确定这个问题是否是视觉的,(2)如果是视觉的,我们确定这个问题是否与给定的图像相关。我们的方法基于LSTM-RNNs,VQA模型不确定性和标题问题相似性,能够在两个相关性任务上超越强基线。我们还展示了人类研究,表明使用此类问题相关性推理增强的VQA模型被认为更智能、合理且更人性化。
2016-09-26 cs.CL cs.CV cs.LG
Kvasir-VQA: A Text-Image Pair GI Tract Dataset
SimulaMet(西穆拉梅特);Oslo Metropolitan University(奥斯陆都市大学)
本研究推出包含6500张标注图像的Kvasir-VQA胃肠道文本-图像对数据集,支持多类问答与多种医学影像任务,实验验证其有效性并提供评估指标,具备高易用性与多功能性。
2024-09-02 cs.AI cs.CV
Rethinking Data Augmentation for Robust Visual Question Answering
Columbia University(哥伦比亚大学);Zhejiang University(浙江大学)
数据增强(DA)--在原始训练集之外生成额外的训练样本--已被广泛用于当今无偏的VQA模型中,以减轻语言偏见。目前主流的DA策略是基于合成的方法,通过编辑一些视觉区域/单词或从头开始重新生成新的样本来合成新的样本。然而,这些合成的样本总是不自然的并且容易出错。为了避免这个问题,最近的DA工作通过随机配对原始图像和其他人类书写的问题来组成新的增强样本。不幸的是,为了保证增强样本具有合理的地面真理答案,他们手动设计了一套启发式规则,这极大地限制了其泛化能力。为此,我们提出了一个新的知识蒸馏为VQA的数据增强,被称为KDDAug。具体来说,我们首先放宽了合理的图像问题对的要求,这可以很容易地应用于任何问题类型。然后,我们设计了一个基于知识蒸馏(KD)的答案分配,以产生伪答案的所有组成的图像问题对,这是鲁棒的域内和外的分布设置。由于KDDAug是一种与模型无关的DA策略,因此它可以无缝地集成到任何VQA架构中。对多个主干和基准的广泛消融研究已经证明了KDDAug的有效性和推广能力。
2022-09-15 cs.AI cs.CL cs.CV
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
M$^3$-VQA引入了多实体问题,要求模型在多个文档间进行顺序和并行多跳推理,揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
RAVEN: Multitask Retrieval Augmented Vision-Language Learning
Princeton University(普林斯顿大学);AWS AI Labs(AWS人工智能实验室);Apple(苹果公司)
本文提出多任务检索增强VLM框架RAVEN,通过高效任务特定微调整合检索样本,无需额外参数即提升图像描述和VQA性能。
2024-06-27 cs.AI cs.CV cs.IR
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);IBM Research AI(IBM研究院人工智能部门)
提出Self-RAG框架,通过训练模型按需检索并利用反思标记进行自我评判,显著提升了大型语言模型在多种任务上的事实性与生成质量。
2023-10-17 cs.AI cs.CL cs.LG
CRAG-MM-Diagnostics: Enabling Stage-Wise Analysis of Knowledge-Intensive VQA
New York University(纽约大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);UNC Chapel Hill(北卡罗来纳大学教堂山分校);MIT(麻省理工学院)
研究知识密集型视觉问答流程,引入CRAG-MM-Diagnostics诊断基准,通过逐阶段数据注释分离子问题,评估VLM并进行细粒度分析,指出知识检索和推理是主要瓶颈,还提出改进流程提升准确率。
2026-07-24 cs.AI cs.CV
Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering
The Ohio State University(俄亥俄州立大学)
视觉问答(VQA)具有挑战性,不仅因为模型必须处理多模态信息,还因为很难收集足够的训练样本-人们可以问太多关于图像的问题。因此,仅在人工注释的示例上训练的VQA模型很容易过度拟合特定的问题风格或被问到的图像内容,从而使模型在很大程度上忽略了问题的多样性。现有的方法主要通过引入辅助任务来解决这个问题,例如视觉接地,循环一致性或去偏置。在本文中,我们采取了一种完全不同的方法。我们发现,学习VQA模型的许多“未知数”在数据集中确实是隐式“已知”的。例如,询问不同图像中的相同对象的问题可能是释义;图像中检测到或注释的对象的数量已经提供了“多少”问题的答案,即使该问题尚未针对该图像进行注释。基于这些见解,我们提出了一个简单的数据增强管道SimpleAug,将这种“已知”的知识转化为VQA的训练样本。我们表明,这些增强的例子可以显着提高学习的VQA模型的性能,不仅在VQA-CP数据集与语言先验移位,而且在VQA v2数据集没有这样的移位。我们的方法进一步打开了一扇大门,以原则性的方式利用弱标记或未标记的图像来增强VQA模型。我们的代码和数据可在https://github.com/heendung/simpleAUG上公开获取。
2022-11-08 cs.CL cs.CV
Generative Visual Question Answering
针对现有VQA模型缺乏时间泛化能力的问题,本文提出基于stable diffusion生成的GenVQA增强数据集,测试7款模型在时间分布偏移下的表现并分析有效架构特征,为提升模型鲁棒性提供数据支撑。
2023-07-18 cs.AI cs.CV
Visual Question Answering with Memory-Augmented Networks
Australian Institute for Machine Learning(澳大利亚机器学习研究所);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
在本文中,我们利用记忆增强的神经网络来预测视觉问题的准确答案,即使这些答案很少出现在训练集中。记忆网络结合了内部和外部记忆块,并有选择地关注每个训练样本。我们发现,记忆增强的神经网络能够保持一个相对长期记忆记忆稀缺的训练样本,这是很重要的视觉问答由于重尾分布的答案在一般的VQA设置。在两个大规模基准数据集上的实验结果表明,与现有技术相比,该算法具有良好的性能。
2018-03-25 cs.CL cs.CV
Fine-Grained Knowledge Structuring and Retrieval for Visual Question Answering
Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
针对KB-VQA中视觉细节丢失问题,提出细粒度多模态知识单元结构化组织与KU-RAG框架,结合知识校正链,在四个基准上平均提升约3%,最佳达11%。
2025-07-08 cs.AI cs.CV
Q-FSRU: Quantum-Augmented Frequency-Spectral Fusion for Medical Visual Question Answering
Amity Centre for Artificial Intelligence, Amity University, Noida(阿米蒂人工智能中心,阿米蒂大学,诺伊达)
本文提出Q-FSRU模型,将频谱表示融合与量子检索增强生成相结合,用于医学视觉问答,并在VQA-RAD数据集上验证其在复杂图像-文本推理任务中的性能与可解释性优势。
2025-08-16 cs.AI cs.CV
OMGM: Orchestrate Multiple Granularities and Modalities for Efficient Multimodal Retrieval
Microsoft Research Asia(微软亚洲研究院)
本文提出一种从粗到细多步检索的多模态RAG系统OMGM,通过协调多种粒度与模态,结合跨模态检索、多模态融合重排序与文本重排序,在InfoSeek和Encyclopedic-VQA基准上实现了最先进的检索性能与极具竞争力的回答结果。
2025-09-12 cs.AI cs.CV cs.IR
ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机科学技术研究院)
ToolVQA是一个用于多步推理VQA的外部工具数据集,通过真实场景和复杂推理任务提升模型在现实工具使用中的泛化能力。
2026-03-04 cs.AI
Image Captioning for Effective Use of Language Models in Knowledge-Based Visual Question Answering
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
在视觉问答(VQA)等非语言任务中,整合外部知识进行推理是一个开放性问题。鉴于预训练的语言模型已被证明包括世界知识,我们建议使用一个单模态(纯文本)训练和推理过程的基础上,自动现成的标题的图像和预训练的语言模型。我们的结果在一个视觉问答任务,需要外部知识(OK-VQA)表明,我们的纯文本模型优于预训练的多模态(图像-文本)模型的参数数量相当。相比之下,我们的模型在标准VQA任务(VQA 2.0)中的效果较差,这证实了我们的纯文本方法对于需要外部知识的任务特别有效。此外,我们表明,增加语言模型的大小显着提高其性能,产生的结果与我们最大的模型的最先进的,显着优于当前的多模态系统,即使与外部知识增强。我们对OK-VQA的定性分析表明,自动字幕往往无法捕获图像中的相关信息,这似乎是由纯文本语言模型的更好的推理能力平衡。我们的工作为进一步改进非语言任务中的推理提供了可能性
2022-03-25 cs.AI cs.CV
KAT: A Knowledge Augmented Transformer for Vision-and-Language
Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);Microsoft Research(微软研究院)
最近的工作与大型Transformers的主要重点是优化的信息量包装成模型的参数。在这项工作中,我们问一个不同的问题:多模态Transformers可以利用明确的知识在他们的推理?现有的,主要是单峰的,方法已经探索的范式下的知识检索,然后回答预测的方法,但留下开放的问题的质量和相关性检索到的知识,以及如何推理过程中的隐含和明确的知识应该被整合。为了解决这些挑战,我们提出了一种新的模型-知识增强的Transformer(KAT)-它实现了强大的最先进的结果(+6点绝对值)的开放域多模态任务的OK-VQA。我们的方法集成了隐式和显式的知识,在端到端的编码器-解码器架构,同时在答案生成过程中仍然联合推理两个知识源。在我们的分析中,显式知识集成的另一个好处是模型预测的可解释性得到了改善。
2022-05-05 cs.CL
Synthesize Step-by-Step: Tools, Templates and LLMs as Data Generators for Reasoning-Based Chart VQA
Johns Hopkins University(约翰斯·霍普金斯大学);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出逐步合成策略,利用LLM将复杂图表问题分解为子问题并结合Python工具生成增强数据,显著提升ChartQA和PlotQA上的推理问答准确率。
2024-03-28 cs.CL cs.CV
Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification
Rensselaer Polytechnic Institute(伦斯勒理工学院);AT&T Chief Data Office(AT&T首席数据办公室)
针对知识型视觉问答中实体与证据双重定位瓶颈,提出解耦实体识别与段落排序的无训练IBA框架,利用MLLM候选名称选择与文本重排序器,在降低复杂度同时提升性能。
2026-06-24 cs.CL cs.CV cs.IR
PixSearch: Region-Grounded Retrieval for Knowledgeable Large Multimodal Models
Meta Reality Labs(Meta现实实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
PixSearch是一种端到端的多模态模型,通过像素级检索和统一感知与推理,提升视觉问答任务中的事实一致性与泛化能力。
2026-10-14 cs.AI cs.CV
Identifying and Resolving Pitfalls of Knowledge-Based VQA Benchmarks: Auditing, Repairing, and Augmenting
Rensselaer Polytechnic Institute(伦斯勒理工学院);AT&T Chief Data Office(AT&T首席数据办公室)
本文审计现有KB-VQA基准测试,发现答案缺失/矛盾、问题不明确和视觉场景简单等系统性问题,导致准确率指标误导模型排名;提出审计-修复协议和多重实体增强协议,重新评估后性能趋势显著变化。
2026-07-02 cs.CL cs.CV cs.IR
Cross-Modal Retrieval Augmentation for Multi-Modal Classification
Tel Aviv University(特拉维夫大学);Facebook AI
在外部知识源上使用检索组件的最新进展已经为自然语言处理中的各种下游任务显示出令人印象深刻的结果。在这里,我们探讨使用非结构化的外部知识来源的图像和相应的标题,以提高视觉问答(VQA)。首先,我们训练了一种新的对齐模型,用于在同一空间中嵌入图像和字幕,这在图像字幕检索的性能上实现了实质性的改进。类似的方法。其次,我们表明,检索增强多模态Transformers使用训练的对齐模型,提高了VQA在强基线上的结果。我们进一步进行了广泛的实验,以建立这种方法的承诺,并检查新的应用程序的推理时间,如热插拔指数。
2021-04-16 cs.CL cs.CV
SearchLVLMs: A Plug-and-Play Framework for Augmenting Large Vision-Language Models by Searching Up-to-Date Internet Knowledge
OpenGVLab(开放通用视觉实验室);Shanghai AI Laboratory(上海人工智能实验室);Beijing Institute of Technology(北京理工大学);Zhejiang University(浙江大学);The University of Hong Kong(香港大学)
针对LVLMs缺乏最新知识的问题,提出即插即用框架SearchLVLMs,通过分层过滤模型搜索互联网信息增强VQA能力,在准确率上比GPT-4V高约25%。
2024-08-20 cs.AI cs.CV
DocTrace: Towards Traceable Long Document VQA via Hierarchical Evidence Graph Reasoning
本文提出DocTrace分层框架,将长文档视觉问答建模为显式证据图推理问题,经两阶段训练优化后,在三个基准上优于现有模型,且推理可追溯。
2026-08-05 cs.AI
ARIAL: An Agentic Framework for Document VQA with Precise Answer Localization
Ohio State University(俄亥俄州立大学);Flairsoft(Flairsoft公司)
ARIAL通过代理协调专门工具,实现文档VQA的高精度和可解释性,取得最佳性能和可解释性成果。
2025-11-28 cs.AI cs.CV
M4-RAG: A Massive-Scale Multilingual Multi-Cultural Multimodal RAG
Stanford University(斯坦福大学);MBZUAI;Indian Institute of Science(印度科学研究院);Ontario Tech University(安大略技术大学);University of Toronto(多伦多大学);Capital One
M4-RAG提出一个覆盖42种语言、56种方言和189个国家的多模态大规模基准,通过构建8万多个文化多样化的图像-问题对,评估跨语言和模态的检索增强视觉问答性能,揭示模型大小与检索效果的不匹配问题。
2026-03-22 cs.AI cs.CL cs.CV
Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models
Korea University(高丽大学);Kyung Hee University(庆熙大学);AIGEN Sciences(AIGEN科学公司)
本文提出 Self-BioRAG 框架,通过生物医学指令训练、领域检索与自定义反思 token,使 7B/13B LLM 能自我评估并结合检索知识推理,在三大医学问答基准上平均提升 7.2%。
2024-06-18 cs.AI cs.CL cs.IR
Progressive Multimodal Search and Reasoning for Knowledge-Intensive Visual Question Answering
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出PMSR框架,通过逐步构建结构化推理轨迹提升知识获取与综合能力,实验显示在六个基准测试中提升了检索召回率和端到端回答准确性。
2026-04-22 cs.AI cs.CV
Language Guided Visual Question Answering: Elevate Your Multimodal Language Model Using Knowledge-Enriched Prompts
Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
本文提出 LG-VQA 多模态框架,通过理由、图像描述、场景图等语言引导增强 CLIP 和 BLIP 模型,在 A-OKVQA、Science-QA、VSR 和 IconQA 上显著提升视觉问答准确率。
2023-10-31 cs.AI cs.CV
SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA
Dalhousie University(达尔豪斯大学);Emory University(埃默里大学)
提出SAGE框架,通过主动检索和综合外部证据评估LLM输出的事实性,无需固定参考答案,在多个自由问答基准上实现与人类评估的高度一致。
2026-07-01 cs.AI cs.CL
QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering
QA-Dragon通过引入领域路由器和搜索路由器,实现多模态、多轮和多跳推理,提升复杂视觉问答任务的推理性能,实验显示其在单源、多源和多轮任务中均优于基线模型。
2026-03-15 cs.AI cs.CL cs.CV
CARE-X: Towards Clinically Useful Radiology VLMs with Auxiliary Supervision, Reward-Aligned Learning, and Tool-Augmented Measurement
CARE-X是一款胸部X射线视觉语言模型,通过辅助监督、奖励对齐学习及工具增强测量,在多个医学影像任务上实现了优于基线的性能,缩小了放射科医生需求与现有生成模型间的差距。
2026-08-05 cs.AI cs.CV
Log-Augmented Generation: Scaling Test-Time Reasoning with Reusable Computation
MIT(麻省理工学院);AWS AI(亚马逊人工智能);University of Pennsylvania(宾夕法尼亚大学)
针对大语言模型难以复用过往推理的问题,提出日志增强生成(LAG)框架,通过存储并检索相关任务的部分令牌KV缓存直接复用先前计算,在知识与推理密集型任务上效果优于现有基线方法。
2025-05-20 cs.AI cs.CL cs.LG
EgoNight: Towards Egocentric Vision Understanding at Night with a Challenging Benchmark
East China Normal University(东华大学);HKUST(GZ)(香港科技大学(广州));Nankai University(南开大学);Fudan University(复旦大学)
EgoNight提出首个夜间视角视觉基准,通过日夜间对齐视频和人工验证构建VQA任务,揭示低光照条件下模型性能下降问题,并引入辅助任务推动模型泛化能力提升。
2026-03-02 cs.AI cs.CV
GroundSight: Augmenting Vision-Language Models with Grounding Information and De-hallucination
Independent Researcher(独立研究者)
本文提出 GroundSight,通过问题相关目标的边界框定位、裁剪检索及按问题类型去幻觉,提升 VQA 准确率并显著降低幻觉率。
2025-09-30 cs.AI
MMKB-RAG: A Multi-Modal Knowledge-Based Retrieval-Augmented Generation Framework
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出MMKB-RAG多模态检索增强生成框架,利用模型知识边界动态生成语义标签以过滤检索文档,在E-VQA和InfoSeek数据集上显著提升准确性和鲁棒性。
2025-04-20 cs.AI
Reflection-Enhanced Meta-Optimization Integrating TextGrad-style Prompt Optimization with Memory-Driven Self-Evolution
针对现有提示优化方法无状态、易过拟合的问题,提出反射增强元优化框架REMO,整合记忆增强反射检索模块与自适应优化器,在GSM8K基准上实现更稳定鲁棒的泛化,同时详细验证了各组件的作用。
2025-08-26 cs.AI
The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation
Carnegie Mellon University(卡内基梅隆大学)
该研究针对推理增强型文本到图像生成的组合式失败,发现问题源于规划器而非解码器,通过编辑计划(如重写几何结构)可显著提升生成质量,还发布了相关评估协议及数据。
2026-08-25 cs.CL cs.CV cs.LG
Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving
Iowa State University(爱荷华州立大学);National University of Singapore(新加坡国立大学)
本文提出基于自然反射的 VLM 后门攻击,通过反射图案与冗长文本前缀触发异常长响应,在保持干净性能的同时显著增加自动驾驶推理延迟。
2025-05-09 cs.AI cs.CV
Say It My Way: Exploring Control in Conversational Visual Question Answering with Blind Users
University of Maryland(马里兰大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过邀请盲人用户定制对话式VQA系统,探讨如何通过提示工程等技术克服系统局限性,并提供新的公开数据集和交互设计见解。
2026-02-18 cs.AI cs.HC
CoRe-MMRAG: Cross-Source Knowledge Reconciliation for Multimodal RAG
Shandong University(山东大学);National University of Singapore(新加坡国立大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
CoRe-MMRAG提出端到端跨源知识协调框架,通过四阶段流程和专门训练解决多模态RAG中的参数-检索不一致与视觉-文本不一致问题,在KB-VQA基准上显著提升性能。
2025-06-04 cs.AI cs.CL cs.IR
MG$^2$-RAG: Multi-Granularity Graph for Multimodal Retrieval-Augmented Generation
School of Computer Science, Hangzhou Dianzi University(杭州电子科技大学计算机学院)
MG$^2$-RAG通过构建层次化多模态知识图谱,融合文本与视觉信息,提升多模态检索与生成性能,实验显示其在四个任务中均取得最佳效果,同时显著提升效率。
2026-07-14 cs.AI cs.IR
Reverse Image Retrieval Cues Parametric Memory in Multimodal LLMs
Stanford University(斯坦福大学)
本研究提出逆向图像检索(RIR)增强生成策略,显著提升多模态大模型在知识密集型视觉问答上的性能,并揭示其通过提供额外线索激发模型参数记忆的机制。
2024-05-29 cs.CL
Failure Makes the Agent Stronger: Enhancing Accuracy through Structured Reflection for Reliable Tool Interactions
Vision Agent Team, Meituan(美团视觉代理团队);MeiGen AI Team, Meituan(美团MeiGen AI团队)
本文提出结构化反思方法,通过显式反思和优化提升工具交互的可靠性,实验表明在多轮工具调用中显著提高成功率并减少冗余调用。
2026-04-15 cs.AI cs.CL cs.CV