UNO-Bench: A Unified Benchmark for Exploring the Compositional Law Between Uni-modal and Omni-modal in Omni Models
Meituan（美团）
本研究提出统一基准UNO-Bench，在统一分类体系下评估单模态与全模态能力，包含多模态样本、创新题型与自动评分模型，揭示了全模态与单模态性能的组合规律。
2025-10-30 cs.AI cs.CL
Multi-Turn Multi-Modal Question Clarification for Enhanced Conversational Understanding
Sharif University of Technology（谢里夫理工大学）；University of Copenhagen（哥本哈根大学）；University of Amsterdam（阿姆斯特丹大学）
本文提出多轮多模态澄清问题 MMCQ 任务，构建 ClariMM 数据集，并通过 BM25 加多模态生成式重排序的 Mario 框架提升复杂对话查询理解。
2025-02-17 cs.AI cs.CL cs.IR
LingYi: Medical Conversational Question Answering System based on Multi-modal Knowledge Graphs
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hunan University（湖南大学）
灵医系统基于多模态知识图谱，采用流水线框架实现医疗分诊、咨询、图文药物推荐与记录，利用实体消歧和对话生成技术，并开源代码与数据集以提升医疗对话效率。
2022-04-20 cs.AI cs.CL
Co-attending Free-form Regions and Detections with Multi-modal Multiplicative Feature Embedding for Visual Question Answering
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；East China Normal University（华东师范大学）
近年来，视觉问答（VQA）任务在人工智能中受到越来越多的关注。现有的VQA方法主要采用视觉注意力机制将输入问题与相应的图像区域相关联，以实现有效的问答。主要研究了基于自由形状区域和基于检测的视觉注意力机制，前者关注自由形状图像区域，后者关注预先指定的检测框区域。我们认为，这两种注意力机制能够提供互补的信息，并应有效地整合，以更好地解决VQA问题。在本文中，我们提出了一种新的深度神经网络VQA，它集成了两种注意力机制。我们提出的框架有效地融合功能，从自由形式的图像区域，检测框，并通过多模态乘法特征嵌入方案的问题表示，共同出席问题相关的自由形式的图像区域和检测框更准确的问答。该方法在两个公开的数据集COCO-QA和VQA上进行了广泛的评估，并优于最先进的方法。源代码可在https://github.com/lupantech/dual-mfa-vqa上获得。
2017-12-12 cs.AI cs.CL cs.CV
Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院）；School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）；School of Engineering, Westlake University（工程学院，西湖大学）
本文介绍NLPCC 2025 M4IVQA挑战赛，设置单视频定位、视频语料检索和语料库定位三个赛道，推动面向医学教学视频的多模态、多语言、多跳问答研究。
2025-05-11 cs.AI cs.CL cs.CV
Video Question Generation via Cross-Modal Self-Attention Networks Learning
University of Toronto（多伦多大学）；National Taiwan University（台湾大学）
我们介绍了一个新的任务，视频问题生成（视频QG）。视频QG模型自动生成问题，给出视频剪辑及其相应的对话。视频QG需要一系列技能-句子理解，时间关系，视觉和语言之间的相互作用，以及提出有意义问题的能力。为了解决这个问题，我们提出了一种新的语义丰富的跨模态自我注意（SRCMSA）网络聚合的多模态和不同的功能。更准确地说，我们通过整合对象级信息来增强视频帧的语义，并且我们共同考虑了视频问题生成任务的跨模态注意力。令人兴奋的是，我们提出的模型显着提高了TVQA数据集上BLEU-4得分的基线从7.58到14.48。最重要的是，我们可以说是为理解具有挑战性的视频输入铺平了一条新的道路，我们提供了详细的多样性分析，为未来的研究开辟了道路。
2020-02-16 cs.CL cs.CV
BioMol-MQA: A Multi-Modal Question Answering Dataset For LLM Reasoning Over Bio-Molecular Interactions
Pennsylvania State University（宾夕法尼亚州立大学）
本文构建多药联用多模态问答数据集BioMol-MQA，结合文本、分子结构与知识图谱评估LLM的跨模态检索推理能力，并指出现有模型依赖强RAG框架。
2026-10-05 cs.CL
CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beijing University of Post and Telecommunication（北京邮电大学）；Beijing Normal University（北京师范大学）
该研究提出中文多模态多题型基准 CMMU，含 7 学科 3,603 题及位置偏差评估方法，系统测试主流 MLLMs 的专业知识理解与推理能力。
2024-05-08 cs.AI cs.CL cs.MM
Cross-Modal Generative Augmentation for Visual Question Answering
Imperial College London（帝国理工学院）；University of Sheffield（谢菲尔德大学）
数据增强已被证明可以有效地提高多模态机器学习模型的性能。本文介绍了一种生成模型，数据增强，利用多个模态之间的相关性。不同于传统的数据增强方法，应用低层次的操作与确定性算法，我们的方法学习一个生成器，生成样本的目标模态条件下观察到的模态在变分自动编码器框架。此外，所提出的模型能够通过其生成概率来量化增强数据的置信度，并且可以与下游任务联合优化。视觉问答作为下游任务的实验表明，所提出的生成模型的有效性，这是能够提高强UpDN为基础的模型，以达到最先进的性能。
2021-10-22 cs.CL cs.CV
Cross-modal Retrieval for Knowledge-based Visual Question Answering
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；List（列表研究所）；LISN（跨学科数字科学实验室）
本文针对基于知识的视觉问答中命名实体识别困难的问题，提出结合单模态与跨模态检索的方法，并在三个数据集上以更低成本达到与十亿参数模型相当的性能。
2024-01-11 cs.CL cs.IR
MoqaGPT : Zero-Shot Multi-modal Open-domain Question Answering with Large Language Model
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
提出MoqaGPT框架，通过分而治之策略让大型语言模型分别从各模态检索提取答案并融合，在零样本多模态开放域问答任务上显著超越基线。
2023-10-20 cs.CL
$M^3 QuestionIng$: Multi-modal Multi-span Medical Question Answering
提出多模态多跨度医学问答框架M3QAFrame，结合文本与图像线索生成包含文本和图像的答案，在自建数据集上超越现有方法。
2026-05-19 cs.AI cs.CL cs.IR
FRAMES-VQA: Benchmarking Fine-Tuning Robustness across Multi-Modal Shifts in Visual Question Answering
Georgia Institute of Technology（佐治亚理工学院）
提出FRAMES-VQA基准，整合十个VQA数据集，分类ID与近/远OOD，评估鲁棒微调方法，量化多模态偏移，指导开发更鲁棒的微调策略。
2025-06-20 cs.AI cs.CL cs.CV
Devils in Question Relay: Source-Conditioned Relay Steering to Mitigate Hallucinations in Audio-visual Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Fudan University（复旦大学）
针对音视频大语言模型的源混淆接地幻觉，通过路径干预揭示问题中继机制，提出无需训练的SECRET方法引导问题状态，在CMM和AVHBench上显著缓解幻觉。
2026-09-30 cs.CL
Multimodal Reranking for Knowledge-Intensive Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出多模态重排序器，通过跨项交互改善知识候选排序，提升知识密集型视觉问答性能，实验验证其有效性。
2024-07-17 cs.AI cs.CL
Multimodal Multihop Source Retrieval for Web Question Answering
Carnegie Mellon University（卡内基梅隆大学）
针对多模态多跳网络问答，本文提出基于句子语义结构的图推理网络，利用图结构和邻接矩阵学习多源推理路径，以轻量模型在 WebQA 上取得检索 F1 提升 4.6%。
2025-01-07 cs.AI cs.CL
Dual Ask-Answer Network for Machine Reading Comprehension
Tencent AI Lab（腾讯人工智能实验室）
在阅读理解中有三种模式：问题、答案和语境。问答或问题生成的任务旨在基于上下文在给出对应方时推断答案或问题。我们提出了一种新的双向神经序列转导模型，连接三种模态，使其能够同时学习两个任务，并相互受益。在训练过程中，该模型接收问题-上下文-答案三元组作为输入，并通过分层注意过程捕获跨模态交互。与以前的联合学习范式，利用问题生成和问答在数据级的双重性，我们解决了这样的双重任务，在体系结构级的镜像网络结构和部分共享组件在不同的层。这使得知识能够从一个任务转移到另一个任务，帮助模型找到每个模态的一般表示。在四个公开数据集上的测试结果表明，我们的双重学习模型在问答和问题生成任务上的性能都优于单一学习模型和最先进的联合学习模型。
2018-09-10 cs.AI cs.CL cs.LG
Answer-checking in Context: A Multi-modal FullyAttention Network for Visual Question Answering
MediaTek, Singapore（联发科，新加坡）；MediaTek, Taiwan（联发科，台湾）
视觉问答（VQA）是具有挑战性的，由于复杂的跨模态关系。受到了研究界的广泛关注。从人类的角度来看，要回答视觉问题，需要阅读问题，然后参考图像来生成答案。这个答案将再次与问题和图像进行核对，以进行最终确认。在本文中，我们模仿这一过程，并提出了一个完全基于注意力的VQA架构。此外，一个答案检查模块，提出了一个联合的答案，问题和图像表示执行统一的注意力，以更新答案。这模仿了人类的答案检查过程，在上下文中考虑答案。在VQA-v2. 0测试标准分割的基础上，通过加入答案检查模块和转换后的BERT层，使用较少的参数，模型达到了最高的准确率71.57%.
2020-10-17 cs.CL cs.CV
A Graph-based Approach for Multi-Modal Question Answering from Flowcharts in Telecom Documents
Ericsson R&D Bangalore Karnataka India（爱立信研发部班加罗尔卡纳塔克邦印度）
针对技术文档问答中基于文本的RAG无法处理流程图类问题的痛点，提出将VLM生成的流程图图表示整合进文本RAG的端到端方法，在电信专有数据集上验证了其检索性能与成本优势。
2025-07-25 cs.AI cs.CL
Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对OK-VQA任务中多模态检索模型训练数据需求大的问题，提出自动数据生成流水线预训练段落检索模型，使Precision@5提升26.9%且具备零样本检索能力。
2023-06-28 cs.CL cs.CV cs.IR
Evolution of Multimodal Question Answering: From Modality-Adaptive Extraction to Unified Language Representation
Khulna University of Engineering & Technology（库尔纳工程技术大学）
本文比较MAE、Solar和UniMMQA三种多模态问答框架，揭示从模态自适应处理向统一文本中心架构的演进，并证明该转变显著提升EM和F1分数，同时指出信息丢失等挑战。
2026-09-09 cs.CL cs.CV
Evaluating Cross-Modal Reasoning Ability and Problem Characteristics with Multimodal Item Response Theory
Kyoto University（京都大学）；CyberAgent；The Institute of Statistical Mathematics（统计数学研究所）；Tohoku University（东北大学）
M3IRT通过分解模型能力和项目难度，提供了一种评估多模态推理能力的框架，有效提升基准测试的可靠性和质量。
2026-03-03 cs.CL cs.CV
QuesGenie: Intelligent Multimodal Question Generation
Ain Shams University（艾因夏姆斯大学）
针对教育资源丰富但定制练习材料不足的问题，本研究开发了含多模态输入处理、问题生成、RLHF及交互界面的QuesGenie系统，可从多格式内容自动生成多样题型，为智能可扩展的自动出题奠定基础。
2025-08-27 cs.AI cs.CL
From FiLM to Video: Multi-turn Question Answering with Multi-modal Context
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
理解视听内容和进行信息性对话的能力一直是智能系统的挑战领域。视听场景感知对话（AVSD）挑战，组织为对话系统技术挑战7（DSTC 7）的一个轨道，提出了一个组合任务，其中系统必须回答与视频相关的问题，给出与先前问答对和视频本身的对话。为此，我们提出了一个分层的编码器-解码器模型，计算多模态嵌入的对话上下文。它首先使用两个LSTM嵌入对话历史。我们以规则的间隔提取视频和音频帧，并分别使用预训练的I3 D和VGGish模型计算语义特征。在使用LSTM将这两种模态总结为固定长度的向量之前，我们使用FiLM块将它们置于当前问题的嵌入上，这使我们能够大大降低维度。最后，我们使用一个LSTM解码器，我们用预定的采样进行训练，并使用束搜索进行评估。与AVSD挑战组织者发布的模态融合基线模型相比，我们的模型实现了超过16%的相对改进，得分为0.36 BLEU-4和超过33%，得分为0.997 CIDEr。
2018-12-17 cs.CL cs.CV
Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation
Harbin Institute of Technology（哈尔滨工业大学）
本文提出SKURG方法，通过实体中心融合编码器和统一检索-生成解码器解决多模态多跳问答中检索与生成割裂的问题，在MultimodalQA和WebQA上以更少参数超越现有最优模型。
2023-08-07 cs.CL cs.CV
Multi-modal Retrieval of Tables and Texts Using Tri-encoder Models
deepset
开放域抽取式问答通过首先检索候选文本，然后从这些候选文本中提取答案，在文本数据上工作得很好。然而，有些问题不能仅通过文本来回答，而是需要存储在表格中的信息。在本文中，我们提出了一种方法来检索文本和表格相关的问题，共同编码文本，表格和问题到一个单一的向量空间。为此，我们基于相关工作中的文本和表格数据集创建了一个新的多模态数据集，并比较了不同编码模式的检索性能。我们发现，Transformer模型的密集向量嵌入在六个评估数据集中的四个上优于稀疏嵌入。比较不同的密集嵌入模型，每个问题，文本和表格都有一个编码器的三编码器，与问题有一个编码器，文本和表格都有一个编码器的双编码器相比，提高了检索性能。我们将新创建的多模态数据集发布给社区，以便它可以用于训练和评估。
2021-10-19 cs.CL cs.IR
Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension
Seoul National University（首尔国立大学）；V.DO Inc.（V.DO公司）；Search&Clova, Naver Corp.（Naver公司Search&Clova部门）
在这项工作中，我们介绍了一种新的算法解决教科书问答（TQA）的任务，描述了更现实的QA问题相比，最近的其他任务。我们主要集中在两个相关的问题与TQA数据集的分析。首先，解决TQA问题需要理解复杂输入数据中的多模态上下文。为了解决从长文本课程中提取知识特征并将其与视觉特征融合的问题，我们从文本和图像中建立了上下文图，并提出了一种基于图卷积网络（GCN）的新模块f-GCN。其次，科学术语没有分布在章节中，主题在TQA数据集中被分开。为了克服这个所谓的“域外”问题，在学习QA问题之前，我们引入了一个新的无任何注释的自监督开集学习过程。实验结果表明，我们的模型显着优于现有的最先进的方法。此外，消融研究验证了这两种方法，将f-GCN提取知识的多模态上下文和我们新提出的自监督学习过程是有效的TQA问题。
2019-06-02 cs.CL
RAMQA: A Unified Framework for Retrieval-Augmented Multi-Modal Question Answering
University of Florida（佛罗里达大学）
提出RAMQA统一框架，结合学习排序与生成式排列增强技术，用于多模态检索增强问答，在WebQA和MultiModalQA基准上显著优于强基线。
2025-01-23 cs.AI cs.CL cs.IR
CMRAG: Co-modality-based visual document retrieval and question answering
Baidu Inc（百度公司）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）；Peking University（北京大学）
CMRAG通过统一编码模型和共模信息检索方法，提升多模态视觉文档问答系统的性能。
2026-03-06 cs.CL
Cross-modal Causal Relation Alignment for Video Question Grounding
Sun Yat-sen University（中山大学）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Nanyang Technological University（南洋理工大学）
本文提出跨模态因果关联对齐框架CRA，通过高斯平滑定位、跨模态对齐和显式因果干预消除虚假相关性，提升视频问题定位的因果一致性与鲁棒性。
2025-03-05 cs.CL cs.CV cs.LG
M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Bloomberg（彭博公司）
提出M3DocRAG多模态RAG框架，结合多模态检索器与MLM处理多页多文档视觉问答，并构建M3DocVQA基准，在三个基准上取得领先性能，尤其MP-DocVQA达到最先进水平。
2024-11-07 cs.AI cs.CL cs.CV
What BERT Sees: Cross-Modal Transfer for Visual Question Generation
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；reciTAL
预训练的语言模型最近为NLP任务的重大进展做出了贡献。最近，已经开发了多模态版本的BERT，使用依赖于大量对齐的文本和图像数据的语料库的重预训练，主要应用于分类任务，如VQA。在本文中，我们感兴趣的是评估的视觉能力的BERT开箱即用，通过避免预训练的补充数据。我们选择研究视觉问题生成，这是一项对接地对话非常感兴趣的任务，可以研究每种形式的影响（因为输入可以是视觉和/或文本）。此外，由于BERT主要设计为编码器，因此任务的生成方面需要自适应。我们介绍BERT-gen，一个基于BERT的文本生成架构，能够利用单模态或多模态表示。在不同配置下报告的结果表明BERT-gen具有适应多模态数据和文本生成的固有能力，即使可用数据很少，也可以避免昂贵的预训练。所提出的模型在两个已建立的VQG数据集上获得了比最新技术水平的实质性改进。
2020-12-16 cs.CL cs.CV cs.LG
PediatricsMQA: a Multi-modal Pediatrics Question Answering Benchmark
Mohammed 6 Polytechnic University（摩洛哥6号理工学院）；International University of Rabat（拉巴特国际大学）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
本文提出多模态儿科问答基准 PediatricsMQA，包含 3417 道文本题和 2067 道视觉题，评估发现现有模型在低龄群体上表现显著下降，揭示了年龄偏差问题并呼吁年龄感知方法。
2025-08-27 cs.AI cs.CL cs.CY
Hierarchical Deep Multi-modal Network for Medical Visual Question Answering
Indian Institute of Technology Patna（印度理工学院巴特那分校）
医学领域的可视化问答系统（VQA-Med）在为最终用户提供医疗帮助方面发挥着重要作用。预期这些用户提出一个简单的问题，回答是/否，或者提出一个需要详细描述性回答的挑战性问题。VQA-Med中现有的技术不能区分不同的问题类型，有时会使简单的问题复杂化，或者过度简化复杂的问题。当然，对于不同的问题类型，几个不同的系统可能会导致最终用户的困惑和不适。为了解决这个问题，我们提出了一个分层的深度多模态网络，分析和分类最终用户的问题/查询，然后结合特定于查询的答案预测方法。我们将我们提出的方法称为基于层次化问题隔离的可视化问答，简称HQS-VQA。我们的贡献是三方面的，即：首先，我们提出了一个问题隔离（QS）技术VQAM;其次，我们集成了QS模型的层次化深度多模态神经网络，以生成适当的答案，医疗图像相关的查询;第三，我们研究了医疗VQA QS的影响，通过比较所提出的模型与QS和模型没有QS的性能。我们评估我们提出的模型在两个基准数据集，即RAD和CLEF 18上的性能。实验结果表明，我们提出的HQS-VQA技术优于基线模型具有显着的利润率。我们还对所获得的结果进行了详细的定量和定性分析，并发现了错误的潜在原因及其解决方案。
2020-09-27 cs.CL cs.CV cs.LG
ElectroVizQA: How well do Multi-modal LLMs perform in Electronics Visual Question Answering?
本文提出首个数字电子学视觉问答基准数据集ElectroVizQA，含约626个问题，评估多模态大语言模型在本科数字电路问题上的理解与解决能力，揭示其局限并推动工程教育应用。
2025-09-07 cs.CL cs.CV cs.LG
Improving Stack Overflow question title generation with copying enhanced CodeBERT model and bi-modal information
Wuhan University of Technology（武汉理工大学）；Wuhan University（武汉大学）；Wuhan University of Technology Chongqing Research Institute（武汉理工大学重庆研究院）；Sanya Science and Education Innovation Park of Wuhan University of Technology（武汉理工大学三亚科教创新园）；City University of Hong Kong（香港城市大学）
上下文：Stack Overflow对于寻求编程问题答案的软件开发人员非常有帮助。以往的研究表明，越来越多的问题是低质量的，从而获得较少的关注，从潜在的回答。Gao等人提出了一种基于LSTM的模型（即，BiLSTM-CC）从代码片段自动生成问题标题，以提高问题质量。但是，仅使用问题主体中的代码片段无法为标题生成提供足够的信息，并且LSTM无法捕获令牌之间的长范围依赖关系。目的：本文提出了一种基于深度学习的新模型CCBERT，通过充分利用整个问题体的双模态信息来提高问题标题生成的性能。方法：CCBERT遵循编码器-解码器范式，并使用CodeBERT将问题主体编码为隐藏表示，使用堆栈Transformer解码器生成预测令牌，并使用额外的复制注意力层优化输出分布。编码器和解码器都执行多头自注意操作以更好地捕获长程依赖性。本文从Stack Overflow官方发布的数据中筛选出约20万个高质量问题，构建了一个数据集，以验证CCBERT模型的有效性。结果：CCBERT在数据集上优于所有基线模型。在纯代码和低资源数据集上的实验表明了CCBERT的优越性，性能下降较小。人工评估也显示了CCBERT在可读性和相关性标准方面的出色表现。
2022-08-25 cs.AI cs.CL cs.PL
X-LXMERT: Paint, Caption and Answer Questions with Multi-Modal Transformers
Allen Institute for AI（艾伦人工智能研究所）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of Washington（华盛顿大学）
模仿掩蔽语言模型的成功，视觉和语言的同行，如ViLBERT，LXMERT和UNITER已经实现了各种多模态判别任务，如视觉问答和视觉接地的最先进的性能。最近的工作也成功地适应了这样的模型对生成任务的图像描述。这就引出了一个问题：这些模型能走另一条路，从文本片段生成图像吗？我们对这个模型家族的一个流行代表- LXMERT -的分析发现，它无法用当前的训练设置生成丰富和语义有意义的图像。我们介绍了X-LXMERT，这是LXMERT的扩展，其训练改进包括：离散化视觉表示，使用具有大范围掩蔽比的均匀掩蔽，以及将正确的预训练数据集与正确的目标对齐，使其能够进行绘制。X-LXMERT的图像生成能力可与最先进的生成模型相媲美，而其问答和字幕能力仍与LXMERT相当。最后，我们通过将图像生成功能添加到UNITER中以生成X-UNITER来展示这些训练改进的通用性。
2020-09-23 cs.AI cs.CL cs.CV
MoEMoE: Question Guided Dense and Scalable Sparse Mixture-of-Expert for Multi-source Multi-modal Answering
Amazon（亚马逊）；CMT Systems（CMT系统）；International Machine Learning（国际机器学习团队）
本文提出MoEMoE框架，通过问题引导的注意力机制和稀疏专家混合模型，解决多源多模态问答中的答案来源选择与可扩展性问题，并在多个数据集上验证了有效性。
2025-03-08 cs.CL cs.LG
Modality-Aware Integration with Large Language Models for Knowledge-based Visual Question Answering
The Hong Kong Polytechnic University（香港理工大学）；Rice University（莱斯大学）
针对KVQA中LLM幻觉及多知识源难对齐问题，提出MAIL框架，通过两阶段提示、耦合概念图与伪孪生图媒介融合实现高效多模态推理，并以少24倍资源取得基准优势。
2024-03-03 cs.AI cs.CL cs.CV
MultiFinRAG: An Optimized Multimodal Retrieval-Augmented Generation (RAG) Framework for Financial Question Answering
S&P Global Ratings（标普全球评级）
MultiFinRAG通过多模态提取和分层回退策略，提升金融问答任务中跨模态推理的准确性，比ChatGPT-4o在复杂任务上高19个百分点。
2025-06-25 cs.AI cs.CE cs.CL
RAMM: Retrieval-augmented Biomedical Visual Question Answering with Multi-modal Pre-training
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
视觉-语言多模态预训练和微调在视觉问答（VQA）中取得了巨大的成功。与一般领域的VQA相比，生物医学VQA的性能受到数据的限制。在本文中，我们提出了一个检索增强预训练和微调范式命名为RAMM生物医学VQA，以克服数据限制的问题。具体来说，我们收集了一个新的生物医学数据集PMCPM，它提供了基于患者的图像-文本对，包含来自PubMed的不同患者情况。然后，我们对生物医学多模态模型进行预训练，以学习图像-文本对的视觉和文本表示，并将这些表示与图像-文本对比目标（ITC）对齐。最后，我们提出了一个检索增强的方法，以更好地利用有限的数据。我们提出从预训练数据集中检索基于ITC的相似图像-文本对，并引入一种新的检索注意力模块来融合图像和问题的表示与检索到的图像和文本。实验表明，我们的检索增强预训练和微调范式在Med-VQA 2019，Med-VQA 2021，VQARAD和SLAKE数据集上获得了最先进的性能。进一步的分析表明，所提出的RAMM和PMCPM可以提高生物医学VQA性能相比，以前的资源和方法。我们将开源我们的数据集，代码和预训练模型。
2023-03-01 cs.CL cs.CV
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
可视化对话是一项具有挑战性的视觉语言任务，因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解，但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT，分析了视觉对话中的跨模态理解问题，提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入（即拉取图像、问题或答案）来增强跨模态理解。此外，ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解，以处理多轮视觉接地对话。实验结果表明，该方法提高了可视化对话模型的跨模态理解能力，在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
RAVEN: Query-Guided Representation Alignment for Question Answering over Audio, Video, Embedded Sensors, and Natural Language
Worcester Polytechnic Institute（伍斯特理工学院）
针对多模态问答中模态不一致易误导融合模型的问题，提出核心为QuART查询条件跨模态门控模块的RAVEN架构，经三阶段训练，搭配新发布的AVS-QA数据集，在多个基准上实现显著准确率提升且模态损坏下鲁棒性优异。
2025-09-05 cs.CL cs.CV cs.LG
Synthetic Multimodal Question Generation
C3 AI（C3 AI公司）；Connectly AI（Connectly AI公司）；Carnegie Mellon University（卡内基梅隆大学）
针对多模态检索增强生成（MMRAG）评估缺乏匹配风格与模态的高质量数据集的问题，提出SMMQG合成数据生成框架，生成的数据集可有效评估模型，数据质量与众包基准相当。
2024-10-03 cs.AI cs.CL cs.LG
Cross-modal Information Flow in Multimodal Large Language Models
ILLC, University of Amsterdam（阿姆斯特丹大学ILLC研究所）；University of Copenhagen（哥本哈根大学）；Technical University of Munich（慕尼黑工业大学）
本研究通过LLaVA系列模型实验，揭示多模态大语言模型中视觉与语言信息在低层、中层和高层分阶段融合的机制，为多模态信息定位与编辑提供新视角。
2025-03-25 cs.AI cs.CL cs.CV
Seeing What Should Be Heard: Diagnosing and Repairing Cross-Modal Shortcuts in Omni-Modal LLMs
The University of Queensland（昆士兰大学）；Shenzhen University（深圳大学）
针对全模态LLMs中模型过度依赖图像回答音频问题的跨模态捷径，提出因子化模态诊断方法定位问题，并设计DMC-Repair训练策略，将图像引起的答案效应降低59.9%，且不损害音频问答性能。
2026-09-30 cs.CL cs.CV cs.LG
Q&A Prompts: Discovering Rich Visual Clues through Mining Question-Answer Prompts for VQA requiring Diverse World Knowledge
School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出Q&A Prompts方法，通过训练视觉问题生成模型挖掘图像中的问答对作为丰富视觉线索，并将其作为提示输入多模态大语言模型，在OK-VQA和A-OKVQA等需要世界知识的视觉问答数据集上取得显著提升。
2024-10-12 cs.AI cs.CL cs.CV
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering
University of Cambridge（剑桥大学）
本文提出细粒度晚期交互多模态检索FLMR，通过视觉模型对齐和多维嵌入改进RA-VQA的知识检索，将PRRecall@5提升约8%，并在OK-VQA上取得约61%的VQA分数。
2023-10-28 cs.CL cs.CV
End-to-end Spoken Conversational Question Answering: Task, Dataset and Model
Tencent（腾讯）；Peking University（北京大学）；Yale University（耶鲁大学）
在口语问答中，系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流的语音文件。在这项任务中，我们的主要目标是建立一个系统来处理会话问题的基础上的音频记录，并探讨在信息收集系统提供更多的线索，从不同的模态的可行性。为此，而不是直接采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，有效地摄取跨模态信息，以实现细粒度的语音和语言模态的表示。此外，我们提出了一个简单而新颖的机制，称为双重注意，通过鼓励更好的音频和文本之间的对齐，以减轻知识转移的过程。为了评估SCQA系统在对话式交互中的能力，我们组装了一个口语会话问答（Spoken-CoQA）数据集，其中包含来自4k个会话的超过40 k个问答对。现有的最先进的方法的性能显着降低我们的数据集，因此证明了跨模态信息集成的必要性。我们的实验结果表明，我们提出的方法在口语会话问答任务中取得了优异的性能。
2022-04-29 cs.AI cs.CL cs.SD
Rethinking Information Synthesis in Multimodal Question Answering A Multi-Agent Perspective
Arizona State University（亚利桑那州立大学）
本文提出多智能体框架MAMMQA，通过分解查询、跨模态推理和整合答案，提升多模态问答的准确性和可解释性。
2026-04-21 cs.CL
Multimedia-Aware Question Answering: A Review of Retrieval and Cross-Modal Reasoning Architectures
Carnegie Mellon University（卡内基梅隆大学）；Boston University（波士顿大学）
本综述回顾了集成多媒体检索的问答系统，按检索、融合和生成策略分类，分析基准与挑战，并展望未来方向。
2025-10-23 cs.CL cs.CV cs.IR
ChiQA: A Large Scale Image-based Real-World Question Answering Dataset for Multi-Modal Understanding
Tencent Inc.（腾讯公司）
视觉问答是自然语言和视觉理解领域的一个重要课题。然而，在大多数公共视觉问答数据集中，如VQA，CLEVR，问题是人类生成的，特定于给定的图像，如“她的眼睛是什么颜色？'.人工生成的众包问题相对简单，有时会偏向于某些实体或属性。本文介绍了一种新的基于图像的问答数据集-ChiQA。它包含了互联网用户发出的真实世界的查询，结合了几个相关的开放域图像。系统应该确定图像是否可以回答问题。与以往的VQA数据集不同，问题是真实世界的图像无关的查询，更加多样化和无偏见。与以前的图像检索或图像标题数据集相比，ChiQA不仅测量相关性，还测量可回答性，这需要更细粒度的视觉和语言推理。ChiQA包含超过4万个问题和超过20万个问题图像对。每对被分配一个三个级别的2/1/0标签，表示完美答案、部分答案和无关答案。数据分析表明，ChiQA需要对语言和视觉都有深刻的理解，包括接地，比较和阅读。我们评估了几个国家的最先进的视觉语言模型，如ALBEF，表明ChiQA仍有很大的改进空间。
2022-08-05 cs.CL cs.CV
ProCQA: A Large-scale Community-based Programming Question Answering Dataset for Code Search
Beihang University（北京航空航天大学）；Sino-French Engineer School, Beihang University（北京航空航天大学中法工程师学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）
本文提出大规模社区编程问答数据集ProCQA，并设计模态无关对比预训练方法改进文本与代码表示对齐，在多项代码检索基准上显著超越以往模型。
2024-03-25 cs.CL cs.IR cs.SE
BRIT: Bidirectional Retrieval over Unified Image-Text Graph
Fujitsu Research India（富士通印度研究）
本文提出多模态RAG框架BRIT，通过统一图文关系构建图谱并双向遍历检索查询相关子图，同时构建MM-RAG测试集，实验证明其在跨模态多跳问答上的优势。
2025-09-27 cs.CL
