Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models
University of Pennsylvania(宾夕法尼亚大学);Perelman School of Medicine(佩雷尔曼医学院)
本研究引入模态重要性分数(MIS)并利用最先进的MLLMs评估视频问答基准中的单模态偏差,发现现有数据集存在模态不平衡且模型难以有效整合多模态信息,为构建模态平衡数据集提供了指导。
2024-12-19 cs.AI cs.CL cs.LG
Multimodal Commonsense Knowledge Distillation for Visual Question Answering
University of Melbourne(墨尔本大学);University of Western Australia(西澳大学)
提出基于图的多模态常识知识蒸馏框架,通过GCN统一常识、视觉与问题,无需微调即可提升VQA常识问答性能。
2024-11-05 cs.AI cs.CL
VISPATH: Visual-Intent-Guided Path Reasoning for Multimodal Knowledge Graph Question Answering
VISPATH提出视觉意图引导的路径推理框架,通过多模态定位、意图引导路径发现和推理链剪枝,解决多模态知识图谱问答中多跳推理问题,在基准上超越强基线。
2026-09-21 cs.CL cs.LG
MCQA: Multimodal Co-attention Based Network for Question Answering
University of Maryland(马里兰大学)
我们提出了MCQA,一个基于学习的多模态问答算法。MCQA明确地融合和对齐多模态输入(即文本、音频和视频),这形成了查询(问题和答案)的上下文。我们的方法融合并在此背景下调整问题和答案。此外,我们使用的概念的共同注意力进行跨模态对齐和多模态上下文查询对齐。我们的上下文查询对齐模块将多模态上下文和查询的相关部分相互匹配,并将它们对齐,以提高整体性能。我们评估的性能MCQA社会智商,多模态问答的基准数据集。我们比较我们的算法与以前的方法的性能,并观察到4- 7%的准确性提高。
2020-04-25 cs.CL
Knowledge Base Completion using Web-Based Question Answering and Multimodal Fusion
University of Florida(佛罗里达大学)
提出一种融合网络非结构化信息与知识库结构化信息的多模态问答系统,通过问题模板高效提取缺失事实,实现知识库补全。
2023-05-07 cs.AI cs.DB cs.LG
The Synthetic Media Shift: Tracking the Rise, Virality, and Detectability of AI-Generated Multimodal Misinformation
Centre for Research and Technology Hellas(希腊研究中心)
本文提出CONVEX数据集,研究多模态虚假信息的传播与共识动态,发现AI生成内容虽传播迅速但依赖被动互动,且检测性能随生成模型发展而下降。
2026-04-15 cs.AI cs.CR cs.MM
Chain of Questions: Guiding Multimodal Curiosity in Language Models
Edinburgh Napier University(爱丁堡纳皮尔大学)
本文提出问题链(CoQ)框架,通过好奇心驱动的动态提问引导多模态语言模型选择性激活相关感官模态,在整合多数据集的新基准上提升了推理准确性、可解释性与任务对齐。
2025-08-06 cs.AI cs.CL cs.CV
MUREL: Multimodal Relational Reasoning for Visual Question Answering
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Heuritech(赫瑞泰克公司);Conservatoire National des Arts et Métiers(法国国立工艺学院)
多模态注意网络是目前涉及真实图像的视觉问答(VQA)任务的最新模型。虽然注意力可以集中在与问题相关的视觉内容上,但这种简单的机制可能不足以模拟VQA或其他高级任务所需的复杂推理功能。在本文中,我们提出了MuRel,这是一种多模态关系网络,它是端到端学习的,可以在真实图像上进行推理。我们的第一个贡献是介绍了MuRel细胞,原子推理原语表示问题和图像区域之间的相互作用,通过丰富的矢量表示,并与成对组合的区域关系建模。其次,我们将细胞整合到一个完整的MuRel网络中,该网络逐步细化视觉和问题交互,并且可以用来定义比单纯的注意力地图更精细的可视化方案。我们验证了我们的方法与各种消融研究的相关性,并在三个数据集上显示了其优于基于注意力的方法:VQA 2.0,VQA-CP v2和TDIUC。我们最终的MuRel网络在这种具有挑战性的环境中具有竞争力或优于最先进的结果。我们的代码可在:https://github.com/Cadene/murel.bootstrap.pytorch
2019-02-25 cs.AI cs.CL cs.CV
SPRING: Situated Conversation Agent Pretrained with Multimodal Questions from Incremental Layout Graph
Beijing University of Posts and Telecommunications(北京邮电大学)
现有的多模态会话代理已经表现出令人印象深刻的能力,在简单的情况下,定位绝对位置或检索属性,但他们不能表现得很好,当涉及复杂的相对位置和信息对齐,这构成了响应质量的瓶颈。在本文中,我们提出了一个情景会话代理Petrained与多模态问题从增量布局图(SPRING)的推理能力,多跳空间关系,并将它们与视觉属性在拥挤的情景。具体来说,我们设计了两种类型的多模态问答(MQA)任务来预训练代理。在预训练期间使用的所有QA对都是从新颖的增量布局图(ILG)生成的。ILG自动注释的QA对难度标签用于促进基于MQA的课程学习。实验结果验证了SPRING的有效性,表明它在SIMMC 1.0和SIMMC 2.0数据集上的性能明显优于最先进的方法。
2023-01-05 cs.AI cs.CL cs.CV
Physics-Based Benchmarking Metrics for Multimodal Synthetic Images
本文提出结合大语言模型与推理、知识映射和视觉语言模型的物理约束多模态数据评估指标,以提升多模态合成图像的语义和结构准确性。
2026-05-08 cs.AI cs.CV
MQDD: Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domain
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术研究院);University of West Bohemia(西波西米亚大学)
这项工作提出了一个新的管道,利用在Stack Overflow网站上收集的数据,用于预训练多模态模型,用于在问答网站上搜索重复内容。我们的多模态模型是在问题描述和多种程序设计语言的源代码上训练的。我们设计了两个新的学习目标,以提高重复检测能力。这项工作的结果是一个成熟的,微调的多模态问题重复检测(MQDD)模型,准备集成到堆栈溢出搜索系统中,在那里它可以帮助用户找到已经回答的问题的答案。除了MQDD模型,我们还发布了两个与软件工程领域相关的数据集。第一个Stack Overflow Dataset(SOD)代表了大量的成对问题和答案的语料库。第二个Stack Overflow Duplicity Dataset(SODD)包含用于训练重复检测模型的数据。
2022-03-29 cs.CL cs.LG cs.PL
Visual Question Decomposition on Multimodal Large Language Models
Munich Center for Machine Learning(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Amazon Web Services(亚马逊云计算服务);LMU Munich(慕尼黑大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Oxford(牛津大学)
本研究针对多模态大语言模型视觉问题分解能力不足的问题,构建了含数据集与评估标准的系统框架,提出DecoVQA+微调数据集及选择性分解微调流水线,显著提升了子问题质量与VQA任务准确率。
2024-10-07 cs.AI cs.CL cs.CV
BEST-KAG: Enhancing Question Answering of Building Engineering Standards with Multimodal Knowledge Graph Modeling and Large Language Model
本研究提出BEST-KAG框架,通过多模态知识图谱建模与大语言模型,解决建筑工程标准问答的现有局限,在相关评估指标上优于主流大语言模型。
2026-08-13 cs.AI cs.CL
Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions
University of Southern California(南加州大学);Tsinghua University(清华大学)
针对多模态大语言模型低级几何视觉感知能力不足的问题,提出Geoperception基准,通过实证研究找到高保真合成数据、数据课程多阶段训练等优化策略,开发的Euclid模型系列在基准上性能显著优于闭源模型。
2024-12-11 cs.AI cs.CL cs.CV
MediFact at MEDIQA-M3G 2024: Medical Question Answering in Dermatology with Multimodal Learning
National University of Computer and Emerging Sciences (NUCES-FAST)(国家计算机与新兴科学大学(NUCES-FAST))
本文提出一种弱监督多模态学习方法,结合VGG16-CNN-SVM与ViT-CLIP模型,解决皮肤病学多语言开放式医学问答问题,为临床决策支持系统提供支撑。
2024-04-27 cs.AI cs.CL cs.CV
Adapting Visual Question Answering Models for Enhancing Multimodal Community Q&A Platforms
Carnegie Mellon University(卡内基梅隆大学);Waseda University(早稻田大学);Yahoo Japan Corporation(雅虎日本公司)
问题分类和专家检索方法是社区问答平台中信息组织和可访问性的关键。然而,这一领域的研究只涉及文本模态。随着Web内容的多模态性质的增加,我们专注于扩展这些方法的CQA问题伴随着图像。具体来说,我们利用成功的表示学习的文本和图像的视觉问答(VQA)域,并适应基本的概念和架构的自动分类和专家检索基于图像的问题张贴在雅虎!Chiebukuro,雅虎的日本对手!答案据我们所知,这是第一项解决CQA中多模态挑战的工作,并使VQA模型适应于更具生态有效性的视觉问题来源的任务。我们对视觉QA和社区QA数据之间差异的分析推动了我们提出的针对CQA量身定制的注意力方法的新增强,以及使用辅助任务来学习更好的接地功能。我们的最终模型显着优于纯文本和VQA模型基线的分类和专家检索的任务,对现实世界的多模态CQA数据。
2019-05-25 cs.AI cs.CL cs.CV
Do LLMs Understand Romanian Driving Laws? A Study on Multimodal and Fine-Tuned Question Answering
Faculty of Mathematics and Informatics, University of Bucharest(数学与信息学系,布加勒斯特大学)
本文构建罗马尼亚驾驶法律问答数据集,评估多模态SOTA模型与微调8B模型,发现文本图像描述优于直接视觉输入且LLM评审存在自我偏好偏差。
2025-09-28 cs.CL cs.LG
Multimodal Graph Transformer for Multimodal Question Answering
UC Santa Cruz(加州大学圣克鲁兹分校)
针对Transformer难用结构化数据、GNN性能不及Transformer的问题,提出多模态图Transformer,通过即插即用准注意力机制融合多模态图先验,在多个问答数据集上优于基线模型。
2023-04-30 cs.AI cs.CL cs.CV
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS(加州大学伯克利分校电子工程与计算机科学系);Sony Corp.(索尼公司);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而,诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和,以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的,由于其高维度,我们建议利用多模态紧凑双线性池(MCB),有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答,我们提出了一个架构,它使用MCB两次,一次用于预测注意空间特征,并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
From text to multimodal: a survey of adversarial example generation in question answering systems
Yildiz Technical University(耶尔德兹理工大学);Kadir Has University(卡迪尔·哈斯大学)
本文系统综述文本与多模态问答系统中的对抗样本生成技术,分类梳理扰动、生成模型、防御、数据集与评估指标,并指出未来研究方向。
2024-08-09 cs.AI cs.CL
Task-Specific Multimodal Question Answering Agents via Confidence Calibration and Incremental Reasoning for QANTA 2026
Department of Computer Science;Engineering, Chittagong University of Engineering \& Technology, Chattogram, Bangladesh
针对QANTA 2026共享挑战,开发特定任务双代理架构,抢答代理用带置信度校准的模型及数值推理策略,加分代理用多种推理整合信息,强调仅托管环境下的高效推理与校准,系统取得高分,证明轻量级策略在资源受限问答中性能强。
2026-07-13 cs.AI cs.CL
FM2DS: Few-Shot Multimodal Multihop Data Synthesis with Knowledge Distillation for Question Answering
Department of Computer Science(计算机科学系);The University of British Columbia(不列颠哥伦比亚大学);ServiceNow Research(ServiceNow研究)
本文提出FM2DS,首个用于多模态多跳问答(MMQA)高质量数据集合成的5阶段框架,并引入长文档基准M2QA-Bench;实验表明基于其合成数据训练的模型在EM得分上平均超人类收集数据1.9。
2025-09-13 cs.AI cs.CL cs.CV
A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series
Shandong University(山东大学);University of Auckland(奥克兰大学)
针对不规则临床时间序列问答,提出ClinPRISM框架。该框架含不规则感知多尺度编码器、时间证据蒸馏器和渐进对齐策略,通过构建训练数据,在40亿参数大语言模型主干上实现最优性能,兼具低时间序列令牌数和低推理延迟。
2026-07-29 cs.AI cs.CL
mForms : Multimodal Form-Filling with Question Answering
Georgia Institute of Technology(佐治亚理工学院)
本文提出将表单填写任务重构为多模态自然语言问答,利用预训练QA模型实现零样本填写,结合多任务训练优化性能,并引入mForms数据集,在ATIS上以1/10训练数据达到0.97的F1分数。
2024-03-23 cs.AI
MuRAR: A Simple and Effective Multimodal Retrieval and Answer Refinement Framework for Multimodal Question Answering
University of Texas at Arlington(得克萨斯大学阿灵顿分校);Adobe(奥多比公司)
本文提出 MuRAR 框架,通过检索相关多模态数据并精化文本答案,生成连贯的多模态答案,以提升企业聊天机器人等场景中问答的有用性和可读性。
2025-02-07 cs.CL cs.IR
An Entailment Tree Generation Approach for Multimodal Multi-Hop Question Answering with Mixture-of-Experts and Iterative Feedback Mechanism
North China University of Technology(北方工业大学)
针对多模态多跳问答中证据冗余、推理不可解释的问题,提出结合混合专家多任务框架与迭代反馈的蕴含树生成联合方法,在WebQA榜单夺冠且在MultimodalQA上表现优异。
2024-12-10 cs.AI cs.CL
Training Question Answering Models From Synthetic Data
Nvidia(英伟达);Rice University(莱斯大学)
问答生成是一种数据增强方法,其目的是在给定有限的人类标记数据量的情况下改进问答(QA)模型。然而,合成和人工生成的问答对之间仍然存在相当大的差距。这项工作旨在通过利用大语言模型来缩小这一差距,并探讨了几个因素,如模型大小,预训练模型的质量,合成数据的规模和算法选择。在SQuAD 1.1问答任务中,我们使用单独的合成问题和答案比单独使用SQuAD 1.1训练集问题时实现了更高的准确性。删除访问真实的维基百科数据,我们合成的问题和答案从一个合成语料库生成的83亿参数GPT-2模型。在没有人工监督的情况下,我们只能访问其他模型,因此我们能够在完全由模型生成的数据上训练最先进的问答网络,这些数据在SQuAD 1.1开发集上达到88.4的精确匹配(EM)和93.9的F1得分。我们进一步将我们的方法应用于SQuAD 2.0,并显示与使用合成数据的先前工作相比,EM得分的绝对增益为2.8。
2020-02-22 cs.AI cs.CL
VQA-GNN: Reasoning with Multimodal Knowledge via Graph Neural Networks for Visual Question Answering
KDDI Research(KDDI研究所);Stanford University(斯坦福大学)
提出VQA-GNN模型,通过超级节点连接场景图与概念图并利用多模态GNN进行双向融合与跨模态消息传递,在VCR和GQA任务上显著提升了视觉问答的概念级推理性能。
2023-09-15 cs.AI cs.CL cs.CV
MPMQA: Multimodal Question Answering on Product Manuals
School of Information, Renmin University of China(中国人民大学信息学院);Samsung Research China - Beijing (SRC-B)(三星中国研究院(北京))
本文提出多模态产品手册问答任务MPMQA,构建含209份手册和22,021对问答的PM209数据集,并设计统一模型同时完成相关页面检索与多模态答案生成,性能与专用模型相当。
2023-04-19 cs.CL
SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark
University of Notre Dame(圣母大学);New York University(纽约大学);Hong Kong University of Science and Technology(香港科技大学)
SceMQA是一个大学入学水平的科学多模态问答基准,覆盖数学、物理、化学和生物,通过多项选择和自由回答题型评估AI模型,实验显示最强模型准确率仅50%-60%,表明需进一步发展。
2024-02-06 cs.AI cs.CL
Progressive Evidence Refinement for Open-domain Multimodal Retrieval Question Answering
East China Normal University(华东师范大学);Fudan University(复旦大学)
针对多模态检索问答中证据信息丢失与特征提取不匹配的问题,提出渐进式证据精炼、半监督对比学习及多轮问答策略,在WebQA和MultimodalQA上取得优异性能。
2023-10-15 cs.AI
Rethinking Information Synthesis in Multimodal Question Answering A Multi-Agent Perspective
Arizona State University(亚利桑那州立大学)
本文提出多智能体框架MAMMQA,通过分解查询、跨模态推理和整合答案,提升多模态问答的准确性和可解释性。
2026-04-21 cs.CL
Text Over Image: Auditing Multimodal Robustness in Synthetic Medical Image Detection
University of Notre Dame(圣母大学);IBM Research(IBM研究院);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院);Optum AI, UnitedHealth Group(Optum AI, 联合健康集团)
针对合成医学图像检测中多模态鲁棒性不足的问题,提出图像-记录配对基准,揭示视觉语言模型因过度依赖记录上下文而导致的预测偏差。
2026-07-02 cs.AI cs.CV
VOILA: Value-of-Information Guided Fidelity Selection for Cost-Aware Multimodal Question Answering
VOILA通过基于信息价值的自适应保真度选择,在多模态问答中实现成本优化与高精度的平衡。
2026-02-03 cs.AI cs.CV cs.LG
Multimodal Dual Attention Memory for Video Story Question Answering
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);Seoul National University(首尔大学);SK T-brain;Surromind Robotics
我们提出了一个视频故事问答(QA)架构,多模态双注意力记忆(MDAM)。其关键思想是使用具有后期融合的双重注意力机制。MDAM使用自我注意来学习场景帧和字幕中的潜在概念。给定一个问题,MDAM对这些潜在概念使用第二注意力。在双注意过程之后执行多模态融合(后期融合)。使用这种处理管道,MDAM学习从完整视频内容的抽象中推断高级视觉语言联合表示。我们在PororoQA和MovieQA数据集上评估MDAM,这些数据集分别对卡通视频和电影进行了大规模的QA注释。对于这两个数据集,MDAM实现了新的最先进的结果,与亚军模型相比具有显着的利润率。我们通过消融研究证实了双重注意力机制结合晚期融合的最佳性能。我们还进行定性分析,通过可视化的推理机制MDAM。
2018-09-21 cs.AI cs.CL cs.CV
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University(复旦大学)
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题,提出弱监督高斯对比定位框架,利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入,显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering
Southeast University(东南大学);Portland Institute(波特兰研究所);Aristotle University of Thessaloniki(亚里士多德大学);Shandong University(山东大学)
本文提出HANIA框架,通过规划器引导的多模态图证据选择处理ScienceQA问答任务,无需目标数据集微调或迭代检索即可实现具竞争力的多模态问答。
2026-09-24 cs.AI
mChartQA: A universal benchmark for multimodal Chart Question Answer based on Vision-Language Alignment and Reasoning
Shenyang Institute of Computing Technology, Chinese Academy of Sciences(中国科学院沈阳计算技术研究所);Beijing Wenge Technology Co., Ltd(北京文格科技有限公司);University of Chinese Academy of Sciences(中国科学院大学)
针对多模态图表问答中彩色、结构型及无文本图表处理的难题,提出融合视觉语言处理、采用双阶段训练的新型模型,在多个公开数据集上取得更优性能。
2024-04-02 cs.AI cs.CV
MoCA: Incorporating Multi-stage Domain Pretraining and Cross-guided Multimodal Attention for Textbook Question Answering
教科书问答(TQA)是一个复杂的多模态任务,以推断答案给定的大型上下文描述和丰富的图表。与可视化问答(VQA)相比,TQA包含了大量的非常用术语和各种图表输入。这对语言模型的跨领域表示能力提出了新的挑战。它也将多模态融合推向了一个更复杂的层次。为了解决上述问题,我们提出了一种名为MoCA的新模型,它结合了多阶段领域预训练和多模态交叉注意的TQA任务。首先,我们引入了一个多阶段的领域预训练模块进行无监督的后预训练与跨度掩模策略和监督预微调。特别是领域后预训练,我们提出了一个启发式生成算法,采用术语语料库。其次,为了充分考虑上下文和图表的丰富输入,我们提出了交叉引导的多模态注意,以更新文本,问题图和教学图的特征的基础上的渐进策略。此外,采用双选通机制来改善模型集成。实验结果表明,我们的模型的优越性,它优于国家的最先进的方法分别为2.21%和2.43%的验证和测试分裂。
2021-12-06 cs.AI cs.MM
FIND: Toward Multimodal Financial Reasoning and Question Answering for Indic Languages
Indian Institute of Technology Patna(印度理工学院帕纳分校);Microsoft(微软)
本文提出FinVQA基准和FIND框架,针对多语言印度语言金融推理挑战,通过多模态和数值推理提升金融决策准确性。
2026-05-13 cs.CL
Reasoning Limitations of Multimodal Large Language Models. A Case Study of Bongard Problems
Warsaw University of Technology, Warsaw, Poland(华沙技术大学);AGH University of Krakow, Krakow, Poland(克拉科夫AGH大学)
本研究通过多策略测试多模态大语言模型在Bongard问题上的表现,发现其弱性能源于抽象视觉推理的普遍局限,而非领域特异性,并引入Bongard-RWR数据集验证。
2025-06-23 cs.AI cs.CV cs.LG
VLMT: Vision-Language Multimodal Transformer for Multimodal Multi-hop Question Answering
Multimedia University(多媒体大学);University of Nottingham Ningbo China(宁波诺丁汉大学)
本文提出VLMT统一架构,通过token级视觉-文本注入和三阶段预训练增强跨模态对齐,并构建两阶段MMQA框架,在MultimodalQA和WebQA上显著超越先前最优模型。
2025-04-11 cs.CL cs.CV
Multimodal Large Language Models as Synthetic Participants in Video-Based Studies: An Evaluation
University of California, Berkeley(加州大学伯克利分校)
本研究评估多模态大语言模型在视频感知任务中模拟人类主观评分的表现,发现模型存在偏差且与人类一致性有限。
2026-05-01 cs.AI cs.CV cs.CY
Hybrid-DMKG: A Hybrid Reasoning Framework over Dynamic Multimodal Knowledge Graphs for Multimodal Multihop QA with Knowledge Editing
Hybrid-DMKG通过动态多模态知识图谱实现多跳问答中的准确推理,提升对知识更新的鲁棒性。
2025-11-30 cs.AI
Hierarchical Vision-Language Reasoning for Multimodal Multiple-Choice Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文针对日语PDF文档十选一问答任务,提出融合分层视觉-语言推理、Colqwen优化检索与子问题分解语义验证的新框架,显著提升复杂文档语义解析能力与鲁棒性。
2025-08-22 cs.CL cs.IR cs.MM
SCRAMBLe : Enhancing Multimodal LLM Compositionality with Synthetic Preference Data
Boston University(波士顿大学)
本文提出 SCRAMBLe,利用现有图像-描述数据自动生成二元合成偏好数据以微调开放权重 MLLM,显著提升其组合推理及通用问答性能。
2025-09-28 cs.AI cs.CV
Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);Tongyi Lab, Alibaba Group(阿里云实验室);University College London(伦敦大学学院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对现有mRAG固定检索流程无法适应动态问题,构建Dyn-VQA数据集并提出首个自适应规划智能体OmniSearch,通过动态分解问题链提升检索效果。
2025-05-26 cs.CL
MMAPG: A Training-Free Framework for Multimodal Multi-hop Question Answering via Adaptive Planning Graphs
University of New South Wales(新南威尔士大学);CSIRO Data61(CSIRO数据61)
本文提出无训练框架MMAPG,通过自适应规划图动态协调规划、检索与推理模块,在多模态多跳问答中实现灵活推理路径探索,并在MultimodalQA和WebQA上达到或超越依赖训练的模型。
2025-09-19 cs.AI
Multimodal Prompt Retrieval for Generative Visual Question Answering
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
针对现有判别式VQA方法在低资源领域易过拟合及跨域泛化差的问题,提出多模态提示检索增强的生成模型,通过整合检索提示与多模态特征生成自由文本答案,实现零样本跨域适应,在医学VQA少样本设置下准确率提升达30%。
2023-06-30 cs.AI cs.CV
Synthetic Question Value Estimation for Domain Adaptation of Question Answering
The Ohio State University(俄亥俄州立大学);George Mason University(乔治梅森大学)
在目标域上用问题生成器合成问答对已成为问答模型领域自适应的一种流行方法。由于合成问题在实践中经常是嘈杂的,现有的工作将来自预训练的QA(或QG)模型的分数作为选择高质量问题的标准。然而,这些分数并不直接服务于提高目标域的QA性能的最终目标。在本文中,我们介绍了一种新的想法,训练一个问题值估计器(QVE),直接估计合成问题的有用性,以提高目标域QA性能。通过进行综合实验,我们表明,QVE选择的综合问题,可以帮助实现更好的目标域QA性能,与现有技术相比。我们还表明,通过使用这样的问题和目标域上大约15%的人类注释,我们可以实现与完全监督基线相当的性能。
2022-03-16 cs.CL
Multimodal Question Answering for Unified Information Extraction
The Ohio State University(俄亥俄州立大学);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Engineering, Westlake University(西湖大学工学院)
本文提出多模态问答框架MQA,将三类MIE任务统一为片段抽取与多选QA流水线,在六个数据集上显著提升LMM的零样本和少样本信息抽取性能。
2023-10-04 cs.CL
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
M$^3$-VQA引入了多实体问题,要求模型在多个文档间进行顺序和并行多跳推理,揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
Efficient Multimodal Clinical Question Answering for Pulmonary Embolism Risk Assessment
University of Auckland(奥克兰大学);University of Cambridge(剑桥大学);University of Adelaide(阿德莱德大学);University of Melbourne(墨尔本大学)
本研究构建了基于INSPECT数据集的肺栓塞多模态基准,通过结构化问答任务评估高效多模态大模型在CTPA和EHR输入下的诊断与预后性能,发现Gemma4模型在结合CTPA+EHR时表现更优,且诊断任务优于预后任务。
2026-06-23 cs.AI
Efficient Multimodal Planning Agent for Visual Question-Answering
ShanghaiTech University(上海科技大学);Alibaba Tongyi Lab(阿里云通义实验室)
本文提出了一种高效的多模态规划代理,通过动态分解mRAG流程,提升视觉问答任务的效率和性能。
2026-01-28 cs.CL