Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(国家多媒体信息处理重点实验室,计算机学院,北京大学);ByteDance(字节跳动)
提出CDPruner,一种无需训练且与模型无关的视觉token剪枝方法,通过行列式点过程最大化保留token的条件多样性,在大幅降低MLLMs推理成本的同时保持高性能。
2025-07-01 cs.AI cs.CV
Answer-Driven Visual State Estimator for Goal-Oriented Visual Dialogue
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan-Dianping Group(美团点评集团)
一个目标导向的视觉对话涉及两个代理之间的多轮互动,怀疑者和甲骨文。在此期间,神谕给出的答案意义重大,因为它为怀疑者所关心的问题提供了黄金回应。基于这个答案,怀疑者更新了它对目标视觉内容的信念,并进一步提出了另一个问题。值得注意的是,不同的答案会导致不同的视觉信念和未来问题。然而,现有的方法总是不加区别地编码后,更长的问题的答案,导致在一个弱的利用答案。在本文中,我们提出了一个决策者驱动的视觉状态估计(ADVSE)施加不同的答案对视觉状态的影响。首先,我们提出了一个问题驱动的集中注意力(ADFA)捕捉答案驱动的视觉注意力的影响,锐化问题相关的注意力,并调整它在每一轮的答案为基础的逻辑操作。然后在注意集中的基础上,通过条件视觉信息融合(CVIF)得到视觉状态估计,即在问答状态下融合整体信息和差异信息。我们评估建议ADVSE的问题生成器和猜测任务的大规模GuessWhat?!数据集,并在这两项任务上实现最先进的性能。定性结果表明,ADVSE促进智能体产生高效的问题,并获得可靠的视觉注意力在合理的问题生成和猜测过程。
2022-03-24 cs.CV
Check It Again: Progressive Visual Question Answering via Visual Entailment
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
虽然复杂的视觉问答模型已经取得了显著的成功,但它们往往只根据问题和答案之间的表面相关性来回答问题。最近已经开发了几种方法来解决这种语言先验问题。然而,他们中的大多数人预测正确的答案根据一个最佳的输出,而不检查答案的真实性。此外,他们只探讨图像和问题之间的相互作用,忽略了候选答案的语义。在本文中,我们提出了一个选择和重新排名(SAR)渐进框架的基础上视觉蕴涵。具体来说,我们首先选择与问题或图像相关的候选答案,然后通过视觉蕴涵任务对候选答案进行重新排序,该视觉蕴涵任务验证图像是否语义蕴涵问题和每个候选答案的合成陈述。实验结果表明,我们提出的框架的有效性,建立了一个新的国家的最先进的VQA-CP v2的准确性与7.55%的改善。
2021-06-08 cs.CV
Rephrasing visual questions by specifying the entropy of the answer distribution
Hiroshima University(广岛大学);National Institute of Informatics(国立信息学研究所)
视觉问答(VQA)是回答一个由问题和图像组成的视觉问题的任务。有些视觉问题是模糊的,有些是明确的,根据不同的情况改变问题的模糊性可能是合适的。然而,这个问题还没有得到解决的任何先前的工作。我们提出了一个新的任务,通过控制问题的歧义来改写问题。通过使用由VQA模型预测的答案分布的熵来定义视觉问题的模糊性。所提出的模型重新措辞的源问题与图像,使重新措辞的问题具有用户指定的歧义(或熵)。我们提出了两种学习策略来训练所提出的模型与VQA v2数据集,它没有歧义信息。我们证明了我们的方法的优势,可以控制的歧义的改写的问题,和一个有趣的观察,这是很难增加比减少歧义。
2020-04-10 cs.CV
Where To Look: Focus Regions for Visual Question Answering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一种方法,学习回答视觉问题,通过选择相关的图像区域的基于文本的查询。我们的方法表现出显着的改进,在回答问题,如“什么颜色”,它是必要的,以评估一个特定的位置,和“什么房间”,它选择性地识别信息图像区域。我们的模型在VQA数据集上进行了测试,VQA数据集是我们所知的最大的人类注释视觉问答数据集。
2016-01-10 cs.CV
Focal Visual-Text Attention for Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司);HelloVera AI(HelloVera人工智能)
最近的见解语言和视觉与神经网络已成功地应用于简单的单图像视觉问答。然而,要解决现实生活中的问答问题的多媒体集合,如个人照片,我们必须看看整个集合的照片或视频序列。当回答来自大量集合的问题时,一个自然的问题是识别支持答案的片段。在本文中,我们描述了一种新的神经网络称为焦点视觉-文本注意力网络(FVTA)的集体推理的视觉问答,其中既有视觉和文本序列信息,如图像和文本元数据。FVTA引入了一种端到端的方法,该方法利用分层过程来动态确定在顺序数据中关注什么媒体和什么时间来回答问题。FVTA不仅能很好地回答问题,而且还能为系统结果提供依据以获得答案。FVTA在MemexQA数据集上实现了最先进的性能,并在MovieQA数据集上取得了有竞争力的结果。
2019-05-31 cs.CV
VCD: Visual Causality Discovery for Cross-Modal Question Reasoning
Sun Yat-sen University(中山大学)
针对现有视觉问题推理方法忽略跨模态时序与因果建模的问题,提出含VCD架构、LGCAM模块与IVLT的CMQR框架,通过因果干预缓解虚假关联,在四个数据集上实现了更鲁棒的推理效果。
2023-12-11 cs.CV
Learning to Answer Questions in Dynamic Audio-Visual Scenarios
Renmin University of China(中国人民大学);University of Rochester(罗切斯特大学)
在本文中,我们专注于视听问答(AVQA)任务,其目的是回答有关不同的视觉对象,声音,以及它们的关联视频的问题。这个问题需要对视听场景进行全面的多模态理解和时空推理。为了对这项任务进行基准测试并促进我们的研究,我们引入了一个大规模的MUSIC-AVQA数据集,该数据集包含超过45 K的问答对,涵盖了跨越不同模态和问题类型的33个不同问题模板。我们开发了几个基线,并引入了一个时空接地视听网络的AVQA问题。我们的研究结果表明,AVQA受益于多感官知觉,我们的模型优于最近的A-,V-和AVQA方法。我们相信,我们建立的数据集有潜力作为测试平台,评估和促进视听场景理解和时空推理的进展。代码和数据集:http://gewu-lab.github.io/MUSIC-AVQA/
2022-04-05 cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景,并提供与查询相关的答案,这肯定会加快灾难后的恢复过程。在这项工作中,我们解决的重要性,\textit{visual question answering (VQA)}任务的灾后损失评估,提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔,并比较基准VQA模型的性能。
2021-06-19 cs.CV
Chop Chop BERT: Visual Question Answering by Chopping VisualBERT's Heads
Northwestern Polytechnical University(西北工业大学);National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(国家空天地海一体化大数据应用技术国家工程实验室);University of Adelaide(阿德莱德大学)
视觉与语言(VL)预训练在许多相关的下游任务中显示出巨大的潜力,例如视觉问答(VQA),这是VL领域中最受欢迎的问题之一。所有这些预训练模型(如VisualBERT、ViLBERT、LXMERT和UNITER)都是使用Transformer构建的,它将经典的注意力机制扩展到多个层和头。为了研究这些模型在VQA上工作得如此出色的原因和方式,在本文中,我们探讨了在处理$12$不同类型的问题时,Transformer模型中各个头和层的作用。具体来说,我们一次从预先训练好的VisualBERT模型中手动删除(砍)头(或层),并在不同级别的问题上测试它以记录其性能。如结果矩阵的有趣的梯形形状所示,实验揭示了不同的头部和层负责不同的问题类型,高层次的视觉推理问题激活了高层次的层。基于这一观察,我们设计了一个动态斩波模块,可以自动删除头和层次的VisualBERT在一个实例级别时,处理不同的问题。我们的动态斩波模块可以有效地将原始模型的参数减少50%,而在VQA任务中,精度损失不到1%。
2021-04-30 cs.CV
Targeted Visual Prompting for Medical Visual Question Answering
University of Bern(伯尔尼大学)
本文提出定向视觉提示方法,通过向多模态大语言模型同时展示孤立区域及其上下文,赋予其基于区域的医学视觉问答能力,并在多个数据集上验证了有效性。
2024-08-06 cs.CV
Unified Questioner Transformer for Descriptive Question Generation in Goal-Oriented Visual Dialogue
Keio University(庆应义塾大学)
构建一个可以对现实世界提出问题的交互式人工智能是视觉和语言问题的最大挑战之一。特别是,面向目标的视觉对话,其中的代理的目的是寻求信息,通过提问在一个轮换对话,最近已经获得了学术界的关注。虽然现有的几个模型基于GuessWhat?!当提出一个数据集时,怀疑者通常会问简单的基于类别的问题或绝对空间的问题。对于对象共享属性的复杂场景或需要描述性问题来区分对象的情况,这可能会有问题。在本文中,我们提出了一种新颖的Quester架构,称为统一Quester Transformer(UniQer),用于生成带有引用表达式的描述性问题。此外,我们建立了一个目标导向的视觉对话任务,称为CLEVR问。它综合了复杂的场景,需要怀疑者提出描述性的问题。我们用CLEVR Ask数据集的两个变体训练我们的模型。定量和定性评估的结果表明,UniQer优于基线。
2021-06-29 cs.CV
What's in a Question: Using Visual Questions as a Form of Supervision
Carnegie Mellon University(卡内基梅隆大学)
收集完全注释的图像数据集具有挑战性且昂贵。已经探索了许多类型的弱监督:弱手动注释,Web搜索结果,时间连续性,环境声音等。我们专注于一个特殊的未探索的模式:关于图像的视觉问题。启发我们工作的关键观察是,问题本身提供了关于图像的有用信息(即使没有答案)。例如,“狗的品种是什么?“通知AI场景中的动物是狗,并且只有一只狗存在。我们做出三个贡献:(1)对人类视觉问题中包含的信息进行广泛的定性和定量分析,(2)对标准视觉问答模型提出两个简单但令人惊讶的有效修改,允许它们以与图像相关的未回答问题的形式利用弱监督,以及(3)证明了受我们的见解启发的简单数据增强策略可以在标准VQA基准上提高7.1%。
2017-04-12 cs.CV
From Pixels to Objects: Cubic Visual Attention for Visual Question Answering
Center for Future Media(未来媒体中心);School of Computer Science and Engineering(计算机科学与工程学院);University of Electronic Science and Technology of China(电子科技大学)
近年来,基于注意力的视觉问答(VQA)通过利用问题选择性地针对与答案相关的不同视觉区域,取得了巨大的成功。现有的视觉注意力模型通常是平面的,即,图像的最后一个Conv层特征图的不同通道共享相同的权重。这与注意力机制相冲突,因为CNN特征自然是空间和通道方面的。另外,视觉注意模型通常是在像素级上进行的,这可能会导致区域不连续的问题。在本文中,我们提出了一个立方体视觉注意(CVA)模型,成功地应用一种新的通道和空间注意的对象区域,以改善VQA任务。具体来说,我们首先利用对象建议网络来生成一组候选对象并提取其相关的conv特征,而不是关注像素。然后,我们利用该问题来指导渠道的注意力和空间的注意力计算的基础上,共层的特征地图。最后,将关注的视觉特征与问题相结合来推断答案。我们评估了我们提出的CVA的性能在三个公共图像QA数据集,包括COCO-QA,VQA和Visual 7 W。实验结果表明,我们提出的方法显着优于国家的最先进的。
2022-06-04 cs.CV
Visual Reference Resolution using Attention Memory for Visual Dialog
POSTECH(浦项科技大学);Disney Research(迪士尼研究院)
视觉对话是一种在输入图像的情况下回答一系列相互依赖的问题的任务,并且通常需要解决问题之间的视觉参考。这个问题与视觉问答(VQA)不同,视觉问答依赖于空间注意力(又名视觉基础)从图像和问题对估计。我们提出了一种新的注意力机制,利用过去的视觉注意力来解决视觉对话场景中的当前参考。该模型配备了一个关联的注意力记忆存储序列的先前(注意,关键)对。从这个记忆中,模型检索先前的注意力,考虑到与当前问题最相关的新近度,以解决潜在的模糊引用。然后,该模型将检索到的注意力与试探性的注意力合并,以获得当前问题的最终注意力;具体地说,我们使用动态参数预测来结合以问题为条件的两个注意力。通过对一个新的合成视觉对话数据集进行广泛的实验,我们表明,我们的模型在视觉参考分辨率起重要作用的情况下显着优于最先进的模型(约16%)。此外,所提出的模型在Visual Dialog数据集中实现了卓越的性能(约2%的点改进),尽管参数比基线少得多。
2018-08-06 cs.CV
On the Flip Side: Identifying Counterexamples in Visual Question Answering
Harvard University(哈佛大学)
视觉问答(VQA)模型响应关于图像的开放式自然语言问题。虽然VQA是一个越来越受欢迎的研究领域,但目前还不清楚当前的VQA架构在多大程度上学习了视觉相似图像之间的关键语义差异。为了研究这个问题,我们探索了VQA任务的重新表述,该任务挑战模型以识别反例:导致原始问题不同答案的图像。我们介绍了两种方法来评估现有的VQA模型对监督反例预测任务,VQA-CX。虽然我们的模型超过了VQA-CX上现有的基准,但我们发现,现有的最先进的VQA模型所学习的多模态表示并没有对这项任务的性能做出有意义的贡献。这些结果对VQA基准测试的成功表现表明一般视觉语义推理能力的假设提出了质疑。
2018-07-24 cs.CV
Question Guided Modular Routing Networks for Visual Question Answering
Fudan University(复旦大学);Qiniu Inc(七牛云)
本文研究了多媒体领域的一个热门课题--视觉问答(VQA)。特别是,我们探讨了VQA中存在的两个关键研究问题:(1)有效地融合视觉和文本模态;(2)使VQA模型在回答复杂问题时具有视觉推理能力。为了解决这些具有挑战性的问题,本文提出了一种新的问题引导模块化路由网络(QGMRN)。具体地说,QGMRN是由视觉,文本和路由网络。视觉和文本网络作为视觉和文本模态的通用特征提取器的骨干。QGMRN可以在多个语义层次上融合视觉和文本模态。通常,可视化推理是通过使用Gumbel-Softmax技巧进行模块选择,以离散和随机的方式由路由网络促进的。当输入到达某个模块层时,本文提出的路由网络根据文本网络生成的问题特征,动态地从该模块层中选择一部分模块来处理输入。它还可以通过在通用模块之间路由来学习推理,而无需额外的监督信息或专家知识。由于QGMRN采用了动态路由机制,其性能大大优于以往的经典VQA方法,达到了与现有方法相竞争的效果。此外,注意力机制被集成到我们的QGMRN模型,从而可以进一步提高模型的性能。经验上,CLEVR和CLEVR-Humans数据集上的大量实验验证了我们提出的模型的有效性,并且已经实现了最先进的性能。
2020-09-04 cs.CV
CQ-VQA: Visual Question Answering on Categorized Questions
IITG(印度理工学院古瓦哈提分校)
本文提出了一种新的两级层次化的端到端的视觉问答(VQA)模型CQ-VQA。CQ-VQA的第一级,称为问题分类器(QC),对问题进行分类,以减少潜在的答案搜索空间。QC使用输入问题和图像的关注和融合特征。第二级,称为答案预测器(AP),包括对应于每个问题类别的一组不同的分类器。根据QC预测的问题类别,AP的分类器中只有一个保持活动。将QC和AP的损失函数聚合在一起,使其成为端到端模型。所提出的模型(CQ-VQA)的TDIUC数据集上进行评估,并对国家的最先进的方法进行基准测试。结果表明CQ-VQA具有竞争力或更好的性能。
2020-02-17 cs.CV
Weakly Supervised Visual Question Answer Generation
AlphaICs;KLE Technological University(KLE理工大学);IIIT Hyderabad(海得拉巴国际信息技术学院)
提出一种弱监督视觉问答生成方法,通过依存句法分析和有序树遍历从图像和标题合成问答对并微调ViLBERT模型,在VQA数据集上BLEU分数显著优于SOTA。
2023-09-11 cs.CV
VISALOGY: Answering Visual Analogy Questions
University of Washington(华盛顿大学);Microsoft Research(微软研究院);The Allen Institute for AI(艾伦人工智能研究所)
本文研究了视觉类比问题的回答问题。这些问题采取的形式图像A是图像B作为图像C是什么。解决这些问题需要发现从图像A到图像B的映射,然后将映射扩展到图像C并搜索图像D,使得从A到B的关系对于C到D成立。我们提出这个问题,学习嵌入,鼓励对类似的图像与类似的变换,以接近在一起使用卷积神经网络与四联体架构。我们介绍了一个自然图像中的视觉类比问题的数据集,并展示了解决自然图像上的类比问题的第一个结果。
2015-10-30 cs.CV
Acknowledging Focus Ambiguity in Visual Questions
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对现有视觉问答研究未考虑问题焦点歧义的问题,提出首个标注所有合理焦点区域的VQ-FocusAmbiguity数据集,测试了现代模型在两项相关新任务上的表现并公开数据集以推动研究。
2025-07-31 cs.CV
Visual Question Answering Instruction: Unlocking Multimodal Large Language Model To Domain-Specific Visual Multitasks
NC Research
本文提出VQA-IN方法,将特定领域视觉数据集转换为统一问答格式,训练多模态大语言模型,在保持视觉-语言任务性能的同时提升特定领域视觉任务表现。
2024-02-13 cs.CV
Interpretable Visual Question Answering via Reasoning Supervision
DeepLab(深度实验室)
针对VQA模型缺乏视觉基础的问题,提出利用常识推理作为监督信号的新架构,通过相似性损失对齐注意力分布引导视觉关注,无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
Multiple interaction learning with question-type prior knowledge for constraining answer search space in visual question answering
AIOZ;University of Liverpool(利物浦大学)
视觉问答(VQA)已经提出了不同的方法。然而,很少有作品意识到的行为,不同的联合模态方法的问题类型先验知识提取的数据在约束的答案搜索空间,其中的信息给出了一个可靠的线索,原因在输入图像中提出的问题的答案。在本文中,我们提出了一种新的VQA模型,利用问题类型的先验信息,以提高VQA利用不同的联合模态方法之间的多个相互作用的基础上,他们的行为回答来自不同类型的问题。在两个基准数据集上的实验,即,VQA 2.0和TDIUC,表明所提出的方法产生最好的性能与最有竞争力的方法。
2020-09-23 cs.CV
SaSR-Net: Source-Aware Semantic Representation Network for Enhancing Audio-Visual Question Answering
University of Notre Dame(圣母大学);Brown University(布朗大学);Columbia University(哥伦比亚大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对视听问答中复杂多模态场景理解与对齐的挑战,本文提出SaSR-Net模型,利用源级可学习标记捕获对齐视听元素,并结合时空注意力机制融合信息,在Music-AVQA和AVQA-Yang数据集上优于现有方法。
2024-11-11 cs.CV
Answering Diverse Questions via Text Attached with Key Audio-Visual Clues
Great Bay University(大湾区大学);Chongqing University of Technology(重庆理工大学);Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂理工大学(LUT))
针对音视频问答中多模态冗余损害多问题泛化的问题,提出互相关蒸馏框架MCD,通过线索耦合、共享空间对齐与推理时解耦提升性能。
2024-03-11 cs.CV
Questions beyond Pixels: Integrating Commonsense Knowledge in Visual Question Generation for Remote Sensing
Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校);University of Tübingen(图宾根大学);Conservatoire National des Arts et Métiers(法国国立高等美术学院)
本文提出KRSVQG模型,通过整合常识知识和图像内容,生成丰富的问题以提升遥感图像的语义理解和应用。
2026-02-22 cs.CV
Point and Ask: Incorporating Pointing into Visual Question Answering
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学);Robust Intelligence
视觉问答(VQA)已经成为视觉识别进步的关键基准之一。已经探索了多个VQA扩展,以更好地模拟真实世界的设置:不同的问题公式,不断变化的训练和测试分布,对话中的会话一致性,以及基于解释的回答。在这项工作中,我们进一步扩大了这个空间,考虑视觉问题,包括一个空间的参考点。指向是人类中几乎普遍的手势,并且现实世界的VQA可能涉及朝向目标区域的手势。具体来说,我们(1)引入并激励点输入问题作为VQA的扩展,(2)在这个空间内定义三种新的问题类别,(3)对于每一类,引入基准数据集和一系列基线模型来处理其独特的挑战。与以前的工作有两个关键区别。首先,我们显式地设计基准以要求点输入,即,我们确保在没有空间参考的情况下不能准确地回答视觉问题。其次,我们显式探索更真实的点空间输入,而不是标准但不自然的限界框输入。通过我们的探索,我们发现并解决了几个视觉识别挑战,包括推断人类意图的能力,对图像进行局部和全局推理,以及有效地结合视觉,语言和空间输入。代码可在:https://github.com/princetonvisualai/pointingqa.
2022-02-18 cs.CV
DDVT: Dynamic Dual-level Vision Transformer Fusion Network for Answer Grounding in Visual Question Answering
National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University(大连大学软件工程学院计算机辅助设计国家地方联合工程实验室);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
研究视觉问答中答案定位问题,提出动态双级视觉Transformer融合网络DDVT,含问题引导的动态区域级模块和跨模态多尺度聚合模块,能精确定位相关视觉内容并融合文本特征,实验证明其性能优于现有方法。
2026-07-28 cs.CV
Combining Knowledge Graph and LLMs for Enhanced Zero-shot Visual Question Answering
South China University of Technology(华南理工大学);Florida Atlantic University(佛罗里达大西洋大学)
本文提出结合知识图谱与大语言模型的新方法,通过策略性问题搜索和优化损失权重,在零样本视觉问答中实现最先进性能。
2025-01-22 cs.CV
Explicit Bias Discovery in Visual Question Answering Models
University of Maryland, College Park(马里兰大学帕克分校)
研究人员观察到,视觉问答(VQA)模型倾向于通过学习数据中的统计偏差来回答问题。例如,他们对“草的颜色是什么?”“通常是“绿色的”,而像“这本书的书名是什么?“不能通过推断统计偏差来回答。明确地发现这种偏差对社区来说是很有意义的,这既有利于理解这种模型的行为,也有利于调试它们。我们的工作解决这个问题。在一个数据库中,我们存储的问题,答案和视觉词对应的关注地图的兴趣区域的话。通过在这个数据库上运行简单的规则挖掘算法,我们发现了人类可解释的规则,这些规则使我们对这些模型的行为有了独特的见解。我们的研究结果还显示了模型在尝试VQA任务时学习到的不寻常行为的例子。
2018-11-19 cs.CV
V-Loop: Visual Logical Loop Verification for Hallucination Detection in Medical Visual Question Answering
Northwestern Polytechnical University(西北工业大学)
V-Loop通过双向推理和视觉逻辑循环验证,提升医学视觉问答中幻觉检测的准确性和效率。
2026-01-26 cs.CV
Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Yandex;University of Oxford(牛津大学)
Gatys等人最近的工作,他通过卷积神经网络滤波器的统计特性来表征图像的风格,重新点燃了人们对纹理生成和图像风格化问题的兴趣。虽然他们的图像生成技术使用了一个缓慢的优化过程,但最近几位作者提出学习生成器神经网络,它可以在一次快速向前传递中产生类似的输出。虽然生成器网络很有前途,但与优化生成相比,它们在视觉质量和多样性方面仍然较差。在这项工作中,我们以两种重要的方式推进它们。首先,我们引入了一个实例规范化模块来取代批量归一化,从而显著提高了图像风格化的质量。其次,我们通过引入一种新的学习公式来提高多样性,该公式鼓励生成器从Julesz纹理集合中无偏地采样,Julesz纹理集合是由某些滤波器响应表征的所有图像的等价类。这两项改进使前馈纹理合成和图像风格化更接近于通过优化生成的质量,同时保留了速度优势。
2017-11-06 cs.CV
Question Type Guided Attention in Visual Question Answering
University of California, Irvine(加州大学尔湾分校);University of Southern California(南加州大学);Amazon AI(亚马逊人工智能);California Institute of Technology(加州理工学院)
视觉问答(VQA)需要集成的特征图与截然不同的结构和正确的区域的重点。图像描述符具有多个空间尺度的结构,而词汇输入固有地遵循时间序列,并且自然地聚类成语义上不同的问题类型。以往的很多工作都是使用复杂的模型来提取特征表示,而忽略了在学习过程中使用诸如问题类型之类的高层信息摘要。在这项工作中,我们提出了问题类型引导注意力(QTA)。它利用问题类型的信息来动态平衡自下而上和自上而下的视觉特征,分别从ResNet和Faster R-CNN网络中提取。我们在TDIUC数据集上进行了多个VQA架构的实验,并进行了广泛的输入消融研究,结果表明QTA系统地提高了TDIUC数据集上多个问题类型类别(如“活动识别”,“实用程序”和“计数”)的性能超过5%。通过在最先进的MCB模型上添加QTA,我们实现了3%的整体精度提高。最后,我们提出了一个多任务扩展来预测问题类型,它将QTA推广到缺乏问题类型的应用程序中,并具有最小的性能损失。
2018-07-18 cs.CV
An Entropy Clustering Approach for Assessing Visual Question Difficulty
Hiroshima University(广岛大学);National Institute of Informatics(国立信息学研究所)
我们提出了一种新的方法来识别视觉问题的难度视觉问答(VQA)没有直接的监督或注释的困难。先前的工作已经考虑了人类注释者的地面实况答案的多样性。相比之下,我们分析了基于多个不同VQA模型的行为的视觉问题的难度。我们建议对由三种不同模型获得的预测答案分布的熵值进行聚类:一种是将图像和问题作为输入的基线方法,另一种是仅将图像和问题作为输入的两种变体。我们使用一个简单的k-means来聚类VQA v2验证集的视觉问题。然后,我们使用最先进的方法来确定每个聚类的答案分布的准确性和熵。所提出的方法的一个好处是,没有注释的难度是必需的,因为每个集群的准确性反映了视觉问题的难度属于it. We的方法可以识别集群的困难视觉问题,没有正确回答的国家的最先进的方法。对VQA v2数据集的分析表明:1)所有方法在最困难的聚类(约10%的准确率)上表现不佳; 2)随着聚类难度的增加,不同方法预测的答案开始不同; 3)聚类熵的值与聚类准确率高度相关。我们表明,我们的方法具有的优势,能够评估视觉问题的难度,没有地面的真相(\ie,VQA v2的测试集),通过将它们分配到一个集群。我们希望这可以刺激新的研究方向和新算法的发展。
2022-09-02 cs.CV
From Known to the Unknown: Transferring Knowledge to Answer Questions about Novel Visual and Semantic Concepts
Australian National University(澳大利亚国立大学);Data61 - CSIRO(澳大利亚联邦科学与工业研究组织Data61);Inception Institute of AI(Inception人工智能研究院)
当前的视觉问答(VQA)系统可以回答关于“已知”视觉内容的智能问题。然而,他们的表现显着下降时,在推理过程中(“开放世界”的情况下),视觉和语言的“未知”概念的问题。一个实用的VQA系统应该能够处理现实世界中的新概念。为了解决这个问题,我们提出了一种基于范例的方法,将学习(即,知识)从以前的“已知”的概念来回答有关“未知”的问题。我们学习了一个高度区分的联合嵌入空间,其中视觉和语义特征融合在一起,给出了一个统一的表示。一旦新的概念被呈现给模型,它就会在联合嵌入空间中从样本集中寻找最接近的匹配。这个辅助信息与给定的图像-问题对一起使用,以分层的方式改善视觉注意力。由于处理大数据集上的高维样本可能是一个重大的挑战,我们引入了一个高效的匹配方案,使用紧凑的特征描述进行搜索和检索。为了评估我们的模型,我们提出了一个新的VQA分割,从训练集中分离未知的视觉和语义概念。我们的方法在拟议的开放世界VQA数据集和标准VQA数据集上显示了最先进的VQA模型的显着改进。
2018-11-30 cs.CV
QG-VTC: Question-Guided Visual Token Compression in MLLMs for Efficient VQA
BeiJing JiaoTong University(北京交通大学);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所)
针对MLLM在VQA中视觉Token冗余导致计算开销大的问题,提出QG-VTC方法,通过问题引导的渐进式视觉Token压缩,仅用1/8的Token即达到与未压缩模型相当的性能。
2025-04-01 cs.CV
FVQA: Fact-based Visual Question Answering
Northwestern Polytechnical University(西北工业大学);The University of Adelaide(阿德莱德大学)
视觉问答(VQA)在计算机视觉和自然语言处理社区都引起了广泛的关注,尤其是因为它提供了对两个重要信息源之间关系的洞察。目前的数据集和基于它们建立的模型都集中在那些可以通过直接分析问题和图像来回答的问题上。这些不需要外部信息来回答的问题很有趣,但非常有限。例如,它排除了需要常识或基本事实知识来回答的问题。在这里,我们介绍FVQA,一个VQA数据集,它需要并支持更深层次的推理。FVQA仅包含需要外部信息才能回答的问题。因此,我们扩展了传统的视觉问答数据集,其中包含图像问答三元组,通过额外的图像问答支持事实元组。支持事实表示为结构三元组,例如<Cat,CapableOf,ClimbingTrees>。我们在FVQA数据集上评估了几个基线模型,并描述了一个新的模型,该模型能够在支持事实的基础上对图像进行推理。
2017-08-08 cs.CV
Cross-Dataset Adaptation for Visual Question Answering
U. of Southern California(南加州大学)
研究了面向视觉问答的跨数据集自适应问题。我们的目标是在源数据集上训练一个可视化QA模型,但将其应用于另一个目标数据集。类似于用于视觉识别的领域自适应,当目标数据集没有足够量的标记数据来学习“域内”模型时,该设置是有吸引力的。关键的挑战是两个数据集的构造不同,导致图像,问题或答案的交叉数据集不匹配。我们克服了这个困难,提出了一种新的领域自适应算法。我们的方法通过变换目标数据集中数据的特征表示来减少统计分布的差异。此外,它使用在源数据集上训练的Visual QA模型来最大限度地正确回答问题(在目标数据集中)的可能性。我们实证研究了所提出的方法在几个流行的Visual QA数据集之间的适应的有效性。我们表明,该方法提高了基线,没有适应和其他几种适应方法。我们从定量和定性两个方面分析了适应在什么时候最有效。
2018-06-10 cs.CV
On the Significance of Question Encoder Sequence Model in the Out-of-Distribution Performance in Visual Question Answering
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在开发实用的人工智能系统时,经验之外的泛化具有重要作用。已有研究表明,目前的视觉问答(VQA)模型过于依赖于来自训练集的语言先验(问题类型与其最常见答案之间的虚假相关性),并且在分布外(OOD)测试集上表现不佳。这种行为限制了它们的普遍性,并限制了它们在现实世界中的使用。本文表明,在问题编码器中使用的序列模型体系结构具有重要的作用,VQA模型的推广。为了证明这一点,我们对各种现有的基于RNN和基于Transformer的问题编码器进行了详细分析,并提出了一种新的基于图注意力网络(GAT)的问题编码器。我们的研究发现,在问题编码器中更好地选择序列模型可以提高VQA模型的泛化能力,即使不使用任何额外的相对复杂的偏差缓解方法。
2021-12-21 cs.CV
Learning content and context with language bias for Visual Question Answering
Hunan University(湖南大学);Microsoft Research Asia(微软亚洲研究院)
视觉问答(VQA)是一个具有挑战性的多模态任务,回答有关图像的问题。许多研究集中在如何减少语言偏见,这使得模型回答问题时忽略了视觉内容和语言上下文。然而,减少语言偏见也削弱了VQA模型事先学习上下文的能力。为了解决这个问题,我们提出了一种新的学习策略,名为CCB,它迫使VQA模型回答问题依赖于内容和上下文与语言偏见。具体而言,CCB在VQA基础模型之上建立内容和上下文分支,并迫使它们分别关注本地关键内容和全球有效上下文。此外,联合损失函数,提出了减少有偏样本的重要性,并保留其有益的影响回答问题。实验表明,CCB优于国家的最先进的方法在VQA-CP v2的准确性方面。
2020-12-21 cs.CV
MUTAN: Multimodal Tucker Fusion for Visual Question Answering
Sorbonne Universités, UPMC Univ Paris 06, CNRS, LIP6 UMR 7606(索邦大学,巴黎第六大学,法国国家科学研究中心,LIP6);Heuritech;Conservatoire National des Arts et Métiers(法国国立工艺学院)
双线性模型为可视化问答(VQA)任务中混合和合并信息提供了一个有吸引力的框架。它们有助于学习问题意义和图像中视觉概念之间的高级关联,但它们存在巨大的维度问题。我们引入了MUTAN,一种基于多模态张量的Tucker分解,可以有效地参数化视觉和文本表示之间的双线性交互。除了塔克框架,我们设计了一个低秩矩阵为基础的分解,明确约束的相互作用排名。使用MUTAN,我们控制合并方案的复杂性,同时保持良好的可解释的融合关系。我们展示了我们的MUTAN模型如何推广一些最新的VQA架构,提供最先进的结果。
2017-05-18 cs.CV
Learning Rich Image Region Representation for Visual Question Answering
Microsoft Research Asia(微软亚洲研究院)
我们建议通过利用更强大的特征提取器来提高VQA,方法是提高视觉和文本特征的表示能力以及模型的集成。对于视觉特征,本文采用了一些检测技术来改进检测器。对于文本特征,我们采用BERT作为语言模型,并发现它可以显着提高VQA性能。我们的解决方案在2019年VQA挑战赛中获得第二名。
2019-10-29 cs.CV
Compact Trilinear Interaction for Visual Question Answering
AIOZ Pte Ltd(AIOZ私人有限公司);Singapore University of Liverpool(新加坡利物浦大学)
在视觉问答中,答案与问题的意义和视觉内容有很大的相关性。因此,有选择地利用图像,问题和答案的信息,我们提出了一种新的三线性互动模型,同时学习这三个输入之间的高层次的关联。此外,为了克服相互作用的复杂性,我们引入了一个多模态张量为基础的PARALIND分解,有效地参数化三个输入之间的三线性相互作用。此外,知识蒸馏首次应用于自由形式的开放式VQA。这不仅是为了减少计算量和所需的内存,而且还可以将知识从三线性相互作用模型转移到双线性相互作用模型。在基准数据集TDIUC、VQA-2.0和Visual 7 W上的大量实验表明,当在所有三个数据集上使用单个模型时,所提出的紧凑三线性交互模型实现了最先进的结果。
2019-09-26 cs.CV
Learning Conditioned Graph Structures for Interpretable Visual Question Answering
AimBrain Ltd.(AimBrain有限公司)
视觉问答是一个具有挑战性的问题,需要结合计算机视觉和自然语言处理的概念。大多数现有的方法使用两个流策略,计算图像和问题的功能,因此合并使用各种技术。尽管如此,很少有依赖于更高层次的图像表示,它可以捕捉语义和空间关系。在本文中,我们提出了一种新的基于图的方法,用于可视化问答。我们的方法结合了一个图形学习器模块,它学习输入图像的问题特定的图形表示,与最近的概念图卷积,旨在学习图像表示,捕捉问题特定的交互。我们使用一个简单的基线架构,通过拟议的图学习器模块增强VQA v2数据集上测试我们的方法。我们得到了有希望的结果与66.18%的准确性,并证明所提出的方法的可解释性。代码可以在github.com/aimbrain/vqa-project上找到。
2018-11-01 cs.CV
LiVLR: A Lightweight Visual-Linguistic Reasoning Framework for Video Question Answering
Xi’an Jiaotong University(西安交通大学)
视频问答(VideoQA)是在理解多模态视频内容的基础上正确回答给定问题的一种方法。从视频理解的角度来看,一个好的VideoQA框架需要在不同的语义层次上理解视频内容,并灵活地整合多样化的视频内容,以提取与问题相关的内容。为此,我们提出了一个轻量级的视觉语言推理框架LiVLR。具体来说,LiVLR首先利用基于图的视觉和语言编码器来获得多粒度的视觉和语言表示。随后,所获得的表示与设计的多样性感知视觉语言推理模块(DaVL)集成。DaVL在生成问题相关联合表征时考虑了不同表征类型之间的差异,可以灵活调整不同表征类型的重要性,是一种有效且通用的表征整合方法。建议的LiVLR是轻量级的,并显示其性能优势的两个VideoQA基准测试,MRSVTT-QA和KnowIT VQA。广泛的消融研究证明了LiVLR关键组件的有效性。
2021-11-30 cs.CV
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉到语言问题的最新进展是通过卷积神经网络(CNN)和递归神经网络(RNN)的组合实现的。这种方法并不显式地表示高级语义概念,而是寻求直接从图像特征到文本的进展。在本文中,我们首先提出了一种方法,将高层次的概念成功的CNN-RNN方法,并表明它实现了显着的改进,在最先进的图像描述和视觉问答。我们进一步表明,相同的机制可以用来将外部知识,这是至关重要的回答高层次的视觉问题。具体来说,我们设计了一个视觉问答模型,结合了图像内容的内部表示与从一般知识库中提取的信息,以回答广泛的基于图像的问题。它特别允许对图像的内容提出问题,即使图像本身不包含完整的答案。我们的最终模型在几个基准数据集上的图像描述和视觉问答上都取得了最好的报告结果。
2016-12-16 cs.CV
Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies
Technion(以色列理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
许多最近的数据集包含各种不同的数据模态,例如,在视觉问答(VQA)中的图像、问题和答案数据。当在这些多模态数据集上训练深度网络分类器时,模态在不同的尺度上被利用,即,某些模式比其他模式更容易有助于分类结果。这是次优的,因为分类器固有地偏向于模态的子集。为了克服这一缺点,我们提出了一种新的正则化项的基础上的功能熵。直观地说,这个术语鼓励平衡每个模态对分类结果的贡献。然而,用函数熵正则化是具有挑战性的。为了解决这个问题,我们开发了一种基于log-Sobolev不等式的方法,该方法将函数熵与函数Fisher信息结合起来。直观地说,这最大限度地提高了模态提供的信息量。在两个具有挑战性的多模态数据集VQA-CPv 2和SocialIQ上,我们获得了最先进的结果,同时更均匀地利用了模态。此外,我们证明了我们的方法对有色MNIST的有效性。
2020-10-21 cs.CV cs.LG
Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
提出RAPL框架,通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励,从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近的研究表明,目前的VQA模型严重偏向于训练集中的语言先验来回答问题,而与图像无关。例如,在一个示例中,绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中,我们提出了一种新的模型无关的问题编码器,视觉接地问题编码器(VGQE),VQA,减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此,问题表示本身得到了充分的视觉基础,从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响,并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外,与现有的偏差减少技术不同,在标准VQAv 2基准测试中,我们的方法不会降低准确性;相反,它提高了性能。
2020-07-18 cs.CL cs.CV
Question Relevance in Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学)
自由形式和开放式的可视问答系统解决了为与图像有关的问题提供准确的自然语言答案的问题。当前的VQA系统不评估提出的问题是否与输入图像相关,因此当提出与图像无关的问题时提供无意义的答案。在本文中,我们解决了识别所提出的问题的图像的相关性的问题。我们把这个问题分解为两个子问题。我们首先确定问题是否是视觉的。如果问题是视觉的,我们就确定它是否与图像相关。对于第二个问题,我们从现有的视觉问答数据集生成一个大的数据集,以便能够训练复杂的体系结构,并对视觉问题与图像的相关性进行建模。我们还比较了我们的长短期记忆基于递归神经网络的模型的结果,逻辑回归,XGBoost和多层感知器为基础的方法的问题。
2018-07-23 cs.CL cs.CV
Grounding Answers for Visual Questions Asked by Visually Impaired People
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
视觉问答是回答关于图像的问题的任务。我们介绍了VizWiz-VQA-Grounding数据集,这是第一个在视觉上为视觉障碍人士提出的视觉问题提供答案的数据集。我们分析了我们的数据集,并将其与五个VQA接地数据集进行了比较,以证明是什么使它相似和不同。然后,我们评估的SOTA VQA和VQA接地模型,并证明,目前的SOTA算法往往无法识别正确的视觉证据的答案位于。当视觉证据占据图像的一小部分时,这些模型经常会遇到困难,例如图像质量更高,以及需要文本识别技能的视觉问题。数据集、评估服务器和排行榜都可以在以下链接中找到:https://vizwiz.org/tasks-and-datasets/answer-grounding-for-vqa/。
2022-04-08 cs.CL cs.CV
Automatic Generation of Grounded Visual Questions
Tianjin University(天津大学);Data61-CSIRO;Australian National University(澳大利亚国立大学);Nankai University(南开大学)
在本文中,我们提出了第一个模型,能够生成视觉接地的问题与不同类型的单一图像。视觉问题生成是一个新兴的课题,旨在基于视觉输入以自然语言提问。据我们所知,它缺乏自动的方法来生成有意义的问题,具有不同类型的相同的视觉输入。为了规避这个问题,我们提出了一个模型,自动生成不同类型的视觉接地的问题。我们的模型将图像和密集标题模型生成的标题作为输入,对最可能的问题类型进行采样,并生成后续问题。在两个真实世界数据集上的实验结果表明,我们的模型在正确性和多样性方面都优于最强的基线。
2017-05-29 cs.CL cs.CV
Generating Question Relevant Captions to Aid Visual Question Answering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉问答(VQA)和图像描述需要连接语言和视觉的通用知识的共享主体。我们提出了一种新的方法来提高VQA的性能,利用这种连接,共同生成的标题,有针对性地帮助回答一个特定的视觉问题。该模型使用现有的字幕数据集进行训练,通过使用基于在线梯度的方法自动确定问题相关的字幕。VQA v2挑战的实验结果表明,我们的方法通过同时生成与问题相关的标题,获得了最先进的VQA性能(例如,使用单个模型在测试标准集上达到68.4%)。
2020-01-03 cs.CL cs.CV