Linguistically-aware Attention for Reducing the Semantic-Gap in Vision-Language Tasks
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
注意力模型被广泛应用于视觉语言(V-L)任务中,以实现视觉-文本的关联。人类对视觉世界的强烈语言理解表现出这种相关性。然而,即使是在V-L任务中表现最好的注意力模型也缺乏这种高层次的语言理解,从而在模态之间产生了语义鸿沟。在本文中,我们提出了一种注意力机制-语言感知注意力(LAT)-利用从通用对象检测器获得的对象属性以及预训练的语言模型来减少这种语义差距。LAT在一个共同的语言丰富的空间中代表视觉和文本模态,从而为注意力过程提供语言意识。我们在三个V-L任务中应用并证明了LAT的有效性:计数VQA,VQA和图像描述。在Counting-VQA中,我们提出了一种新的计数特定的VQA模型来预测直观的计数,并在五个数据集上实现最先进的结果。在VQA和Captioning中,我们通过将LAT适应各种基线并不断提高其性能来展示LAT的通用性和有效性。
2020-08-18 cs.CV
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法,通过结合对比学习和无参考视频质量评估,提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
The VQA-Machine: Learning How to Use Existing Vision Algorithms to Answer New Questions
The University of Adelaide(阿德莱德大学)
视觉问答(VQA)挑战最有趣的特点之一是问题的不可预测性。提取回答这些问题所需的信息需要从检测和计数到分割和重建的各种图像操作。训练一种方法来从{image,question,answer}元组中准确地执行这些操作中的一个操作将是具有挑战性的,但是旨在用有限的一组这样的训练数据来实现所有这些操作似乎充其量是雄心勃勃的。我们在这里提出了一种更通用和可扩展的方法,它利用了这样一个事实,即已经存在非常好的方法来实现这些操作,因此不需要进行训练。因此,我们的方法学习如何利用一组外部现成的算法来实现其目标,这种方法与神经图灵机有一些共同之处。我们提出的方法的核心是一个新的共同注意力模型。此外,所提出的方法为其决策生成人类可读的原因,并且仍然可以在没有给出地面真实原因的情况下进行端到端的训练。我们在两个公开的数据集Visual Genome和VQA上证明了它的有效性,并表明它在这两种情况下都产生了最先进的结果。
2016-12-16 cs.CV
What Large Language Models Bring to Text-rich VQA?
SenseTime Research(商汤科技研究院);Nanjing University of Science and Technology(南京理工大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);ByteDance Inc.(字节跳动有限公司)
本研究分离视觉与语言模块,利用外部OCR和LLM构建无需训练的框架,在文本丰富VQA任务上超越多数MLLM,发现LLM增强理解但瓶颈在视觉部分,且OCR与MLLM结合有效。
2023-11-13 cs.CV
Q-CLIP: Unleashing the Power of Vision-Language Models for Video Quality Assessment through Unified Cross-Modal Adaptation
提出Q-CLIP,首个完全基于视觉-语言模型的视频质量评估框架,通过共享跨模态适配器和可学习质量提示,以极低训练成本实现多数据集上的优异性能。
2025-10-09 cs.CV
CRIC: A VQA Dataset for Compositional Reasoning on Vision and Commonsense
Chinese Academy of Sciences(中国科学院);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
或者,对视觉事实和常识进行推断是高级VQA系统的基础。这种能力要求模型超越对常识的字面理解。系统不应该仅仅将对象作为查询背景知识的入口,而是将常识充分扎根于视觉世界,想象对象之间可能的关系,例如,“叉,可以举起,食物”。为了全面评估这些能力,我们提出了一个VQA基准,CRIC,它引入了新类型的问题,关于组合推理的vIsion和常识,和一个评估指标集成的答案和常识接地的正确性。为了收集这些问题和丰富的附加注释来支持度量,我们还提出了一种自动算法来从与图像和相关知识图谱相关联的场景图中生成问题样本。我们进一步分析了CRIC数据集上几种代表性的VQA模型。实验结果表明,将常识知识与图像区域相结合,以及基于视觉和常识知识的联合推理对于现有方法来说仍然是一个挑战。该数据集可在https://cricvqa.github.io上获得。
2021-10-27 cs.AI cs.CV
DVLTA-VQA: Decoupled Vision-Language Modeling with Text-Guided Adaptation for Blind Video Quality Assessment
School of Computer Science, Nanjing University of Information Science & Technology(信息科学技术南京大学计算机科学学院);Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology (CICAEET)(江苏省大气环境与装备技术协同创新中心);School of Computer Science and Informatics, Cardiff University(计算机科学与信息学院,卡迪夫大学);Faculty of Information Technology and Communication Sciences, Tampere University(信息科技与通信科学学院,坦佩雷大学)
提出DVLTA-VQA方法,受HVS双流理论启发,解耦CLIP视觉与文本组件,结合时间建模与文本引导自适应融合,用于盲视频质量评估。
2025-04-19 cs.CV
Urban Risk-Aware Navigation via VQA-Based Event Maps for People with Low Vision
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人与信息技术研究所,CSIC-UPC)
本文提出基于视觉问答的事件地图框架,利用视觉语言模型进行行人场景描述和危险识别,通过三级查询结构实现细粒度场景理解,生成风险感知导航地图,验证多模态大语言模型在助视导航中的有效性。
2026-05-12 cs.CV
VQA and Visual Reasoning: An Overview of Recent Datasets, Methods and Challenges
University of Electronic Science and Technology of China(电子科技大学);Universiti Brunei Darussalam(文莱达鲁萨兰大学)
近年来,人工智能(AI)及其应用引起了人们的极大兴趣。这一成就可以部分归功于人工智能子领域的进步,包括机器学习(ML),计算机视觉(CV)和自然语言处理(NLP)。深度学习是采用人工神经网络概念的机器学习的一个子领域,它使这些领域的增长最为迅速。视觉和语言的融合也因此引发了很多关注。这些任务的创建方式使它们正确地融合了深度学习的概念。在这篇综述论文中,我们提供了一个全面和广泛的审查的最先进的方法,关键模型的设计原则,并讨论现有的数据集,方法,他们的问题制定和评估措施的VQA和视觉推理任务,以了解视觉和语言表示学习。我们还提出了一些潜在的未来路径在这一领域的研究,希望我们的研究可能会产生新的想法和新的方法来处理现有的困难和开发新的应用。
2022-12-26 cs.CV
The LLM Bottleneck: Why Open-Source Vision LLMs Struggle with Hierarchical Visual Recognition
Boston University(波士顿大学)
本文指出开源大语言模型缺乏对视觉世界的层级知识,导致视觉大语言模型在识别如水母鱼但无法识别脊椎动物时存在瓶颈,通过构建六种分类学和四个图像数据集的百万级多项选择视觉问答任务验证了这一问题。
2026-03-26 cs.AI cs.CL cs.CV
Automated Report-Derived Oncology VQA Benchmark for Evaluating Vision-Language Models on 3D Medical Imaging
UCSF–UC Berkeley Joint Graduate Program in Bioengineering(UCSF-伯克利生物工程联合研究生项目);Department of Radiology, UCSF(UCSF放射科);Department of Radiation Oncology, UCSF(UCSF放射肿瘤科)
提出一个自动化管道,从私有放射学报告和3D肿瘤影像生成多选VQA数据集,构建无污染基准,评估六种视觉-语言模型,发现视觉依赖因数据集而异。
2026-06-01 cs.CV
Do Pathology Vision-Language Models Truly See Pathology?
研究病理学视觉语言模型评估中被忽视的问题,提出含多类型样本的PathBind基准,通过对多个VLMs评估发现,当前病理学VLMs在答案性能与视觉语义绑定间有显著差距。
2026-07-24 cs.CV
Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering
UC Irvine(加州大学欧文分校);Microsoft(微软);ETH Zurich(苏黎世联邦理工学院);SIAT, CAS(中国科学院深圳先进技术研究院)
视觉问答(VQA)是一个重要的兴趣,因为它的潜力是一个强大的测试图像理解系统,并探讨语言和视觉之间的联系。尽管最近取得了许多进展,但一般VQA远未解决问题。在本文中,我们专注于VQA多项选择任务,并提供了一些很好的做法,设计一个有效的VQA模型,可以捕捉语言视觉交互和执行联合推理。我们探索了将词性(POS)标签引导的注意力,卷积n-gram,图像,问题和候选答案之间的三重注意力交互,以及基于图像-问题对的三重注意力结构化学习的机制。我们在两个流行的数据集上评估我们的模型:Visual 7 W和VQA Real Multiple Choice。我们的最终模型在Visual 7 W上达到了68.2%的最先进性能,在VQA Real Multiple Choice的测试标准分割上达到了69.6%的非常有竞争力的性能。
2018-01-24 cs.CV
Griffon-G: Bridging Vision-Language and Vision-Centric Tasks via Large Multimodal Models
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Peng Cheng Laboratory(鹏城实验室);Wuhan AI Research(武汉人工智能研究院)
本文提出通用大型多模态模型 Griffon-G 及多模态数据集 CCMD-8M,通过多层级数据筛选与多任务整合,在单一端到端范式中统一视觉中心与视觉-语言任务,解决联合优化中的训练崩溃问题,并在多项基准上取得专家级性能。
2024-10-21 cs.CV
EarthVL: A Progressive Earth Vision-Language Understanding and Generation Framework
EarthVL提出一种渐进式视觉-语言框架,通过多任务数据集和语义引导网络提升城市规划中的遥感目标识别与问答性能。
2026-01-06 cs.CV
Towards Efficient and Robust VQA-NLE Data Generation with Large Vision-Language Models
Institut Teknologi Bandung(万隆理工学院);Capital One(第一资本金融公司);The Hong Kong University of Science and Technology(香港科技大学)
针对现有VQA-NLE数据集构建依赖高成本人工标注的问题,本研究提出利用大视觉语言模型结合先进提示技术生成合成数据的方法,速度最高快20倍且质量接近人工标注,还验证了视觉提示的提升作用,为多模态NLE数据自动生成提供了高效鲁棒的方案。
2024-12-09 cs.CL cs.CV
Exploring OCR-augmented Generation for Bilingual VQA
KL-Net, South Korea(韩国KL-Net)
该研究探索双语VQA的OCR增强生成,发布1亿样本训练的双语OCR基线KLOCR,构建韩语VQA基准KOCRBench,验证了OCR文本对多类VLM性能的提升作用。
2025-10-02 cs.CV
BLaVe-CoT: Consistency-Aware Visual Question Answering for Blind and Low Vision Users
School of Cyber Science and Engineering, Qufu Normal University(网络科学与工程学院,曲阜师范大学);Department of Computer Science, University of Verona(计算机科学系,威尼斯大学)
提出BLaVe-CoT框架,通过LoRA微调BLIP-2生成候选答案、PolyFormer空间定位及链式思维推理,解决BLV用户视觉问答中的模糊性和多答案一致性问题,在VQA-AnswerTherapy基准上表现更优。
2025-09-07 cs.CV
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University(哈尔滨工程大学);Monash University(莫纳什大学)
医学图像视觉问答(VQA)是在给定的射线图像下回答临床问题的任务,这是一个具有挑战性的问题,需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题,预训练-微调范式被广泛用于提高模型的泛化能力。在本文中,我们提出了一种自监督的方法,应用掩码图像建模,屏蔽语言建模,图像文本匹配和图文对齐通过对比学习(M2 I2)的预训练的医学图像字幕数据集,并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
Singapore Institute of Technology(新加坡科技学院);NVIDIA(英伟达)
研究组合式视觉问答中视觉语言模型失败的机制,引入以操作为中心的框架分解失败模式,揭示四种失败模式及传播路径,表明不同失败类型需不同纠正策略,为提升模型可靠性提供基础。
2026-08-20 cs.CV
Compressing And Debiasing Vision-Language Pre-Trained Models for Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Peking University(北京大学)
本文研究同时压缩和去偏视觉-语言预训练模型,通过搜索稀疏鲁棒子网络,在VQA-CP v2和VQA-VS上以更少参数超越去偏SoTA。
2023-10-11 cs.CV
SpatialPIN: Enhancing Spatial Reasoning Capabilities of Vision-Language Models through Prompting and Interacting 3D Priors
University of Oxford(牛津大学)
本研究提出无需训练的零样本框架SpatialPIN,通过提示并交互多3D基础模型先验增强VLM空间推理,在多类空间VQA及下游机器人任务中表现优异。
2024-10-30 cs.CV
Uni-NLX: Unifying Textual Explanations for Vision and Vision-Language Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
Uni-NLX提出一个统一的多任务框架,将七类视觉及视觉-语言NLE任务整合到单一模型中,并引入ImageNetX和VQA-ParaX两个新数据集,以7倍更少参数实现与独立模型相当甚至更优的性能。
2023-09-19 cs.CV
S3C: Semi-Supervised VQA Natural Language Explanation via Self-Critical Learning
Northwestern Polytechnical University(西北工业大学);University of Adelaide(阿德莱德大学)
提出S3C半监督框架,通过自批判学习与回答奖励提升VQA自然语言解释的逻辑一致性,无需人工标注,在两个数据集上达到最先进性能。
2023-09-05 cs.CV
AUTOPILOT VQA: Benchmarking Vision-Language Models for Incident-Centric Dashcam Understanding
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);University of Michigan(密歇根大学);University of Notre Dame(圣母大学)
针对评估视觉语言模型对安全关键事件推理能力的挑战,提出AUTOPILOT-VQA基准,通过围绕真实驾驶事件的结构化问题评估系统,涵盖多安全相关类别,推动向安全意识推理发展,为自动驾驶系统评估提供标准,助力相关视觉语言系统开发。
2026-07-10 cs.AI cs.CV
MoVie: Revisiting Modulated Convolutions for Visual Counting and Beyond
Facebook AI Research (FAIR)(Facebook人工智能研究(FAIR))
本文主要研究视觉计数,其目的是预测给定自然图像和查询(例如问题或类别)的出现次数。与大多数使用显式符号模型的现有作品不同,这些模型在计算上是昂贵的,并且在泛化上是有限的,我们提出了一种简单有效的替代方案,通过重新访问调制卷积,将查询和图像局部融合。在剩余瓶颈的设计之后,我们称我们的方法为MoVie,调制卷积瓶颈的缩写。值得注意的是,Movie的推理是隐式和整体的,在推理过程中只需要一次向前传递。尽管如此,MoVie展示了强大的计数性能:1)在更高效的同时推进了特定于计数的VQA任务的最新技术; 2)在COCO等常见对象计数的困难基准上优于现有技术; 3)当作为通用VQA模型中的“数字”相关问题的模块集成时,帮助我们获得了2020年VQA挑战赛的第一名。最后,我们证明了调制卷积,如Movie可以作为一个通用的推理机制,超越计数的任务。
2020-10-07 cs.CV
CC-VQA: Conflict- and Correlation-Aware Method for Mitigating Knowledge Conflict in Knowledge-Based Visual Question Answering
School of Artificial Intelligence, UCAS(中国科学技术大学人工智能学院);MAIS, Institute of Automation(自动化研究所MAIS);Alibaba Cloud Computing(阿里云计算)
CC-VQA提出了一种无训练、考虑冲突和相关性的方法,通过视觉中心的上下文冲突推理和相关性引导的编码解码,提升基于知识的视觉问答的准确率。
2026-02-27 cs.CV
Encyclopedic VQA: Visual questions about detailed properties of fine-grained categories
Google Research(谷歌研究院);Google(谷歌)
本研究提出大规模百科式视觉问答数据集Encyclopedic-VQA,包含百万级样本与配套知识库证据,实验显示现有视觉语言模型表现不佳,验证了检索增强机制可有效提升答题准确率,为相关研究提供支撑。
2023-07-24 cs.CV
Dynamic Clue Bottlenecks: Towards Interpretable-by-Design Visual Question Answering
University of Pennsylvania(宾夕法尼亚大学)
针对多模态大模型视觉问答可解释性不足的问题,提出设计即可解释的动态线索瓶颈模型DCLUB,通过先输出视觉线索再生成答案实现决策可追溯,在推理类问题上优于同类黑盒模型,同时保持主流基准性能。
2024-04-13 cs.AI cs.CL cs.CV
Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models
University of Southern California(南加州大学);Amazon Inc.(亚马逊公司)
针对视觉语言模型难以理解否定语义的问题,提出免训练的骨架与策略提示方法,通过抽象问题结构、检索同骨架示例并生成回答策略,在多个否定VQA基准上取得最先进性能且无需参数更新。
2026-10-02 cs.CV
RSVLM-QA: A Benchmark Dataset for Remote Sensing Vision Language Model-based Question Answering
School of Computer Science, University of Technology Sydney(技术悉尼大学计算机科学学院);SEDE, University of Technology Sydney(技术悉尼大学SEDE);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出RSVLM-QA,一个整合多源遥感数据并采用双轨标注流程构建的大规模视觉问答基准数据集,包含13820张图像和162373个VQA对,有效评估并挑战了主流视觉语言模型在遥感领域的理解与推理能力。
2025-08-11 cs.CV
The Quest for Visual Understanding: A Journey Through the Evolution of Visual Question Answering
IIT Patna(印度理工学院巴特那分校);IIT Jodhpur(印度理工学院焦特布尔分校)
本文是一篇VQA领域综述,梳理了该领域自2015年诞生以来的发展历程、关键技术突破与应用场景,分析了当前挑战并展望了未来发展方向。
2025-01-13 cs.CV
Open-ended VQA benchmarking of Vision-Language models by exploiting Classification datasets and their semantic hierarchy
University of Freiburg(弗莱堡大学)
本文提出一种基于分类数据集及其语义层次的新型开放式VQA基准,通过自动生成后续问题实现细粒度评估,并比较NLP与LLM指标,为视觉-语言模型能力评估奠定更精确的基础。
2024-05-05 cs.CL cs.CV cs.LG
Towards Explainable 3D Grounded Visual Question Answering: A New Benchmark and Strong Baseline
Beihang University(北京航空航天大学);University of Sydney(悉尼大学)
最近,3D视觉和语言任务引起了越来越多的研究兴趣。与其他视觉和语言任务相比,3D视觉问答(VQA)任务较少被利用,并且更容易受到语言先验和共指歧义的影响。同时,最近提出的几个三维VQA数据集不支持三维VQA任务,由于其有限的规模和注释方法。在这项工作中,我们正式定义和解决一个3D接地VQA任务,通过收集一个新的3D VQA数据集,简称为FE-3DGQA,与不同的和相对自由的形式的问答对,以及密集和完全接地限界框注释。为了实现更可解释的答案,我们标记的对象出现在复杂的问答对不同的语义类型,包括答案接地对象(出现和未出现在问题中),和上下文对象的答案接地对象。我们还提出了一个新的3D VQA框架,以有效地预测完全视觉接地和可解释的答案。大量的实验验证了我们新收集的基准数据集可以有效地用于从不同方面评估各种3D VQA方法,我们新提出的框架也在新的基准数据集上实现了最先进的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3DGQA上公开。
2022-09-24 cs.CV
Unveiling Cross Modality Bias in Visual Question Answering: A Causal View with Possible Worlds VQA
University of Rochester(罗切斯特大学);University of Texas Dallas(德克萨斯大学达拉斯分校)
本文提出一种基于反事实推理的因果方法,同时建模并消除VQA中视觉和语言的混杂偏差,并在VQA-CP v2上取得领先性能。
2023-05-31 cs.CL cs.CV cs.MM
How Transferable are Reasoning Patterns in VQA?
Orange;LIRIS, INSA - École Centrale, Lyon, UMR CNRS 5205(LIRIS,里昂国立应用科学学院-中央理工学院,UMR CNRS 5205)
自成立以来,视觉问答(VQA)就以任务而闻名,其中模型倾向于利用数据集中的偏见来寻找捷径,而不是执行高级推理。经典方法通过从训练数据中去除偏差,或者向模型添加分支来检测和去除偏差来解决这个问题。在本文中,我们认为,在视觉的不确定性是一个主导因素,防止成功的学习推理的视觉和语言问题。我们训练了一个可视化的预言机,并在一个大规模的研究中提供了实验证据,表明与标准模型相比,它更不容易利用虚假的数据集偏差。我们建议研究的注意力机制在工作中的视觉预言机和SOTA转换器为基础的模型进行比较。我们提供了一个深入的分析和可视化的推理模式获得的在线可视化工具,我们公开提供(reasoningpatterns.github.io)。我们利用这些见解,通过将推理模式从Oracle转移到基于SOTA转换器的VQA模型,通过微调获得标准的噪声视觉输入。在实验中,我们报告了更高的整体准确性,以及每种问题类型的不常见答案的准确性,这为改进泛化和减少对数据集偏差的依赖提供了证据。
2021-04-08 cs.CV
Domain-robust VQA with diverse datasets and methods but no target labels
University of Pittsburgh(匹兹堡大学)
观察到计算机视觉方法过拟合数据集的具体情况,激发了各种尝试,使对象识别模型对域转移具有鲁棒性。然而,类似的工作领域鲁棒的视觉问答方法是非常有限的。由于额外的复杂性,VQA的领域自适应与对象识别的自适应不同:VQA模型处理多模态输入,方法包含具有不同模块的多个步骤,导致复杂的优化,并且不同数据集中的答案空间差异很大。为了应对这些挑战,我们首先量化了流行的VQA数据集之间的域转移,包括视觉和文本空间。为了解开不同模态所产生的数据集之间的移位,我们还分别在图像和问题域中构建合成移位。其次,我们测试了不同的家庭VQA方法(经典的双流,Transformer,神经符号的方法),这些变化的鲁棒性。第三,我们测试现有的领域自适应方法的适用性,并设计了一个新的桥梁VQA域的差距,调整到特定的VQA模型。为了模拟现实世界的泛化设置,我们专注于无监督的领域自适应和开放式分类任务制定。
2021-03-29 cs.CV
TokenFocus-VQA: Enhancing Text-to-Image Alignment with Position-Aware Focus and Multi-Perspective Aggregations on LVLMs
Meituan Inc(美团公司);Nanjing University(南京大学);Xi’an Jiaotong University(西安交通大学)
TokenFocus-VQA提出一种基于token感知损失函数与多视角集成学习的VQA评估框架,通过位置特定概率优化精确测量细粒度文本-图像对齐,在NTIRE 2025 T2I质量评估挑战赛中取得第二名。
2025-04-10 cs.CV
InViC: Intent-aware Visual Cues for Medical Visual Question Answering
National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science and Engineering, Northwestern Polytechnical University, Xi’an 710072, China(集成空天地海大数据应用技术国家工程实验室,计算机科学与工程学院,西北工业大学,西安710072,中国);Westlake University(西湖大学);Southern Medical University(南方医科大学)
本文提出InViC框架,通过引入Cue Tokens Extraction模块和两阶段微调策略,提升医疗视觉问答中意图对齐的视觉证据利用,验证了瓶颈化训练在提高可信度上的有效性。
2026-03-17 cs.CV
Correlation Information Bottleneck: Towards Adapting Pretrained Multimodal Models for Robust Visual Question Answering
Xi’an Jiaotong University(西安交通大学)
针对预训练多模态模型在视觉问答微调中的鲁棒性问题,提出相关性信息瓶颈方法,通过优化互信息权衡压缩与冗余,提升输入鲁棒性和准确性。
2023-05-06 cs.CV
Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End
Indian Institute of Technology Mandi(印度理工学院曼迪分校);DIT University(DIT大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究比较模块化OCR流程与端到端模型在退化图像上的文本VQA性能,发现模块化方法准确率更高,且传统OCR指标无法可靠预测下游VQA表现,强调任务感知评估的重要性。
2026-09-15 cs.CV
Exploring Question Decomposition for Zero-Shot VQA
Northeastern University(东北大学);NEC Laboratories America(NEC美国实验室);UC San Diego(加州大学圣迭戈分校)
本文提出模型驱动的选择性问题分解方法,通过二次判断和纠错提升零样本VQA性能,在多个任务上取得显著准确率提升。
2023-10-25 cs.CV
A Lightweight Large Vision-language Model for Multimodal Medical Images
Swinburne University of Technology(斯威本科技大学);PropelHealthAI
本文提出一种结合BiomedCLIP与LLaMA-3的轻量级多模态医学VQA模型,仅需两块40GB A100 GPU,在OmniMedVQA上以73.4%开放式准确率超越现有模型,兼顾高效与高性能。
2025-04-08 cs.CV cs.LG
A Comprehensive Survey of Knowledge-Based Vision Question Answering Systems: The Lifecycle of Knowledge in Visual Reasoning Task
University Technology of Sydney(悉尼大学技术学院);East China Normal University(华东师范大学);Education University of Hong Kong(香港教育大学)
综述基于知识的视觉问答(KB-VQA)方法,将其分为知识表示、检索和推理三个阶段,并探讨大语言模型带来的变革,指出未来研究方向。
2026-06-16 cs.CV cs.IR cs.MM
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology(罗切斯特理工学院)
视觉问答(VQA)是计算机视觉和自然语言处理中的一个新问题,已经引起了深度学习,计算机视觉和自然语言处理社区的大量兴趣。在VQA中,算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来,已经发布了更多数据集并提出了许多算法。在这篇综述中,我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是,我们讨论了目前的数据集的局限性,他们的能力,正确的训练和评估VQA算法。然后,我们详尽审查现有的算法VQA。最后,我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
Champion Solution for the WSDM2023 Toloka VQA Challenge
Nanjing University(南京大学);Shanghai AI Laboratory(上海人工智能实验室)
在这份报告中,我们提出了我们的冠军解决方案,以WSDM 2023 Toloka视觉问答(VQA)的挑战。与常见的VQA和视觉基础(VG)任务不同,该挑战涉及更复杂的场景,即推断和定位由给定疑问句隐含指定的对象。对于这项任务,我们利用ViT-Adapter,一个预训练的适配器网络,来适应多模态预训练的Uni-Perceiver,以实现更好的跨模态本地化。我们的方法在排行榜上排名第一,在公共和私人测试集上分别达到77.5和76.347 IoU。这表明,ViT-Adapter也是一个有效的范式,使统一的感知模型适应视觉语言下游任务。代码和模型将在https://github.com/czczup/ViT-Adapter/tree/main/wsdm2023上发布。
2023-02-20 cs.CV
How to Determine the Preferred Image Distribution of a Black-Box Vision-Language Model?
Autodesk AI Research(欧特克AI研究院)
提出通过测量输出一致性来识别黑盒视觉语言模型偏好图像分布的方法,引入CAD-VQA数据集,并利用人类反馈优化模型输出,确立复杂视觉推理任务的基线。
2024-10-15 cs.CV
VisionTrap: Unanswerable Questions On Visual Data
Rochester Institute of Technology(罗切斯特技术学院);Islamic University of Technology(伊斯兰技术大学);United International University(联合国际大学)
本文提出 VisionTrap 数据集,通过三类针对生成图像的不可回答问题,评估 VLM 能否识别知识局限并弃权(不执行),弥补现有 VQA 基准的不足。
2025-07-23 cs.CV
CLIP Models are Few-shot Learners: Empirical Studies on VQA and Visual Entailment
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
CLIP在广泛的视觉任务中显示出卓越的zero-shot能力。以前,CLIP只被认为是一个强大的视觉编码器。然而,在从大量的图像-字幕对中通过语言监督进行预训练之后,CLIP本身也应该获得了一些用于视觉语言任务的Few-Shot能力。在这项工作中,我们的经验表明,CLIP可以是一个强大的视觉语言的Few-Shot学习者利用语言的力量。我们首先评估CLIP的zero-shot性能上一个典型的视觉问答任务,并证明了zero-shot跨模态传输能力的CLIP上的视觉蕴涵任务。然后,我们提出了一个参数高效微调策略,以提高Few-Shot性能的vqa任务。我们在视觉问答和视觉蕴涵任务上实现了有竞争力的零/Few-Shot结果,而无需引入任何额外的预训练过程。
2022-03-14 cs.CL cs.CV
Visual Question Answering in Remote Sensing with Cross-Attention and Multimodal Information Bottleneck
IIT Bombay(印度理工学院孟买分校)
针对遥感视觉问答中图像与语言特征联合处理的挑战,提出基于CNN-LSTM的交叉注意力与信息最大化方法,学习低维瓶颈层,在两个遥感数据集上取得高准确率。
2023-06-25 cs.CL cs.CV cs.LG
QG-VTC: Question-Guided Visual Token Compression in MLLMs for Efficient VQA
BeiJing JiaoTong University(北京交通大学);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所)
针对MLLM在VQA中视觉Token冗余导致计算开销大的问题,提出QG-VTC方法,通过问题引导的渐进式视觉Token压缩,仅用1/8的Token即达到与未压缩模型相当的性能。
2025-04-01 cs.CV
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
Salesforce Research(Salesforce研究院)
视觉语言预训练(VLP)提高了许多视觉语言任务的性能。然而,大多数现有的预训练模型仅在基于理解的任务或基于生成的任务中表现出色。此外,性能的提高在很大程度上是通过用从网络上收集的嘈杂的图像-文本对来扩展数据集来实现的,这是一个次优的监督源。在本文中,我们提出了BLIP,一个新的VLP框架,灵活地转移到视觉语言理解和生成任务。BLIP通过自举字幕有效地利用了有噪声的Web数据,其中字幕器生成合成字幕,过滤器去除有噪声的字幕。我们在广泛的视觉语言任务上取得了最先进的结果,例如图像-文本检索(平均召回率为+2.7%),图像描述(CIDER为+2.8%)和VQA(VQA得分为+1.6%)。当以zero-shot方式直接转移到视频语言任务时,BLIP也表现出很强的泛化能力。代码、模型和数据集发布于https://github.com/salesforce/BLIP。
2022-02-15 cs.CV
Beyond 3D VQAs: Injecting 3D Spatial Priors into Vision-Language Models for Enhanced Geometric Reasoning
FAIR at Meta(Meta的FAIR)
提出GASP框架,通过将几何先验注入LLM的Transformer层,利用对比损失和深度一致性监督训练,显著提升VLM的3D空间推理能力,在多个基准上取得大幅提升。
2026-05-28 cs.AI cs.CV
Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models
Kyoto University(京都大学);NII LLMC(国立信息学研究所LLMC);Waseda University(早稻田大学);Institute of Science Tokyo(东京科学大学);NII(国立信息学研究所);Aichi Institute of Technology(爱知工业大学);Institute of Physical and Chemical Research(理化学研究所)
本文提出Jagle,一个包含920万实例的日语多模态预训练数据集,通过多种策略生成VQA对,实验表明其在日语任务中表现优异,且与FineVision结合能提升英文性能。
2026-08-11 cs.CV