Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学);University of Science, Ho Chi Minh City(胡志明市理科大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Zalo Research Center(Zalo研究中心)
针对视觉问答中的可回答性预测,提出VT-Transformer模型,利用Transformer架构融合视觉与文本特征,在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Human Mobility Question Answering (Vision Paper)
University of New South Wales(新南威尔士大学)
本文提出人类移动性问答(MobQA)任务,旨在让系统从移动数据中学习并回答问题,填补研究空白,并给出数据集和模型框架设计。
2023-10-13 cs.AI cs.CL
Prompting Medical Large Vision-Language Models to Diagnose Pathologies by Visual Question Answering
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);VoxelCloud, Inc.(VoxelCloud公司)
本文提出两种提示策略,通过病变解释和弱学习器判断缓解医学LVLM的幻觉与数据不平衡问题,显著提升VQA诊断性能并可推广至通用LVLM。
2025-03-17 cs.AI cs.CL cs.CV
Watermarking for Factuality: Guiding Vision-Language Models Toward Truth via Tri-layer Contrastive Decoding
CSE, Korea University(韩国大学计算机科学与工程系);KT Corporation(KT公司);Soongsil University(顺成大学)
提出无需训练的三层对比解码加水印方法,通过选择成熟层、业余层和枢轴层,减少视觉语言模型幻觉,在POPE、MME和AMBER基准上达到最先进性能。
2025-10-16 cs.AI cs.CV
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University(哈尔滨工程大学);Monash University(莫纳什大学)
医学图像视觉问答(VQA)是在给定的射线图像下回答临床问题的任务,这是一个具有挑战性的问题,需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题,预训练-微调范式被广泛用于提高模型的泛化能力。在本文中,我们提出了一种自监督的方法,应用掩码图像建模,屏蔽语言建模,图像文本匹配和图文对齐通过对比学习(M2 I2)的预训练的医学图像字幕数据集,并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
Guiding Multimodal Large Language Models with Blind and Low Vision People Visual Questions for Proactive Visual Interpretations
针对现有多模态大语言模型视觉解读应用默认生成冗长无关描述的问题,研究人员开发了借鉴BLV用户历史问题的系统,从VizWiz-LF数据集匹配相似语境引导生成相关描述,经评估效果更优且代码开源。
2025-10-02 cs.AI cs.CV cs.HC
Guiding Medical Vision-Language Models with Explicit Visual Prompts: Framework Design and Comprehensive Exploration of Prompt Variations
Sichuan University Pittsburgh Institute(四川大学匹兹堡学院);Beijing University of Posts and Telecommunications(北京邮电大学);Brown University(布朗大学);Case Western Reserve University(凯斯西储大学);Shanghai Jiao Tong University(上海交通大学)
针对主流视觉语言模型(VLMs)难以关注人类指定特定区域的问题,提出集成医疗实体提取等模块的MedVP框架,通过显式视觉提示引导微调,在多个医疗VQA数据集上超越现有模型,验证了方法有效性与临床意义。
2025-02-12 cs.CL cs.CV
Fusion of Domain-Adapted Vision and Language Models for Medical Visual Question Answering
Technische Universität München(慕尼黑工业大学);Siemens Healthineers AG(西门子医疗股份公司);Siemens AG(西门子股份公司)
针对医学领域视觉问答效果不佳的问题,提出融合医学领域适配的大型视觉与语言模型,经三阶段参数高效训练,在 SLAKE 1.0 和 VQA-RAD 数据集上分别取得 87.5% 和 73.2% 的准确率。
2024-04-24 cs.CL cs.CV
POLYCHARTQA: Benchmarking Large Vision-Language Models with Multilingual Chart Question Answering
Renmin University of China(中国人民大学)
PolyChartQA是首个大规模多语言图表问答基准,通过多语言图表生成和评估,揭示英语与其他语言在图表理解上的性能差距,并提供训练集提升多语言模型表现。
2026-01-08 cs.AI cs.CL cs.CV
PlantExpertVQA: A Visual Question Answering Dataset for Benchmarking Vision-Language Models in Plant Science
Department of Robotics and Mechatronics Engineering, University of Dhaka(达卡大学机器人与机电工程系);Department of Botany, University of Dhaka(达卡大学植物学系)
PlantExpertVQA数据集旨在提升视觉语言模型在农业决策中的应用,包含765,186个高质量问答对,涵盖38种作物和89种病害,通过多阶段流程生成并经专家审核,验证了参数高效微调的有效性。
2026-06-27 cs.AI cs.CV cs.LG
Vision-Language Models for Medical Report Generation and Visual Question Answering: A Review
H. Lee Moffitt Cancer Center & Research Institute(H.李·莫菲特癌症中心与研究所)
本文综述医疗专用视觉-语言模型(VLMs)在医疗报告生成和视觉问答(VQA)中的进展,涵盖数据集、架构、预训练策略和评估指标,并提出未来方向,为医疗多模态数据应用提供参考。
2024-04-15 cs.CV cs.LG
Qwen Look Again: Guiding Vision-Language Reasoning Models to Re-attention Visual Information
Peking University(北京大学);Baidu Inc.(百度公司)
本文提出Qwen-LookAgain(Qwen-LA)模型,通过结合强化学习方法BRPO与视觉-文本反思过程,在训练和推理时引入Visual Token COPY和ROUTE机制,引导模型重新注意视觉信息,有效缓解了长推理导致的幻觉问题并保持了高准确率。
2025-05-30 cs.CV cs.LG
Visuo-Linguistic Question Answering (VLQA) Challenge
Arizona State University(亚利桑那州立大学)
同时理解图像和文本是认知和构建高级人工智能(AI)系统的一个重要方面。作为一个社区,我们分别在语言和视觉领域取得了良好的基准,但联合推理仍然是最先进的计算机视觉和自然语言处理(NLP)系统的挑战。我们提出了一个新的任务,以获得联合推理的一个给定的图像-文本模态和编译的视觉语言学问答(VLQA)的挑战语料库中的问答设置。每个数据集项目由一个图像和一个阅读段落组成,其中的问题被设计为结合视觉和文本信息,即,忽视任何一种方式都会使问题无法回答。我们首先探索现有的最佳视觉语言架构来解决VLQA子集,并表明它们无法很好地推理。然后,我们开发了一种模块化方法,其基线性能略好,但仍远远落后于人类的性能。我们相信,VLQA将是一个很好的基准推理的视觉语言环境。数据集、代码和排行榜可在https://shailaja183.github.io/vlqa/上获得。
2020-11-18 cs.AI cs.CL cs.CV
Hallucination Benchmark in Medical Visual Question Answering
University College London(伦敦大学学院)
针对Med-VQA中LLVM幻觉缺乏临床评测的问题,本文构建医学图像问答幻觉基准,评估前沿模型并分析提示策略的效果。
2024-04-03 cs.AI cs.CL cs.CV
Tag2Text: Guiding Vision-Language Model via Image Tagging
Fudan University(复旦大学);OPPO Research Institute(OPPO研究院);International Digital Economy Academy (IDEA)(国际数字经济学院)
Tag2Text通过显式学习图像标记器,利用无标注标记引导视觉-语言模型,提升生成与对齐任务性能,达到最先进水平。
2024-03-18 cs.CV
Visual Question Answering: Datasets, Algorithms, and Future Challenges
Rochester Institute of Technology(罗切斯特理工学院)
视觉问答(VQA)是计算机视觉和自然语言处理中的一个新问题,已经引起了深度学习,计算机视觉和自然语言处理社区的大量兴趣。在VQA中,算法需要回答关于图像的基于文本的问题。自2014年发布第一个VQA数据集以来,已经发布了更多数据集并提出了许多算法。在这篇综述中,我们批判性地研究了VQA在问题制定、现有数据集、评估指标和算法方面的现状。特别是,我们讨论了目前的数据集的局限性,他们的能力,正确的训练和评估VQA算法。然后,我们详尽审查现有的算法VQA。最后,我们讨论了VQA和图像理解研究未来可能的方向。
2017-06-15 cs.AI cs.CL cs.CV
Embodied Question Answering in Photorealistic Environments with Point Cloud Perception
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
为了帮助弥合互联网视觉风格的问题和具体感知的视觉目标之间的差距,我们实例化了一个大规模的导航任务-在照片逼真的环境(Matterport 3D)中搜索问答[1]。我们深入研究了利用3D点云、RGB图像或其组合的导航策略。我们对这些模型的分析揭示了几个关键发现。我们发现,两个看似幼稚的导航基线,仅向前和随机,是强大的导航器,由于[1]提出的评估设置的特定选择,具有挑战性。我们发现了一种新的损失加权方案,我们称之为拐点加权是很重要的训练时,经常性的导航模型与行为克隆,并能够执行基线与这种技术。我们发现,点云提供了比RGB图像更丰富的信号来学习避障,这激发了3D深度学习模型在具身导航中的使用(和持续研究)。
2019-04-06 cs.AI cs.CL cs.CV
Large Vision-Language Models for Remote Sensing Visual Question Answering
Walailak University(瓦莱岚大学)
本文提出利用生成式大型视觉语言模型(LVLM)简化遥感视觉问答(RSVQA)过程,通过领域自适应预训练和基于提示的微调两步训练策略,在RSVQAxBEN数据集上取得优于基线的性能,生成更准确、相关且流畅的自然语言答案。
2024-11-16 cs.CL cs.CV
SViQA: A Unified Speech-Vision Multimodal Model for Textless Visual Question Answering
School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对语音-视觉模态异构性导致的融合难题,提出基于LLaVA架构的无文本转录统一模型SViQA,通过端到端语音特征提取与跨模态对齐优化直接处理口头问题,在SBVQA基准上取得75.62%准确率,混合输入下达78.85%。
2025-04-01 cs.CV cs.LG
Privacy Preserving Visual Question Answering
Amazon(亚马逊)
我们引入了一种新的隐私保护方法,用于在边缘执行视觉问答。我们的方法构建了一个符号表示的视觉场景,使用低复杂度的计算机视觉模型,共同预测类,属性和谓词。这种符号表示是不可微的,这意味着它不能用于恢复原始图像,从而保持原始图像的私密性。我们提出的混合解决方案使用的视觉模型比当前最先进的(SOTA)视觉模型小25倍以上,比端到端SOTA VQA模型小100倍。我们报告详细的错误分析,并讨论了使用蒸馏视觉模型和视觉场景的符号表示的权衡。
2022-02-15 cs.CV
A Two-Stage Multitask Vision-Language Framework for Explainable Crop Disease Visual Question Answering
本文提出了一种轻量且可解释的双阶段多任务视觉-语言框架,用于作物疾病视觉问答,实现了高准确率和良好的可解释性。
2026-03-07 cs.CL cs.CV
Enhancing Large Vision-Language Models with Layout Modality for Table Question Answering on Japanese Annual Securities Reports
Stockmark Tokyo, Japan(Stockmark东京日本)
本研究提出通过整合表格内文本和布局特征增强LVLM的表格理解能力,实验证明该方法显著提升日文证券报告表格问答性能。
2025-05-23 cs.CL cs.CV
PA-Attack: Guiding Gray-Box Attacks on LVLM Vision Encoders with Prototypes and Attention
City University of Hong Kong(香港城市大学);The University of Sydney(悉尼大学)
PA-Attack通过原型和注意力机制提升灰盒攻击效果,实现对LVLM视觉编码器的高效攻击。
2026-02-23 cs.CV
Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic
Arizona State University(亚利桑那州立大学);University of Maryland, College Park(马里兰大学学院市分校)
在这项工作中,我们探讨了一种类型的难题(“图像谜语”),其中涉及一组图像和一个问题。解决这些难题需要视觉检测(包括物体、活动识别)和基于知识或常识推理的能力。我们编译了一个超过3k个谜语的数据集,每个谜语由4个图像和一个地面真相答案组成。使用众包评价验证注释。我们还定义了一个自动评估指标来跟踪未来的进展。我们的任务与通常用于测试智力的常见智商任务,如类比解决,序列填充具有相似性。我们开发了一种基于概率推理的方法,利用概率常识知识来回答这些谜语具有合理的准确性。我们展示了我们的方法使用自动和人工评估的结果。我们的方法取得了一些有希望的结果,这些谜语,并为未来的尝试提供了一个强有力的基线。我们在ImageRiddle网站(http://bit.ly/22f9Ala)上向社区公开了整个数据集和相关材料。
2016-11-17 cs.AI cs.CV
Few-Shot Image Classification and Segmentation as Visual Question Answering Using Vision-Language Models
The University of Manchester(曼彻斯特大学);Mettler Toledo Safeline(梅特勒托利多赛富线)
本文提出VISE方法,将少样本图像分类与分割转化为视觉问答问题,利用视觉语言模型与现成视觉工具交互,无需训练,在Pascal-5i和COCO-20i上达到最先进性能。
2024-03-15 cs.CV
Can Pre-trained Vision and Language Models Answer Visual Information-Seeking Questions?
Google Deepmind(谷歌DeepMind);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
研究提出专为信息查询设计的视觉问答数据集InfoSeek,发现预训练多模态模型在此类任务上表现不佳,但通过微调可激发细粒度知识,且结合视觉实体识别检索文档能显著提升性能。
2023-10-17 cs.AI cs.CL cs.CV
Where do Large Vision-Language Models Look at when Answering Questions?
Bytedance Intelligent Creation(字节跳动智能创作);Northwestern University(西北大学);Oregon State University(俄勒冈州立大学)
本文扩展iGOS++等热图方法并选择视觉相关token,以解释LVLM开放式问答所依赖的图像区域,并系统分析关注区域、架构差异和LLM规模的影响。
2025-03-18 cs.CL cs.CV
A Unified Vision-Language Model for PSMA PET/CT Report Generation, Visual Question Answering, and Lesion Segmentation
University of Florida(佛罗里达大学);University of California, San Francisco(加利福尼亚大学旧金山分校);Stony Brook University(纽约州立大学石溪分校);The University of Texas MD Anderson Cancer Center(得克萨斯大学MD安德森癌症中心)
提出统一PSMA PET/CT视觉语言模型,集成报告生成、视觉问答和病灶分割,在多项指标上优于现有方法,实现多任务一体化分析。
2026-09-15 cs.AI cs.CV
UnICLAM:Contrastive Representation Learning with Adversarial Masking for Unified and Interpretable Medical Vision Question Answering
Zhejiang University(浙江大学);University of Illinois Urbana–Champaign Institute(伊利诺伊大学厄巴纳-香槟分校研究院);Sixth Medical Center of Chinese PLA General Hospital(中国人民解放军总医院第六医学中心)
本文提出 UnICLAM,通过渐进式软参数共享与统一对抗掩码对比学习解决医学 VQA 的跨模态对齐问题,并提升可解释性与少样本诊断性能。
2023-09-27 cs.AI cs.CV cs.LG
Research on Vision-Language Question Answering Models for Industrial Robots
Shandong Management University(山东管理大学);Maria Curie-Sklodowska University(玛丽·居里-斯洛多夫斯卡大学)
本文提出一种层次交叉模态融合模型,解决工业机器人中语义模糊、复杂环境布局和领域术语的问题,通过多级特征融合提升问答可靠性。
2026-05-02 cs.AI cs.CV
Human-Free Automated Prompting for Vision-Language Anomaly Detection: Prompt Optimization with Meta-guiding Prompt Scheme
National Cheng Kung University(成功大学);BakuAI AS;NVIDIA(英伟达公司)
针对视觉语言异常检测依赖人工提示、缺异常样本及ViT编码器局部分割效果差的问题,提出含OAGM合成异常、MPTS防过拟合、局部感知注意力的无人工提示优化框架,提升分割精度。
2024-09-11 cs.CV
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学)
随着计算机视觉研究超越传统的识别任务,语言和视觉交叉点的问题,如视觉问答,最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功,深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中,问题被简化,这导致模型中的信息丢失。在本文中,我们丰富的图像信息与文本数据,使用图像标题和外部知识库,以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答(VQA 1.0)的真实图像数据集。
2018-09-23 cs.CL cs.CV
MaxSAT-Based Feedback for Guiding Vision-Language Models in Sudoku
Artificial Intelligence Research Institute (IIIA), Consejo Superior de Investigaciones Científicas (CSIC)(人工智能研究所(IIIA),西班牙科学研究高级理事会(CSIC));Institut de Robòtica i Informàtica Industrial (IRI-CSIC-UPC)(工业机器人与信息学研究所(IRI-CSIC-UPC))
研究在数独中引导视觉语言模型的问题,提出通过MaxSAT预言机将形式约束推理集成到VLM求解过程的神经符号方法,经实验验证该方法能提高逻辑一致性和解决实例数量,增强视觉语言推理可靠性。
2026-07-20 cs.AI cs.LO
cViL: Cross-Lingual Training of Vision-Language Models using Knowledge Distillation
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
视觉和语言任务在研究界越来越受欢迎,但重点仍然主要是英语。我们提出了一个管道,利用英语的视觉语言模型训练单语模型的目标语言。我们建议扩展OSCAR+,一个利用对象标签作为锚点学习图文对齐的模型,在不同语言的视觉问答数据集上进行训练。我们提出了一种新的方法,知识蒸馏训练模型在其他语言使用平行的句子。与使用预训练语料库中的目标语言的其他模型相比,我们可以利用现有的英语模型,使用更少的资源将知识转移到目标语言。我们还发布了日语和印地语的大规模可视化问答数据集。虽然我们将我们的工作限制在视觉问答上,但我们的模型可以扩展到任何序列级分类任务,也可以扩展到其他语言。本文主要研究两种语言的视觉问答任务-日语和印地语。我们的管道在准确性上分别比当前最先进的模型相对提高了4.4%和13.4%。
2022-06-09 cs.CL cs.CV
Adapting Lightweight Vision Language Models for Radiological Visual Question Answering
Department of Advanced Computing Sciences, Maastricht University(马斯特里赫特大学高级计算科学系);Institute of Data Science, Maastricht University(马斯特里赫特大学数据科学研究所)
本研究针对放射VQA开发中的数据、建模及评估难题,微调3B参数量轻量级视觉语言模型,提出含合成数据与多阶段微调的低成本训练流程,还推出显著性诊断工具,小模型在有限数据下实现了可观性能。
2025-06-17 cs.AI cs.CV
Does Language Shift Break Medical Vision-Language Models? Indonesian Radiology Visual Question Answering Case Study
Intelligent System Laboratory, Faculty of Computer Science Brawijaya University(智能系统实验室,计算机科学学院布拉维亚大学)
本研究通过构建印尼语放射学VQA数据集IndoRad-VQA,评估医学视觉语言模型在非英语临床语言下的鲁棒性,发现英语与印尼语设置间存在8-25%的性能差距,表明需要更包容的多语言评估。
2026-06-02 cs.CL cs.CV
Multi-Frame, Lightweight & Efficient Vision-Language Models for Question Answering in Autonomous Driving
针对自动驾驶 VLM 内存与计算开销过高的问题,本文提出轻量多帧模型 EM-VLM4AD,在 DriveLM 上以至少低 10 倍的资源消耗取得更优问答性能。
2024-05-09 cs.AI cs.CV
Guiding the Growth: Difficulty-Controllable Question Generation through Step-by-Step Rewriting
Tencent Jarvis Lab(腾讯天衍实验室);Carnegie Mellon University(卡内基梅隆大学);Université de Montréal(蒙特利尔大学);Peking University(北京大学);The University of Sheffield(谢菲尔德大学)
本文探讨了难度可控问题生成(DCQG)的任务,它旨在生成具有所需难度的问题。以往的研究主要将问题的难度定义为问答系统能否正确回答问题,缺乏可解释性和可控性。在我们的工作中,我们重新定义问题的难度为回答它所需的推理步骤的数量,并认为问题生成(QG)系统应该有更强的控制逻辑生成的问题。为此,我们提出了一个新的框架,逐步增加问题的难度,通过一步一步重写的指导下提取的推理链。自动构建数据集,以方便研究,进行了广泛的实验,以测试我们的方法的性能。
2021-05-25 cs.AI cs.CL
STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering
Rochester Institute of Technology(罗切斯特理工学院);Salesforce AI Research(Salesforce AI研究院)
本文提出 STLLaVA-Med,通过 DPO 让 LVLM 自生成高质量医学视觉指令数据,并由 GPT-4o 等专家模型监督对齐,仅用 9% 数据便在三个医学 VQA 基准上获得有竞争力的零样本性能。
2024-10-24 cs.CV cs.LG
Pretraining Vision-Language Model for Difference Visual Question Answering in Longitudinal Chest X-rays
Seoul National University(首尔大学);Radisen Co. Ltd.(Radisen公司)
针对纵向胸部X光差异视觉问答任务,提出分步预训练的新型视觉语言模型PLURAL,在相关任务上均优于现有最优方法。
2024-12-13 cs.CL cs.CV
CLIP-Guided Vision-Language Pre-training for Question Answering in 3D Scenes
ETH Zurich(苏黎世联邦理工学院)
本文提出CLIP引导的3D视觉-语言预训练方法,通过将3D点云特征与CLIP的2D图像和文本嵌入对齐,学习可迁移的3D场景表示,并在3D视觉问答任务上取得优于现有方法的性能。
2023-04-12 cs.CV
Masked Vision and Language Pre-training with Unimodal and Multimodal Contrastive Losses for Medical Visual Question Answering
College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);Monash University(莫纳什大学)
本文提出一种结合单模态与多模态对比损失及掩码语言建模的医学视觉问答自监督预训练方法,在三个公开数据集上取得最先进性能,准确率分别提升2.2%、14.7%和1.7%。
2023-07-11 cs.AI cs.CV
End-to-End Navigation with Vision Language Models: Transforming Spatial Reasoning into Question-Answering
University of California Berkeley(加州大学伯克利分校);University of Pennsylvania(宾夕法尼亚大学)
提出VLMnav框架,利用视觉语言模型零样本直接进行端到端导航决策,无需微调,可泛化至任意下游任务,并通过广泛实验验证其性能优于基线提示方法。
2024-11-08 cs.CL cs.CV cs.RO
Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes
ETH Zurich(苏黎世联邦理工学院)
针对2D视觉语言知识迁移至3D场景任务的研究不足问题,提出3D预训练方法Multi-CLIP,通过对比学习对齐3D点云特征与CLIP空间的2D多视图、文本特征,在3D-VQA和3D-SQA任务上超越现有最优水平。
2023-06-04 cs.CV
Hierarchical Question-Answering for Driving Scene Understanding Using Vision-Language Models
Center for ICT and Automotive Convergence, Kyungpook National University(信息与汽车融合研究中心,庆北国立大学);School of Electronic and Electrical Engineering, Kyungpook National University(电子电气工程学院,庆北国立大学)
本文提出一种基于微调视觉-语言模型的分层问答方法,通过结构化问题树和动态跳过策略高效理解驾驶场景,在保证关键细节捕获能力的同时显著降低推理时间。
2025-06-03 cs.AI cs.CV
Chart-CoCa: Self-Improving Chart Understanding of Vision LMs via Code-Driven Synthesis and Candidate-Conditioned Answering
The Hong Kong University of Science
本文提出 Chart-CoCa,通过代码驱动的图表合成流程和候选条件回答机制,在无需人工标注数据或外部模型的情况下实现视觉语言模型图表理解能力的自改进,准确率最高提升 15.50 个百分点。
2025-08-16 cs.AI
DDVT: Dynamic Dual-level Vision Transformer Fusion Network for Answer Grounding in Visual Question Answering
National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University(大连大学软件工程学院计算机辅助设计国家地方联合工程实验室);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
研究视觉问答中答案定位问题,提出动态双级视觉Transformer融合网络DDVT,含问题引导的动态区域级模块和跨模态多尺度聚合模块,能精确定位相关视觉内容并融合文本特征,实验证明其性能优于现有方法。
2026-07-28 cs.CV
Towards Developing a Multilingual and Code-Mixed Visual Question Answering System by Knowledge Distillation
Indian Institute of Technology Patna(帕特纳印度理工学院)
预先训练的语言视觉模型在视觉问答(VQA)任务上表现出了显着的性能。然而,大多数预训练模型只考虑单语学习,特别是像英语这样资源丰富的语言。训练多语言环境下的模型需要大量的计算资源和多语言视觉数据集,这阻碍了它们在实际中的应用。为了缓解这些挑战,我们提出了一个知识蒸馏的方法来扩展英语语言视觉模型(教师)到一个同样有效的多语言和代码混合模型(学生)。与现有的知识蒸馏方法不同,这些方法只使用教师网络最后一层的输出进行蒸馏,我们的学生模型从多个中间层(语言和视觉编码器)学习和模仿教师,并适当设计蒸馏目标以进行增量知识提取。我们还在11种不同的语言设置中创建了大规模的多语言和代码混合VQA数据集,考虑到多种印度和欧洲语言。实验结果和深入的分析表明,所提出的VQA模型的有效性比预先训练的语言视觉模型在11个不同的语言设置。
2021-09-10 cs.CL
Compound Tokens: Channel Fusion for Vision-Language Representation Learning
Dartmouth College(达特茅斯学院);Google Research(谷歌研究院)
我们提出了一种有效的方法,融合视觉和语言表征的几个问答任务,包括视觉问答和视觉蕴涵。与以前的作品,连接单峰表示或只使用交叉注意,我们组成多模态表示通过通道融合。通过在通道上融合,与标准方法相比,该模型能够更有效地对齐令牌。这些多模态表示,我们称之为复合令牌,是由交叉注意Transformer层生成的。首先,视觉令牌被用作查询,通过交叉注意检索兼容的文本令牌。然后,我们沿着通道维度链接视觉标记和查询的文本标记。我们称之为复合表征。使用类似的过程生成第二组复合标记,其中文本标记用作对交叉注意层的查询。我们将所有的复合标记连接起来,以便用多模式编码器进行进一步处理。我们证明了复合令牌的有效性,使用编码器-解码器视觉语言模型训练端到端的开放词汇设置。复合令牌在包括GQA、VQA 2.0和SNLI-VE在内的一系列问答任务中实现了极具竞争力的性能。
2022-12-02 cs.CV cs.LG
SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery
National University of Singapore(新加坡国立大学);University College London(伦敦大学学院);National Institute of Technology, Tiruchirappalli(蒂鲁吉拉伯利国立理工学院);Chinese University of Hong Kong(香港中文大学);Shun Hing Institute of Advanced Engineering, Chinese University of Hong Kong(香港中文大学信兴高等工程研究所)
本研究针对GPT无法原生处理视觉信息的问题,提出可端到端训练的LV-GPT模型,通过扩展GPT2加入视觉模块并优化令牌排序,在多个手术VQA数据集上性能超越现有最优模型,还补充了问题类型标注并分析了相关模块影响。
2023-07-22 cs.AI cs.CV eess.IV
ReasonDrive: Efficient Visual Question Answering for Autonomous Vehicles with Reasoning-Enhanced Small Vision-Language Models
Drexel University(德雷塞尔大学)
针对自动驾驶中VLMs缺乏透明推理能力的问题,该研究通过特定类别提示策略生成结构化推理链,对小型VLMs进行推理增强微调,结果表明该方法显著提升驾驶决策任务性能,为安全关键领域可解释系统开发提供方向。
2025-04-14 cs.CV cs.LG cs.RO
Attention on Attention: Architectures for Visual Question Answering (VQA)
Stanford University(斯坦福大学)
视觉问答(VQA)是深度学习研究中越来越热门的话题,需要将自然语言处理和计算机视觉模块协调到单一架构中。我们建立在该模型,在第一次在VQA的挑战,开发了13个新的注意力机制,并引入了一个简化的分类。我们执行了300 GPU小时的广泛超参数和架构搜索,并能够获得64.78%的评估分数,优于现有最先进的单一模型的验证分数63.15%。
2018-03-21 cs.AI cs.CL cs.CV
SimpleLLM4AD: An End-to-End Vision-Language Model with Graph Visual Question Answering for Autonomous Driving
IEIT Systems(IEIT系统公司)
SimpleLLM4AD提出将端到端自动驾驶分解为感知、预测、规划、行为四阶段,通过视觉-语言模型逐阶段推理图视觉问答(GVQA)中的VQA对,实现基于语言的端到端驾驶,并在复杂场景中取得有竞争力的性能。
2024-07-31 cs.AI cs.CV
VisualSimpleQA: A Benchmark for Decoupled Evaluation of Large Vision-Language Models in Fact-Seeking Question Answering
Zhongguancun Laboratory(中关村实验室);Renmin University of China(中国人民大学);Tencent(腾讯);Tsinghua University(清华大学)
本文提出多模态事实问答基准 VisualSimpleQA,支持视觉与语言模块解耦评估,并构建困难子集,实验表明现有 LVLMs 在事实寻求型 QA 上仍有较大提升空间。
2025-03-09 cs.CL cs.CV