A Survey of Current Datasets for Vision and Language Research
Microsoft Research(微软研究院);Johns Hopkins University(约翰霍普金斯大学);University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学)
整合视觉和语言一直是人工智能(AI)工作的梦想。在过去的两年里,我们见证了一场爆炸式的工作,将视觉和语言从图像到视频等融合在一起。可用的语料库在推进这一研究领域发挥了至关重要的作用。在本文中,我们提出了一套质量指标来评估和分析视觉和语言数据集,并相应地对它们进行分类。我们的分析表明,最新的数据集使用了更复杂的语言和更抽象的概念,然而,每个数据集都有不同的优点和缺点。
2015-08-19 cs.AI cs.CL cs.CV
Vision-Language Pre-Training for Boosting Scene Text Detectors
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Huazhong University of Science and Technology(华中科技大学)
最近,视觉语言联合表示学习已被证明是非常有效的各种场景。在本文中,我们专门将视觉-语言联合学习用于场景文本检测,这是一项本质上涉及两种模态之间的跨模态交互的任务:视觉和语言,因为文本是语言的书面形式。具体来说,我们建议通过视觉语言预训练来学习上下文化的联合表示,以提高场景文本检测器的性能。为此,我们设计了一个预训练架构的图像编码器,文本编码器和跨模态编码器,以及三个借口的任务:图像-文本对比学习(ITC),掩蔽语言建模(MLM)和图像中的词预测(EML)。预训练的模型能够产生具有更丰富语义的更多信息表示,这可以很容易地使下游文本检测任务中的现有场景文本检测器(如EAST和PSENet)受益。在标准基准上的大量实验表明,所提出的范例可以显着提高各种代表性的文本检测器的性能,优于以前的预训练方法。代码和预训练模型将公开发布。
2022-04-29 cs.AI cs.CL cs.CV
Cross-Lingual Vision-Language Navigation
UC San Diego(加州大学圣迭戈分校);UC Santa Cruz(加州大学圣克鲁兹分校);ByteDance AI Lab(字节跳动人工智能实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
用自然语言指令命令机器人导航是基础语言理解和机器人技术的长期目标。但根据先前对视觉语言导航(VLN)的研究,主导语言是英语。为了超越英语并为讲不同语言的人提供服务,我们收集了一个双语的房间到房间(BL-R2 R)数据集,用新的中文指令扩展了原始基准。基于这个新引入的数据集,我们研究了如何在现有的英语指令上训练代理,但在零样本学习场景下使用另一种语言有效地导航。在没有任何目标语言的训练数据的情况下,即使与完全访问目标语言训练数据的模型相比,我们的模型也显示出有竞争力的结果。此外,我们还研究了当给定一定数量的目标语言训练数据时,该模型的迁移能力。
2020-12-06 cs.CL cs.CV cs.RO
Images in Language Space: Exploring the Suitability of Large Language Models for Vision & Language Tasks
University of Potsdam(波茨坦大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
本研究探讨纯语言模型在结合文本化视觉信息后处理视觉-语言任务的适用性,发现其即使在少样本下也表现有效,并提升了输出的可解释性。
2023-05-23 cs.CL
Hierarchical Pre-Training of Vision Encoders with Large Language Model
University of Cincinnati(辛辛那提大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出HIVE框架,通过引入视觉编码器与大语言模型间的分层交叉注意力机制,提升视觉语言对齐,改进特征融合与表征学习,实验表明其在图像分类和多模态任务中表现优异。
2026-08-04 cs.AI cs.CL cs.CV
LVPruning: An Effective yet Simple Language-Guided Vision Token Pruning Approach for Multi-modal Large Language Models
University of Manchester(曼彻斯特大学);Imperial College London(伦敦帝国学院)
本文提出 LVPruning,一种基于语言引导的视觉令牌剪枝方法,通过交叉注意力评估视觉令牌重要性,无需修改模型参数即可显著降低多模态大语言模型的计算开销并保持性能。
2025-03-09 cs.CL
From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models
School of Computer Science, Sichuan University(四川大学计算机学院);School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School(北京大学深圳研究生院电子与计算机工程学院);Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University(中国电信与西北工业大学人工智能研究院(TeleAI))
本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进,提出五阶段分类法,梳理各阶段代表性方法,并指出开放挑战与未来方向。
2026-06-26 cs.AI cs.CL cs.CV
VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University of Science and Technology(南京理工大学)
本文提出端到端视觉-音频-语言预训练模型 VALOR,通过 MGA、MGC 任务和 VALOR-1M 数据集学习三模态对齐与条件文本生成,并在多项跨模态基准上达到最优。
2025-01-06 cs.CL cs.CV cs.LG
A Touch, Vision, and Language Dataset for Multimodal Alignment
UC Berkeley(加州大学伯克利分校);Meta AI;TU Dresden(德累斯顿工业大学)
本文提出包含44K野外视觉-触觉对的数据集,训练触觉编码器和TVL模型,显著提升触觉-视觉-语言对齐与理解性能。
2024-02-20 cs.CV cs.RO
Towards Comprehensive Multimodal Perception: Introducing the Touch-Language-Vision Dataset
Beijing Jiaotong University(北京交通大学);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对触觉多模态研究中语言建模不足的问题,本文构建带句子级描述的 TLV 数据集,并提出轻量级 STLV-Align 框架,仅调整1%参数即实现触觉、语言与视觉的有效语义对齐。
2024-06-17 cs.CV cs.RO
RT-VLA: Real-Time Vision-Language-Action Models via Knowledge Distillation
Carnegie Mellon University(卡内基梅隆大学)
提出RT-VLA,通过多级监督蒸馏将SimLingo模型的能力压缩至轻量学生模型,在保持竞争性能的同时将推理时间降低44.8倍(纯视觉模式)和7.9倍(视觉+语言模式),实现实时可解释的VLA自动驾驶。
2026-06-15 cs.CV cs.LG cs.RO
Intriguing Differences Between Zero-Shot and Systematic Evaluations of Vision-Language Transformer Models
Florida State University(佛罗里达州立大学)
本文发现视觉-语言Transformer模型虽在零样本分类上表现卓越,却在系统性评估中完全失败,并基于梯度下降优化与线性近似提供解释框架及检测修改图像的鲁棒方法。
2024-02-13 cs.AI cs.CV cs.LG
Intriguing Equivalence Structures of the Embedding Space of Vision Transformers
Florida State University(佛罗里达州立大学)
该研究以视觉Transformer为例,揭示其嵌入空间存在分段线性子空间(差异大的输入表征相同)和局部法向空间(视觉相似的输入表征差异大)的奇特结构,证实该结构会影响下游模型,且模型存在过度泛化问题。
2024-01-28 cs.AI cs.CV cs.LG
Intriguing Properties of Vision Transformers
Monash University(莫纳什大学);Linköping University(林雪平大学);University of California, Merced(加利福尼亚大学默塞德分校);Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Stony Brook University(石溪大学);Yonsei University(延世大学);Google Research(谷歌研究院)
视觉Transformer(ViT)在各种机器视觉问题上表现出令人印象深刻的性能。这些模型是基于多头自我注意力机制,可以灵活地参加一系列的图像补丁编码上下文线索。一个重要的问题是,在以给定块为条件的关注图像范围上下文方面的这种灵活性如何能够促进处理自然图像中的干扰,严重的遮挡、域移位、空间排列、对抗性和自然扰动。我们通过一系列广泛的实验系统地研究了这个问题,这些实验包括三个ViT家族,并与高性能卷积神经网络(CNN)进行了比较。我们展示并分析了ViT的以下有趣特性:(a)Transformers对严重的遮挡、扰动和域偏移具有高度鲁棒性,例如,即使在随机遮挡80%的图像内容后,仍能在ImageNet上保持高达60%的top-1准确率。(b)对遮挡的鲁棒性能不是由于对局部纹理的偏见,与CNN相比,ViT对纹理的偏见明显更少。当经过适当的训练来编码基于形状的特征时,ViTs表现出与人类视觉系统相当的形状识别能力,这在文献中是前所未有的。(c)使用ViTs对形状表示进行编码导致了一个有趣的结果,即精确的语义分割而无需像素级监督。(d)来自单个ViT模型的现成特征可以被组合以创建特征集成,从而在传统和少样本学习范例中跨一系列分类数据集实现高准确率。我们表明,有效的功能ViTs是由于灵活和动态的感受野可能通过自我注意力机制。
2021-11-25 cs.AI cs.CV cs.LG
Language Features Matter: Effective Language Representations for Vision-Language Tasks
Boston University(波士顿大学)
在视觉语言(VL)任务中,语言和视觉特征不应该被平等对待吗?许多VL方法将语言组件视为事后的想法,使用简单的语言模型,这些语言模型要么构建在纯文本数据上训练的固定词嵌入上,要么从头开始学习。我们认为,语言功能值得更多的关注,并进行实验,比较不同的词嵌入,语言模型,和嵌入增强步骤上五个常见的VL任务:图像句子检索,图像描述,视觉问答,短语接地,和文本到剪辑检索。我们的实验提供了一些惊人的结果;平均嵌入语言模型在检索式任务上的表现优于LSTM;最先进的表示,如BERT在视觉语言任务上的表现相对较差。从这个全面的实验,我们提出了一套最佳实践,将语言组件的VL任务。为了进一步提升语言功能,我们还表明,视觉语言问题中的知识可以跨任务转移,以通过多任务训练获得性能。这种多任务训练应用于新的面向图形的视觉语言嵌入(GrOVLE),我们使用WordNet和Visual Genome构建的原始视觉语言图从Word 2 Vec中进行了调整,提供了一个现成的视觉语言嵌入:http://ai.bu.edu/grovle。
2019-08-17 cs.CL cs.CV
Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks
Microsoft Corporation(微软公司)
语言、视觉和多模式预训练的大融合正在出现。在这项工作中,我们介绍了一个通用的多模态基础模型BEiT-3,它实现了最先进的视觉和视觉语言任务的传输性能。具体而言,我们从骨干架构、预训练任务和模型扩展三个方面推进大收敛。我们引入Multiway Transformers用于通用建模,其中模块化架构支持深度融合和特定于模态的编码。基于共享的主干,我们以统一的方式对图像(Imglish),文本(英语)和图像-文本对(“平行句子”)进行掩蔽的“语言”建模。实验结果表明,BEiT-3在目标检测(COCO)、语义分割(ADE 20 K)、图像分类(ImageNet)、视觉推理(NLVR 2)、视觉问答(VQAv 2)、图像描述(COCO)和跨模态检索(Flickr 30 K,COCO)等方面均获得了最先进的性能。
2022-08-31 cs.CL cs.CV
Annotation Methodologies for Vision and Language Dataset Creation
Brandeis University(布兰迪斯大学)
注释数据集通常用于训练和评估涉及自然语言和视觉的任务(图像描述生成,动作识别和视觉问答)。然而,许多现有的数据集反映了数据选择和注释过程中出现的问题。在这里,我们指出了在创建和验证带注释的视觉和语言数据集时遇到的一些困难和问题。
2016-07-10 cs.CL cs.CV
Vision-and-Language or Vision-for-Language? On Cross-Modal Influence in Multimodal Transformers
University of Trento(特伦托大学);University of Copenhagen(哥本哈根大学)
预先训练的视觉和语言BERT旨在学习结合来自两种模式的信息的表示。我们提出了一种诊断方法的基础上跨模态输入消融,以评估在何种程度上,这些模型实际上整合跨模态信息。该方法涉及从一种模态中完全或选择性地基于跨模态接地对齐来消融输入,并评估另一种模态上的模型预测性能。模型性能通过反映模型预训练目标的特定模态任务来衡量(例如,文本的掩蔽语言建模)。已经学会使用两种模态来构建跨模态表示的模型在模态中缺少输入时的表现会更差。我们发现,最近提出的模型有更大的相对困难预测文本时,视觉信息被消融,预测视觉对象类别时,文本被消融,这表明这些模型是不对称的跨模态。
2021-09-09 cs.CL cs.CV
Vision-and-Language Pretrained Models: A Survey
The University of Sydney(悉尼大学);International Digital Economy Academy (IDEA)(国际数字经济研究院)
预训练模型在计算机视觉(CV)和自然语言处理(NLP)领域都取得了巨大的成功。这一进展导致通过将视觉和语言内容馈送到多层Transformer,视觉语言预训练模型(VLPM)中来学习视觉和语言预训练的联合表示。在本文中,我们提出了一个概述的主要进展VLPMs产生联合表示的视觉和语言。作为本文的第二部分,我们简要描述了VLPMs的一般任务定义和遗传结构。本文首先讨论了语言和视觉数据的编码方法,然后介绍了作为核心内容的主流VLPM结构。我们进一步总结了几个基本的预训练和微调策略。最后,我们强调了CV和NLP研究人员未来的三个方向,以提供有见地的指导。
2022-05-03 cs.CL cs.CV
VL-BEiT: Generative Vision-Language Pretraining
Microsoft Research(微软研究院)
我们引入了一个视觉语言基础模型VL-BEiT,它是一个通过生成式预训练学习的双向多模态Transformer。我们的极简解决方案使用共享的Transformer对单峰和多峰数据进行掩蔽预测。具体来说,我们执行掩蔽视觉语言建模的图像-文本对,掩蔽语言建模的文本,和掩码图像建模的图像。VL-BEiT是从头开始学习的,具有一个统一的预训练任务,一个共享的骨干和一个阶段的训练。我们的方法是概念简单,经验有效。实验结果表明,VL-BEiT在视觉问答、视觉推理和图文检索等视觉语言测试中均取得了较好的效果。此外,我们的方法学习可转移的视觉特征,在图像分类和语义分割方面取得了有竞争力的性能。
2022-09-03 cs.CL cs.CV
Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts
ByteDance(字节跳动)
视觉语言预训练中的大多数现有方法依赖于通过目标检测提取的以对象为中心的特征,并在提取的特征和文本之间进行细粒度的对齐。这些方法学习多个对象之间的关系是具有挑战性的。为此,我们提出了一种称为X-VLM的新方法来执行多粒度视觉语言预训练。学习多粒度对齐的关键是在给定相关文本的情况下在图像中定位视觉概念,同时将文本与视觉概念对齐,其中对齐是多粒度的。实验结果表明,X-VLM有效地利用学习到的多粒度对齐到许多下游视觉语言任务,并始终优于最先进的方法。
2022-06-01 cs.CL cs.CV
NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(微电子研究中心)
自然语言解释(NLE)模型旨在通过生成对人类友好的、高层次的、细粒度的自然语言语句来解释黑箱系统的决策过程。当前的NLE模型解释了视觉或视觉语言模型(也称为,任务模型),例如,VQA模型,经由语言模型(也称为,解释模型),例如,谷丙转氨酶除了任务模型所需的额外记忆资源和推理时间外,任务模型和解释模型是完全独立的,这使得解释与预测答案的推理过程分离。我们引入了NLX-GPT,这是一种通用的、紧凑的、忠实的语言模型,可以同时预测答案和解释答案。我们首先对图像-标题对的大规模数据进行预训练,以便对图像进行一般性理解,然后将答案与解释一起制定为文本预测任务。没有区域建议,也没有任务模型,我们得到的整体框架获得更好的评价分数,包含更少的参数,是15 $\times$比目前的SoA模型快。然后,我们解决了评估解释的问题,这些解释在很多时候可能是通用的,有数据偏见的,可以有几种形式。因此,我们设计了两个新的评估措施:(1)解释预测和(2)检索为基础的攻击,一个自我评估框架,不需要标签。代码在:https://github.com/fawazsammani/nlxgpt。
2022-03-09 cs.CL cs.CV
EfficientVLM: Fast and Accurate Vision-Language Models via Knowledge Distillation and Modal-adaptive Pruning
Beihang University(北京航空航天大学);ETH Zurich(苏黎世联邦理工学院);Bytedance AI Lab(字节跳动人工智能实验室)
预训练的视觉语言模型(VLM)在一系列视觉语言任务中取得了令人印象深刻的结果。然而,流行的VLM通常由数亿个参数组成,由于空间,内存和延迟限制,这给实际应用中的微调和部署带来了挑战。在这项工作中,我们引入了一个提取,然后修剪框架压缩大型视觉语言模型到更小,更快,更准确的。我们首先缩小预训练的大型VLM的大小,并在视觉语言预训练阶段应用知识蒸馏以获得与任务无关的紧凑VLM。然后,我们提出了一种模态自适应修剪算法,自动推断视觉和语言模态的重要性,为不同的下游任务,并自适应地删除冗余结构和神经元在不同的编码器与可控的目标稀疏。我们将我们的框架应用于训练EfficientVLM,这是一个快速准确的视觉语言模型,由6个视觉层,3个文本层和3个跨模态融合层组成,总共只有9300万个参数,占教师模型的44.3%。EfficientVLM保留了教师模型98.4%的性能,并将其推理速度加快了2.2倍。EfficientVLM在各种视觉语言任务上,包括VQAv2(+4.9%),NLVR2(+5.6%),ITR(TR上的R@1 +17.2%,IR上的R@1 +15.6%)和COCO字幕生成(CIDEr +6.5),与之前类似大小的SoTA高效VLM相比,实现了很大的绝对改进,展示了训练轻量级VLM的巨大潜力。
2022-10-14 cs.CL cs.CV
Dream-VL & Dream-VLA: Open Vision-Language and Vision-Language-Action Models with Diffusion Language Model Backbone
The University of Hong Kong(香港大学);Huawei Technologies(华为技术有限公司)
基于扩散语言模型构建的Dream-VL和Dream-VLA在视觉语言和视觉语言-动作任务中表现出色,实现了领先的性能。
2026-01-04 cs.CL cs.CV
Text Prompt Injection of Vision Language Models
Ruizhe Zhu(独立研究者)
本文研究针对大型视觉语言模型的文本提示注入攻击方法,开发了一种低计算资源需求且对大型模型尤为有效的攻击算法,并通过实验验证了其高效性。
2025-10-10 cs.CL cs.CV
Multi-Modal Masked Autoencoders for Medical Vision-and-Language Pre-Training
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
医学视觉和语言预训练为从医学图像和文本中提取有效的视觉和语言表征提供了一种可行的解决方案。然而,很少有研究致力于这一领域,以促进医疗视觉和语言理解。在本文中,我们提出了一个自监督学习范式与多模态掩码自编码器(M $^3$ AE),学习跨模态域知识重建丢失的像素和令牌从随机掩蔽的图像和文本。有三个关键的设计,使这个简单的方法工作。首先,考虑到视觉和语言的不同信息密度,我们对输入图像和文本采用不同的掩蔽比,其中对图像使用相当大的掩蔽比。其次,我们使用不同层次的视觉和文本特征来执行重建,以处理视觉和语言中不同层次的抽象。第三,我们为视觉和语言解码器开发了不同的设计(即,用于视觉的Transformer和用于语言的多层感知器)。为了进行全面的评估和促进进一步的研究,我们构建了一个医学视觉和语言基准,包括三个任务。实验结果证明了我们的方法的有效性,其中国家的最先进的结果实现所有下游任务。此外,我们还进行了进一步的分析,以更好地验证我们方法的不同组成部分和各种预训练设置的有效性。源代码可在~ \url{https://github.com/zhjohnchan/M3AE}上获得。
2022-09-15 cs.CL cs.CV
Learning to Scale Multilingual Representations for Vision-Language Tasks
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
当前的多语言视觉语言模型要么需要为每种支持的语言提供大量的附加参数,要么随着语言的增加而性能下降。在本文中,我们提出了一种可扩展的多语言对齐语言表示(SMALR),它支持多种语言,只需很少的模型参数,而不会牺牲下游任务性能。SMALR为多语言词汇表中的大多数单词学习固定大小的语言不可知表示,仅保留少数语言特定的功能。我们使用掩蔽的跨语言建模损失来将特征与其他语言的上下文对齐。此外,我们提出了一个跨语言的一致性模块,确保预测查询和它的机器翻译是可比的。SMALR的有效性在10种不同的语言中得到了证明,是迄今为止视觉语言任务支持的数量的两倍多。我们对多语言图像句子检索进行了评估,与其他词嵌入方法相比,我们的训练参数不到1/5,性能优于之前的工作3-4%。
2020-08-27 cs.CL cs.CV
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题,研究通过策略构建数据集、优化视觉模块等方式,在受限推理成本下实现了性能与吞吐量的兼顾,并将开源相关资源。
2024-10-06 cs.CL cs.CV
Brain encoding models based on multimodal transformers can transfer across language and vision
UT Austin(德克萨斯大学奥斯汀分校);Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校)
本研究利用多模态transformers的表示训练脑编码模型,发现其能跨语言和视觉模态迁移以预测fMRI大脑反应,揭示了大脑多模态概念处理的共享语义维度。
2023-05-20 cs.CL cs.CV
VEGAS: Mitigating Hallucinations in Large Vision-Language Models via Vision-Encoder Attention Guided Adaptive Steering
University of California, Santa Barbara(加州大学圣巴巴拉分校)
VEGAS通过整合视觉编码器注意力图并自适应引导标记,有效缓解大视觉-语言模型中的幻觉问题。
2025-12-12 cs.CL cs.CV
How Does Vision-Language Adaptation Impact the Safety of Vision Language Models?
KAIST(韩国科学技术院);NAVER Cloud AI(NAVER云AI)
本研究深入分析了视觉-语言适应对大型视觉语言模型安全性的负面影响,发现现有安全调优方法存在过度拒绝问题且目标与适应相冲突,提出权重合并方法作为在保持有用性的同时减少安全性退化的最优解。
2024-11-15 cs.CL cs.CV
Leveraging Vision-Language Pre-training for Human Activity Recognition in Still Images
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
针对静态图像人类活动识别缺乏运动线索的问题,研究通过微调多模态CLIP模型,在285张MSCOCO标注图像上将识别准确率从从头训练CNN的41%提升至76%,验证了视觉-语言预训练对该任务的提升作用。
2025-06-16 cs.CL cs.CV
ERNIE-ViL: Knowledge Enhanced Vision-Language Representations Through Scene Graph
Baidu Inc.(百度公司)
我们提出了一种知识增强的方法,ERNIE-ViL,它结合了从场景图中获得的结构化知识来学习视觉语言的联合表示。ERNIE-ViL试图在视觉和语言之间建立详细的语义联系(对象,对象的属性和对象之间的关系),这对视觉语言跨模态任务至关重要。利用视觉场景的场景图,ERNIE-ViL构造场景图预测任务,即,对象预测、属性预测和关系预测任务。具体地,这些预测任务通过预测从句子解析的场景图中的不同类型的节点来实现。因此,ERNIE-ViL可以学习表征视觉和语言之间详细语义对齐的联合表示。在大规模图像-文本对齐数据集上进行预训练后,我们验证了ERNIE-ViL在5个跨模态下游任务上的有效性。ERNIE-ViL在所有这些任务上都实现了最先进的性能,并以3.7%的绝对进步在VCR排行榜上排名第一。
2021-03-19 cs.CL cs.CV
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(脸书人工智能研究院);Oregon State University(俄勒冈州立大学)
我们提出了ViL BERT(视觉和语言BERT的缩写),一个用于学习图像内容和自然语言的任务无关联合表示的模型。我们将流行的BERT架构扩展为多模态双流模型,在单独的流中处理视觉和文本输入,这些流通过共同注意Transformer层进行交互。我们通过自动收集的大型概念标题数据集上的两个代理任务来预训练我们的模型,然后将其转移到多个已建立的视觉和语言任务-视觉问答,视觉常识推理,引用表达式和基于标题的图像检索-通过对基础架构进行少量添加。与现有的任务特定模型相比,我们观察到跨任务的显着改进-在所有四个任务上都达到了最先进的水平。我们的工作代表了一种转变,从只作为任务训练的一部分来学习视觉和语言之间的基础,转向将视觉基础视为一种可预训练和可转移的能力。
2019-08-06 cs.CL cs.CV
Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong(香港中文大学深圳大数据研究院);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
医学视觉和语言预训练(Med-VLP)由于其适用于从医学图像和文本中提取通用视觉和语言表示而受到相当大的关注。大多数现有方法主要包含三个元素:单模态编码器(即,视觉编码器和语言编码器)、多模态融合模块和借口任务,很少有研究考虑医学领域专家知识的重要性并明确利用这些知识来促进Med-VLP。虽然在一般领域中存在知识增强的视觉和语言预训练(VLP)方法,但大多数方法需要现成的工具包(例如,对象检测器和场景图解析器),这在医学领域中是不可用的。在本文中,我们提出了一个系统的和有效的方法来提高Med-VLP结构化的医学知识从三个角度。首先,考虑到知识可以被看作是视觉和语言之间的中间媒介,我们通过知识对齐的视觉编码器和语言编码器的表示。其次,我们将知识注入到多模态融合模型中,使模型能够使用知识作为输入图像和文本的补充进行推理。第三,通过设计知识诱导的托词任务,引导模型强调图像和文本中最关键的信息。为了进行全面的评估和促进进一步的研究,我们构建了一个医学视觉和语言基准,包括三个任务。实验结果表明,我们的方法的有效性,其中国家的最先进的性能实现所有下游任务。进一步的分析探讨了我们的方法的不同组成部分和各种设置的预训练的效果。
2022-09-15 cs.CL cs.CV
Scaffolding Coordinates to Promote Vision-Language Coordination in Large Multi-Modal Models
Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
提出Scaffold prompting方法,通过在图像中叠加点矩阵和多维坐标,促进大型多模态模型中的视觉-语言协调,实验证明其优于GPT-4V的文本CoT提示。
2024-02-19 cs.CL cs.CV
FlightGPT: Towards Generalizable and Interpretable UAV Vision-and-Language Navigation with Vision-Language Models
School of Intelligent Systems Engineering, Sun Yat-Sen University(中山大学智能系统工程学院);DP Technology(DP技术公司);Beijing University Of Posts and Telecommunications(北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tongji University(同济大学);School of Integrated Innovation, Chulalongkorn University(朱拉隆功大学创新学院)
针对无人机视觉语言导航现有方法多模态融合不足、泛化性弱、可解释性差的问题,提出基于VLM的FlightGPT框架,通过两阶段训练与CoT推理机制,在CityNav数据集上实现SOTA性能, unseen环境成功率较最强基线高9.22%。
2025-05-19 cs.CL cs.CV
Multitask Vision-Language Prompt Tuning
University of California Berkeley(加州大学伯克利分校);ByteDance Inc(字节跳动公司)
提示微调以任务特定的学习提示向量为条件,已经成为一种数据高效和参数高效的方法,用于使大型预训练视觉语言模型适应多个下游任务。然而,现有的方法通常考虑从零开始独立地学习每个任务的提示向量,从而无法利用跨不同视觉语言任务的丰富的可共享知识。在本文中,我们提出了多任务视觉语言提示微调(MVLPT),它将跨任务的知识到视觉语言模型的提示微调。具体而言,(i)我们证明了从多个源任务中学习单个可转移提示以初始化每个目标任务的提示的有效性;(ii)我们表明许多目标任务可以从共享提示向量中相互受益,因此可以通过多任务提示微调来共同学习。我们基准建议MVLPT使用三个代表性的提示微调方法,即文本提示微调,视觉提示微调,和统一的视觉语言提示微调。在20个视觉任务的结果表明,所提出的方法优于所有的单任务基线提示微调方法,设置新的国家的最先进的Few-Shot ELEVATER基准和跨任务的泛化基准。为了了解跨任务知识最有效的地方,我们还进行了一项大规模的研究任务的可转移性与20个视觉任务的400个组合的每一个提示微调方法。结果表明,每种提示微调方法的最佳性能MVLPT更倾向于不同的任务组合,并且许多任务可以相互受益,这取决于它们的视觉相似性和标签相似性。代码可在https://github.com/sIncerass/MVLPT上获得。
2022-12-05 cs.CL cs.CV
Behind Maya: Building a Multilingual Vision Language Model
针对现有视觉语言模型在低资源语言和多元文化语境下表现不足的问题,本文推出开源多语言VLM Maya,提供八语种图文预训练数据集及对应模型,提升跨文化语言理解。
2025-05-15 cs.CL cs.CV
ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting
Department of Computer Science(计算机科学系)
本文提出ESsEN模型,通过双塔编码器结构和传统卷积网络,实现低资源环境下高效视觉-语言模型训练,实验表明其参数量仅为其他模型的分数,性能优异。
2026-04-20 cs.CL cs.CV
LAVT: Language-Aware Vision Transformer for Referring Image Segmentation
University of Oxford(牛津大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学)
指称图像分割是一项基本的视觉语言任务,其目的是从图像中分割出由自然语言表达所指称的对象。这项任务背后的关键挑战之一是利用指涉表达来突出显示图像中的相关位置。解决这个问题的范例是利用强大的视觉语言(“跨模态”)解码器来融合从视觉编码器和语言编码器独立提取的特征。最近的方法已经取得了显着的进步,在这种范式利用Transformers作为跨模态解码器,并行的Transformer的压倒性的成功,在许多其他视觉语言的任务。在这项工作中采用不同的方法,我们表明,通过早期融合的语言和视觉功能的中间层的视觉Transformer编码器网络,可以实现更好的跨模态对齐。通过在视觉特征编码阶段进行跨模态特征融合,我们可以利用Transformer编码器的久经考验的相关建模能力来挖掘有用的多模态上下文。这样,准确的分割结果很容易收获一个轻量级的掩模预测。没有花里胡哨的东西,我们的方法大大超过了RefCOCO、RefCOCO+和G-Ref上以前最先进的方法。
2022-04-05 cs.CL cs.CV
DiMBERT: Learning Vision-Language Grounded Representations with Disentangled Multimodal-Attention
Peking University(北京大学);Tencent(腾讯)
视觉和语言(V-L)任务要求系统理解视觉内容和自然语言,从而学习视觉和语言的细粒度联合表示(也称为“视觉和语言”)。V-L表示)是至关重要的。最近,各种预训练的V-L模型被提出来学习V-L表示,并在许多任务中取得了改进的结果。然而,主流模型处理视觉和语言输入具有相同的一组注意力矩阵。结果,生成的V-L表示纠缠在一个共同的潜在空间。为了解决这个问题,我们提出了DiMBERT(Disentangled Multimodal-Attention BERT的缩写),这是一个新的框架,它将视觉和语言的注意力空间分开,从而可以明确地解开多模态的表示。为了增强视觉和语言之间的关联,在解开空间,我们引入了视觉概念,以文本格式表示视觉信息的DiMBERT。通过这种方式,视觉概念有助于弥合这两种模式之间的差距。我们在两个任务上对大量的图像-句子对预训练DiMBERT:双向语言建模和序列到序列语言建模。预训练后,DiMBERT将进一步针对下游任务进行微调。实验表明,DiMBERT设置新的国家的最先进的性能在三个任务(超过四个数据集),包括生成任务(图像描述和视觉讲故事)和分类任务(参考表达式)。提出的DiM(Disentangled Multimodal-Attention的缩写)模块可以很容易地集成到现有的预训练V-L模型中,以提高它们的性能,在代表性任务上提高高达5%。最后,我们进行了系统的分析,并…
2022-10-28 cs.CL cs.CV
Unifying Vision-Language Latents for Zero-label Image Caption Enhancement
LG Electronics USA(LG电子美国公司)
提出ViZer框架,通过主动对齐视觉与语言表示特征,实现无需标签的图像描述增强,在SmolVLM-Base和Qwen2-VL上生成更准确、更丰富的描述。
2025-10-14 cs.CL cs.CV
Evaluating the Representational Hub of Language and Vision Models
University of Trento(特伦托大学);University of Amsterdam(阿姆斯特丹大学)
在计算语言学和计算机视觉交叉的新兴领域中使用的多模态模型实现了认知科学中提出的“轴辐”架构的自下而上处理,以表示大脑如何处理和组合多感官输入。特别地,集线器被实现为神经网络编码器。我们研究了在文献中提出的各种视觉和语言任务对编码器的影响:视觉问答,视觉参考分辨率和视觉接地对话。为了衡量编码器学习的表示的质量,我们使用两种分析。首先,我们评估编码器预训练的不同的视觉和语言任务,现有的诊断任务,旨在评估多模态语义理解。其次,我们进行了一系列的分析,旨在研究编码器如何合并和利用这两种模态。
2019-04-12 cs.CL cs.CV
cViL: Cross-Lingual Training of Vision-Language Models using Knowledge Distillation
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
视觉和语言任务在研究界越来越受欢迎,但重点仍然主要是英语。我们提出了一个管道,利用英语的视觉语言模型训练单语模型的目标语言。我们建议扩展OSCAR+,一个利用对象标签作为锚点学习图文对齐的模型,在不同语言的视觉问答数据集上进行训练。我们提出了一种新的方法,知识蒸馏训练模型在其他语言使用平行的句子。与使用预训练语料库中的目标语言的其他模型相比,我们可以利用现有的英语模型,使用更少的资源将知识转移到目标语言。我们还发布了日语和印地语的大规模可视化问答数据集。虽然我们将我们的工作限制在视觉问答上,但我们的模型可以扩展到任何序列级分类任务,也可以扩展到其他语言。本文主要研究两种语言的视觉问答任务-日语和印地语。我们的管道在准确性上分别比当前最先进的模型相对提高了4.4%和13.4%。
2022-06-09 cs.CL cs.CV
CLoVe: Encoding Compositional Language in Contrastive Vision-Language Models
University of Michigan(密歇根大学);Netflix(网飞公司)
针对 CLIP、GPT-4V 等视觉-语言模型难以理解词序与概念组合的问题,提出 CLoVe 框架,在组合性基准上绝对提升逾10%,且不损害识别与检索性能。
2024-03-01 cs.CL cs.CV
X-DETR: A Versatile Architecture for Instance-wise Vision-Language Tasks
AWS AI Labs(AWS人工智能实验室)
在本文中,我们研究了具有挑战性的实例视觉语言任务,其中自由形式的语言需要与对象而不是整个图像对齐。为了解决这些任务,我们提出了X-DETR,其架构有三个主要组成部分:对象检测器,语言编码器和视觉语言对齐。愿景和语言流直到最后都是独立的,并且通过高效的点积操作进行对齐。整个网络都是端到端训练的,因此检测器针对视觉语言任务进行了优化,而不是现成的组件。为了克服成对对象语言注释的有限大小,我们利用其他弱类型的监督来扩大知识覆盖范围。X-DETR的这种简单而有效的架构在多个实例视觉语言任务中表现出良好的准确性和快速的速度,例如,16.4在训练期间,AP在LVIS上以每秒约20帧的速度检测1.2K类别,而无需使用任何LVIS注释。
2022-04-12 cs.CL cs.CV cs.LG
Vision and Language: from Visual Perception to Content Creation
JD AI Research(京东人工智能研究院)
视觉和语言是人类智能的两个基本能力。人类通常通过视觉和语言之间的相互作用来执行任务,这支持了人类独特的能力,即谈论他们所看到的东西或对自然语言描述产生幻觉。语言与视觉如何相互作用的问题促使我们研究者不断拓展计算机视觉的研究领域。特别是,“视觉到语言”可能是过去五年中最受欢迎的话题之一,出版物数量和广泛应用都有显着增长,例如,字幕、视觉问答、视觉对话、语言导航等。这些任务通过更全面的理解和多样化的语言表示来增强视觉感知。超越“视觉到语言”的进展,语言还可以促进视觉理解,并为视觉内容创造提供新的可能性,即,“语言到视觉。“这个过程就像一个棱镜,通过它来创建对语言输入的视觉内容调节。本文从“视觉到语言”和“语言到视觉”两个维度对近年来的研究进展进行了综述。“具体来说,前者主要集中在图像/视频描述的发展,以及典型的编码器-解码器结构和基准,而后者则总结了视觉内容创作的技术。并详细阐述了视觉和语言的实际部署或服务。
2019-12-26 cs.CV
Cross-Modal Safety Mechanism Transfer in Large Vision-Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Inc.(华为公司)
针对LVLMs视觉-语言对齐未能迁移文本安全机制的问题,提出文本引导对齐方法TGA,通过检索相关文本引导视觉投影至隐藏状态空间,实现安全迁移且保持视觉任务性能。
2025-02-28 cs.AI cs.CL cs.CV
Is Multimodal Vision Supervision Beneficial to Language?
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Intel Labs(英特尔实验室)
本文通过对比多种图像-文本和视频-文本模型中视觉监督与普通预训练得到的语言表示,发现普通语言表示在多数自然语言理解与常识推理任务上表现更优,揭示了当前视觉-语言模型的不足。
2023-04-15 cs.AI cs.CL cs.CV
Vision Language Transformers: A Survey
Boise State University(博伊西州立大学)
本文综述了视觉语言Transformer的研究现状,系统梳理了基于预训练Transformer架构的视觉语言建模方法,分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
Unifying Vision-Language Representation Space with Single-tower Transformer
NAVER(NAVER公司);Coupang(Coupang公司);Seoul National University(首尔国立大学)
对比学习是远程学习的一种形式,旨在从两个相关的表示中学习不变的特征。在本文中,我们探讨了大胆的假设,图像和它的标题可以简单地被视为两个不同的观点的基础上的互信息,并训练模型学习一个统一的视觉语言表示空间,编码两个模态一次在模态不可知的方式。我们首先确定了学习用于视觉语言预训练(VLP)的通用单塔模型的困难,并提出OneR作为我们目标的简单而有效的框架。我们发现了有趣的属性,区分OneR从以前的作品,学习特定于模态的表示空间,如zero-shot对象定位,文本引导的视觉推理和多模态检索,并提出分析,以提供深入了解这种新形式的多模态表示学习。彻底的评估表明,一个统一的模态不可知的VLP框架的潜力。
2022-11-21 cs.CL cs.CV cs.LG
LAVIS: A Library for Language-Vision Intelligence
Salesforce Research(Salesforce研究院)
我们介绍LAVIS,一个开源的深度学习库,用于LANGUage-VISion研究和应用。LAVIS旨在成为一站式综合图书馆,为研究人员和从业人员提供语言视觉领域的最新进展,以及未来的研究和开发。它具有统一的界面,可以轻松访问最先进的图像语言,视频语言模型和常见的数据集。LAVIS支持各种任务的培训、评估和基准测试,包括多模态分类、检索、字幕、视觉问答、对话和预培训。同时,该库还具有高度的可扩展性和可配置性,便于未来的开发和定制。在这份技术报告中,我们描述了库的设计原则、关键组件和功能,并介绍了常见语言视觉任务的基准测试结果。该库可在https://github.com/salesforce/LAVIS上获得。
2022-09-15 cs.CL cs.CV cs.LG
Write and Paint: Generative Vision-Language Models are Unified Modal Learners
The Hong Kong University of Science and Technology(香港科技大学);ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
视觉语言预训练的最新进展推动了各种视觉语言任务的最新发展,使机器更有能力进行多模态写作(图像到文本生成)和绘画(文本到图像生成)。然而,很少有研究调查,如果这两个基本能力可以一起学习,并相互促进,使一个通用的和强大的多模态基础模型。在这项工作中,我们揭示了对称生成视觉语言预训练在学习同时写作和绘画方面的潜力,并提出了一种新的统一模态模型,名为DaVinci,使用前缀语言建模和前缀图像建模进行训练,这是一种简单的生成自监督目标。得益于提出的前缀多模态建模框架,DaVinci易于训练,可扩展到巨大的数据,适用于写作和绘画任务,并且在其他视觉,文本和多模态理解任务上也很强大。DaVinci在广泛的27个生成/理解任务上取得了有竞争力的表现,并展示了结合视觉/语言生成预训练的优势。此外,我们仔细地对不同视觉语言预训练目标在不同规模的预训练数据集上的性能进行了基准测试,这些数据集覆盖了异构和广泛的分布范围。我们的研究结果证明了在语言和视觉输入中利用自我监督的潜力,并为未来在不同数据尺度上的比较建立了新的、更强大的基线。代码和预训练模型可在https://github.com/shizhediao/DaVinci上获得。
2023-02-17 cs.CL cs.CV cs.LG