Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong(香港中文大学深圳大数据研究院);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
医学视觉和语言预训练(Med-VLP)由于其适用于从医学图像和文本中提取通用视觉和语言表示而受到相当大的关注。大多数现有方法主要包含三个元素:单模态编码器(即,视觉编码器和语言编码器)、多模态融合模块和借口任务,很少有研究考虑医学领域专家知识的重要性并明确利用这些知识来促进Med-VLP。虽然在一般领域中存在知识增强的视觉和语言预训练(VLP)方法,但大多数方法需要现成的工具包(例如,对象检测器和场景图解析器),这在医学领域中是不可用的。在本文中,我们提出了一个系统的和有效的方法来提高Med-VLP结构化的医学知识从三个角度。首先,考虑到知识可以被看作是视觉和语言之间的中间媒介,我们通过知识对齐的视觉编码器和语言编码器的表示。其次,我们将知识注入到多模态融合模型中,使模型能够使用知识作为输入图像和文本的补充进行推理。第三,通过设计知识诱导的托词任务,引导模型强调图像和文本中最关键的信息。为了进行全面的评估和促进进一步的研究,我们构建了一个医学视觉和语言基准,包括三个任务。实验结果表明,我们的方法的有效性,其中国家的最先进的性能实现所有下游任务。进一步的分析探讨了我们的方法的不同组成部分和各种设置的预训练的效果。
2022-09-15 cs.CL cs.CV
MLIM: Vision-and-Language Model Pre-training with Masked Language and Image Modeling
Amazon.com Inc(亚马逊公司)
视觉和语言预训练(VLP)可提高需要图像和文本输入的下游任务的模型性能。当前的VLP方法在(i)模型架构(特别是图像嵌入器)、(ii)损失函数和(iii)掩蔽策略上不同。图像嵌入器要么是像ResNet这样的深度模型,要么是直接将图像像素馈送到Transformer中的线性投影。通常,除了掩蔽语言建模(MLM)损失之外,基于语义的目标用于跨模态交互,RoI特征回归和分类任务用于掩蔽图像区域建模(MLM)。对齐和MPEG4目标大多没有地面实况。基于对齐的目标需要图像和文本的配对以及启发式目标函数。机器人依靠物体探测器。掩蔽策略要么不利用多模态,要么与其他模型生成的对齐严格耦合。在本文中,我们提出了掩蔽语言和图像建模(MLIM)的VLP。MLIM使用两个损失函数:Masked Language Modeling(MLM)损失和图像重建(RECON)损失。我们提出了模态感知掩蔽(MAM)来增强跨模态交互,并利用MLM和RECON损失分别捕获文本和图像重建质量。使用MLM + RECON任务加上MAM,我们提出了一个简化的VLP方法,并表明它具有更好的下游任务性能的专有电子商务多模态数据集。
2021-09-24 cs.AI cs.CV cs.LG
Beyond Generic: Enhancing Image Captioning with Real-World Knowledge using Vision-Language Pre-Training Model
Nanjing University(南京大学);University of Glasgow(格拉斯哥大学)
针对图像描述缺乏真实世界知识的问题,提出 Knowledge-guided Replay 方法,通过知识预测和蒸馏约束在微调中保留预训练知识,有效缓解幻觉,在 KnowCap 基准上显著提升知识识别准确率与描述质量。
2023-08-02 cs.CL cs.CV cs.MM
IDEA: Increasing Text Diversity via Online Multi-Label Recognition for Vision-Language Pre-training
Fudan University(复旦大学);OPPO Research Institute(OPPO研究院);Children’s Hospital of Fudan University(复旦大学附属儿科医院);National Children’s Medical Center(国家儿童医学中心)
大规模图像-文本对的视觉语言预训练(VLP)在各个领域都表现出了优异的性能。然而,互联网上共存的图像-文本对通常缺乏显式对齐信息,这对于VLP来说是次优的。现有的方法建议采用现成的对象检测器来利用附加的图像标签信息。然而,对象检测器是耗时的,并且只能识别预定义的对象类别,限制了模型容量。受文本包含不完整的细粒度图像信息的观察的启发,我们引入了IDEA,它代表通过VLP的在线多标签识别来增加文本多样性。IDEA表明,在VLP过程中,从文本中提取图像标签的多标签学习可以联合优化。此外,IDEA可以在线识别有价值的图像标签,以提供更明确的文本监督。综合实验表明,IDEA可以显着提高多个下游数据集的性能与一个小的额外的计算成本。
2022-07-31 cs.CV cs.LG
APoLLo: Unified Adapter and Prompt Learning for Vision Language Models
University of Maryland, College Park(马里兰大学帕克分校);University of Toronto(多伦多大学)
APoLLo提出统一适配器与提示学习的多模态方法,通过交叉注意力适配层和编码器一致性约束提升视觉语言模型少样本泛化能力,在新类别、跨数据集和域偏移任务上优于现有方法。
2023-12-04 cs.AI cs.CL cs.CV
WuDaoMM: A large-scale Multi-Modal Dataset for Pre-training models
与特定领域模型相比,视觉语言预训练模型(VLPM)在下游任务上表现出更好的性能,具有快速的微调过程。例如,ERNIE-ViL、Oscar和UNIMO训练了具有统一Transformers堆栈架构和大量图文配对数据的VLPM,在图文参考等下游任务上取得了显著成绩(IR和TR)、视觉问答(VQA)和图像描述(IC)等。在训练阶段,VLPM通常由多个公共数据集组合而成,以满足大规模训练数据的需求。然而,由于数据分布的不均匀性,包括大小,任务类型和质量,使用多个数据集的混合进行模型训练可能会有问题。在这项工作中,我们介绍了一个大规模的多模态语料库WuDaoMM,总共包含超过650 M的图像-文本对。具体而言,约6亿对数据来自图像和标题呈现弱相关性的多个网页,另外5000万个强相关性的图像-文本对来自一些高质量的图形网站。我们还发布了WuDaoMM的基础版本,其中包含500万个强相关的图像-文本对,足以支持常见的跨模态模型预训练。此外,我们训练了理解和生成视觉语言(VL)模型来测试数据集的有效性。结果表明,WuDaoMM可以作为VLPM的有效数据集,特别是在文本到图像生成任务的模型。数据发布于https://data.wudaoai.cn
2022-05-01 cs.CL cs.CV
Probing Cross-modal Semantics Alignment Capability from the Textual Perspective
Nanjing University(南京大学)
近年来,视觉和语言预训练(VLP)模型在各种跨模态下游任务中取得了最先进的成果。对齐跨模态语义被认为是VLP模型的基本功能之一。然而,VLP模型中对齐的内在工作机制仍不清楚。在本文中,我们提出了一种新的探测方法,是基于图像描述首次实证研究跨模态语义对齐的VLP模型。我们的探测方法是建立在这样一个事实上,即给定一个图像-标题对,VLP模型将给出一个分数,表明两个模态的对齐程度;最大化这些分数将生成VLP模型认为对齐良好的句子。因此,分析这些句子将揭示不同的模态是如何对齐的,以及这些对齐在VLP模型中的效果如何。我们将我们的探测方法应用于五种流行的VLP模型,包括UNITER,ROSITA,ViLBERT,CLIP和LXMERT,并对这些模型指导下生成的字幕进行了全面的分析。我们的研究结果表明,VLP模型(1)更注重将对象与视觉词对齐,而忽略全局语义;(2)更喜欢固定的句型,从而忽略更重要的文本信息,包括流畅性和语法;(3)认为具有更多视觉词的标题与图像更好地对齐。这些发现表明,VLP模型在跨模态语义对齐方面仍然存在弱点,我们希望这项工作能够引起研究人员在设计新的VLP模型时对这些问题的关注。
2022-10-18 cs.CL
G2D: From Global to Dense Radiography Representation Learning via Vision-Language Pre-training
Imperial College London(帝国理工学院);University of Oxford(牛津大学);École des Ponts(巴黎桥路学校);EDF R&D(法国电力公司研发中心);Royal Brompton and Harefield Hospitals(皇家布朗普顿和 Harefield 医院)
本文提出G2D医学视觉-语言预训练框架,通过并行的无参数伪分割任务学习密集语义表征,在6项任务、25种疾病上表现优越,语义分割中仅用1%数据微调即超越使用100%数据的同类模型。
2024-10-24 cs.CV cs.LG
GLIPv2: Unifying Localization and Vision-Language Understanding
Microsoft(微软);University of Washington(华盛顿大学);Meta AI;UCLA(加州大学洛杉矶分校)
我们提出了GLIPv 2,一个接地的VL理解模型,既服务于本地化任务(例如,目标检测,实例分割)和视觉语言(VL)理解任务(例如,VQA,图像描述)。GLIPv 2通过三个预训练任务将本地化预训练和视觉语言预训练(VLP)优雅地统一起来:短语接地作为检测任务的VL重构,区域词对比学习作为新的区域词级别的对比学习任务,以及掩蔽语言建模。这种统一不仅简化了以前的多阶段VLP过程,而且实现了本地化和理解任务之间的互惠互利。实验结果表明,一个单一的GLIPv 2模型(所有模型的权重是共享的)实现了各种定位和理解任务的SoTA性能。该模型还显示出(1)在开放词汇目标检测任务上的强zero-shot和Few-Shot适应性能和(2)在VL理解任务上的优异的接地能力。代码将在https://github.com/microsoft/GLIP上发布。
2022-10-11 cs.AI cs.CL cs.CV
Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images
Imperial College London(帝国理工学院)
本文研究仅用由真实放射学报告生成的合成图像进行医学视觉-语言预训练的可行性,实验表明合成数据在分类、分割和检测任务上可媲美甚至超越真实图像,并发布大规模合成医学图像数据集以规避真实医学图像共享难题。
2024-04-30 cs.CV cs.LG
Scaling Up Vision-Language Pre-training for Image Captioning
Microsoft(微软)
近年来,基于视觉语言预训练(VLP)的图像描述任务的性能得到了显著提高。规模被认为是这一进步的重要因素。然而,大多数现有的工作只集中在预训练具有中等大小的Transformers(例如,12或24层),大约400万张图像。在本文中,我们提出了LEMON,一个大规模的图像captiONer,并提供了第一个实证研究的缩放行为的VLP的图像描述。我们使用最先进的VinVL模型作为我们的参考模型,该模型由图像特征提取器和Transformer模型组成,并将Transformer上下缩放,模型大小从1300万到6.75亿参数不等。在数据方面,我们进行了多达2亿的图像-文本对,这是自动收集的基础上的alt属性的图像(称为ALT 200 M)从Web上的实验。随着模型大小和预训练数据大小的增加,广泛的分析有助于表征性能趋势。我们还比较了不同的训练配方,特别是在大规模噪声数据上的训练。因此,LEMON在几个主要的图像描述基准上达到了新的技术水平,包括COCO Caption、nocaps和Conceptual Captions。我们还表明,LEMON可以产生长尾视觉概念的字幕时,在zero-shot的方式使用。
2022-03-26 cs.CL cs.CV
Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning
Tsinghua University(清华大学);Tencent(腾讯)
跨模态对齐对于视觉语言预训练(VLP)模型学习跨不同模态的正确对应信息至关重要。出于这个目的,受NLP预训练领域中掩蔽语言建模(MLM)任务成功的启发,已经为VLP提出了许多掩蔽建模任务,以进一步促进跨模态交互。以前的掩码建模任务的核心思想是专注于基于可见上下文重建掩码标记,以学习局部到局部对齐。然而,他们大多没有注意到的全局语义特征所产生的屏蔽数据,导致有限的跨模态对齐能力的全局表示。因此,在本文中,我们提出了一种新的语义完成学习(SCL)任务,补充现有的掩蔽建模任务,以促进全球到本地对齐。具体而言,SCL任务通过从其他模态捕获相应的信息来补充掩蔽数据的缺失语义,促进学习更具代表性的全局特征,这些特征对下游任务的性能有很大影响。此外,我们提出了一个灵活的视觉编码器,使我们的模型,以执行图像-文本和视频-文本多模态任务同时进行。实验结果表明,我们提出的方法获得了最先进的性能在各种视觉语言基准,如视觉问答,图像-文本检索,视频-文本检索。
2023-03-26 cs.CL cs.CV cs.MM
Exploring Typographic Visual Prompts Injection Threats in Cross-Modality Generation Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));University of Oxford(牛津大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);The Hong Kong University of Science and Technology(香港科学与技术大学);Beijing University of Technology(北京工业大学);Tsinghua University(清华大学);City University of Hong Kong(香港城市大学)
本文提出排版视觉提示注入数据集,系统评估不同目标语义下各类开源与闭源LVLMs和I2I生成模型面临的TVPI安全风险,深化了对该类威胁的理解。
2025-11-05 cs.CL cs.CV
VLP: A Survey on Vision-Language Pre-training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文是首篇聚焦视觉-语言预训练(VLP)的综述,从五大维度梳理VLP进展,总结相关模型并探讨前沿方向,为该领域未来研究提供参考。
2022-07-30 cs.CL cs.CV
Counterfactually Measuring and Eliminating Social Bias in Vision-Language Pre-training Models
Beijing Jiaotong University(北京交通大学)
视觉语言预训练(VLP)模型在许多跨模态任务中取得了最先进的性能。由于它们被优化以捕获模态内和模态间的统计特性,因此仍然存在学习数据中呈现的社会偏见的风险。本文的主要工作是:(1)引入基于反事实的偏差度量方法\emph{CounterBias},通过比较事实样本和反事实样本的[MASK]化预测概率来量化VLP模型中的社会偏差;(2)构建一个新的包含24 K图像-文本对的VL-Bias数据集来度量VLP模型中的性别偏差,从中我们观察到显著的性别偏差在VLP模型中普遍存在;以及(3)提出了一种VLP去偏方法\emph{FairVLP},以最小化用于VLP去偏的事实和反事实图像-文本对之间的[MASK]ed预测概率的差异。虽然CounterBias和FairVLP专注于社会偏见,但它们可以作为工具进行推广,并提供新的见解来探索和规范VLP模型中的更多知识。
2022-07-12 cs.AI cs.CV
CIC: A Framework for Culturally-Aware Image Captioning
Dongguk University(东国大学)
针对现有图像描述方法缺乏对文化元素详细描述的问题,提出文化感知图像描述框架CIC,通过生成文化问题、VQA提取视觉元素及LLM生成描述,人工评估表明其描述更具文化性。
2025-02-24 cs.AI cs.CL cs.CV
Vision-and-Language Pretrained Models: A Survey
The University of Sydney(悉尼大学);International Digital Economy Academy (IDEA)(国际数字经济研究院)
预训练模型在计算机视觉(CV)和自然语言处理(NLP)领域都取得了巨大的成功。这一进展导致通过将视觉和语言内容馈送到多层Transformer,视觉语言预训练模型(VLPM)中来学习视觉和语言预训练的联合表示。在本文中,我们提出了一个概述的主要进展VLPMs产生联合表示的视觉和语言。作为本文的第二部分,我们简要描述了VLPMs的一般任务定义和遗传结构。本文首先讨论了语言和视觉数据的编码方法,然后介绍了作为核心内容的主流VLPM结构。我们进一步总结了几个基本的预训练和微调策略。最后,我们强调了CV和NLP研究人员未来的三个方向,以提供有见地的指导。
2022-05-03 cs.CL cs.CV
VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers
Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校);Microsoft Research(微软研究院)
基于transformer的模型的突破性进展不仅彻底改变了NLP领域,也改变了视觉和多模态系统。然而,尽管可视化和可解释性工具已经可用于NLP模型,但视觉和多模态Transformers的内部机制在很大程度上仍然不透明。随着这些Transformers的成功,了解它们的内部工作变得越来越重要,因为解开这些黑匣子将导致更有能力和更值得信赖的模型。为了促进这一探索,我们提出了VL-InterpreT,它提供了新的交互式可视化解释的注意力和隐藏的表示在多模态Transformers。VL-InterpreT是一个与任务无关的集成工具,它(1)跟踪视觉和语言组件所有层中注意力头部的各种统计数据,(2)通过易于阅读的热图可视化跨模态和模态内注意力,(3)绘制视觉和语言标记的隐藏表示,因为它们通过Transformer层。在本文中,我们通过分析KD-VLP,一个端到端的预训练的视觉语言多模态转换器为基础的模型,在视觉常识推理(VCR)和WebQA,两个视觉问答基准的任务中,展示了VL-InterpreT的功能。此外,我们还提出了一些有趣的发现多模态Transformer的行为,通过我们的工具。
2022-08-22 cs.AI cs.CL cs.CV
GRIT-VLP: Grouped Mini-batch Sampling for Efficient Vision and Language Pre-training
Seoul National University(首尔国立大学);Sungkyunkwan University(成均馆大学);Microsoft Research Asia(微软亚洲研究院)
目前大多数视觉和语言预训练(VLP)方法主要集中在如何提取和对齐视觉和文本特征。与主流的VLP方法相比,我们强调了预训练期间的两个常规应用步骤对预训练模型的性能具有至关重要的影响:用于图像-文本匹配(ITM)的批量硬负采样和为掩码语言建模(MLM)分配大掩码概率。在经验上显示了上述两个步骤的意想不到的效果后,我们系统地设计了我们的GRIT-VLP,它自适应地对小批量进行采样,以便更有效地挖掘ITM的硬阴性样本,同时保持预训练的计算成本。我们的方法由三个部分组成:1)分组的mall-baTch采样(GRIT)策略,收集类似的例子在一个小批量,2)ITC一致性损失,以提高挖掘能力,和3)MLM扩大掩蔽概率。因此,我们展示了我们的GRIT-VLP在各种下游任务上以更少的计算成本实现了新的最先进的性能。此外,我们证明了我们的模型基本上是与ALBEF,以前的国家的最先进的,只有三分之一的训练时期相同的训练数据。代码可在https://github.com/jaeseokbyun/GRIT-VLP上获得。
2022-08-08 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University(雪城大学);Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)(博世北美研究院及博世人工智能中心)
本文提出视觉-语言-规划框架VLP,利用语言模型增强自动驾驶的推理与上下文理解,在NuScenes上显著降低规划误差和碰撞率,并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
Plausible May Not Be Faithful: Probing Object Hallucination in Vision-Language Pre-training
The Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达)
大规模的视觉语言预训练(VLP)模型在基于视觉信息生成文本时,容易产生不存在的视觉对象的幻觉。本文从三个方面系统地研究了物体幻觉问题。首先,我们检查了最近最先进的VLP模型,表明它们仍然经常产生幻觉,并且模型在标准指标上获得了更好的分数(例如,CIDER)可能更不忠。其次,我们研究了VLP中不同类型的图像编码如何影响幻觉,包括基于区域的,基于网格的和基于块的。令人惊讶的是,我们发现基于补丁的功能执行最好的和较小的补丁分辨率产生一个非平凡的减少对象幻觉。第三,我们解耦各种VLP目标,并证明了令牌级的图文对齐和控制生成是至关重要的,以减少幻觉。在此基础上,我们提出了一个简单而有效的VLP损失命名为ObjMLM,以进一步减轻对象幻觉。结果表明,当在两个基准测试(COCO Caption用于域内评估和NoCaps用于域外评估)上进行测试时,它将对象幻觉减少了17.4%。
2023-02-10 cs.CL cs.CV
Towards Adversarial Attack on Vision-Language Pre-training Models
Beijing Jiaotong University(北京交通大学);Peng Cheng Lab(鹏城实验室)
虽然视觉语言预训练模型(VLP)在各种视觉语言(V+L)任务上显示出革命性的改进,但关于其对抗鲁棒性的研究在很大程度上尚未探索。本文研究了VLP模型和V+L任务的对抗攻击。首先,我们分析了对抗攻击在不同设置下的性能。通过研究不同扰动对象和攻击目标的影响,我们得出了一些关键的意见,设计强大的多模态对抗攻击和构建强大的VLP模型的指导。其次,我们提出了一种新的多模态攻击的VLP模型称为协同多模态对抗攻击(Co-Attack),它共同进行攻击的图像模态和文本模态。实验结果表明,该方法在不同的V+L下游任务和VLP模型上均能获得较好的攻击性能.分析观察和新的攻击方法,希望提供新的理解VLP模型的对抗鲁棒性,从而有助于他们在更多的现实世界中的安全和可靠的部署。代码可在https://github.com/adversarial-for-goodness/Co-Attack上获得。
2022-10-20 cs.CL cs.CV cs.LG
Multi-modal Pre-training for Medical Vision-language Understanding and Generation: An Empirical Study with A New Benchmark
The Hong Kong Polytechnic University(香港理工大学)
针对医学领域视觉-语言预训练研究不足的问题,本文提出含18434个图文对的RGC数据集,通过统一视觉-语言Transformer开展实验分析,得出关键研究见解并构建医学VL任务新强基线。
2023-08-24 cs.AI cs.CV
KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation
Intel Labs(英特尔实验室);Microsoft Research Asia(微软亚洲研究院);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所)
自我监督的视觉和语言预训练(VLP)旨在从大规模图像-文本数据中学习可转移的多模态表示,并在微调后在广泛的视觉语言任务中实现强大的性能。以往主流的VLP方法通常采用两步策略,依靠外部对象检测器在多模态Transformer框架中对图像进行编码,这会受到对象概念空间受限、图像上下文受限和计算效率低下的影响。在本文中,我们提出了一个对象感知的端到端VLP框架,它直接将CNN中的图像网格特征输入到Transformer中,并共同学习多模态表示。更重要的是,我们建议执行对象知识蒸馏,以促进学习跨模态对齐在不同的语义层次。为了实现这一点,我们设计了两个新的借口任务,将外部检测器的对象特征及其语义标签作为监督:1)。对象引导的掩蔽视觉建模任务侧重于在多模态Transformer中执行对象感知表示学习; 2.)短语-区域对齐任务旨在利用名词短语和对象标签在语言空间中的相似性来提高跨模态对齐。广泛的视觉语言任务的广泛实验证明了我们提出的框架的有效性,我们实现了竞争力或优于现有的预训练策略的性能。
2022-08-07 cs.CV
VLPD: Context-Aware Pedestrian Detection via Vision-Language Semantic Self-Supervision
University of Science and Technology Beijing(北京科技大学);Tencent(腾讯)
本文提出VLPD方法,通过视觉-语言语义自监督分割和原型语义对比学习,无需额外标注即可建模明确语义上下文,显著提升了复杂场景下小尺度和严重遮挡行人的检测性能。
2023-04-06 cs.AI cs.CV cs.MM
Efficient Vision-and-Language Pre-training with Text-Relevant Image Patch Selection
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出TRIPS方法,通过文本引导的图像块选择逐步缩减视觉序列,在不增加参数的情况下加速ViT-based视觉语言预训练,实现40%提速并保持或提升下游任务性能。
2024-01-11 cs.AI cs.CV
Vision and Structured-Language Pretraining for Cross-Modal Food Retrieval
Sorbonne University(索邦大学)
视觉语言预训练(VLP)和基础模型一直是在一般基准测试中实现SoTA性能的首选方法。然而,利用这些强大的技术更复杂的视觉语言任务,如烹饪应用程序,更结构化的输入数据,仍然很少研究。在这项工作中,我们建议利用这些技术的结构化文本为基础的计算美食的任务。我们的策略被称为VLPCook,首先将现有的图像-文本对转换为图像和结构化文本对。这允许使用适应于结果数据集的结构化数据的VLP目标来预训练我们的VLPCook模型,然后在下游计算烹饪任务中对其进行微调。在微调过程中,我们还丰富了视觉编码器,利用预训练的基础模型(例如CLIP)来提供本地和全局文本上下文。VLPCook在大型Recipe 1 M数据集上的跨模态食物检索任务上明显优于当前SoTA(+3.3召回@1绝对改善)。我们对VLP进行了进一步的实验,以验证它们的重要性,特别是在Recipe 1 M+数据集上。最后,我们验证了该方法对其他任务(即食物识别)和具有结构化文本的领域(如ROCO数据集上的医疗领域)的推广。代码可以在这里找到:https://github.com/mshukor/VLPCook
2023-03-15 cs.CV cs.LG
Defense-Prefix for Preventing Typographic Attacks on CLIP
The University of Tokyo(东京大学)
本研究提出防御前缀(DP)方法,通过在类名前插入标记,在不改变CLIP参数的情况下抵御排版攻击,提升分类准确性并保持零样本能力,且可应用于目标检测。
2023-09-06 cs.CV
VLPrompt: Vision-Language Prompting for Panoptic Scene Graph Generation
Tongji University(同济大学);Delft University of Technology(代尔夫特理工大学)
针对全景场景图生成中关系长尾问题,提出VLPrompt模型,结合图像视觉信息与大语言模型的语言信息,通过注意力提示网络精准预测关系,在PSG数据集上超越现有最优方法。
2024-06-19 cs.CV
ELVIS: Empowering Locality of Vision Language Pre-training with Intra-modal Similarity
Galux Inc.(Galux公司);Lunit Inc.(Lunit公司);Korea University(高丽大学);AIGEN Sciences Inc.(AIGEN科学公司)
针对现有局部感知视觉语言预训练存在空间关系丢失的问题,提出具备模态内局部感知的ELVIS方法,在CXR相关分割及短语 grounding任务上性能更优且可解释性更强。
2023-07-23 cs.CL cs.CV
Medical Vision Language Pretraining: A survey
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII));Rochester Institute of Technology(罗切斯特理工学院);University of Aberdeen(阿伯丁大学)
本文综述医学视觉语言预训练,从预训练目标、架构、下游任务与数据集梳理现有工作,并分析挑战、解决方案及未来方向。
2023-12-11 cs.CL cs.CV
FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning
Stanford University(斯坦福大学);Meta AI;University of Surrey(萨里大学)
时尚领域的多模态任务对电子商务具有巨大的潜力,但涉及具有挑战性的视觉和语言学习问题-例如,在给定参考图像加上来自用户的文本反馈的情况下检索时尚物品。之前关于多模态时尚任务的工作要么受到单个基准中的数据的限制,要么利用了通用的视觉和语言预训练,但没有利用时尚数据的特征。此外,这些工作主要局限于多模态理解任务。为了弥补这些差距,我们做出了两项关键贡献。首先,我们提出了一种新的时尚特定的预训练框架的基础上,从时尚图像-文本对构建弱监督三元组。我们表明,基于三重任务是标准多模态预训练任务的有效补充。其次,我们提出了一个灵活的解码器为基础的模型架构,能够时尚检索和字幕任务。总之,我们的模型设计和预训练方法在各种时尚任务上具有竞争力,包括跨模态检索、带文本反馈的图像检索、图像描述、相对图像描述和多模态分类。
2022-10-26 cs.AI cs.CV
ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Hefei University of Technology(合肥工业大学)
视觉和语言预训练(VLP)旨在从大量图像-文本对中学习通用的多模态表示。虽然已经提出了各种成功的尝试,学习图像-文本对之间的细粒度语义对齐在他们的方法中起着关键作用。然而,大多数现有的VLP方法没有充分利用图像-文本对中的固有知识,这限制了学习对齐的有效性,并进一步限制了其模型的性能。为此,我们引入了一种新的VLP方法称为ROSITA,它集成了跨模态和模态内的知识在一个统一的场景图,以提高语义对齐。具体来说,我们引入了一种新的结构知识掩蔽(SKM)策略,使用场景图结构作为先验进行掩蔽语言(区域)建模,通过消除模态内和跨模态的干扰信息来增强语义对齐。广泛的消融研究和综合分析验证了ROSITA在语义对齐中的有效性。ROSITA使用域内和域外数据集进行预训练,在六个基准数据集上,在三个典型的视觉和语言任务上显著优于现有的最先进的VLP方法。
2021-08-16 cs.CL cs.CV
SCALE-VLP: Soft-Weighted Contrastive Volumetric Vision-Language Pre-training with Spatial-Knowledge Semantics
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所)
SCALE-VLP提出软加权对比视觉语言预训练框架,整合体积空间语义与知识注入语义,在有限监督下生成结构一致且语义扎实的表示,实现跨任务迁移与跨域泛化,在CT报告检索、异常分类和报告生成上显著优于现有技术。
2025-11-04 cs.CV
Generative Text-Guided 3D Vision-Language Pretraining for Unified Medical Image Segmentation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Imperial College London(帝国理工学院)
针对医学领域3D图像-文本配对数据稀缺、传统VLP仅适用于2D的问题,提出GTGM框架,用LLM生成医学文本引导3D预训练,结合无负样本对比学习,在3种模态13个数据集的分割任务上取得更优性能。
2023-06-07 cs.AI cs.CV
VIVO: Visual Vocabulary Pre-Training for Novel Object Captioning
Microsoft Corporation(微软公司)
生成能够描述在字幕标记的训练数据中不可见的新对象的图像字幕是非常期望但又具有挑战性的,这是在新对象字幕挑战(nocaps)中评估的能力。在此挑战中,除了COCO Captions之外,不允许用于模型训练的其他图像标题训练数据。因此,传统的视觉语言预训练(VLP)方法不能被应用。本文介绍了可视化语音预训练(VIVO),在没有字幕注释的情况下执行预训练。通过打破VLP中成对图像-标题训练数据的依赖性,VIVO可以利用大量成对图像-标签数据来学习视觉词汇。这是通过预训练多层Transformer模型来完成的,该模型学习将图像级标签与其对应的图像区域特征对齐。为了解决图像标签的无序性,VIVO使用匈牙利匹配损失和掩码标签预测来进行预训练。我们通过微调用于图像描述的预训练模型来验证VIVO的有效性。此外,我们执行的视觉文本对齐推断我们的模型的分析。结果表明,我们的模型不仅可以生成流畅的图像字幕,描述新的对象,但也确定这些对象的位置。我们的单一模型在nocaps上取得了新的最先进的结果,并超过了人类的CIDEr评分。
2021-03-04 cs.CL cs.CV cs.LG
FaNe: Towards Fine-Grained Cross-Modal Contrast with False-Negative Reduction and Text-Conditioned Sparse Attention
Peng Zhang 1 , Zhihui Lai 1 , Wenting Chen 2 1 1 footnotemark: 1 , Xu Wu 1 , Heng Kong 3(某机构)
针对医学视觉语言预训练中假阴性和细粒度跨模态对齐不足的问题,提出FaNe框架,通过语义感知正样本挖掘和文本条件稀疏注意力池化模块,提升跨模态对齐效果并在多任务上取得最优性能。
2025-11-15 cs.CV
Watermarking Vision-Language Pre-trained Models for Multi-modal Embedding as a Service
Institute of Information Engineering, Chinese Academy of Science(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Beijing Institute of Technology(北京理工大学);University of Adelaide(阿德莱德大学)
针对多模态嵌入即服务中视觉语言预训练模型的版权保护问题,提出VLPMarker水印方法,通过嵌入正交变换注入后门触发器,实现安全鲁棒的版权验证,且对模型性能影响小。
2023-11-10 cs.CR cs.CV
GeoDetect: Geometric Adversarial Detection for VLPs
研究视觉语言预训练模型易受对抗攻击问题,基于其嵌入空间几何结构特点,提出GeoDetect方法,利用几何分数识别对抗样本,经综合评估,该方法能可靠检测多种VLP架构及威胁设置下的对抗样本,提升模型安全性与可靠性。
2026-07-17 cs.CV cs.LG
Unsupervised Domain Adaption Harnessing Vision-Language Pre-training
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education, South China University of Technology(华南理工大学大数据与智能机器人教育部重点实验室)
本文提出CMKD利用VLP教师模型指导目标域学习,并结合仅调整0.1%~0.5%参数的RST降低部署开销,在UDA基准上取得最优性能。
2024-08-05 cs.CV
A Unified Understanding of Adversarial Vulnerability Regarding Unimodal Models and Vision-Language Pre-training Models
Northwestern Polytechnical University(西北工业大学);Harbin Institute of Technology(哈尔滨工业大学)
针对视觉-语言预训练模型的安全漏洞,提出利用文本表示引导图像扰动的特征引导攻击(FGA)及结合文本攻击的FGA-T方法,有效实现了跨模态攻击并提升了黑盒迁移性,为评估VLP模型鲁棒性提供统一基线。
2024-07-25 cs.AI cs.CV
Exploiting the Textual Potential from Vision-Language Pre-training for Text-based Person Search
Tencent YouTu Lab(腾讯优图实验室);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
基于文本的人物搜索(TPS)的目标是检索行人匹配文本描述,而不是查询图像。最近的视觉语言预训练(VLP)模型可以为下游TPS任务带来可转移的知识,从而提高性能。然而,VLP改进的现有TPS方法仅利用预训练的视觉编码器,忽略了相应的文本表示,并打破了从大规模预训练中学习到的重要模态对齐。本文探讨了如何在TPS任务中充分利用VLP中的语篇潜势。我们建立在拟议的VLP-TPS基线模型的基础上,这是第一个具有两种预训练模式的TPS模型。我们提出了多完整性描述约束(MIDC),通过在训练过程中结合细粒度语料库的不同组件来增强文本模态的鲁棒性。受VLP模型的zero-shot分类提示方法的启发,我们提出了动态属性提示(DAP),为图像模态提供统一的细粒度属性语料库作为语言提示。大量的实验表明,我们提出的TPS框架实现了最先进的性能,超过了以前的最佳方法的利润。
2023-03-08 cs.CV
Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models
Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文提出动态架构跳过(DAS)方法,通过强化学习识别并跳过VLP模型中的冗余模块,在保持参数规模的同时降低推理计算量,实现参数与计算双高效迁移学习。
2023-10-29 cs.CV
Compressing And Debiasing Vision-Language Pre-Trained Models for Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Peking University(北京大学)
本文研究同时压缩和去偏视觉-语言预训练模型,通过搜索稀疏鲁棒子网络,在VQA-CP v2和VQA-VS上以更少参数超越去偏SoTA。
2023-10-11 cs.CV
D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Nanjing University of Science and Technology(南京理工大学)
D3D-VLP通过动态3D链式思维和协同学习策略,实现具身接地与导航的高效统一,提升多任务导航性能。
2025-12-14 cs.CV cs.RO
Learning by Hallucinating: Vision-Language Pre-training with Weak Supervision
Aalto University(阿尔托大学);Intuition Machines Inc.(直觉机器公司);Systematic Alpha(Systematic Alpha公司);Glass Imaging(格拉斯成像公司)
弱监督视觉语言(V-L)预训练(W-VLP)旨在学习很少或没有配对数据(如对齐的图像和标题)的跨模态对齐。最近的W-VLP方法将视觉特征与对象标签配对,有助于实现与在各种V-L下游任务中使用对齐对训练的一些VLP模型相当的性能。然而,在跨模态检索(XMR)中情况并非如此。我们认为,这样一个W-VLP模型的学习是有限的语义对象标签的抑制和偏见。我们解决了缺乏成对的V-L数据的模型监督与一种新的视觉词汇为基础的功能幻觉器(WFH),这是通过弱监督训练的W-VLP模型,不需要图像与字幕配对。WFH从文本中生成幻视,然后将其与最初未配对的文本配对,从而允许跨模态进行更多样化的交互。从经验上讲,WFH在各种V-L任务(即XMR,Visual问答等)上持续提升了先前的W-VLP作品,例如U-VisualBERT(U-VB)。值得注意的是,以召回率@{1,5,10}为基准,它在两个流行的数据集Flickr 30 K和MSCOCO上持续改进了U-VB的图像到文本和文本到图像检索。同时,在这些XMR任务的跨数据集泛化测试中,它至少获得了14.5%的收益。此外,在考虑的其他V-L下游任务中,我们的WFH模型与使用配对V-L数据训练的模型相当,揭示了未配对数据的效用。这些结果证明了所提出的W-VLP模型与WFH的更大的推广。
2022-10-27 cs.CV
UniDCP: Unifying Multiple Medical Vision-language Tasks via Dynamic Cross-modal Learnable Prompts
Zhejiang University(浙江大学);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院)
针对现有医学视觉语言预训练模型跨任务灵活性差的问题,本研究提出搭载动态跨模态可学习提示的UniDCP模型,通过统一框架适配多任务并优化共享临床知识处理,在8类任务14个数据集上性能优于现有先进方法。
2023-12-18 cs.AI cs.CV
TiMix: Text-aware Image Mixing for Effective Vision-Language Pre-training
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出文本感知图像混合方法TiMix,将数据混合增强融入自监督多模态对比学习,并从互信息角度证明其正则化作用,在减少数据和训练时间的情况下仍保持可比性能。
2024-02-24 cs.CL cs.CV cs.LG
Omniview-Tuning: Boosting Viewpoint Invariance of Vision-Language Pre-training Models
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Tsinghua University(清华大学);RealAI;Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu), Guangzhou, China(广州琶洲实验室(黄埔))
针对VLP模型在三维视角变化下鲁棒性不足的问题,本文构建MVCap数据集并设计Omniview-Tuning框架,通过跨视角对齐与参数高效微调,在保持原性能的同时显著提升视角不变性。
2024-04-18 cs.CV
TRIPS: Efficient Vision-and-Language Pre-training with Text-Relevant Image Patch Selection
National Engineering Research Center for Software Engineering, Peking University(软件工程国家工程研究中心,北京大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出TRIPS视觉-语言预训练模型,通过文本引导的图像块选择动态保留关键视觉token并融合非关键token,在不增加ViT参数的情况下实现40%加速并保持下游性能。
2025-09-28 cs.AI cs.CV
Unified Vision-Language Pre-Training for Image Captioning and VQA
University of Michigan(密歇根大学);Microsoft Research(微软研究院);Microsoft Cloud & AI(微软云与人工智能部门);Microsoft AI & Research(微软人工智能与研究部门)
提出了一种统一的视觉语言预训练模型。该模型是统一的,因为(1)它可以针对视觉-语言生成(例如,图像描述)或理解(例如,视觉问答)任务,以及(2)它使用共享的多层Transformer网络来进行编码和解码,这不同于其中编码器和解码器使用单独的模型来实现的许多现有方法。统一的VLP模型使用两个任务的无监督学习目标在大量图像-文本对上进行预训练:双向和序列到序列(seq 2seq)掩蔽的视觉语言预测。这两个任务的不同之处仅在于预测条件的上下文,这是通过使用共享Transformer网络的特定自我注意掩码来控制的。据我们所知,VLP是第一个报告的模型,它在视觉语言生成和理解任务上都取得了最先进的结果,就像图像描述和视觉问答一样不同,跨越三个具有挑战性的基准数据集:COCO字幕,Flickr 30 k字幕和VQA 2.0。代码和预训练模型可在https://github.com/LuoweiZhou/VLP上获得。
2019-12-04 cs.CV
Language-guided Few-shot Semantic Segmentation
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);East China Normal University(华东师范大学)
针对少样本语义分割像素级标注成本高的问题,提出仅用图像级文本标签的语言引导方法,通过视觉-语言预训练模型与掩码细化器生成伪掩码,结合分布式原型监督与互补关联匹配模块挖掘语义关系,在两个基准上达到与视觉引导方法相竞争的效果。
2023-11-23 cs.CV
InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding
Woven by Toyota
InstAP通过结合全局视觉-文本对齐与细粒度实例级对比对齐,提升实例级推理能力,在InstVL数据集上实现优于现有VLP模型的实例检索性能,并在零样本视频基准中表现优异。
2026-04-09 cs.AI cs.CV
Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);University of Rochester(罗切斯特大学)
视觉语言预训练(VLP)旨在从图像-文本对中学习多模态表示,并以微调的方式为下游视觉语言任务服务。主流的VLP模型采用CNN-Transformer架构,它用CNN嵌入图像,然后用Transformer对齐图像和文本。视觉内容之间的视觉关系在图像理解中起着重要的作用,是进行通道间对齐学习的基础。然而,由于局部感受野在建模远程依赖性方面的弱点,CNN在视觉关系学习方面存在局限性。因此,学习视觉关系和模态间对齐这两个目标被封装在同一个Transformer网络中。这样的设计可能会限制Transformer中的模态间对齐学习,忽略了每个目标的专用特性。为了解决这个问题,我们提出了一个完整的Transformer视觉嵌入VLP更好地学习视觉关系,并进一步促进跨模态对齐。具体来说,我们提出了一个名为通道间流(IMF)的指标来衡量视觉和语言通道之间的相互作用(即,模态间)。我们还在Transformer中设计了一种新的掩蔽优化机制--掩蔽特征回归(Masked Feature Regression,MFR),以进一步促进通道间学习。据我们所知,这是第一项研究,探讨Transformer的视觉特征学习VLP的好处。我们验证了我们的方法在广泛的视觉语言任务,包括图像文本检索,视觉问答(VQA),视觉蕴涵和视觉推理。我们的方法不仅优于最先进的VLP性能,而且还显示出对IMF指标的好处。
2021-11-09 cs.CV