GRIT-VLP: Grouped Mini-batch Sampling for Efficient Vision and Language Pre-training
Seoul National University(首尔国立大学);Sungkyunkwan University(成均馆大学);Microsoft Research Asia(微软亚洲研究院)
目前大多数视觉和语言预训练(VLP)方法主要集中在如何提取和对齐视觉和文本特征。与主流的VLP方法相比,我们强调了预训练期间的两个常规应用步骤对预训练模型的性能具有至关重要的影响:用于图像-文本匹配(ITM)的批量硬负采样和为掩码语言建模(MLM)分配大掩码概率。在经验上显示了上述两个步骤的意想不到的效果后,我们系统地设计了我们的GRIT-VLP,它自适应地对小批量进行采样,以便更有效地挖掘ITM的硬阴性样本,同时保持预训练的计算成本。我们的方法由三个部分组成:1)分组的mall-baTch采样(GRIT)策略,收集类似的例子在一个小批量,2)ITC一致性损失,以提高挖掘能力,和3)MLM扩大掩蔽概率。因此,我们展示了我们的GRIT-VLP在各种下游任务上以更少的计算成本实现了新的最先进的性能。此外,我们证明了我们的模型基本上是与ALBEF,以前的国家的最先进的,只有三分之一的训练时期相同的训练数据。代码可在https://github.com/jaeseokbyun/GRIT-VLP上获得。
2022-08-08 cs.CV
VLP: Vision Language Planning for Autonomous Driving
Syracuse University(雪城大学);Bosch Research North America & Bosch Center for Artificial Intelligence (BCAI)(博世北美研究院及博世人工智能中心)
本文提出视觉-语言-规划框架VLP,利用语言模型增强自动驾驶的推理与上下文理解,在NuScenes上显著降低规划误差和碰撞率,并提升长尾场景与跨城市泛化性能。
2024-11-23 cs.CV
ELVIS: Empowering Locality of Vision Language Pre-training with Intra-modal Similarity
Galux Inc.(Galux公司);Lunit Inc.(Lunit公司);Korea University(高丽大学);AIGEN Sciences Inc.(AIGEN科学公司)
针对现有局部感知视觉语言预训练存在空间关系丢失的问题,提出具备模态内局部感知的ELVIS方法,在CXR相关分割及短语 grounding任务上性能更优且可解释性更强。
2023-07-23 cs.CL cs.CV
Medical Vision Language Pretraining: A survey
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII));Rochester Institute of Technology(罗切斯特理工学院);University of Aberdeen(阿伯丁大学)
本文综述医学视觉语言预训练,从预训练目标、架构、下游任务与数据集梳理现有工作,并分析挑战、解决方案及未来方向。
2023-12-11 cs.CL cs.CV
KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation
Intel Labs(英特尔实验室);Microsoft Research Asia(微软亚洲研究院);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所)
自我监督的视觉和语言预训练(VLP)旨在从大规模图像-文本数据中学习可转移的多模态表示,并在微调后在广泛的视觉语言任务中实现强大的性能。以往主流的VLP方法通常采用两步策略,依靠外部对象检测器在多模态Transformer框架中对图像进行编码,这会受到对象概念空间受限、图像上下文受限和计算效率低下的影响。在本文中,我们提出了一个对象感知的端到端VLP框架,它直接将CNN中的图像网格特征输入到Transformer中,并共同学习多模态表示。更重要的是,我们建议执行对象知识蒸馏,以促进学习跨模态对齐在不同的语义层次。为了实现这一点,我们设计了两个新的借口任务,将外部检测器的对象特征及其语义标签作为监督:1)。对象引导的掩蔽视觉建模任务侧重于在多模态Transformer中执行对象感知表示学习; 2.)短语-区域对齐任务旨在利用名词短语和对象标签在语言空间中的相似性来提高跨模态对齐。广泛的视觉语言任务的广泛实验证明了我们提出的框架的有效性,我们实现了竞争力或优于现有的预训练策略的性能。
2022-08-07 cs.CV
ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Hefei University of Technology(合肥工业大学)
视觉和语言预训练(VLP)旨在从大量图像-文本对中学习通用的多模态表示。虽然已经提出了各种成功的尝试,学习图像-文本对之间的细粒度语义对齐在他们的方法中起着关键作用。然而,大多数现有的VLP方法没有充分利用图像-文本对中的固有知识,这限制了学习对齐的有效性,并进一步限制了其模型的性能。为此,我们引入了一种新的VLP方法称为ROSITA,它集成了跨模态和模态内的知识在一个统一的场景图,以提高语义对齐。具体来说,我们引入了一种新的结构知识掩蔽(SKM)策略,使用场景图结构作为先验进行掩蔽语言(区域)建模,通过消除模态内和跨模态的干扰信息来增强语义对齐。广泛的消融研究和综合分析验证了ROSITA在语义对齐中的有效性。ROSITA使用域内和域外数据集进行预训练,在六个基准数据集上,在三个典型的视觉和语言任务上显著优于现有的最先进的VLP方法。
2021-08-16 cs.CL cs.CV
Towards Adversarial Attack on Vision-Language Pre-training Models
Beijing Jiaotong University(北京交通大学);Peng Cheng Lab(鹏城实验室)
虽然视觉语言预训练模型(VLP)在各种视觉语言(V+L)任务上显示出革命性的改进,但关于其对抗鲁棒性的研究在很大程度上尚未探索。本文研究了VLP模型和V+L任务的对抗攻击。首先,我们分析了对抗攻击在不同设置下的性能。通过研究不同扰动对象和攻击目标的影响,我们得出了一些关键的意见,设计强大的多模态对抗攻击和构建强大的VLP模型的指导。其次,我们提出了一种新的多模态攻击的VLP模型称为协同多模态对抗攻击(Co-Attack),它共同进行攻击的图像模态和文本模态。实验结果表明,该方法在不同的V+L下游任务和VLP模型上均能获得较好的攻击性能.分析观察和新的攻击方法,希望提供新的理解VLP模型的对抗鲁棒性,从而有助于他们在更多的现实世界中的安全和可靠的部署。代码可在https://github.com/adversarial-for-goodness/Co-Attack上获得。
2022-10-20 cs.CL cs.CV cs.LG
Counterfactually Measuring and Eliminating Social Bias in Vision-Language Pre-training Models
Beijing Jiaotong University(北京交通大学)
视觉语言预训练(VLP)模型在许多跨模态任务中取得了最先进的性能。由于它们被优化以捕获模态内和模态间的统计特性,因此仍然存在学习数据中呈现的社会偏见的风险。本文的主要工作是:(1)引入基于反事实的偏差度量方法\emph{CounterBias},通过比较事实样本和反事实样本的[MASK]化预测概率来量化VLP模型中的社会偏差;(2)构建一个新的包含24 K图像-文本对的VL-Bias数据集来度量VLP模型中的性别偏差,从中我们观察到显著的性别偏差在VLP模型中普遍存在;以及(3)提出了一种VLP去偏方法\emph{FairVLP},以最小化用于VLP去偏的事实和反事实图像-文本对之间的[MASK]ed预测概率的差异。虽然CounterBias和FairVLP专注于社会偏见,但它们可以作为工具进行推广,并提供新的见解来探索和规范VLP模型中的更多知识。
2022-07-12 cs.AI cs.CV
VLPrompt: Vision-Language Prompting for Panoptic Scene Graph Generation
Tongji University(同济大学);Delft University of Technology(代尔夫特理工大学)
针对全景场景图生成中关系长尾问题,提出VLPrompt模型,结合图像视觉信息与大语言模型的语言信息,通过注意力提示网络精准预测关系,在PSG数据集上超越现有最优方法。
2024-06-19 cs.CV
VLPose: Bridging the Domain Gap in Pose Estimation with Language-Vision Tuning
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
本文提出VLPose框架,利用语言-视觉协同调优姿态估计模型,以弥合自然与人工场景的领域差距,在HumanArt和MSCOCO上分别提升2.26%和3.74%。
2024-02-22 cs.CV
PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Innovation Center of Tsinghua University(清华大学创新中心);National University of Singapore(新加坡国立大学)
视觉语言预训练(VLP)在广泛的跨模态任务中表现出令人印象深刻的性能,其中不依赖于对象检测器的VLP模型由于其优越的计算效率和竞争力而成为主流。然而,对象检测器的去除也剥夺了显式对象建模的能力,这是必不可少的各种位置敏感的视觉语言(VL)的任务,如引用表达式理解和视觉常识推理的VLP模型。为了应对这一挑战,我们引入了PEVL,它通过显式对象位置建模增强了VLP模型的预训练和提示微调。具体而言,PEVL在统一的语言建模框架中重新制定离散化的对象位置和语言,这有助于在预训练期间进行显式VL对齐,并且还能够为各种下游任务进行灵活的提示微调。我们表明,PEVL使无检测器VLP模型在位置敏感任务(如参考表达理解和短语接地)上具有最先进的性能,并且还提高了接地输入的位置不敏感任务的性能。我们在https://github.com/thunlp/PEVL上公开了本文的数据和代码。
2022-11-22 cs.AI cs.CL cs.CV
Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong(香港中文大学深圳大数据研究院);Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室)
医学视觉和语言预训练(Med-VLP)由于其适用于从医学图像和文本中提取通用视觉和语言表示而受到相当大的关注。大多数现有方法主要包含三个元素:单模态编码器(即,视觉编码器和语言编码器)、多模态融合模块和借口任务,很少有研究考虑医学领域专家知识的重要性并明确利用这些知识来促进Med-VLP。虽然在一般领域中存在知识增强的视觉和语言预训练(VLP)方法,但大多数方法需要现成的工具包(例如,对象检测器和场景图解析器),这在医学领域中是不可用的。在本文中,我们提出了一个系统的和有效的方法来提高Med-VLP结构化的医学知识从三个角度。首先,考虑到知识可以被看作是视觉和语言之间的中间媒介,我们通过知识对齐的视觉编码器和语言编码器的表示。其次,我们将知识注入到多模态融合模型中,使模型能够使用知识作为输入图像和文本的补充进行推理。第三,通过设计知识诱导的托词任务,引导模型强调图像和文本中最关键的信息。为了进行全面的评估和促进进一步的研究,我们构建了一个医学视觉和语言基准,包括三个任务。实验结果表明,我们的方法的有效性,其中国家的最先进的性能实现所有下游任务。进一步的分析探讨了我们的方法的不同组成部分和各种设置的预训练的效果。
2022-09-15 cs.CL cs.CV
Vision and Structured-Language Pretraining for Cross-Modal Food Retrieval
Sorbonne University(索邦大学)
视觉语言预训练(VLP)和基础模型一直是在一般基准测试中实现SoTA性能的首选方法。然而,利用这些强大的技术更复杂的视觉语言任务,如烹饪应用程序,更结构化的输入数据,仍然很少研究。在这项工作中,我们建议利用这些技术的结构化文本为基础的计算美食的任务。我们的策略被称为VLPCook,首先将现有的图像-文本对转换为图像和结构化文本对。这允许使用适应于结果数据集的结构化数据的VLP目标来预训练我们的VLPCook模型,然后在下游计算烹饪任务中对其进行微调。在微调过程中,我们还丰富了视觉编码器,利用预训练的基础模型(例如CLIP)来提供本地和全局文本上下文。VLPCook在大型Recipe 1 M数据集上的跨模态食物检索任务上明显优于当前SoTA(+3.3召回@1绝对改善)。我们对VLP进行了进一步的实验,以验证它们的重要性,特别是在Recipe 1 M+数据集上。最后,我们验证了该方法对其他任务(即食物识别)和具有结构化文本的领域(如ROCO数据集上的医疗领域)的推广。代码可以在这里找到:https://github.com/mshukor/VLPCook
2023-03-15 cs.CV cs.LG
VL-CheckList: Evaluating Pre-trained Vision-Language Models with Objects, Attributes and Relations
Om Research Lab(Om研究实验室);Binjiang Institute of Zhejiang University(浙江大学滨江研究院);Linker Technology Research Co. Ltd(联客科技研究有限公司)
提出VL-CheckList框架,将VLP模型能力细分为对象、属性和关系,通过细粒度评估揭示模型差异,指导未来改进。
2023-06-22 cs.CL cs.CV cs.LG
SCALE-VLP: Soft-Weighted Contrastive Volumetric Vision-Language Pre-training with Spatial-Knowledge Semantics
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所)
SCALE-VLP提出软加权对比视觉语言预训练框架,整合体积空间语义与知识注入语义,在有限监督下生成结构一致且语义扎实的表示,实现跨任务迁移与跨域泛化,在CT报告检索、异常分类和报告生成上显著优于现有技术。
2025-11-04 cs.CV
Unsupervised Domain Adaption Harnessing Vision-Language Pre-training
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education, South China University of Technology(华南理工大学大数据与智能机器人教育部重点实验室)
本文提出CMKD利用VLP教师模型指导目标域学习,并结合仅调整0.1%~0.5%参数的RST降低部署开销,在UDA基准上取得最优性能。
2024-08-05 cs.CV
Exploiting the Textual Potential from Vision-Language Pre-training for Text-based Person Search
Tencent YouTu Lab(腾讯优图实验室);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
基于文本的人物搜索(TPS)的目标是检索行人匹配文本描述,而不是查询图像。最近的视觉语言预训练(VLP)模型可以为下游TPS任务带来可转移的知识,从而提高性能。然而,VLP改进的现有TPS方法仅利用预训练的视觉编码器,忽略了相应的文本表示,并打破了从大规模预训练中学习到的重要模态对齐。本文探讨了如何在TPS任务中充分利用VLP中的语篇潜势。我们建立在拟议的VLP-TPS基线模型的基础上,这是第一个具有两种预训练模式的TPS模型。我们提出了多完整性描述约束(MIDC),通过在训练过程中结合细粒度语料库的不同组件来增强文本模态的鲁棒性。受VLP模型的zero-shot分类提示方法的启发,我们提出了动态属性提示(DAP),为图像模态提供统一的细粒度属性语料库作为语言提示。大量的实验表明,我们提出的TPS框架实现了最先进的性能,超过了以前的最佳方法的利润。
2023-03-08 cs.CV
Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models
Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文提出动态架构跳过(DAS)方法,通过强化学习识别并跳过VLP模型中的冗余模块,在保持参数规模的同时降低推理计算量,实现参数与计算双高效迁移学习。
2023-10-29 cs.CV
Compressing And Debiasing Vision-Language Pre-Trained Models for Visual Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Peking University(北京大学)
本文研究同时压缩和去偏视觉-语言预训练模型,通过搜索稀疏鲁棒子网络,在VQA-CP v2和VQA-VS上以更少参数超越去偏SoTA。
2023-10-11 cs.CV
Watermarking Vision-Language Pre-trained Models for Multi-modal Embedding as a Service
Institute of Information Engineering, Chinese Academy of Science(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Beijing Institute of Technology(北京理工大学);University of Adelaide(阿德莱德大学)
针对多模态嵌入即服务中视觉语言预训练模型的版权保护问题,提出VLPMarker水印方法,通过嵌入正交变换注入后门触发器,实现安全鲁棒的版权验证,且对模型性能影响小。
2023-11-10 cs.CR cs.CV
GeoDetect: Geometric Adversarial Detection for VLPs
研究视觉语言预训练模型易受对抗攻击问题,基于其嵌入空间几何结构特点,提出GeoDetect方法,利用几何分数识别对抗样本,经综合评估,该方法能可靠检测多种VLP架构及威胁设置下的对抗样本,提升模型安全性与可靠性。
2026-07-17 cs.CV cs.LG
Learning by Hallucinating: Vision-Language Pre-training with Weak Supervision
Aalto University(阿尔托大学);Intuition Machines Inc.(直觉机器公司);Systematic Alpha(Systematic Alpha公司);Glass Imaging(格拉斯成像公司)
弱监督视觉语言(V-L)预训练(W-VLP)旨在学习很少或没有配对数据(如对齐的图像和标题)的跨模态对齐。最近的W-VLP方法将视觉特征与对象标签配对,有助于实现与在各种V-L下游任务中使用对齐对训练的一些VLP模型相当的性能。然而,在跨模态检索(XMR)中情况并非如此。我们认为,这样一个W-VLP模型的学习是有限的语义对象标签的抑制和偏见。我们解决了缺乏成对的V-L数据的模型监督与一种新的视觉词汇为基础的功能幻觉器(WFH),这是通过弱监督训练的W-VLP模型,不需要图像与字幕配对。WFH从文本中生成幻视,然后将其与最初未配对的文本配对,从而允许跨模态进行更多样化的交互。从经验上讲,WFH在各种V-L任务(即XMR,Visual问答等)上持续提升了先前的W-VLP作品,例如U-VisualBERT(U-VB)。值得注意的是,以召回率@{1,5,10}为基准,它在两个流行的数据集Flickr 30 K和MSCOCO上持续改进了U-VB的图像到文本和文本到图像检索。同时,在这些XMR任务的跨数据集泛化测试中,它至少获得了14.5%的收益。此外,在考虑的其他V-L下游任务中,我们的WFH模型与使用配对V-L数据训练的模型相当,揭示了未配对数据的效用。这些结果证明了所提出的W-VLP模型与WFH的更大的推广。
2022-10-27 cs.CV
TiMix: Text-aware Image Mixing for Effective Vision-Language Pre-training
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出文本感知图像混合方法TiMix,将数据混合增强融入自监督多模态对比学习,并从互信息角度证明其正则化作用,在减少数据和训练时间的情况下仍保持可比性能。
2024-02-24 cs.CL cs.CV cs.LG
VLPD: Context-Aware Pedestrian Detection via Vision-Language Semantic Self-Supervision
University of Science and Technology Beijing(北京科技大学);Tencent(腾讯)
本文提出VLPD方法,通过视觉-语言语义自监督分割和原型语义对比学习,无需额外标注即可建模明确语义上下文,显著提升了复杂场景下小尺度和严重遮挡行人的检测性能。
2023-04-06 cs.AI cs.CV cs.MM
D3D-VLP: Dynamic 3D Vision-Language-Planning Model for Embodied Grounding and Navigation
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Nanjing University of Science and Technology(南京理工大学)
D3D-VLP通过动态3D链式思维和协同学习策略,实现具身接地与导航的高效统一,提升多任务导航性能。
2025-12-14 cs.CV cs.RO
Omniview-Tuning: Boosting Viewpoint Invariance of Vision-Language Pre-training Models
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);Tsinghua University(清华大学);RealAI;Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu), Guangzhou, China(广州琶洲实验室(黄埔))
针对VLP模型在三维视角变化下鲁棒性不足的问题,本文构建MVCap数据集并设计Omniview-Tuning框架,通过跨视角对齐与参数高效微调,在保持原性能的同时显著提升视角不变性。
2024-04-18 cs.CV
Unified Vision-Language Pre-Training for Image Captioning and VQA
University of Michigan(密歇根大学);Microsoft Research(微软研究院);Microsoft Cloud & AI(微软云与人工智能部门);Microsoft AI & Research(微软人工智能与研究部门)
提出了一种统一的视觉语言预训练模型。该模型是统一的,因为(1)它可以针对视觉-语言生成(例如,图像描述)或理解(例如,视觉问答)任务,以及(2)它使用共享的多层Transformer网络来进行编码和解码,这不同于其中编码器和解码器使用单独的模型来实现的许多现有方法。统一的VLP模型使用两个任务的无监督学习目标在大量图像-文本对上进行预训练:双向和序列到序列(seq 2seq)掩蔽的视觉语言预测。这两个任务的不同之处仅在于预测条件的上下文,这是通过使用共享Transformer网络的特定自我注意掩码来控制的。据我们所知,VLP是第一个报告的模型,它在视觉语言生成和理解任务上都取得了最先进的结果,就像图像描述和视觉问答一样不同,跨越三个具有挑战性的基准数据集:COCO字幕,Flickr 30 k字幕和VQA 2.0。代码和预训练模型可在https://github.com/LuoweiZhou/VLP上获得。
2019-12-04 cs.CV
Multi-modal Pre-training for Medical Vision-language Understanding and Generation: An Empirical Study with A New Benchmark
The Hong Kong Polytechnic University(香港理工大学)
针对医学领域视觉-语言预训练研究不足的问题,本文提出含18434个图文对的RGC数据集,通过统一视觉-语言Transformer开展实验分析,得出关键研究见解并构建医学VL任务新强基线。
2023-08-24 cs.AI cs.CV
Probing Inter-modality: Visual Parsing with Self-Attention for Vision-Language Pre-training
University of Science and Technology of China(中国科学技术大学);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);University of Rochester(罗切斯特大学)
视觉语言预训练(VLP)旨在从图像-文本对中学习多模态表示,并以微调的方式为下游视觉语言任务服务。主流的VLP模型采用CNN-Transformer架构,它用CNN嵌入图像,然后用Transformer对齐图像和文本。视觉内容之间的视觉关系在图像理解中起着重要的作用,是进行通道间对齐学习的基础。然而,由于局部感受野在建模远程依赖性方面的弱点,CNN在视觉关系学习方面存在局限性。因此,学习视觉关系和模态间对齐这两个目标被封装在同一个Transformer网络中。这样的设计可能会限制Transformer中的模态间对齐学习,忽略了每个目标的专用特性。为了解决这个问题,我们提出了一个完整的Transformer视觉嵌入VLP更好地学习视觉关系,并进一步促进跨模态对齐。具体来说,我们提出了一个名为通道间流(IMF)的指标来衡量视觉和语言通道之间的相互作用(即,模态间)。我们还在Transformer中设计了一种新的掩蔽优化机制--掩蔽特征回归(Masked Feature Regression,MFR),以进一步促进通道间学习。据我们所知,这是第一项研究,探讨Transformer的视觉特征学习VLP的好处。我们验证了我们的方法在广泛的视觉语言任务,包括图像文本检索,视觉问答(VQA),视觉蕴涵和视觉推理。我们的方法不仅优于最先进的VLP性能,而且还显示出对IMF指标的好处。
2021-11-09 cs.CV
Beyond Generic: Enhancing Image Captioning with Real-World Knowledge using Vision-Language Pre-Training Model
Nanjing University(南京大学);University of Glasgow(格拉斯哥大学)
针对图像描述缺乏真实世界知识的问题,提出 Knowledge-guided Replay 方法,通过知识预测和蒸馏约束在微调中保留预训练知识,有效缓解幻觉,在 KnowCap 基准上显著提升知识识别准确率与描述质量。
2023-08-02 cs.CL cs.CV cs.MM
Too Large; Data Reduction for Vision-Language Pre-Training
National University of Singapore(新加坡国立大学)
针对大规模 VLP 数据的图文错位与冗余问题,本文提出 TL;DR,通过代表性样本选择和描述重写实现高比例数据压缩,并在七个下游任务上保持或提升模型性能。
2023-08-18 cs.CV
Efficient Vision-and-Language Pre-training with Text-Relevant Image Patch Selection
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出TRIPS方法,通过文本引导的图像块选择逐步缩减视觉序列,在不增加参数的情况下加速ViT-based视觉语言预训练,实现40%提速并保持或提升下游任务性能。
2024-01-11 cs.AI cs.CV
Distributionally Robust Alignment for Medical Federated Vision-Language Pre-training Under Data Heterogeneity
University of Michigan(密歇根大学)
针对医学联邦视觉-语言预训练中客户端数据异质性导致跨模态对齐有偏的问题,本文提出FedDRA框架,通过分布鲁棒优化、全局锚表示引导和两阶段训练实现鲁棒对齐,并在真实数据集上验证了其有效性。
2024-11-21 cs.CL cs.CV cs.LG
WuDaoMM: A large-scale Multi-Modal Dataset for Pre-training models
与特定领域模型相比,视觉语言预训练模型(VLPM)在下游任务上表现出更好的性能,具有快速的微调过程。例如,ERNIE-ViL、Oscar和UNIMO训练了具有统一Transformers堆栈架构和大量图文配对数据的VLPM,在图文参考等下游任务上取得了显著成绩(IR和TR)、视觉问答(VQA)和图像描述(IC)等。在训练阶段,VLPM通常由多个公共数据集组合而成,以满足大规模训练数据的需求。然而,由于数据分布的不均匀性,包括大小,任务类型和质量,使用多个数据集的混合进行模型训练可能会有问题。在这项工作中,我们介绍了一个大规模的多模态语料库WuDaoMM,总共包含超过650 M的图像-文本对。具体而言,约6亿对数据来自图像和标题呈现弱相关性的多个网页,另外5000万个强相关性的图像-文本对来自一些高质量的图形网站。我们还发布了WuDaoMM的基础版本,其中包含500万个强相关的图像-文本对,足以支持常见的跨模态模型预训练。此外,我们训练了理解和生成视觉语言(VL)模型来测试数据集的有效性。结果表明,WuDaoMM可以作为VLPM的有效数据集,特别是在文本到图像生成任务的模型。数据发布于https://data.wudaoai.cn
2022-05-01 cs.CL cs.CV
Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization
Shanghai Jiao Tong University(上海交通大学);Huawei Cloud & AI(华为云与人工智能)
弱监督时间动作定位(WTAL)学习仅使用类别标签检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。然而,分类和局部化的优化目标不同,使得时间局部化的结果存在严重的不完全问题。为了解决这个问题而不需要额外的注释,本文考虑从视觉语言预训练(VLP)中提取自由动作知识,因为我们惊讶地观察到vanilla VLP的本地化结果有一个过完备的问题,这只是对CBP结果的补充。为了融合这种互补性,我们提出了一种新的蒸馏协作框架,两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体来说,在B步骤期间,我们从CBP分支中提取置信背景伪标签;而在F步骤期间,置信前景伪标签从VLP分支中提取。从而有效地融合了双分支的互补性,促进了强强联合。在THUMOS 14和ActivityNet1.2上进行的大量实验和消融研究表明,我们的方法显着优于最先进的方法。
2022-12-19 cs.CV
Vision and Language Reference Prompt into SAM for Few-shot Segmentation
Waseda University(早稻田大学)
本文提出VLP-SAM少样本分割模型,通过多模态视觉语言模型将参考图像视觉信息与文本标签语义信息结合作为提示输入SAM,在PASCAL-5i和COCO-20i数据集上分别以6.3%和9.5%的mIoU优势超越SOTA。
2025-02-02 cs.CV
Toward Interactive Regional Understanding in Vision-Large Language Models
Amazon(亚马逊);NAVER AI Lab(NAVER AI实验室)
针对视觉语言预训练模型区域理解能力受限的问题,提出具备显式区域建模能力的RegionVLM,通过无需修改架构的简单创新设计及利用Localized Narratives数据集,在保持全局理解的同时实现零样本区域理解与交互式对话。
2024-03-27 cs.CL cs.CV
Boosting Transferability in Vision-Language Attacks via Diversification along the Intersection Region of Adversarial Trajectory
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Nankai University(南开大学);Nanyang Technological University(南洋理工大学)
针对现有视觉-语言对抗攻击方法易过拟合受害模型、可迁移性受限的问题,提出沿对抗轨迹交叉区域多样化、文本引导样本选择及对抗文本偏离策略,有效提升了跨VLP模型和下游任务的攻击可迁移性。
2024-07-14 cs.CV
FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning
Stanford University(斯坦福大学);Meta AI;University of Surrey(萨里大学)
时尚领域的多模态任务对电子商务具有巨大的潜力,但涉及具有挑战性的视觉和语言学习问题-例如,在给定参考图像加上来自用户的文本反馈的情况下检索时尚物品。之前关于多模态时尚任务的工作要么受到单个基准中的数据的限制,要么利用了通用的视觉和语言预训练,但没有利用时尚数据的特征。此外,这些工作主要局限于多模态理解任务。为了弥补这些差距,我们做出了两项关键贡献。首先,我们提出了一种新的时尚特定的预训练框架的基础上,从时尚图像-文本对构建弱监督三元组。我们表明,基于三重任务是标准多模态预训练任务的有效补充。其次,我们提出了一个灵活的解码器为基础的模型架构,能够时尚检索和字幕任务。总之,我们的模型设计和预训练方法在各种时尚任务上具有竞争力,包括跨模态检索、带文本反馈的图像检索、图像描述、相对图像描述和多模态分类。
2022-10-26 cs.AI cs.CV
VLMixer: Unpaired Vision-Language Pre-training via Cross-Modal CutMix
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);Tencent(腾讯)
现有的视觉语言预训练(VLP)方法主要依赖于成对的图像-文本数据集,这些数据集要么是由大量的人工标注的,要么是从互联网上抓取的,然后是复杂的数据清洗技术。为了减少对对齐良好的图像-文本对的依赖,有希望直接利用大规模的纯文本和纯图像语料库。提出了一种数据增强方法--跨模态CutMix(CMC),用于不成对VLP中的隐式跨模态对齐学习。具体来说,CMC将自然句子从文本视图转换为多模态视图,其中句子中的视觉基础单词被具有相似语义的不同图像块随机替换。拟议中的CMC有几个吸引人的特性。首先,它增强了数据的多样性,同时保持语义完整,以解决对齐数据稀缺的问题;其次,通过在单峰数据上附加跨模态噪声,它引导模型学习跨模态的令牌级交互,以更好地去噪。此外,我们提出了一种新的不成对的VLP方法,称为VLMixer,它集成了CMC与对比学习拉在一起的单模态和多模态视图更好的实例级对齐不同的模态。对五个下游任务的广泛实验表明,VLMixer可以超越以前最先进的未配对VLP方法。
2022-06-17 cs.CV
Light as Deception: GPT-driven Natural Relighting Against Vision-Language Pre-training Models
Institute of High Performance Computing (IHPC)(高性能计算研究所)
提出LightD框架,利用ChatGPT生成初始光照参数并结合IC-light模型进行语义引导重打光,为视觉-语言预训练模型生成自然对抗样本,在图像描述和视觉问答任务中验证了攻击有效性。
2025-05-30 cs.CR cs.CV
IDEA: Increasing Text Diversity via Online Multi-Label Recognition for Vision-Language Pre-training
Fudan University(复旦大学);OPPO Research Institute(OPPO研究院);Children’s Hospital of Fudan University(复旦大学附属儿科医院);National Children’s Medical Center(国家儿童医学中心)
大规模图像-文本对的视觉语言预训练(VLP)在各个领域都表现出了优异的性能。然而,互联网上共存的图像-文本对通常缺乏显式对齐信息,这对于VLP来说是次优的。现有的方法建议采用现成的对象检测器来利用附加的图像标签信息。然而,对象检测器是耗时的,并且只能识别预定义的对象类别,限制了模型容量。受文本包含不完整的细粒度图像信息的观察的启发,我们引入了IDEA,它代表通过VLP的在线多标签识别来增加文本多样性。IDEA表明,在VLP过程中,从文本中提取图像标签的多标签学习可以联合优化。此外,IDEA可以在线识别有价值的图像标签,以提供更明确的文本监督。综合实验表明,IDEA可以显着提高多个下游数据集的性能与一个小的额外的计算成本。
2022-07-31 cs.CV cs.LG
Generative Text-Guided 3D Vision-Language Pretraining for Unified Medical Image Segmentation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Imperial College London(帝国理工学院)
针对医学领域3D图像-文本配对数据稀缺、传统VLP仅适用于2D的问题,提出GTGM框架,用LLM生成医学文本引导3D预训练,结合无负样本对比学习,在3种模态13个数据集的分割任务上取得更优性能。
2023-06-07 cs.AI cs.CV
Distilling Vision-Language Pretraining for Efficient Cross-Modal Retrieval
Meta AI;Korea University(高丽大学);University of Central Florida(中佛罗里达大学)
本文提出DCMQ方法,利用视觉-语言预训练模型作为教师蒸馏知识至哈希学生模型,结合NPC变换和PQG量化,显著提升跨模态检索性能。
2024-05-23 cs.CV
Position-guided Text Prompt for Vision-Language Pre-training
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea人工智能实验室)
本文提出位置引导文本提示 PTP,通过图像分块、目标检测和填空式预训练增强 VLP 模型的视觉定位能力,并在多个框架与基准上取得显著提升。
2023-06-07 cs.CV
Harnessing Vision-Language Pretrained Models with Temporal-Aware Adaptation for Referring Video Object Segmentation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Pengcheng Laboratory(鹏城实验室)
针对指代视频目标分割中视觉与语言特征空间未耦合的问题,提出VLP-RVOS框架,通过时间感知提示微调、cube-frame注意力机制和多阶段关系建模,成功将视觉-语言预训练模型迁移至动态像素级预测任务,取得优异性能与泛化能力。
2024-09-22 cs.CV
Universal Adversarial Perturbations for Vision-Language Pre-trained Models
The University of Queensland(昆士兰大学)
针对VLP模型对抗扰动跨模型、数据集与任务迁移性差的问题,提出黑盒ETU方法生成UAPs,并结合ScMix增强,实现有效且可迁移的通用对抗攻击。
2024-05-09 cs.CV cs.MM
A Unified Understanding of Adversarial Vulnerability Regarding Unimodal Models and Vision-Language Pre-training Models
Northwestern Polytechnical University(西北工业大学);Harbin Institute of Technology(哈尔滨工业大学)
针对视觉-语言预训练模型的安全漏洞,提出利用文本表示引导图像扰动的特征引导攻击(FGA)及结合文本攻击的FGA-T方法,有效实现了跨模态攻击并提升了黑盒迁移性,为评估VLP模型鲁棒性提供统一基线。
2024-07-25 cs.AI cs.CV
Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);Monash University(莫纳什大学);Temple University(天普大学);Peng Cheng Laboratory(鹏城实验室)
本文提出首个针对视觉-语言预训练模型的集合级引导攻击(SGA),通过充分利用跨模态交互和保留对齐的增强,显著提升了对抗样本在黑盒模型间的迁移成功率。
2023-07-26 cs.CV
One Perturbation is Enough: On Generating Universal Adversarial Perturbations against Vision-Language Pre-training Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出C-PGC方法,通过对比学习生成通用对抗扰动,攻击视觉-语言预训练模型的多模态对齐能力。
2025-12-22 cs.CR cs.CV
Generative Negative Text Replay for Continual Vision-Language Pretraining
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);KU Leuven(鲁汶大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程技术研究中心)
视觉语言预训练(VLP)近年来受到越来越多的关注。在大量的图像-文本对的情况下,使用对比度损失训练的VLP模型在各种任务中取得了令人印象深刻的性能,特别是在下游数据集上的zero-shot泛化。然而,在实际应用中,海量数据通常以流式方式收集,这要求VLP模型不断地从传入数据中整合新知识并保留学习到的知识。在这项工作中,我们专注于学习一个VLP模型与连续块的图像-文本对数据。为了解决这种多模态持续学习设置中的灾难性遗忘问题,我们首先引入伪文本重放,该伪文本重放以记忆中的训练图像为条件生成硬否定文本,这不仅更好地保留了学习的知识,而且提高了对比损失中否定样本的多样性。此外,我们提出了图像和文本之间的多模态知识蒸馏,以调整新旧模型之间的实例预测。我们在Conceptual Caption数据集的实例和类增量分割上增量地预训练我们的模型,并在zero-shot图像分类和图像-文本检索任务上评估模型。我们的方法始终优于现有的基线,具有很大的利润率,这表明了它的优越性。值得注意的是,我们实现了$4.60\%$的图像分类下游数据集的类增量分裂的平均性能提升。
2022-10-31 cs.CV
PiTL: Cross-modal Retrieval with Weakly-supervised Vision-language Pre-training via Prompting
Aalto University(阿尔托大学)
针对视觉语言预训练依赖大量标注图文对的问题,提出PiTL弱监督方法,通过提示大语言模型生成图像描述构建数据集,在跨模态检索任务上以更少监督超越现有弱监督方法。
2023-07-14 cs.CV cs.IR
VLMAE: Vision-Language Masked Autoencoder
Tencent(腾讯)
图像和语言建模对于视觉语言预训练(VLP)至关重要,VLP旨在从大规模成对的图像-文本数据中学习多模态表示。然而,我们观察到,大多数现有的VLP方法侧重于对图像和文本特征之间的相互作用进行建模,而忽略了图像和文本之间的信息差异,从而遭受焦点偏差。为了解决这个问题,我们提出了一个视觉语言的掩码自编码器框架(VLMAE)。VLMAE采用视觉生成学习,促进模型获得细粒度和无偏见的特征。与以前的作品不同,VLMAE关注图像中几乎所有的关键补丁,提供更全面的理解。大量的实验表明,VLMAE在各种视觉语言下游任务中取得了更好的性能,包括视觉问答,图像-文本检索和视觉接地,即使有高达20%的预训练加速。
2022-08-19 cs.CV
Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis
School of Computer Science and Engineering(计算机科学与工程学院);Nanjing University of Science and Technology(南京理工大学)
基于多模态分析的情感分析(MABSA)作为情感分析的一个重要研究课题,近年来受到了越来越多的关注。然而,以前的方法要么(i)使用单独预训练的视觉和文本模型,忽略跨模态对齐,要么(ii)使用用一般预训练任务预训练的视觉语言模型,这不足以识别细粒度的方面,观点及其跨模态的对齐。为了解决这些限制,我们提出了一个针对MABSA的特定任务的视觉语言预训练框架(VLPMABSA),这是一个统一的多模式编码器-解码器架构,用于所有预训练和下游任务。我们进一步设计了三种类型的任务特定的预训练任务,分别从语言,视觉和多模态模态。实验结果表明,我们的方法一般优于国家的最先进的方法上的三个MABSA子任务。进一步的分析证明了每个预训练任务的有效性。源代码在https://github.com/NUSTM/VLP-MABSA上公开发布。
2022-04-21 cs.CL cs.CV cs.MM