Delving into Multimodal Prompting for Fine-grained Visual Classification
Nanjing University of Science and Technology(南京理工大学);Tongji University(同济大学);Singapore Management University(新加坡管理大学)
针对细粒度视觉分类(FGVC)的现有单模态局限与跨模态模型适用性不明问题,提出基于CLIP的多模态提示方案MP-FGVC,含多模态提示、适配机制及两阶段优化策略,在四个数据集上验证了有效性。
2023-12-13 cs.CV cs.MM
Towards General Visual-Linguistic Face Forgery Detection(V2)
Xiamen University(厦门大学);National Tsing Hua University(国立清华大学)
提出FFTG标注流程,利用伪造掩码和提示策略减少MLLM幻觉,生成准确文本描述,提升人脸伪造检测的泛化与可解释性。
2025-02-28 cs.CV
CoCa: Contrastive Captioners are Image-Text Foundation Models
Google Research(谷歌研究院)
探索大规模预训练的基础模型在计算机视觉中具有重要意义,因为这些模型可以快速转移到许多下游任务中。本文介绍了对比字幕(CoCa),一个极简的设计,预训练图像-文本编码器-解码器基础模型联合对比损失和字幕损失,从而包含模型功能的对比方法,如CLIP和生成方法,如SimVLM。与标准的编码器-解码器Transformers(其中所有解码器层都参与编码器输出)相比,CoCa省略了解码器层的前半部分中的交叉关注以编码单峰文本表示,并级联了交叉关注图像编码器的剩余解码器层以用于多模态图像-文本表示。我们应用单峰图像和文本嵌入之间的对比损失,除了多模态解码器输出的字幕损失,预测文本令牌自回归。通过共享相同的计算图,这两个训练目标以最小的开销有效地计算。CoCa通过将所有标签简单地视为文本,对网络规模的替代文本数据和注释图像进行端到端的预训练,无缝统一自然语言监督以进行表示学习。从经验上讲,CoCa通过zero-shot传输或对广泛的下游任务的最小任务特定适应实现了最先进的性能,包括视觉识别(ImageNet,Kinetics-400/600/700,Moments-in-Time),跨模态检索(MSCOCO,Flickr 30 K,MSR-VTT),多模态理解(VQA,SNLI-VE,NLVR 2)和图像描述(MSCOCO,NoCaps)。值得注意的是,在ImageNet分类上,CoCa获得了8…
2022-06-14 cs.CV cs.LG cs.MM
ABC: Achieving Better Control of Multimodal Embeddings using VLMs
University of Waterloo(滑铁卢大学)
ABC提出基于视觉语言模型骨干的多模态嵌入模型,通过深度融合图像特征与自然语言指令实现对视觉表示的可控性,并在检索、分类和VQA任务上取得领先性能。
2025-08-20 cs.CV cs.LG
ML-Mamba: Efficient Multi-Modal Large Language Model Utilizing Mamba-2
Sun Yat-sen University(中山大学);Dongguan University of Technology(东莞理工学院);University of the Chinese Academy of Sciences(中国科学院大学)
ML-Mamba利用Mamba-2替代Transformer,通过线性序列建模和2D视觉选择性扫描机制,在保持与TinyLaVA等先进方法相当性能的同时,实现更快的推理速度,并优于基于Mamba-1的模型。
2024-08-21 cs.AI cs.CL cs.CV
SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation
Georgia Institute of Technology(佐治亚理工学院)
SAGE通过动态调节自注意力机制,实时监控 grounding 可靠性,有效缓解多模态幻觉问题,实验显示在MSCOCO和AMBER基准上取得显著提升。
2026-03-29 cs.CV
Unpaired Image Captioning by Language Pivoting
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
图像描述是涉及计算机视觉和自然语言处理的多模态任务,其目标是学习从图像到其自然语言描述的映射。通常,映射函数是从图像-字幕对的训练集学习的。然而,对于某些语言,大规模的图像-字幕配对语料库可能无法使用。我们提出了一种方法,这种不成对的图像描述问题的语言旋转。我们的方法可以有效地捕捉图像字幕的特点,从主语言(中文),并将其对齐到目标语言(英语)使用另一个非目标(汉英)句子平行语料库。我们在两个图像到英语的基准数据集上评估我们的方法:MSCOCO和Flickr 30 K。对几个基线方法的定量比较表明,我们的方法的有效性。
2018-07-18 cs.CV
DIME-FM: DIstilling Multimodal and Efficient Foundation Models
Boston University(波士顿大学);Meta AI
本文提出 DIME-FM 蒸馏机制,仅用少量未配对公开图像和句子,将 CLIP-ViTL/14 的知识迁移到小型 ViT-B/32,并在零样本、线性探测及分布偏移鲁棒性上媲美大规模私有数据训练模型。
2023-08-14 cs.CV
Improving Image Captioning with Better Use of Captions
Ingenuity Labs Research Institute, Queen’s University(女王大学Ingenuity实验室研究所);Queen’s University(女王大学);Fudan University(复旦大学)
图像描述是一个多模态问题,在自然语言处理和计算机视觉领域都引起了广泛的关注。在本文中,我们提出了一种新的图像描述架构,以更好地探索字幕中的语义,并利用它来增强图像表示和字幕生成。我们的模型首先构建标题引导的视觉关系图,使用弱监督多示例学习引入有益的归纳偏差。然后,通过具有文本和视觉特征的相邻和上下文节点来增强表示。在生成过程中,该模型还使用多任务学习来结合视觉关系,以联合预测单词和对象/谓词标签序列。我们在MSCOCO数据集上进行了大量的实验,结果表明,所提出的框架显着优于基线,从而在广泛的评估指标下获得了最先进的性能。
2020-06-21 cs.CL cs.CV
Multimodal LLM Enhanced Cross-lingual Cross-modal Retrieval
INF Tech Co., Ltd.(INF科技有限公司);Fudan University(复旦大学);Dolby Laboratories(杜比实验室);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出LECCR方法,利用多模态大语言模型生成多视图语义槽以增强视觉特征,并结合英语引导的软化匹配,有效提升了跨语言跨模态检索中视觉与非英语表示的对齐效果。
2024-09-30 cs.CL cs.CV
Visual Semantic Description Generation with MLLMs for Image-Text Matching
Chongqing Normal University(重庆师范大学)
提出一种利用多模态大语言模型生成视觉语义描述的框架,通过实例级和原型级对齐弥合图文模态鸿沟,显著提升图文匹配性能并具备零样本跨域泛化能力。
2025-07-11 cs.CV cs.MM
Pedestrian Intention Prediction via Vision-Language Foundation Models
Institute for Transport Studies, Faculty of Environment, Computer Vision and Machine Learning Group, University of Leeds(运输研究学院、环境学院、计算机视觉与机器学习小组、莱斯特大学);AI Centre, Department of Computer Science, University College London(人工智能中心、计算机科学系、伦敦大学学院)
本文提出利用视觉-语言基础模型并结合分层提示模板与自动提示工程,融合视觉帧、物理线索和自车速度等多模态信息预测行人过街意图,在JAAD、PIE和FU-PIP数据集上较传统视觉方法显著提升准确率。
2025-07-05 cs.AI cs.CV cs.ET
RAVEN: Multitask Retrieval Augmented Vision-Language Learning
Princeton University(普林斯顿大学);AWS AI Labs(AWS人工智能实验室);Apple(苹果公司)
本文提出多任务检索增强VLM框架RAVEN,通过高效任务特定微调整合检索样本,无需额外参数即提升图像描述和VQA性能。
2024-06-27 cs.AI cs.CV cs.IR
M3P: Learning Universal Representations via Multitask Multilingual Multimodal Pre-training
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Microsoft Research Redmond(微软研究院(雷德蒙德))
我们提出了M3P,一个多任务多语言多模态预训练模型,它通过多任务预训练将多语言预训练和多模态预训练结合到一个统一的框架中。我们的目标是学习通用的表示,可以映射对象发生在不同的模态或不同语言表达的文本到一个共同的语义空间。此外,为了明确鼓励图像和非英语语言之间的细粒度对齐,我们还提出了多模式代码转换训练(MCT),通过代码转换策略将单语预训练和多模式预训练相结合。在MSCOCO和Multi30K两个基准数据集上进行了多语言图像检索实验。M3P可以为英语和新的国家的最先进的结果为非英语语言实现可比的结果。
2021-04-01 cs.CL cs.CV
GEM: A General Evaluation Benchmark for Multimodal Tasks
Microsoft(微软);Microsoft Research Asia(微软亚洲研究院);Southwest Jiaotong University(西南交通大学);ShanghaiTech University(上海科技大学)
在本文中,我们提出GEM作为多模态任务的通用评估基准。与现有的GLUE、SuperGLUE、XGLUE和XTREME等主要关注自然语言任务的数据集不同,GEM是一个大规模的视觉语言基准测试,由图像语言任务的GEM-I和视频语言任务的GEM-V组成。与现有的图像语言任务的MSCOCO和Flicker 30 K,视频语言任务的YouCook 2和MSR-VTT等多模态数据集相比,GEM不仅是同时覆盖图像语言任务和视频语言任务的最大视觉语言数据集,而且还以多种语言标记。我们还为此基准提供了两个基线模型。我们将发布数据集,代码和基线模型,旨在推动多语言多模态研究的发展。
2021-06-18 cs.CL cs.CV cs.MM
Low-hallucination Synthetic Captions for Large-Scale Vision-Language Model Pre-training
Tencent(腾讯)
针对视觉-语言预训练高质量图文数据稀缺的问题,提出基于连续DPO的低幻觉合成字幕生成流水线,可替代真实数据并显著提升多模态模型及文生图模型的性能。
2025-05-17 cs.AI cs.CV
Linguistics-Vision Monotonic Consistent Network for Sign Language Production
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院)
本文提出基于Transformer的语言学-视觉单调一致性网络(LVMCN),通过跨模态语义对齐器约束细粒度顺序对齐,并利用多模态语义比较器约束粗粒度语义一致性,有效解决了手语生成中的跨模态一致性问题,在PHOENIX14T基准上取得SOTA表现。
2024-12-22 cs.CV cs.MM
Deep Visual-Semantic Alignments for Generating Image Descriptions
Stanford University(斯坦福大学)
我们提出了一个模型,生成图像及其区域的自然语言描述。我们的方法利用图像及其句子描述的数据集来学习语言和视觉数据之间的模态间对应关系。我们的对齐模型是基于图像区域上的卷积神经网络、句子上的双向递归神经网络以及通过多模态嵌入对齐两种模态的结构化目标的新颖组合。然后,我们描述了一个多模态递归神经网络架构,它使用推断的对齐来学习生成图像区域的新描述。我们证明了我们的对齐模型在Flickr8K,Flickr30K和MSCOCO数据集上的检索实验中产生了最先进的结果。然后,我们表明,所生成的描述显着优于检索基线上的完整图像和区域级注释的新数据集。
2015-04-14 cs.CV
Leveraging Vision-Language Pre-training for Human Activity Recognition in Still Images
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
针对静态图像人类活动识别缺乏运动线索的问题,研究通过微调多模态CLIP模型,在285张MSCOCO标注图像上将识别准确率从从头训练CNN的41%提升至76%,验证了视觉-语言预训练对该任务的提升作用。
2025-06-16 cs.CL cs.CV
Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control
University of Amsterdam(阿姆斯特丹大学);AIRLab, University of Amsterdam(阿姆斯特丹大学AIRLab)
针对多模态文本-图像检索,本文提出将冻结稠密模型向量转为稀疏词法向量,并用 Bernoulli 变量控制查询扩展,以更少训练时间和显存达到最优 LSR 性能。
2024-02-27 cs.CV cs.IR
LowCLIP: Adapting the CLIP Model Architecture for Low-Resource Languages in Multimodal Image Retrieval Task
George Washington University(乔治华盛顿大学);ADA University(ADA大学)
本研究针对阿塞拜疆语等低资源语言的图像检索,集成 CLIP 架构与 Multilingual BERT 及多种图像编码器,通过机器翻译、图像增强和注意力机制微调,在 Flickr30k 和 MSCOCO 数据集上刷新了 SOTA。
2024-08-25 cs.CL cs.CV
Rethinking Benchmarks for Cross-modal Image-text Retrieval
Renmin University of China(中国人民大学)
针对现有图文检索基准粗粒度样本过多、难以检验细粒度匹配能力的问题,本文构建 MSCOCO-FG 与 Flickr30K-FG,并通过实验揭示先进模型仍存在明显不足。
2023-04-21 cs.CV cs.MM
FlexMUSE: Multimodal Unification and Semantics Enhancement Framework with Flexible interaction for Creative Writing
Cao Tu Li(Guangzhou) Technology Co., Ltd, China(广东曹图利技术有限公司);South China University of Technology, China(华南理工大学)
FlexMUSE 框架通过可选视觉输入、模态语义对齐门控、跨模态融合及创意直接偏好优化,经济地解决多模态创意写作中的语义一致性与灵活交互问题,并发布约 3k 图文对的 ArtMUSE 数据集。
2025-08-22 cs.AI cs.CV
PerCoV2: Ultra-Low Bit-Rate Perceptual Image Compression via Query-Based 1D Multimodal Image Tokens
Technical University of Munich(慕尼黑工业大学);University of Applied Sciences Landshut(兰施图尔应用科学大学);TU Wien(维也纳技术大学)
PerCoV2是一种基于Stable Diffusion 3和隐式分层掩码图像建模的超低码率感知图像压缩系统,通过显式建模离散超隐变量分布提升熵编码效率,在MSCOCO-30k上以更低码率实现更高保真度。
2026-10-06 cs.CV eess.IV
Fusion Models for Improved Visual Captioning
Saarland University(萨尔大学);Spoken Language Systems (LSV)(口语语言系统研究所)
视觉字幕旨在生成给定图像或视频的文本描述。传统上,图像描述模型是在人类注释的数据集上训练的,例如Flickr 30 k和MS-COCO,这些数据集在大小和多样性方面都受到限制。这种限制阻碍了这些模型的泛化能力,同时也使它们容易出错。然而,语言模型可以在大量免费可用的未标记数据上进行训练,并且最近已经成为成功的语言编码器和连贯文本生成器。同时,一些单模态和多模态融合技术已经被证明可以很好地用于自然语言生成和自动语音识别。基于这些最新的发展,并以提高生成的字幕的质量为目的,我们在本文中的工作的贡献是双重的:首先,我们提出了一个通用的多模态模型融合框架的字幕生成以及校正,我们利用不同的融合策略,将一个预训练的辅助语言模型(MALM)在传统的编码器-解码器的视觉字幕框架。接下来,我们采用相同的融合策略,将预先训练的掩蔽语言模型(MLM),即BERT,与视觉字幕模型,即Show,Attend和Tell集成在一起,用于校正字幕中的语法和语义错误。我们的标题校正实验的三个基准图像描述数据集,即Flickr 8 k,Flickr 30 k,和MSCOCO,显示出改进的基线,表明我们提出的多模态融合策略的实用性。此外,我们进行了初步的定性分析,并确定错误类别的校正类型的基础上的修订标题。
2020-12-05 cs.AI cs.CL cs.CV
MSGAT: Multi-Head Spiking Graph Attention with Similarity-Space Fusion for Image-Text Retrieval
Peking University(北京大学)
该研究针对脉冲神经网络在图像-文本检索中跨模态语义结构捕捉不足的问题,提出MSGAT与Sim-Fuse策略,在Flickr30K、MSCOCO数据集上实现优于现有方法的性能,能耗降低55%。
2026-10-09 cs.AI cs.CV
Stack-VS: Stacked Visual-Semantic Attention for Image Caption Generation
近年来,图像字幕的自动生成已成为多模态翻译研究的一个重要热点。现有的方法可以大致分为两类,即,自顶向下和自底向上两种方式,前者将图像信息(称为视觉级特征)直接转换为字幕,后者利用提取的词语(称为语义级属性)生成描述。然而,以前的方法要么是典型的基于一级解码器或部分利用部分视觉级或语义级信息的图像字幕生成。在本文中,我们解决了这个问题,并提出了一个创新的多阶段架构(称为堆栈VS)丰富的精细获得的图像字幕生成,通过结合自下而上和自上而下的注意力模型,有效地处理输入图像的视觉级和语义级信息。具体来说,我们还提出了一种新的精心设计的堆栈解码器模型,它是由一系列的解码器单元,其中每个单元包含两个LSTM层交互工作,以重新优化视觉级特征向量和语义级属性嵌入的注意力权重,以生成一个精细的图像标题。在流行的基准数据集MSCOCO上进行的大量实验表明,不同的评估指标,即,与现有技术相比,BLEU-4/CIDER/SPICE评分的改善分别为0.372、1.226和0.216。
2019-09-05 cs.CL cs.CV
Distill CLIP (DCLIP): Enhancing Image-Text Retrieval via Cross-Modal Transformer Distillation
Algoverse AI Research(Algoverse AI研究院);Carnegie Mellon University(卡内基梅隆大学)
本研究提出DCLIP模型,通过元师生跨模态Transformer蒸馏框架,在仅用少量筛选数据训练的情况下,既提升图文检索性能,又保留CLIP大部分零样本分类能力,缓解了任务专用性与泛化性的权衡。
2025-06-16 cs.CL cs.CV
SmartCLIP: Modular Vision-language Alignment with Identification Guarantees
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The University of Sydney(悉尼大学)
本文提出SmartCLIP,通过理论条件实现文本与视觉表征的灵活对齐,确保语义信息完整保留并解耦视觉表征,提升多任务性能。
2026-04-03 cs.AI cs.CV
Xray-Visual Models: Scaling Vision models on Industry Scale Data
Meta-AI;MIT(麻省理工学院);University of Maryland(马里兰大学)
Xray-Visual通过三阶段训练流程和LLM2CLIP技术,在产业级数据上实现高效多模态视觉模型,取得最佳性能并提升鲁棒性与泛化能力。
2026-07-15 cs.AI cs.CV
Embracing Language Inclusivity and Diversity in CLIP through Continual Language Learning
Peking University(北京大学);Pengcheng Laboratory(鹏城实验室)
针对视觉语言预训练模型多语言适配成本高、易灾难性遗忘的问题,提出基于CLIP的CLL-CLIP模型及嵌入正则化方法,通过持续语言学习拓展多语言能力,在36种语言的图文检索基准上取得显著提升。
2024-01-30 cs.AI cs.CV cs.IR