SynC: Synthetic Image Caption Dataset Refinement with One-to-many Mapping for Zero-shot Image Captioning
Hanyang University(翰阳大学)
针对 T2I 合成数据中图像与描述语义错位的问题,本文提出 SynC 框架,通过一对多候选检索与循环一致性对齐评分重配描述,显著提升多种 ZIC 模型性能。
2025-07-24 cs.AI cs.CL cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP(对比存储-图像预训练)在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而,它在跨模态生成任务,如zero-shot图像描述的性能仍然不令人满意。在这项工作中,我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态,在很大程度上忽略了视觉信息,我们称之为\emph{contextual language prior}。为了解决这个问题,我们提出了跨模态语言模型(CLM),以促进无监督的跨模态学习。我们进一步提出了锚增强,以指导生成模型的注意力,在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning
University of California, Santa Barbara(加州大学圣巴巴拉分校);The Ohio State University(俄亥俄州立大学)
虽然在视频描述中已经取得了有希望的结果,但现有的模型仅限于训练语料库中的固定活动清单,并且不推广到开放的词汇场景。在这里,我们介绍了一个新的任务,zero-shot视频描述,旨在描述看不见的活动的域外视频。不同活动的视频通常需要不同的字幕策略,如选词、语义构建、风格表达等,这对在没有配对训练数据的情况下刻画新颖的活动提出了很大的挑战。但与此同时,类似的活动在这些方面有一些共同之处。因此,本文提出了一种基于主题感知的混合专家模型(TAMoE),用于zero-shot视频描述,该模型能够根据不同的主题嵌入来组合不同的专家,将从可见活动中学习到的知识隐式地传递给不可见活动。此外,我们利用外部的主题相关的文本语料库来构建主题嵌入每个活动,它体现了主题内最相关的语义向量。实验结果不仅验证了该方法在利用语义知识进行视频描述方面的有效性,而且在描述新颖活动时也显示了其较强的泛化能力。
2018-11-23 cs.CL cs.CV cs.IR
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University(特拉维夫大学)
我们介绍了一种zero-shot视频描述方法,该方法采用两个冻结网络:GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同,我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的,从而逐渐提高所生成句子的特异性和全面性。我们的实验表明,生成的字幕是连贯的,并显示了广泛的现实世界知识。我们的代码可在:https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University(西安电子科技大学)
Zero-shot能力被认为是深度学习的一场新革命,它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述(IC)的一个良好开端和唯一现有成果,ZeroCap放弃了监督训练,并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效,它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外,ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进,我们提出了一个框架,可控Zero-shot IC,命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT,它可以生成并不断地打磨每个单词。大量的定量和定性结果表明,我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是,ConZIC的生成速度比ZeroCap快约5倍,多样性得分高约1.5倍,在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
Transferable Decoding with Visual Entities for Zero-Shot Image Captioning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tencent(腾讯);Shanghai Jiao Tong University(上海交通大学);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
提出ViECap可迁移解码模型,通过实体感知硬提示引导LLMs聚焦图像视觉实体,有效缓解对象幻觉,在零样本跨域及域内图像描述生成任务中均取得领先性能。
2023-07-31 cs.CL cs.CV
Zero-shot Visual Question Answering with Language Model Feedback
Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
本文提出LAMOC方法,通过语言模型反馈引导captioning模型生成更符合任务目标的描述,在零样本知识型VQA中取得优于竞争方法的效果。
2023-05-26 cs.CL cs.CV
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
The University of Western Australia(西澳大学)
视频字幕的自动生成是计算机视觉中的一个基本挑战。最近的技术通常采用卷积神经网络(CNN)和递归神经网络(RNN)的组合用于视频描述。这些方法主要集中在通过RNN定制序列学习以更好地生成字幕,而现成的视觉特征则是从CNN中借来的。我们认为,仔细设计的视觉功能,这项任务是同样重要的,并提出了一个视觉功能编码技术,生成语义丰富的字幕使用门控递归单位(GRUs)。我们的方法通过分层地将短傅立叶变换应用于整个视频的CNN特征,在视觉特征中嵌入丰富的时间动态。它还从对象检测器中导出高级语义,以利用检测到的对象的空间动态来丰富表示。最终的表示被投影到一个紧凑的空间,并提供给一个语言模型。通过学习一个相对简单的语言模型,包括两个GRU层,我们建立了新的最先进的MSVD和MSR-VTT数据集的METEOR和ROUGE_L指标。
2019-04-29 cs.CV
SGCap: Decoding Semantic Group for Zero-shot Video Captioning
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University(浙江大学)
提出SGCap方法,通过语义组解码、关键句子选择和概率采样监督,利用多帧信息并建模时间动态,实现零样本视频描述生成,性能超越现有零样本方法并接近全监督方法。
2025-08-02 cs.CV
Zero-Shot Dense Video Captioning by Jointly Optimizing Text and Moment
KAIST AI(韩国科学技术院人工智能研究院);Korea University(高丽大学);Twelve Labs
本文提出零样本密集视频字幕方法 ZeroTA,通过联合优化软时刻掩码与 GPT-2 前缀参数并结合 CLIP 和时间 IoU 损失,在无训练标注情况下定位并描述多个视频事件。
2023-07-11 cs.CL cs.CV
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University(南洋理工大学)
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长,视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码,缺乏有效的方法去除不相关的时间信息,同时也忽略了空间细节。然而,目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响,特别是不相关的时间信息是在编码的开始。另外,忽略空间信息会导致词语之间的关系混乱和细节损失。因此,在本文中,我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码,以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息,丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning
Guangxi University(广西大学);School of Computer, Electronics and Information(计算机与电子信息学院)
针对零样本图像描述中合成监督的实体级错位问题,提出即插即用框架ReCap,通过实体级重对齐与自适应加权策略优化合成数据,在两类基准上实现最优性能。
2026-08-04 cs.CL cs.CV
From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对CLIP难以用于生成任务且存在模态差距的问题,提出K近邻跨模态映射(Knight)零样本方法,通过纯文本无监督训练实现图像和视频字幕生成,达到最先进性能。
2023-05-08 cs.CL cs.CV cs.LG
The Devil is in the Distributions: Explicit Modeling of Scene Content is Key in Zero-Shot Video Captioning
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Macquarie University(麦考瑞大学);Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所)
针对零样本视频字幕生成中现有方法忽略部分视觉输入的问题,提出渐进式多粒度文本提示策略与类别感知检索机制,在多个基准上显著提升CIDEr指标。
2025-03-31 cs.CV
MeaCap: Memory-Augmented Zero-shot Image Captioning
Xidian University(西安电子科技大学)
针对现有零样本图像字幕生成方法易产生幻觉或泛化性差的问题,提出记忆增强框架MeaCap,通过检索过滤关键概念和记忆增强融合分数生成高质量字幕,在多设置下达SOTA。
2024-03-06 cs.CV
Synthetic Captions for Open-Vocabulary Zero-Shot Segmentation
Meta;KU Leuven(鲁汶大学)
本研究通过将图像与VLMs生成的低成本、可扩展合成描述进行密集对齐,结合了生成式VLM与表示学习两条路线,在零样本开放词汇分割基准上超越了先前工作且数据效率更高。
2025-09-15 cs.CV
Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
本文提出一种基于纯文本训练的零样本图像描述框架MacCap,通过子区域特征聚合、噪声注入和CLIP重排序策略减小CLIP潜在空间中的模态鸿沟,在MSCOCO等数据集上取得显著性能提升。
2024-01-04 cs.AI cs.CV
Unleashing Text-to-Image Diffusion Prior for Zero-Shot Image Captioning
Sun Yat-sen University(中山大学);HiDream.ai Inc.(HiDream.ai公司)
本文提出PCM-Net,通过逐块跨模态特征混合机制和CLIP加权交叉熵损失缓解合成图像-文本语义错位,在零样本图像描述生成中取得域内与跨域领先性能。
2024-12-31 cs.CL cs.CV cs.LG
Structural and Functional Decomposition for Personality Image Captioning in a Communication Game
VinAI Research(VinAI研究院);University of Information Technology, VNU-HCM(越南国家大学胡志明市分校信息科技大学);Stony Brook University(石溪大学);University of Oregon(俄勒冈大学)
个性化图像描述(PIC)的目的是描述一个具有个性特征的自然语言标题的图像。在这项工作中,我们介绍了一种新的配方PIC的基础上,一个扬声器和一个听众之间的通信游戏。说话者尝试生成自然语言字幕,而收听者鼓励所生成的字幕包含关于输入图像和人格特质的区别性信息。通过这种方式,我们希望生成的字幕可以得到改进,以自然地表示图像并表达特征。此外,我们建议采用语言模型GPT 2来执行PIC的字幕生成。这使得说话者和听者能够从GPT2的语言编码能力中受益。实验结果表明,该模型实现了PIC的最先进的性能。
2020-11-17 cs.CL cs.CV cs.LG
Zero-Shot, But at What Cost? Unveiling the Hidden Overhead of MILS's LLM-CLIP Framework for Image Captioning
NstarX
本研究揭示MILS零样本图像字幕框架因迭代细化过程产生巨大计算开销,首次量化其质量与成本权衡,为高效多模态模型设计提供关键见解。
2025-04-21 cs.AI cs.CV cs.LG
Longer Version for "Deep Context-Encoding Network for Retinal Image Captioning"
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院)
自动生成视网膜图像的医学报告是帮助眼科医生减少工作量和提高工作效率的有前途的方法之一。在这项工作中,我们提出了一个新的上下文驱动的编码网络自动生成视网膜图像的医疗报告。该模型主要由多模态输入编码器和融合特征解码器组成。我们的实验结果表明,我们提出的方法能够有效地利用输入图像和上下文之间的交互信息,即,关键词在我们的案例中所提出的方法为视网膜图像创建比基线模型更准确和有意义的报告,并实现了最先进的性能。这种性能在医疗报告生成任务的几个常用指标中显示:BLEU-avg(+16%),CIDEr(+10.2%)和ROUGE(+8.6%)。
2021-05-30 cs.AI cs.CL cs.CV
Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction
Nanyang Technological University(南洋理工大学)
互联网上视频数据的爆炸需要有效和高效的技术来自动为无法观看视频的人生成字幕。尽管视频描述研究取得了很大进展,特别是在视频特征编码方面,但语言解码器在很大程度上仍然基于流行的RNN解码器,如LSTM,它倾向于选择与视频一致的频繁词。在本文中,我们提出了一个边界感知的分层语言解码器的视频描述,它包括一个高层次的GRU为基础的语言解码器,作为一个全球(标题级)语言模型,和一个低层次的GRU为基础的语言解码器,作为一个本地(短语级)语言模型。最重要的是,我们在底层GRU语言解码器中引入了二进制门来检测语言边界。与其他先进的组件,包括联合视频预测,共享的软注意,和边界感知的视频编码,我们的集成视频描述框架可以发现分层的语言信息,并区分在一个句子中,这通常是混乱的语言生成的主题和对象。在两个广泛使用的视频描述数据集MSR-Video-to-Text(MSR-VTT)\cite{xu2016msr}和YouTube-to-Text(MSVD)\cite{chen2011collecting}上的实验表明,与现有方法相比,本文方法具有很强的竞争力.
2018-07-08 cs.CL cs.CV
Few-Shot VQA with Frozen LLMs: A Tale of Two Approaches
University of Cambridge(剑桥大学)
本文通过受控实验比较了将图像输入LLM的两种方法(图像字幕与视觉嵌入映射),发现零样本下字幕更优,少样本下取决于上下文示例选择。
2024-03-17 cs.CL cs.CV
Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning
AI Platform OneNexus, OneMount(OneMount AI平台OneNexus);School of Electronic Engineering, Soongsil University(崇实大学电子工程学院);MoAdata(MoAdata公司);University of Economics Ho Chi Minh City (UEH)(胡志明市经济大学)
该研究提出裁决式字幕生成多智能体框架,通过多阶段对齐评分与共识蒸馏重排序,在不微调IFCap的情况下,显著提升COCO等数据集的零样本图像字幕生成性能,且可跨数据集迁移。
2026-08-03 cs.AI cs.CL cs.CV
ACORT: A Compact Object Relation Transformer for Parameter Efficient Image Captioning
Universiti Malaya(马来亚大学)
最近的研究将基于Transformer的架构应用于图像描述,实现了最先进的图像描述性能,充分利用了Transformers在自然语言任务上的成功。不幸的是,虽然这些模型工作得很好,但一个主要缺陷是它们的模型尺寸太大。为此,我们提出了三种图像描述Transformers的参数减少方法:基数编码,跨层参数共享和注意力参数共享。通过结合这些方法,我们提出的ACORT模型的参数比基线模型少3.7倍至21.6倍,而不会影响测试性能。MS-COCO数据集上的结果表明,我们的ACORT模型与基线和SOTA方法相比具有竞争力,CIDER得分>=126。最后,我们提出了定性结果和消融研究,以进一步证明拟议的变化的有效性。代码和预训练模型可在https://github.com/jiahuei/sparse-image-captioning上公开获取。
2022-02-11 cs.CL cs.CV cs.LG
TPCap: Unlocking Zero-Shot Image Captioning with Trigger-Augmented and Multi-Modal Purification Modules
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(昆明理工大学信息工程与自动化学院);Yunnan Key Laboratory of Computer Technologies Application(云南省计算机技术应用重点实验室);Hongyun Honghe Group Honghe Cigarette Factory(红云红河集团红河卷烟厂)
针对现有基于RAG的图像描述方法依赖独立检索库导致计算开销大、限制LLMs零样本能力的问题,提出TPCap框架,通过触发增强生成和多模态净化模块,无需外部检索库实现零样本图像描述,在多数据集上取得与SOTA相当的性能。
2025-02-16 cs.CV
RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning
University of Chinese Academy of Science, Beijing,100190, China(中国科学院大学);Macquarie University(麦考瑞大学)
针对零样本视频字幕生成研究不足的问题,提出RETTA框架,以可学习token为媒介连接四个冻结预训练模型,通过推理数据软标签在测试时自适应学习,在三个数据集上CIDEr指标较现有SOTA提升5.1%-32.4%。
2025-10-28 cs.CV
HAAV: Hierarchical Aggregation of Augmented Views for Image Captioning
Georgia Tech(佐治亚理工学院)
本文提出HAAV框架,将异构图像编码视为增强视图,通过共享编码器、对比损失和分层解码器实现高效图像描述,在MS-COCO和Flickr30k上显著提升CIDEr指标。
2023-05-25 cs.AI cs.CV
Group-based Distinctive Image Captioning with Memory Difference Encoding and Attention
City University of Hong Kong(香港城市大学);Alibaba Group(阿里巴巴集团);University of Chinese Academy of Sciences(中国科学院大学)
本文提出基于分组的差异区分性图像描述方法,通过GDMA模块比较相似图像组内对象特征并优先关注独特特征,结合区分性词汇指导解码,显著提升描述区分性且不过度牺牲准确性。
2025-04-03 cs.CV cs.MM
TPsgtR: Neural-Symbolic Tensor Product Scene-Graph-Triplet Representation for Image Captioning
University of Florida(佛罗里达大学)
如果图形表示的结构可以用概念位置绑定来公式化,则可以改进图像描述。在这项工作中,我们介绍了一种新的技术,用于字幕生成使用的场景图的神经符号编码,来自区域的图像视觉信息,我们称之为张量积场景图三元组表示(TP $_{sgt}$ R)。虽然,以前的大多数工作集中在识别图像中的对象特征,我们引入了神经符号嵌入,可以将图像不同区域之间的识别关系嵌入到具体的形式中,而不是依赖于模型来组成任何/所有组合。这些神经符号表征有助于更好地定义神经符号空间,以实现神经符号注意,并可以转换为更好的字幕。在此基础上,我们引入了两种新的字幕生成模型(TP $_{sgt}$ R-TDBU和TP $_{sgt}$ R-sTDBU)进行对比,实验结果表明,本文提出的字幕生成模型性能优于其他模型,生成的字幕更加全面、自然。
2019-11-22 cs.CL cs.CV cs.LG
Multimodal Few-Shot Learning with Frozen Language Models
DeepMind(深度思维);University College London(伦敦大学学院)
当在足够的规模上训练时,自回归语言模型表现出显著的能力,在仅用几个例子提示后学习新的语言任务。在这里,我们提出了一个简单而有效的方法,将这种少样本学习能力转移到多模态环境(视觉和语言)。使用对齐的图像和字幕数据,我们训练视觉编码器将每个图像表示为连续嵌入的序列,使得预先训练的冻结的语言模型用该前缀提示生成适当的字幕。由此产生的系统是一个多模态的Few-Shot学习者,具有令人惊讶的能力,学习各种新的任务时,条件的例子,表示为一系列的多个交错的图像和文本嵌入。我们证明了它可以快速学习新对象和新视觉类别的单词,仅用少数例子进行视觉问答,并利用外部知识,通过在各种已建立和新的基准上测量单个模型。
2021-07-03 cs.CL cs.CV cs.LG
Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning
UIUC(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达公司);UT Austin(德克萨斯大学奥斯汀分校)
本文提出基于Flamingo的检索增强视觉语言模型Re-ViLM,通过外部数据库显式存储知识以减少参数并适应新数据,在域外零样本和少样本图像到文本生成任务中,以少于基线4倍的参数显著提升性能。
2023-10-22 cs.AI cs.CL cs.CV
FungalZSL: Zero-Shot Fungal Classification with Image Captioning Using a Synthetic Data Approach
Aalborg University(奥尔堡大学)
针对真菌零样本分类,提出FungalZSL方法,利用LLM生成文本和合成图像增强CLIP,通过共享表示空间对齐并研究知识迁移以细化分类。
2025-02-26 cs.CV
A Chain-of-Thought Subspace Meta-Learning for Few-shot Image Captioning with Large Vision and Language Models
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对小样本图像描述中视觉与语言模态领域差距大的问题,本文提出思维链子空间元学习框架,通过可调提示连接两个冻结大模型,在不同子空间学习各CoT步骤元参数,实验表明其性能优于基线。
2025-02-19 cs.CV
Text-only Synthesis for Image Captioning
Northwestern Polytechnical University(西北工业大学)
提出纯文本合成方法ToCa,通过解构字幕为结构与词汇词并组合输入大语言模型生成新字幕,实现跨领域、领域内及数据高效三种场景下的图像字幕生成,零样本CIDEr提升近5分,数据高效场景提升超20分。
2024-05-28 cs.AI cs.CL cs.CV
The Solution for the CVPR2024 NICE Image Captioning Challenge
Nanjing University of Science and Technology(南京理工大学);Alibaba(阿里巴巴)
本报告提出了一种针对CVPR2024 NICE零样本图像描述挑战的解决方案,通过检索增强和描述分级方法,结合OFA模型与高质量训练数据,实现了234.11的CIDEr得分。
2024-04-29 cs.CV
Image Captioning with Unseen Objects
HAVELSAN Inc.(哈维尔桑公司);Middle East Technical University(中东技术大学);Hacettepe University(哈塞特佩大学)
图像字幕生成是计算机视觉和自然语言处理交叉领域的一个长期存在且具有挑战性的问题。许多最近提出的方法利用一个完全监督的对象识别模型内的字幕方法。然而,这样的模型倾向于生成仅由识别模型预测的对象组成的句子,不包括没有标记的训练样本的类的实例。在本文中,我们提出了一个新的具有挑战性的场景,目标是在完全零样本学习设置中的图像描述问题,其中的目标是能够生成包含在训练过程中看不到的对象的测试图像的标题。该方法结合了一种新的zero-shot目标检测模型和一个基于模板的句子生成器。我们的实验在COCO数据集上显示了有希望的结果。
2019-07-31 cs.CV
Auto-Encoding Scene Graphs for Image Captioning
Nanyang Technological University(南洋理工大学)
我们提出了场景图自动编码器(SGAE),将语言归纳偏见的编码器-解码器的图像描述框架更人性化的字幕。人类在语篇中的搭配和语境推理往往是通过归纳偏见来实现的。例如,当我们看到关系“person on bike”时,很自然地用“ride”代替“on”,并推断“person riding bike on a road”,即使“road”并不明显。因此,利用这种偏差作为语言先验,预计将有助于传统的编码器-解码器模型不太可能过拟合数据集偏差,并专注于推理。具体来说,我们使用场景图-一个有向图($\mathcal{G}$),其中对象节点由形容词节点和关系节点连接-来表示图像($\mathcal{I}$)和句子($\mathcal{S}$)的复杂结构布局。在文本域中,我们使用SGAE来学习有助于在$\mathcal{S}\rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$管道中重建句子的字典($\mathcal{D}$),其中$\mathcal{D}$对所需语言进行编码;在视觉语言域中,我们使用共享的$\mathcal{D}$来指导$\mathcal{I}\rightarrow \mathcal{G}\rightarrow \mathcal{D} \rightarrow \mathcal{S}$管道中的编…
2018-12-11 cs.CV
NICE: CVPR 2023 Challenge on Zero-shot Image Captioning
本文介绍了NICE项目及2023年零样本图像描述挑战赛,通过新评估数据集测试模型在无特定训练数据下的准确性与公平性,并分享数据集、评估方法及优胜方案技术细节,以推动视觉-语言AI模型的发展。
2023-09-11 cs.CV
Dual-Stream Transformer for Generic Event Boundary Captioning
ByteDance Inc.(字节跳动公司);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
本文介绍了CVPR 2022通用事件边界字幕(GEBC)竞赛的冠军解决方案。GEBC要求字幕模型理解给定视频边界周围的瞬时状态变化,这使得它比传统的视频描述任务更具挑战性。本文提出了一种在视频内容编码和字幕生成两方面都有改进的双流Transformer:(1)利用三个预先训练好的模型提取不同粒度的视频特征。此外,我们利用边界的类型作为提示,以帮助模型生成字幕。(2)我们特别设计了一个模型,称为双流Transformer,学习判别表示边界字幕。(3)为了生成内容相关的和人性化的字幕,我们通过设计一个词级集成策略来提高描述质量。GEBC测试分裂的有希望的结果证明了我们提出的模型的有效性。
2023-03-24 cs.CL cs.CV
Targeted Image Data Augmentation Increases Basic Skills Captioning Robustness
Centro Nacional de Inteligencia Artificial(国家人工智能中心);Universidad de Chile(智利大学);Pontificia Universidad Catolica(天主教大学)
提出TIDA目标图像编辑数据增强方法,利用文本到图像模型填补相关结构缺口,提升图像描述模型在性别、颜色和计数等基础技能上的鲁棒性,并在Flickr30K上验证了性能提升。
2023-11-17 cs.CL cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
递归神经网络在视频描述中的应用最近得到了广泛的关注,因为它们既可以用于对输入视频进行编码,也可以用于生成相应的描述。在本文中,我们提出了一个经常性的视频编码方案,可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同,在这种方法中,视频由递归层连续编码,我们提出了一种新的LSTM单元,它可以识别帧或片段之间的不连续点,并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集:蒙特利尔视频注释数据集,MPII电影描述数据集和微软视频描述语料库。实验表明,我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
Visual Information Guided Zero-Shot Paraphrase Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
由于大规模高质量的释义语料库的有限性,Zero-shot释义生成受到了广泛的关注。反向翻译,也称为基于翻译的方法,是这方面的典型方法。一些作品利用不同的信息作为“支点”,如语言,语义表征等。本文探讨了使用视觉信息,如图像作为“支点”的回译。与流水线回译方法不同,本文提出了一种基于图像-字幕数据的视觉信息引导的zero-shot释义生成方法。它联合训练图像描述模型和释义模型,并利用图像描述模型指导释义模型的训练。自动评测和人工评测结果表明,该模型能够生成相关性、流畅性和多样性较好的释义,图像是实现zero-shot释义生成的一种有效手段。
2022-09-22 cs.AI cs.CL
Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts
Middle East Technical University(中东技术大学)
针对零样本视觉问答的挑战,提出将问题驱动的图像描述作为提示融入大语言模型的方法,通过提取问题关键词生成定制描述,在GQA基准零样本设置下取得有竞争力的性能。
2024-04-12 cs.AI cs.CV
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Shandong University(山东大学);Tencent AI Lab(腾讯AI实验室);National University of Singapore(新加坡国立大学)
视觉注意已经成功地应用于结构预测任务,如视觉字幕和问答。现有的视觉注意力模型通常是空间的,即,注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而,我们认为,这种空间注意力并不一定符合注意力机制-一个动态特征提取器,随着时间的推移结合上下文固定,因为CNN特征自然是空间的,通道的和多层的。在本文中,我们介绍了一种新的卷积神经网络,称为SCA-CNN,它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中,SCA-CNN动态地调制多层特征图中的句子生成上下文,编码其中(即,在多个层上的关注的空间位置)和什么(即,注意的渠道)的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构:Flickr 8 K,Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
Personalizing Multimodal Large Language Models for Image Captioning: An Experimental Analysis
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文实验评估GPT-4V、Gemini等多模态LLM在图像描述基准上的零样本与提示学习、前缀微调、LoRA微调表现,发现其零样本能力强但领域适配与泛化难以兼顾。
2024-12-04 cs.AI cs.CL cs.CV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
受视频中不同模态携带互补信息这一事实的启发,我们提出了多模态语义注意网络(MSAN),这是一种新的编码器-解码器框架,将多模态语义属性用于视频描述。在编码阶段,我们检测和生成多模态语义属性,制定它作为一个多标签分类问题。此外,我们增加了辅助分类损失,我们的模型,可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段,我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合,并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法:MSVD和MSR-VTT,在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Zero-shot Natural Language Video Localization
GIST(韩国科学技术院);UC Berkeley Vision AI Lab, AI Center, NCSOFT(加州大学伯克利分校视觉人工智能实验室、人工智能中心、NCSOFT公司)
理解视频以使用自然语言定位时刻通常需要与语言查询配对的大型昂贵的注释视频区域。为了消除标注成本,我们首次尝试以zero-shot方式训练自然语言视频定位模型。受无监督图像描述设置的启发,我们只需要随机文本语料库,未标记的视频集合和现成的对象检测器来训练模型。利用不成对的数据,我们提出了产生伪监督的候选时间区域和相应的查询语句,并开发了一个简单的NLVL模型与伪监督训练。我们的实证验证表明,所提出的伪监督方法优于几个基线方法和一些方法使用更强的监督Charades-STA和ActivityNet-Captions。
2021-08-29 cs.AI cs.CL cs.CV
All You May Need for VQA are Image Captions
Google Research(谷歌研究院)
可视化问答(VQA)受益于日益复杂的模型,但在数据创建方面却没有享受到同样的参与度。在本文中,我们提出了一种方法,自动推导VQA的例子在卷,利用丰富的现有的图像标题注释结合神经模型生成文本问题。我们表明,由此产生的数据是高质量的。在我们的数据上训练的VQA模型将最先进的zero-shot精度提高了两位数,并实现了在人类注释的VQA数据上训练的相同模型所缺乏的鲁棒性。
2022-05-04 cs.CL cs.CV
RA-CoA: Training-free Fashion Image Captioning via Retrieval-Augmented Chain-of-Attributes
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
针对时尚图像描述中通用VLM细粒度属性精度不足的问题,提出无训练框架RA-CoA,通过从知识库检索属性集并进行属性级推理,显著提升描述质量,METEOR平均提升26.3%。
2026-09-15 cs.AI cs.CV cs.LG
Object Counts! Bringing Explicit Detections Back into Image Captioning
University of Sheffield(谢菲尔德大学)
使用显式对象检测器作为图像描述的中间步骤--其用于构成早期工作中的基本阶段--在当前占主导地位的端到端方法中经常被绕过,其中语言模型直接以中级图像嵌入为条件。我们认为,明确的检测提供了丰富的语义信息,因此可以作为一个可解释的表示,以更好地理解为什么端到端的图像描述系统工作良好。我们提供了一个深入的分析端到端的图像描述,通过探索各种线索,可以从这样的目标检测。我们的研究表明,端到端的图像描述系统依赖于匹配的图像表示来生成字幕,并且对对象的频率、大小和位置进行编码是互补的,并且都在形成良好的图像表示中发挥作用。它还揭示了不同的对象类别以不同的方式对图像描述的贡献。
2018-04-23 cs.AI cs.CL cs.CV
Zero-shot Referring Expression Comprehension via Structural Similarity Between Images and Captions
Northeastern University(东北大学);Harvard University(哈佛大学)
针对零样本指代表达理解,本文利用基础模型将图像与文本解耦为三元组,并通过结构相似性和三元组匹配微调 VLA 模型,显著提升定位性能。
2024-04-09 cs.CV
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google(谷歌)
大型预训练(例如,"基础")模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的,但它们可能仅勉强重叠。例如,视觉语言模型(VLM)是在互联网规模的图像标题上训练的,但是大语言模型(LM)是在没有图像的互联网规模的文本上进一步训练的(例如,电子表格、SAT问题、代码)。因此,这些模型在不同领域存储不同形式的常识知识。在这项工作中,我们表明这种多样性是共生的,并且可以通过苏格拉底模型(SM)来利用:一个模块化框架,其中多个预训练模型可以由zero-shot组成,即,通过多模态通知提示,彼此交换信息并捕获新的多模态能力,而不需要微调。通过最少的工程,SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争,而且还实现了新的应用,例如(i)回答关于自我中心视频的自由形式的问题,(ii)参与与人的多模态辅助对话(例如,用于烹饪食谱)通过与外部API和数据库(例如,网络搜索),以及(iii)机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
VeCLIP: Improving CLIP Training via Visual-enriched Captions
Apple AI/ML(苹果公司人工智能与机器学习部门);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出VeCLIP,通过引入视觉增强字幕(VeCap)的可扩展改写流程和混合训练方案,在大规模网络数据上提升CLIP的图像-文本对齐与模型性能,显著优于基线。
2024-03-13 cs.AI cs.CV cs.LG