On Distinctive Image Captioning via Comparing and Reweighting
City University of Hong Kong（香港城市大学）；Baidu Research, Baidu Inc.（百度公司百度研究院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
最近的图像描述模型正在基于流行的度量（即，BLEU、CIDER和SPICE。然而，专注于仅考虑生成的字幕和人工注释之间的重叠的最流行的度量可能导致使用缺乏独特性的常见单词和短语，即，许多类似的图像具有相同的标题。在本文中，我们的目标是提高图像字幕的独特性，通过比较和重新加权与一组相似的图像。首先，我们提出了一个独特性度量--集间CIDER（CIDERBtw）来评估字幕相对于相似图像的独特性。我们的度量表明，MSCOCO数据集中每个图像的人类注释基于独特性是不等价的;然而，以前的作品通常在训练过程中平等对待人类注释，这可能是生成不太独特的字幕的原因。相比之下，我们在训练过程中根据其独特性重新加权每个地面实况字幕。我们进一步整合了长尾权重策略，以突出包含更多信息的罕见单词，并从相似的图像集中抽取字幕作为反例，以鼓励生成的句子是唯一的。最后，进行了广泛的实验，表明我们提出的方法显着提高了独特性（如CIDErBtw和检索指标所测量的）和准确性（例如，如由CIDEr测量的）用于各种各样的图像描述基线。这些结果通过用户研究得到进一步证实。
2022-04-08 cs.AI cs.CV
Improving Reference-based Distinctive Image Captioning with Contrastive Rewards
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
研究提出两个新Ref-DIC基准和基于Transformer的TransDIC模型，并进一步提出包含对比学习模块的TransDIC++和新评估指标DisCIDEr，在多个指标上超越现有模型。
2023-06-25 cs.CV
PIC 4th Challenge: Semantic-Assisted Multi-Feature Encoding and Multi-Head Decoding for Dense Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
密集视频描述（DVC）的任务旨在为一个视频中的多个事件生成具有时间戳的字幕。语义信息对动态虚拟语气的定位和描述都起着重要的作用。我们提出了一个语义辅助的密集视频描述模型的基础上的编解码框架。在编码阶段，我们设计了一个概念检测器来提取语义信息，然后将其与多模态视觉特征融合，以充分表示输入视频。在解码阶段，我们设计了一个分类头，与本地化和字幕头，以提供语义监督。我们的方法在DVC评估指标下对YouMakeup数据集实现了显着改进，并在PIC第四次挑战的化妆密集视频描述（MDVC）任务中实现了高性能。
2022-08-15 cs.CV
Distinctive Image Captioning: Leveraging Ground Truth Captions in CLIP Guided Reinforcement Learning
IRISA（IRISA研究所）；IMATAG（IMATAG机构）；CNRS（法国国家科学研究中心）
本文提出在CLIP引导的强化学习图像描述训练中利用真实标注描述，通过MLP判别器正则化、加权教师强制损失和对比奖励基线三种方式，在MS-COCO上生成更独特且流畅的图像描述。
2024-02-21 cs.CL cs.CV
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University（南洋理工大学）
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长，视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码，缺乏有效的方法去除不相关的时间信息，同时也忽略了空间细节。然而，目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响，特别是不相关的时间信息是在编码的开始。另外，忽略空间信息会导致词语之间的关系混乱和细节损失。因此，在本文中，我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码，以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息，丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
The University of Western Australia（西澳大学）
视频字幕的自动生成是计算机视觉中的一个基本挑战。最近的技术通常采用卷积神经网络（CNN）和递归神经网络（RNN）的组合用于视频描述。这些方法主要集中在通过RNN定制序列学习以更好地生成字幕，而现成的视觉特征则是从CNN中借来的。我们认为，仔细设计的视觉功能，这项任务是同样重要的，并提出了一个视觉功能编码技术，生成语义丰富的字幕使用门控递归单位（GRUs）。我们的方法通过分层地将短傅立叶变换应用于整个视频的CNN特征，在视觉特征中嵌入丰富的时间动态。它还从对象检测器中导出高级语义，以利用检测到的对象的空间动态来丰富表示。最终的表示被投影到一个紧凑的空间，并提供给一个语言模型。通过学习一个相对简单的语言模型，包括两个GRU层，我们建立了新的最先进的MSVD和MSR-VTT数据集的METEOR和ROUGE_L指标。
2019-04-29 cs.CV
End-to-End Dense Video Captioning with Masked Transformer
University of Michigan（密歇根大学）；Salesforce Research（Salesforce研究院）
密集视频描述旨在为未修剪视频中的所有事件生成文本描述。这包括检测和描述事件。因此，所有以前的密集视频描述的方法解决这个问题，通过建立两个模型，即事件建议和字幕模型，这两个子问题。这些模型可以单独训练，也可以交替训练。这防止了语言描述对事件提议的直接影响，这对于生成准确的描述是重要的。为了解决这个问题，我们提出了一个端到端的Transformer模型密集的视频描述。编码器将视频编码成适当的表示。建议解码器从具有不同锚的编码解码以形成视频事件建议。字幕解码器采用掩蔽网络来限制其对编码特征上的提议事件的注意力。该掩码网络将事件提案转换为可区分的掩码，以确保在训练期间提案和字幕之间的一致性。此外，我们的模型采用了自我注意力机制，这使得在编码过程中使用高效的非递归结构，并导致性能的改善。我们在ActivityNet Captions和YouCookII数据集上证明了这种端到端模型的有效性，我们分别获得了10.12和6.58的METEOR分数。
2018-04-03 cs.CV
Longer Version for "Deep Context-Encoding Network for Retinal Image Captioning"
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
自动生成视网膜图像的医学报告是帮助眼科医生减少工作量和提高工作效率的有前途的方法之一。在这项工作中，我们提出了一个新的上下文驱动的编码网络自动生成视网膜图像的医疗报告。该模型主要由多模态输入编码器和融合特征解码器组成。我们的实验结果表明，我们提出的方法能够有效地利用输入图像和上下文之间的交互信息，即，关键词在我们的案例中所提出的方法为视网膜图像创建比基线模型更准确和有意义的报告，并实现了最先进的性能。这种性能在医疗报告生成任务的几个常用指标中显示：BLEU-avg（+16%），CIDEr（+10.2%）和ROUGE（+8.6%）。
2021-05-30 cs.AI cs.CL cs.CV
Question-controlled Text-aware Image Captioning
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
对于具有多个场景文本的图像，不同的人可能对不同的文本信息感兴趣。当前的文本感知图像描述模型不能根据不同的信息需求生成不同的字幕。为了探索如何生成个性化的文本感知字幕，我们定义了一个新的具有挑战性的任务，即文本控制的文本感知图像描述（Qc-TextCap）。该任务以问题为控制信号，要求模型理解问题，找到相关的场景文本，并用人类语言流利地将它们与对象一起描述。基于两个现有的文本感知字幕数据集，我们自动构建两个数据集，ControlTextCaps和ControlVizWiz来支持任务。我们提出了一种新的几何和问题感知模型（GQAM）。GQAM首先应用一个基于几何信息的视觉编码器，融合区域级对象特征和区域级场景文本特征，并考虑空间关系。然后，我们设计了一个视觉引导的编码器，为每个问题选择最相关的视觉特征。最后，GQAM使用多模态解码器生成个性化的文本感知字幕。我们的模型实现了更好的字幕性能和问答能力比精心设计的基线上的两个数据集。以问题作为控制信号，我们的模型比最先进的文本感知字幕模型生成更多信息和多样化的字幕。我们的代码和数据集可在https://github.com/HAWLYQ/Qc-TextCap上公开获取。
2021-08-04 cs.CV cs.MM
HAAV: Hierarchical Aggregation of Augmented Views for Image Captioning
Georgia Tech（佐治亚理工学院）
本文提出HAAV框架，将异构图像编码视为增强视图，通过共享编码器、对比损失和分层解码器实现高效图像描述，在MS-COCO和Flickr30k上显著提升CIDEr指标。
2023-05-25 cs.AI cs.CV
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
递归神经网络在视频描述中的应用最近得到了广泛的关注，因为它们既可以用于对输入视频进行编码，也可以用于生成相应的描述。在本文中，我们提出了一个经常性的视频编码方案，可以发现和利用视频的层次结构。与经典的编码器-解码器方法不同，在这种方法中，视频由递归层连续编码，我们提出了一种新的LSTM单元，它可以识别帧或片段之间的不连续点，并相应地修改编码层的时间连接。我们评估我们的方法在三个大规模的数据集：蒙特利尔视频注释数据集，MPII电影描述数据集和微软视频描述语料库。实验表明，我们的方法可以发现适当的层次表示的输入视频和提高电影描述数据集上的最先进的结果。
2017-04-10 cs.CV
Auto-Encoding Scene Graphs for Image Captioning
Nanyang Technological University（南洋理工大学）
我们提出了场景图自动编码器（SGAE），将语言归纳偏见的编码器-解码器的图像描述框架更人性化的字幕。人类在语篇中的搭配和语境推理往往是通过归纳偏见来实现的。例如，当我们看到关系“person on bike”时，很自然地用“ride”代替“on”，并推断“person riding bike on a road”，即使“road”并不明显。因此，利用这种偏差作为语言先验，预计将有助于传统的编码器-解码器模型不太可能过拟合数据集偏差，并专注于推理。具体来说，我们使用场景图-一个有向图（$\mathcal{G}$），其中对象节点由形容词节点和关系节点连接-来表示图像（$\mathcal{I}$）和句子（$\mathcal{S}$）的复杂结构布局。在文本域中，我们使用SGAE来学习有助于在$\mathcal{S}\rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$管道中重建句子的字典（$\mathcal{D}$），其中$\mathcal{D}$对所需语言进行编码;在视觉语言域中，我们使用共享的$\mathcal{D}$来指导$\mathcal{I}\rightarrow \mathcal{G}\rightarrow \mathcal{D} \rightarrow \mathcal{S}$管道中的编…
2018-12-11 cs.CV
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；Shandong University（山东大学）；Tencent AI Lab（腾讯AI实验室）；National University of Singapore（新加坡国立大学）
视觉注意已经成功地应用于结构预测任务，如视觉字幕和问答。现有的视觉注意力模型通常是空间的，即，注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而，我们认为，这种空间注意力并不一定符合注意力机制-一个动态特征提取器，随着时间的推移结合上下文固定，因为CNN特征自然是空间的，通道的和多层的。在本文中，我们介绍了一种新的卷积神经网络，称为SCA-CNN，它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中，SCA-CNN动态地调制多层特征图中的句子生成上下文，编码其中（即，在多个层上的关注的空间位置）和什么（即，注意的渠道）的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构：Flickr 8 K，Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
Self-Supervised Image Captioning with CLIP
New York University（纽约大学）
针对图像描述依赖大量图文对的问题，提出先用少量有标注数据初始化、再借助 CLIP 相关性辅助任务进行自监督学习的方法，仅用不到2%的COCO标注即达到全量训练的先进性能。
2023-11-02 cs.CV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
受视频中不同模态携带互补信息这一事实的启发，我们提出了多模态语义注意网络（MSAN），这是一种新的编码器-解码器框架，将多模态语义属性用于视频描述。在编码阶段，我们检测和生成多模态语义属性，制定它作为一个多标签分类问题。此外，我们增加了辅助分类损失，我们的模型，可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段，我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合，并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法：MSVD和MSR-VTT，在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction
Nanyang Technological University（南洋理工大学）
互联网上视频数据的爆炸需要有效和高效的技术来自动为无法观看视频的人生成字幕。尽管视频描述研究取得了很大进展，特别是在视频特征编码方面，但语言解码器在很大程度上仍然基于流行的RNN解码器，如LSTM，它倾向于选择与视频一致的频繁词。在本文中，我们提出了一个边界感知的分层语言解码器的视频描述，它包括一个高层次的GRU为基础的语言解码器，作为一个全球（标题级）语言模型，和一个低层次的GRU为基础的语言解码器，作为一个本地（短语级）语言模型。最重要的是，我们在底层GRU语言解码器中引入了二进制门来检测语言边界。与其他先进的组件，包括联合视频预测，共享的软注意，和边界感知的视频编码，我们的集成视频描述框架可以发现分层的语言信息，并区分在一个句子中，这通常是混乱的语言生成的主题和对象。在两个广泛使用的视频描述数据集MSR-Video-to-Text（MSR-VTT）\cite{xu2016msr}和YouTube-to-Text（MSVD）\cite{chen2011collecting}上的实验表明，与现有方法相比，本文方法具有很强的竞争力.
2018-07-08 cs.CL cs.CV
Enhanced Modality Transition for Image Captioning
图像描述模型是一个跨模态的知识发现任务，其目标是用信息丰富、连贯的句子自动描述图像。为了生成字幕，先前的编码器-解码器框架直接将视觉向量转发到递归语言模型，迫使递归单元基于视觉特征生成句子。虽然这些句子一般是可读的，但它们仍然缺乏细节和亮点，因为图像和文本模式之间的巨大差距没有得到充分解决。在这项工作中，我们显式地建立了一个模态转换模块（MTM），将视觉特征转换为语义表示，然后将其转发到语言模型。在训练阶段，模态转换网络通过建议的模态损失进行优化，该模态损失将生成的初步文本编码与来自预先训练的文本自动编码器的目标句子向量进行比较。通过这种方式，视觉向量被转换到文本子空间，以实现更上下文和更精确的语言生成。新的MTM可以被纳入大多数现有的方法。在MS-COCO数据集上进行了大量的实验，证明了所提出的框架的有效性，与最先进的方法相比，性能提高了3.4%。
2021-02-23 cs.CV cs.MM
Not All Words are Equal: Video-specific Information Loss for Video Captioning
对于给定视频的理想描述应该将其目光固定在突出和代表性的内容上，这能够将该视频与其他视频区分开来。然而，在视频描述数据集中，不同词语的分布是不平衡的，用于描述视频特定显著对象的独特词语远少于“a”、“the”和“person”等常见词语。数据集偏差往往导致识别错误或细节缺陷的显着，但不寻常的对象。为了解决这个问题，我们提出了一种新的学习策略称为信息损失，它侧重于视频特定的视觉内容和相应的代表词之间的关系。此外，建立了一个框架，分层视觉表示和优化的分层注意力机制，以捕捉最显着的时空视觉信息，充分发挥了潜在的优势，提出的学习策略。大量的实验表明，巧妙的指导策略与优化的架构一起优于国家的最先进的视频描述方法MSVD与CIDER分数87.5，并实现优异的CIDER分数47.7 MSR-VTT。我们还表明，我们的信息损失是通用的，提高了各种模型的显着利润率。
2019-01-01 cs.CV
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
近年来，Transformer结构已经广泛应用于图像描述中，并具有令人印象深刻的性能。为了获得良好的字幕效果，不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述，提出了一种改进的几何注意力Transformer（GAT）模型.为了进一步利用几何信息，两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外，该模型还包括两个工作模块：1）几何门控自注意细化器，用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2）一组位置LSTM，用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明，该方法具有较好的效果，并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
A Comprehensive Analysis of Real-World Image Captioning and Scene Identification
本文针对真实世界低质量图像描述难题，基于MIT Indoor scenes构建含800+图像、65+场景类别的数据集，并采用IC3方法生成描述，系统评估了不同编码机制、语言解码器和训练流程下多种模型的性能。
2023-08-05 cs.CV
Meaning guided video captioning
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；Hiroshima University（广岛大学）
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时，经常遭受在要描述的视频中丢失对象的问题。在本文中，我们提出了一种新的方法来视频描述，可以描述由目标检测检测到的对象，并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT，一个用于视频描述的序列到序列模型。给定视频帧序列，编码RNN获取帧以及帧中检测到的对象，以便将对象的信息并入场景中。然后，将以下解码RNN输出馈送到注意层，然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较，使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明，该方法的性能明显优于未引入意义引导框架的模型，表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
Image Captioning through Image Transformer
University of Surrey（萨里大学）；Leibniz University of Hanover（莱布尼茨汉诺威大学）；Nokia Technologies（诺基亚技术公司）；University of Twente（特温特大学）；University of Glasgow（格拉斯哥大学）
图像的自动字幕是一项结合了图像分析和文本生成的挑战的任务。字幕的一个重要方面是注意力的概念：如何决定描述什么以及以什么顺序。受文本分析和翻译成功的启发，以前的工作提出了用于图像描述的\textit{transformer}架构。然而，图像中的\textit{semantic units}（通常是来自目标检测模型的检测区域）和句子（每个单词）之间的结构是不同的。为了使Transformer的内部架构适应图像，已经做了有限的工作。在这项工作中，我们介绍了\textbf{\textit{image transformer}}，它包括一个修改的编码Transformer和一个隐式解码Transformer，动机的图像区域之间的相对空间关系。我们的设计扩展了原有的Transformer层的内部架构，以适应图像的结构。只有区域特征作为输入，我们的模型在MSCOCO离线和在线测试基准上都实现了新的最先进的性能。
2020-10-02 cs.CV
SBAT: Video Captioning with Sparse Boundary-Aware Transformer
College of Information Science & Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Baidu Research（百度研究院）；Alibaba Group（阿里巴巴集团）；Department of Computer Science, Binghamton University（宾汉姆顿大学计算机科学系）
本文主要研究如何将Transformer结构有效地应用于视频描述中。香草Transformer是为单模态语言生成任务，如机器翻译。然而，视频描述是一个多模态学习问题，视频特征在不同时间步长之间存在大量冗余。基于这些问题，我们提出了一种新的方法称为稀疏边界感知Transformer（SBAT），以减少冗余的视频表示。SBAT采用边界感知的池化操作，从不同的场景中选择不同的特征。此外，SBAT还包括一个局部相关方案，以补偿稀疏操作带来的局部信息损失。基于SBAT，我们进一步提出了一个对齐的跨模态编码方案，以提高多模态交互。在两个基准数据集上的实验结果表明，SBAT在大多数指标下都优于现有的方法。
2020-07-23 cs.CL cs.CV cs.LG
ACORT: A Compact Object Relation Transformer for Parameter Efficient Image Captioning
Universiti Malaya（马来亚大学）
最近的研究将基于Transformer的架构应用于图像描述，实现了最先进的图像描述性能，充分利用了Transformers在自然语言任务上的成功。不幸的是，虽然这些模型工作得很好，但一个主要缺陷是它们的模型尺寸太大。为此，我们提出了三种图像描述Transformers的参数减少方法：基数编码，跨层参数共享和注意力参数共享。通过结合这些方法，我们提出的ACORT模型的参数比基线模型少3.7倍至21.6倍，而不会影响测试性能。MS-COCO数据集上的结果表明，我们的ACORT模型与基线和SOTA方法相比具有竞争力，CIDER得分>=126。最后，我们提出了定性结果和消融研究，以进一步证明拟议的变化的有效性。代码和预训练模型可在https://github.com/jiahuei/sparse-image-captioning上公开获取。
2022-02-11 cs.CL cs.CV cs.LG
Hierarchical Memory Decoding for Video Captioning
Tianjin University（天津大学）
视频描述的最新进展通常采用递归神经网络（RNN）作为解码器。然而，RNN容易稀释长期信息。最近的研究表明，记忆网络（MemNet）具有存储长期信息的优势。然而，作为解码器，它还没有被很好地开发用于视频描述。部分原因来自MemNet序列解码的困难。而不是通常的做法，即，基于RNN序列解码算法，本文设计了一种新的视频描述存储解码器。具体地说，在通过预先训练的网络获得每帧的表示后，我们首先融合视觉和词汇信息。然后，在每个时间步，我们构造一个多层的基于MemNet的解码器，即，在每一层中，我们使用一个存储器组来存储先前的信息和一个注意力机制来选择与当前输入相关的信息。因此，该解码器避免了长期信息的稀释。多层架构有助于捕捉帧和词序列之间的依赖关系。实验结果表明，即使没有编码网络，我们的解码器仍然可以获得有竞争力的性能，优于RNN解码器的性能。此外，与单层RNN解码器相比，我们的解码器具有更少的参数。
2020-02-27 cs.CV
Object Counts! Bringing Explicit Detections Back into Image Captioning
University of Sheffield（谢菲尔德大学）
使用显式对象检测器作为图像描述的中间步骤--其用于构成早期工作中的基本阶段--在当前占主导地位的端到端方法中经常被绕过，其中语言模型直接以中级图像嵌入为条件。我们认为，明确的检测提供了丰富的语义信息，因此可以作为一个可解释的表示，以更好地理解为什么端到端的图像描述系统工作良好。我们提供了一个深入的分析端到端的图像描述，通过探索各种线索，可以从这样的目标检测。我们的研究表明，端到端的图像描述系统依赖于匹配的图像表示来生成字幕，并且对对象的频率、大小和位置进行编码是互补的，并且都在形成良好的图像表示中发挥作用。它还揭示了不同的对象类别以不同的方式对图像描述的贡献。
2018-04-23 cs.AI cs.CL cs.CV
Supervising Neural Attention Models for Video Captioning by Human Gaze Data
Seoul National University（首尔大学）
深度神经网络中的注意力机制受到人类注意力的启发，人类注意力随着时间的推移顺序地关注信息的最相关部分以生成预测输出。这些模型中的注意力参数是以端到端的方式进行隐式训练的，但很少有试验明确地将人类视线跟踪纳入监督注意力模型。在本文中，我们调查是否注意力模型可以受益于明确的人类注视标签，特别是视频描述的任务。我们收集了一个名为VAS的新数据集，包括电影剪辑和相应的多个描述性句子以及人类视线跟踪数据。我们提出了一个视频描述模型称为凝视编码注意网络（GEAN），可以利用视线跟踪信息，以提供空间和时间的注意句子生成。通过评估语言相似性指标和亚马逊机械土耳其人的评估，我们证明了由人类凝视数据引导的空间注意力确实提高了多种字幕方法的性能。此外，我们表明，所提出的方法不仅在我们的VAS数据集，而且在标准数据集（例如LSMDC和好莱坞2）中实现了最先进的性能的凝视预测和视频描述。
2017-07-19 cs.CV
Towards Subject-Oriented Video Captioning via User-Specified Targets
University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Technology（计算机科学与技术学院）；Macquarie University（麦考瑞大学）
提出面向主体的视频字幕生成任务 SOVC，构建基于 MSVD 与 MSRVTT 的数据集，并设计 SOVCNet 通过主体相关采样及硬、软提示编码提升目标描述效果。
2026-10-06 cs.CV
Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning
National University of Singapore（新加坡国立大学）
研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。
2026-07-07 cs.AI cs.CV cs.MM
Dense Video Captioning Using Unsupervised Semantic Information
Federal Institute of Paraná（巴拉那联邦学院）；Federal University of Paraná（巴拉那联邦大学）；Pontifical Catholic University of Paraná（巴拉那天主教大学）；University of Campinas（坎皮纳斯大学）
本文提出无监督语义视觉表示，通过聚类构建视觉码本并编码条目共现概率，在仅用视觉特征的密集视频描述中达到最先进性能。
2025-01-06 cs.CV
ClipCap: CLIP Prefix for Image Captioning
Tel Aviv University（特拉维夫大学）
图像描述是视觉-语言理解中的一项基本任务，其中该模型预测给定输入图像的文本信息说明。在本文中，我们提出了一个简单的方法来解决这个问题。我们使用CLIP编码作为标题的前缀，通过采用一个简单的映射网络，然后微调一个语言模型来生成图像标题。最近提出的CLIP模型包含丰富的语义特征，这些特征是用文本上下文训练的，使其最适合视觉语言感知。我们的关键思想是，与预训练的语言模型（GPT 2）一起，我们可以获得对视觉和文本数据的广泛理解。因此，我们的方法只需要相当快的训练，以产生一个称职的字幕模型。无需额外的注释或预训练，它可以有效地为大规模和多样化的数据集生成有意义的标题。令人惊讶的是，我们的方法即使在只训练映射网络时也能很好地工作，而CLIP和语言模型都保持冻结，从而允许更轻的架构和更少的可训练参数。通过定量评估，我们证明了我们的模型在具有挑战性的概念标题和nocaps数据集上取得了与最先进方法相当的结果，同时它更简单，更快，更轻。我们的代码可以在https://github.com/rmokady/CLIP_prefix_caption上找到。
2021-11-18 cs.CV
Meshed-Memory Transformer for Image Captioning
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
基于transformer的架构代表了机器翻译和语言理解等序列建模任务的最新技术水平。然而，它们对多模态上下文（如图像描述）的适用性在很大程度上仍有待探索。为了填补这一空白，我们提出了M $^2$ -一个网状的Transformer与内存的图像描述。该体系结构改进了图像编码和语言生成步骤：它学习图像区域之间的关系的多级表示，结合学习到的先验知识，并在解码阶段使用网状连接来利用低级别和高级别的功能。在实验上，我们调查的M $^2$ Transformer和不同的完全注意模型的性能与经常性的比较。当在COCO上进行测试时，我们的建议在“Karpathy”测试分割和在线测试服务器上的单一模型和集合配置中达到了新的技术水平。我们还评估了它在描述训练集中看不见的对象时的性能。用于再现实验的训练模型和代码可在https://github.com/aimagelab/meshed-memory-transformer公开获得。
2020-03-20 cs.CL cs.CV
Diverse and Styled Image Captioning Using SVD-Based Mixture of Recurrent Experts
Amirkabir University of Technology (Tehran Polytechnic)（德黑兰理工大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Department of Computer Engineering（计算机工程系）
随着视觉和自然语言处理技术的发展，图像字幕的生成成为一种需要。Mathews、Xie和He [1]在最近的一篇论文中扩展了一个新的模型，通过分离语义和风格来生成风格化的字幕。在继续这项工作中，这里开发了一个新的字幕模型，包括一个图像编码器来提取特征，一个混合的递归网络来嵌入一组提取的特征到一组单词中，以及一个句子生成器，它将所获得的单词组合为一个风格化的句子。由此产生的系统，称为递归专家混合（MoRE），使用一种新的训练算法，从递归神经网络（RNN）的加权矩阵导出奇异值分解（SVD），以增加字幕的多样性。每个分解步骤取决于基于MoRE中RNN数量的独特因子。由于所使用的句子生成器提供了一个风格化的语言语料库，没有配对的图像，我们的字幕模型也可以做到这一点。此外，风格化和多样化的字幕提取，而无需在密集标记或风格化的数据集上进行训练。为了验证该字幕模型，我们使用Microsoft COCO，这是一个标准的事实图像字幕数据集。我们表明，建议的字幕模型可以生成一个多样化的和风格化的图像字幕，而不需要额外的标签。结果还显示在内容准确性方面有更好的描述。
2020-07-07 cs.CL cs.CV cs.LG
LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning
School of Engineering and Sciences, Tecnologico de Monterrey（蒙特雷理工学院工程与科学学院）；School of Computer Science, University of Leeds（利兹大学计算机学院）
该研究针对内镜图像解读的主观性问题，提出LUX图条件视觉-语言架构，通过病灶中心场景图实现可解释描述，在多指标上优于现有模型并减少了幻觉与定位误差。
2026-08-26 cs.CV
Unified Vision-Language Pre-Training for Image Captioning and VQA
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）；Microsoft Cloud & AI（微软云与人工智能部门）；Microsoft AI & Research（微软人工智能与研究部门）
提出了一种统一的视觉语言预训练模型。该模型是统一的，因为（1）它可以针对视觉-语言生成（例如，图像描述）或理解（例如，视觉问答）任务，以及（2）它使用共享的多层Transformer网络来进行编码和解码，这不同于其中编码器和解码器使用单独的模型来实现的许多现有方法。统一的VLP模型使用两个任务的无监督学习目标在大量图像-文本对上进行预训练：双向和序列到序列（seq 2seq）掩蔽的视觉语言预测。这两个任务的不同之处仅在于预测条件的上下文，这是通过使用共享Transformer网络的特定自我注意掩码来控制的。据我们所知，VLP是第一个报告的模型，它在视觉语言生成和理解任务上都取得了最先进的结果，就像图像描述和视觉问答一样不同，跨越三个具有挑战性的基准数据集：COCO字幕，Flickr 30 k字幕和VQA 2.0。代码和预训练模型可在https://github.com/LuoweiZhou/VLP上获得。
2019-12-04 cs.CV
From Show to Tell: A Survey on Deep Learning-based Image Captioning
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；NVIDIA AI Technology Centre（英伟达人工智能技术中心）
连接视觉和语言在生成智能中起着重要作用。出于这个原因，大量的研究工作已经致力于图像描述，即用句法和语义上有意义的句子来描述图像。从2015年开始，这项任务通常通过由视觉编码器和用于文本生成的语言模型组成的管道来解决。在这些年里，这两个组成部分已经通过开发对象区域，属性，引入多模态连接，完全注意的方法，和BERT一样的早期融合策略大大发展。然而，尽管取得了令人印象深刻的成果，图像描述的研究还没有得出一个结论性的答案。这项工作的目的是提供一个全面的概述图像描述方法，从视觉编码和文本生成的训练策略，数据集和评估指标。在这方面，我们定量地比较了许多相关的最先进的方法，以确定架构和培训策略中最具影响力的技术创新。此外，许多变量的问题和它的开放的挑战进行了讨论。这项工作的最终目标是作为一种工具，用于理解现有的文献，并强调计算机视觉和自然语言处理可以找到最佳协同作用的研究领域的未来方向。
2021-11-30 cs.CL cs.CV
Structural and Functional Decomposition for Personality Image Captioning in a Communication Game
VinAI Research（VinAI研究院）；University of Information Technology, VNU-HCM（越南国家大学胡志明市分校信息科技大学）；Stony Brook University（石溪大学）；University of Oregon（俄勒冈大学）
个性化图像描述（PIC）的目的是描述一个具有个性特征的自然语言标题的图像。在这项工作中，我们介绍了一种新的配方PIC的基础上，一个扬声器和一个听众之间的通信游戏。说话者尝试生成自然语言字幕，而收听者鼓励所生成的字幕包含关于输入图像和人格特质的区别性信息。通过这种方式，我们希望生成的字幕可以得到改进，以自然地表示图像并表达特征。此外，我们建议采用语言模型GPT 2来执行PIC的字幕生成。这使得说话者和听者能够从GPT2的语言编码能力中受益。实验结果表明，该模型实现了PIC的最先进的性能。
2020-11-17 cs.CL cs.CV cs.LG
BRIDGE: Bridging Gaps in Image Captioning Evaluation with Stronger Visual Cues
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
本文提出BRIDGE，一种可学习且无需参考的图像描述评估指标，通过将视觉特征映射为密集向量并整合到多模态伪描述中，有效编码细粒度细节并惩罚幻觉，在多个数据集上达到最先进水平。
2024-07-29 cs.AI cs.CL cs.CV
TPsgtR: Neural-Symbolic Tensor Product Scene-Graph-Triplet Representation for Image Captioning
University of Florida（佛罗里达大学）
如果图形表示的结构可以用概念位置绑定来公式化，则可以改进图像描述。在这项工作中，我们介绍了一种新的技术，用于字幕生成使用的场景图的神经符号编码，来自区域的图像视觉信息，我们称之为张量积场景图三元组表示（TP $_{sgt}$ R）。虽然，以前的大多数工作集中在识别图像中的对象特征，我们引入了神经符号嵌入，可以将图像不同区域之间的识别关系嵌入到具体的形式中，而不是依赖于模型来组成任何/所有组合。这些神经符号表征有助于更好地定义神经符号空间，以实现神经符号注意，并可以转换为更好的字幕。在此基础上，我们引入了两种新的字幕生成模型（TP $_{sgt}$ R-TDBU和TP $_{sgt}$ R-sTDBU）进行对比，实验结果表明，本文提出的字幕生成模型性能优于其他模型，生成的字幕更加全面、自然。
2019-11-22 cs.CL cs.CV cs.LG
Siamese-Driven Optimization for Low-Resolution Image Latent Embedding in Image Captioning
Department of Mechatronics and Biomedical Engineering, Lee Kong Chian Faculty of Engineering and Science（机械与生物医学工程系，李光前工程与科学学院）；Laboratoire de traitement et transport de l'information, Université Sorbonne Paris Nord（信息处理与传输实验室，巴黎-索邦大学）
SOLI通过Siamese网络优化低分辨率图像潜在嵌入，提高图像描述任务的效率和准确性，适用于资源受限场景。
2025-12-09 cs.AI cs.CV cs.HC
Describe Anything: Detailed Localized Image and Video Captioning
NVIDIA（英伟达）；UC Berkeley（加州大学伯克利分校）；UCSF（加州大学旧金山分校）
针对图像视频局部区域详细描述难题，提出DAM模型，通过焦点提示与局部视觉骨干保留细节与上下文，并构建半监督数据管道DLC-SDP及基准DLC-Bench，在7项基准上达到最优。
2025-04-22 cs.AI cs.CV
Set Prediction Guided by Semantic Concepts for Diverse Video Captioning
CASIA（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Linkheer Science and Technology Co., Ltd.（浙江领赫科技有限公司）；ShanghaiTech University（上海科技大学）
本文提出语义概念引导的集合预测方法，通过集合级拟合与概念组合预测提升视频描述生成的多样性，并在基准上达到最优性能。
2023-12-25 cs.CV
Variational Stacked Local Attention Networks for Diverse Video Captioning
Independent University, Bangladesh（孟加拉国独立大学）
视频描述模型在用自然语言描述时空事件时，主要依赖于编码器的潜在视觉表示。编码器-解码器模型的最新进展主要涉及与解码器线性交互的编码器特征。然而，不断增长的模型复杂性的视觉数据鼓励更明确的功能交互的细粒度的信息，这是目前缺乏在视频描述域。此外，特征聚合方法已被用于通过连接或使用线性层来揭示更丰富的视觉表示。虽然视频的特征集在语义上有一定程度的重叠，但这些方法会导致客观不匹配和特征冗余。此外，字幕的多样性是从几个有意义的角度表达一个事件的基本组成部分，目前在时间上缺失，即，视频描述域。为此，我们提出了变分堆叠局部注意力网络（VSLAN），它利用低秩双线性池进行自关注特征交互，并以折扣方式堆叠多个视频特征流。每个特征堆栈的学习属性有助于我们提出的多样性编码模块，然后是解码查询阶段，以促进端到端的多样性和自然的字幕，而无需对属性进行任何显式监督。我们在MSVD和MSR-VTT数据集上评估VSLAN的语法和多样性。VSLAN的CIDER评分分别优于MSVD上的$7.8\%$和MSR-VTT上的$4.5\%$的当前现成方法。在相同的数据集上，VSLAN在字幕多样性指标上取得了有竞争力的结果。
2022-01-04 cs.CL cs.CV
End-to-end Concept Word Detection for Video Captioning, Retrieval, and Question Answering
Seoul National University（首尔大学）
我们提出了一个高层次的概念词检测器，可以与任何视频到语言模型。它以视频作为输入，并生成一系列概念词作为语言生成模型的有用语义先验。建议的字检测器有两个重要的属性。首先，它不需要任何外部知识来源进行培训。其次，所提出的词检测器是可训练的，在一个端到端的方式与任何视频到语言模型。为了最大化检测到的词的值，我们还开发了一种语义注意力机制，该机制选择性地关注检测到的概念词，并将它们与语言模型中的词编码和解码相融合。为了证明所提出的方法确实提高了多个视频到语言任务的性能，我们参加了LSMDC 2016的四个任务。我们的方法在其中三个方面达到了最好的准确率，包括填空，多项选择测试和电影检索。我们在另一项任务--电影描述上也取得了类似的成绩。
2017-07-25 cs.CV
NarrativeBridge: Enhancing Video Captioning with Causal-Temporal Narrative
University of Surrey（萨里大学）；BBC Research and Development（BBC研究与发展部）
针对现有视频字幕缺乏因果-时间叙事的问题，提出NarrativeBridge方法，构建CTN字幕基准并设计CEN网络，显著提升视频字幕的因果时间动态捕捉能力与泛化性。
2025-02-15 cs.CV cs.HC
A Novel Actor Dual-Critic Model for Remote Sensing Image Captioning
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Technical University of Munich（慕尼黑工业大学）
我们使用深度强化学习的概念处理从光学遥感（RS）图像生成文本字幕的问题。由于描述遥感数据的参考句子中的高类间相似性，联合编码的句子和图像鼓励预测的字幕，在许多情况下，语义上比地面真相更精确。为此，我们引入了一种Actor Dual-Critic训练策略，其中以编码器-解码器RNN的形式部署了第二个评论家模型，以对与原始和生成的字幕对应的潜在信息进行编码。虽然所有的演员-评论家方法都使用演员来预测图像的句子和评论家来提供奖励，但我们提出的编码器-解码器RNN通过图像到图像的翻译来保证对图像的高水平理解。我们观察到，所提出的模型生成的句子的测试数据高度相似的地面真相，并成功地在许多关键情况下，生成更好的字幕。在基准遥感图像描述数据集（RSICD）和UCM字幕数据集上的大量实验证实了所提出的方法与以前的最先进的方法相比的优越性，在这种方法中，我们获得了ROUGE-L和CIDER措施的急剧增加的增益。
2020-10-05 cs.AI cs.CV
Transform and Tell: Entity-Aware News Image Captioning
Australian National University（澳大利亚国立大学）
我们提出了一个端到端的模型，生成标题嵌入在新闻文章中的图像。新闻图像面临两个关键挑战：它们依赖于现实世界的知识，特别是关于命名实体的知识;它们通常具有语言丰富的标题，其中包括不常见的单词。我们通过多模态、多头注意力机制，将字幕中的单词与图像中的人脸和物体相关联，来解决第一个挑战。我们用最先进的Transformer语言模型来解决第二个挑战，该模型使用字节对编码来生成标题作为单词部分的序列。在GoodNews数据集上，我们的模型在CIDER评分（13至54）方面优于之前的最新技术水平4倍。这种性能提升来自于语言模型、单词表示、图像嵌入、人脸嵌入、对象嵌入以及神经网络设计改进的独特组合。我们还介绍了NYTimes 800 k数据集，它比GoodNews大70%，具有更高的文章质量，并包括文章中图像的位置作为额外的上下文线索。
2020-06-13 cs.CL cs.CV
Simple is not Easy: A Simple Strong Baseline for TextVQA and TextCaps
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；University of Adelaide（阿德莱德大学）
在日常场景中出现的文字，可以被OCR（光学字符识别）工具识别，包含重要的信息，如街道名称，产品品牌和价格。两个任务--基于文本的视觉问答和基于文本的图像描述，以及现有视觉语言应用程序的文本扩展，正在迅速流行起来。为了解决这些问题，许多复杂的多模态编码框架（如异构图结构）正在使用。在本文中，我们认为，一个简单的注意力机制可以做同样的，甚至更好的工作，没有任何花里胡哨。在这种机制下，我们简单地将OCR标记特征分成单独的视觉和语言注意力分支，并将它们发送到流行的Transformer解码器以生成答案或标题。令人惊讶的是，我们发现这个简单的基线模型相当强大-它在两个流行的基准测试中始终优于最先进的（SOTA）模型，TextVQA和ST-VQA的所有三个任务，尽管这些SOTA模型使用更复杂的编码机制。将其转移到基于文本的图像描述，我们也超越了TextCaps Challenge 2020的获奖者。我们希望这项工作为这两个OCR文本相关的应用程序设置新的基线，并激发多模态编码器设计的新思维。代码可在https://github.com/ZephyrZhuQi/ssbaseline上获得
2020-12-09 cs.CV
Hyperdimensional Cross-Modal Alignment of Frozen Language and Image Models for Efficient Image Captioning
Artificial Intelligence Research Laboratory（人工智能研究实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
HDFLIM通过冻结语言和图像模型的高维计算实现高效的图像描述生成，无需参数调优。
2026-02-27 cs.AI cs.CV cs.LG
Sam-Guided Enhanced Fine-Grained Encoding with Mixed Semantic Learning for Medical Image Captioning
Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院，浙江大学）；Sir Run Run Shaw Hospital, Zhejiang University School of Medicine（浙江大学医学院附属邵逸夫医院）
本文提出一种由SAM引导的医学图像描述新方法，结合混合语义学习预训练策略实现增强的细粒度特征编码，在多项评估指标上优于BLIP2模型。
2023-12-30 cs.AI cs.CV
BRAVE: Broadening the visual encoding of vision-language models
Google（谷歌）；Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
本文提出 BRAVE，通过整合多个冻结视觉编码器的特征形成通用压缩表示并输入冻结语言模型，在图像描述与 VQA 基准上以更少可训练参数达到 SOTA。
2024-04-10 cs.AI cs.CV cs.LG
Pseudo-RIS: Distinctive Pseudo-supervision Generation for Referring Image Segmentation
AI Graduate School, GIST（光州科学技术院AI研究生院）；Department of Computer Science and Engineering, Korea University（高丽大学计算机科学与工程系）
提出Pseudo-RIS框架，利用分割和图像描述基础模型自动生成独特伪监督，通过独特描述采样和基于独特性的文本过滤，显著提升指代图像分割性能，并优于弱监督、零样本及未见域全监督方法。
2024-07-17 cs.AI cs.CV
MultiCapCLIP: Auto-Encoding Prompts for Zero-Shot Multilingual Visual Captioning
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Oxford（牛津大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）
针对视觉字幕生成标注数据短缺问题，提出仅用文本训练的零样本多语言方法MultiCapCLIP，通过概念提示检索和提示自编码实现跨场景跨语言字幕生成，在多基准多语言上取得显著性能提升。
2023-08-25 cs.AI cs.CV
Fine-grained Image Captioning with CLIP Reward
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（奥多比研究中心）；Adobe Inc.（奥多比公司）
现代图像描述模型通常是以文本相似度为目标进行训练的。然而，由于公共数据集中的参考标题通常描述最突出的常见对象，因此使用文本相似性目标训练的模型往往会忽略图像的特定和详细方面，这些方面将其与其他方面区分开来。为了生成更具描述性和独特性的字幕，我们建议使用CLIP（一种在Web上训练的多模态编码器）来计算多模态相似度并将其用作奖励函数。我们还提出了一个简单的微调策略的CLIP文本编码器，以改善语法，不需要额外的文本注释。这完全消除了在奖励计算期间对参考字幕的需要。为了全面评估描述性字幕，我们引入了FineCapEval，这是一个用于字幕评估的新数据集，具有细粒度标准：整体、背景、对象、关系。在我们对文本到图像检索和FineCapEval的实验中，所提出的CLIP引导模型比CIDER优化模型生成更独特的字幕。我们还表明，我们的无监督的语法微调的CLIP文本编码器的退化问题的天真CLIP奖励。最后，我们展示了人类分析，其中注释者根据各种标准强烈偏好CLIP奖励而不是CIDER和MLE目标。代码和数据：https://github.com/j-min/CLIP-Caption-Reward
2023-03-29 cs.AI cs.CL cs.CV
