Senti-Attend: Image Captioning using Sentiment and Attention
Macquarie University（麦考瑞大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
最近有很多关于描述图像的事实方面的图像描述模型的工作。最近，一些模型将非事实方面纳入标题中，例如情感或风格。然而，这样的模型通常难以平衡图像的语义方面和字幕的非事实维度;此外，可以观察到，人类可能会根据所选择的字幕的情感或风格来关注图像的不同方面。为了解决这个问题，我们设计了一个基于注意力的模型，以更好地为图像标题添加情感。该模型嵌入并学习图像标题数据的情感，并在学习过程中使用高级和单词级情感信息。该模型优于国家的最先进的工作，在图像描述的情绪使用标准的评价指标。对生成的字幕的分析也表明，我们的模型通过更好地选择带有情感的形容词和形容词-名词对来做到这一点。
2018-11-24 cs.CV
OmniFysics-Captioner Technical Report: Grounding Omni-Modal Understanding in the Physical World for Better Captioning
针对现有全模态描述生成器忽视物理证据的问题，提出统一框架，通过数据构建、训练和评估，利用物理感知模型提取线索，训练出在多个基准上达到最先进水平的描述生成器。
2026-09-29 cs.CV
Improving Image Captioning with Better Use of Captions
Ingenuity Labs Research Institute, Queen’s University（女王大学Ingenuity实验室研究所）；Queen’s University（女王大学）；Fudan University（复旦大学）
图像描述是一个多模态问题，在自然语言处理和计算机视觉领域都引起了广泛的关注。在本文中，我们提出了一种新的图像描述架构，以更好地探索字幕中的语义，并利用它来增强图像表示和字幕生成。我们的模型首先构建标题引导的视觉关系图，使用弱监督多示例学习引入有益的归纳偏差。然后，通过具有文本和视觉特征的相邻和上下文节点来增强表示。在生成过程中，该模型还使用多任务学习来结合视觉关系，以联合预测单词和对象/谓词标签序列。我们在MSCOCO数据集上进行了大量的实验，结果表明，所提出的框架显着优于基线，从而在广泛的评估指标下获得了最先进的性能。
2020-06-21 cs.CL cs.CV
Scene Graph Generation for Better Image Captioning?
Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；LMU Munich（慕尼黑大学）
我们调查纳入监督图像字幕生成的任务，提出了一个模型，利用检测到的对象和自动生成的视觉关系来描述图像中的自然语言的视觉关系。要做到这一点，我们首先从原始图像像素生成一个场景图，通过识别单个对象和它们之间的视觉关系。然后，这个场景图作为我们的图形到文本模型的输入，生成最终的标题。与以前的方法相比，我们的模型因此明确地对图像中的对象和视觉关系的检测进行建模。在我们的实验中，我们从Visual Genome和MS COCO的交集中构建了一个新的数据集，该数据集由具有相应的黄金场景图和人类创作的标题的图像组成。我们的研究结果表明，我们的方法优于现有的最先进的端到端模型，直接从原始输入像素生成图像描述时，比较的BLEU和METEOR评估指标。
2021-09-23 cs.CV
Caption-Driven Explorations: Aligning Image and Text Embeddings through Human-Inspired Foveated Vision
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Technical University of Munich（慕尼黑工业大学）；Institute of AI for Health, Helmholtz Zentrum München（慕尼黑亥姆霍兹中心健康人工智能研究所）
本研究针对任务驱动图像探索研究不足的问题，推出含字幕与探索行为的CapMIT1003数据集，提出结合CLIP与NeVA的零样本NevaClip方法预测扫描路径，其在两类任务中表现优于现有模型，深化了对人类注意力的理解。
2024-08-19 cs.AI cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Enhancing Image Captioning with Neural Models
本文研究神经图像描述生成，比较不同架构并重点关注注入式架构，提出新质量指标，发现注入式架构能生成更简洁相关的描述，并强调数据优化和超参数调优的重要性。
2023-12-01 cs.CV cs.NE
Towards Unique and Informative Captioning of Images
Princeton University（普林斯顿大学）；California Institute of Technology（加州理工学院）
尽管取得了相当大的进步，但现有技术的图像描述模型产生通用的标题，忽略了重要的图像细节。此外，这些系统甚至可能歪曲图像，以便产生由共同概念组成的更简单的标题。在本文中，我们首先分析了现代字幕系统和评价指标，通过实证实验来量化这些现象。我们发现，现代字幕系统返回更高的可能性为不正确的干扰语句相比，地面真相字幕，和评价指标，如SPICE可以“顶”使用简单的字幕系统依赖于对象检测器。受这些观察的启发，我们设计了一个新的度量（SPICE-U）通过引入一个概念的唯一性在标题中生成的概念。我们发现，SPICE-U是更好地与人类的判断相比，SPICE，并有效地捕捉到多样性和连续性的概念。最后，我们还展示了一种通用的技术，以改善任何现有的字幕模型-通过使用互信息作为重新排序的目标在解码过程中。从经验上讲，这会产生更独特和信息量更大的标题，并改进SPICE-U上的三种不同的最先进模型以及现有指标的平均得分。
2020-09-08 cs.CV
Image Captioning with Integrated Bottom-Up and Multi-level Residual Top-Down Attention for Game Scene Understanding
Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
近年来，图像描述引起了相当大的关注。然而，游戏图像描述具有一些独特的特点和要求，对于它的研究还很少。在这项工作中，我们提出了一种新的游戏图像描述模型，它集成了自自底向上的【形】的注意力与一个新的多级剩余自上而下的注意力机制。首先，在基于Faster R-CNN的自底向上注意力网络中添加一个较低级别的残差自顶向下注意力网络，以解决后者在提取区域特征时可能丢失重要空间信息的问题。其次，在字幕生成网络中实现上层残差自上而下的注意力网络，以更好地融合提取的区域特征，用于后续的字幕预测。我们创建了两个游戏数据集来评估所提出的模型。大量的实验表明，我们提出的模型优于现有的基线模型。
2019-06-16 cs.CV
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
当前最先进的图像描述方法采用基于区域的特征，因为它们提供了描述图像内容所必需的对象级信息;它们通常由诸如Faster R-CNN之类的对象检测器提取。然而，它们有几个问题，如缺乏上下文信息，不准确检测的风险，以及高计算成本。前两个可以通过额外使用基于网格的特征来解决。然而，如何提取和融合这两种类型的功能是未知的。本文提出了一种仅基于Transformer的神经架构，称为GRIT（Grid- and Region-based图像描述Transformer），它有效地利用了这两个视觉特征来生成更好的字幕。GRIT用基于DETR的检测器取代了以前方法中使用的基于CNN的检测器，使其计算速度更快。此外，它的单片设计仅由Transformers组成，可以实现模型的端到端训练。这种创新的设计和双重视觉功能的整合带来了显着的性能改善。在多个图像描述基准上的实验结果表明，GRIT在推理精度和速度上都优于以往的方法。
2022-07-20 cs.AI cs.CL cs.CV
CoordSpeaker: Exploiting Gesture Captioning for Coordinated Caption-Empowered Co-Speech Gesture Generation
Tsinghua University（清华大学）
CoordSpeaker通过引入手势描述框架和条件潜在扩散模型，实现了协调的caption驱动的语音同步手势生成，解决了手势生成中的语义先验间隙和多模态控制难题。
2025-11-28 cs.CV
Visual News: Benchmark and Challenges in News Image Captioning
University of Maryland（马里兰大学）；Amazon Alexa（亚马逊 Alexa）；University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
我们提出了视觉新闻字幕，一个实体感知的新闻图像描述的任务模型。我们还介绍了Visual News，这是一个大规模的基准测试，包含超过一百万张新闻图片以及相关的新闻文章、图片标题、作者信息和其他元数据。与标准的图像描述任务不同，新闻图像描述了人物、位置和事件至关重要的情况。我们提出的方法可以有效地结合视觉和文本特征，以生成具有更丰富信息（如事件和实体）的字幕。更具体地说，建立在Transformer架构，我们的模型进一步配备了新的多模态特征融合技术和注意力机制，旨在更准确地生成命名实体。我们的方法使用更少的参数，同时实现略好的预测结果比竞争的方法。我们更大、更多样化的视觉新闻数据集进一步突出了新闻图片字幕方面的剩余挑战。
2021-09-13 cs.CV
Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong（香港城市大学）；Fuzhou University（福州大学）
自动评估图像字幕的质量可能是非常具有挑战性的，因为人类语言是非常灵活的，可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发，我们提出了一种基于学习的图像描述度量，我们称之为内在图像描述评价（$I^2CE$）。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型，双分支模型和三分支模型。我们的实证测试表明，$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断，当代图像描述评价指标。此外，我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明，我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上，建议的度量可以作为一个新的指标的内在信息之间的字幕，这可能是补充现有的。
2021-06-29 cs.CV
Streamlined Dense Video Captioning
POSTECH（浦项科技大学）；Seoul National University（首尔大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Wormpex AI Research（Wormpex人工智能研究院）；Amazon Go
密集的视频描述是一项极具挑战性的任务，因为对视频中事件的准确和连贯的描述需要对视频内容的整体理解以及对单个事件的上下文推理。大多数现有的方法通过首先从视频中检测事件提案，然后在提案的子集上加字幕来处理这个问题。因此，生成的句子往往是冗余的或不一致的，因为它们没有考虑事件之间的时间依赖性。为了解决这一挑战，我们提出了一种新的密集视频描述框架，该框架明确地对视频中事件的时间依赖性进行建模，并利用先前事件的视觉和语言上下文进行连贯的故事讲述。这一目标是通过以下方式实现的：1）集成事件序列生成网络以自适应地选择事件提议序列，以及2）将事件提议序列馈送到我们的顺序视频描述网络，该网络通过强化学习进行训练，在事件和情节级别上具有两级奖励，以更好地进行上下文建模。所提出的技术在大多数指标中对ActivityNet Captions数据集实现了出色的性能。
2019-04-08 cs.CV
Consensus Graph Representation Learning for Better Grounded Image Captioning
Zhejiang University（浙江大学）；Citycloud Technology（城云科技）
由于视觉错误分类或过度依赖先验知识，导致视觉信息与目标词汇之间的语义不一致，当代视觉字幕模型经常出现幻觉对象，而这些对象实际上并不在场景中。最常见的方式是鼓励字幕模型将生成的目标词或短语动态地链接到图像的适当区域，即，接地的图像描述（GIC）。然而，GIC利用辅助任务（接地对象），其尚未解决对象幻觉的关键问题，即，语义不一致。在本文中，我们采取了一个新的角度对上述问题-利用视觉和语言模态之间的语义一致性。具体来说，我们提出了共识Ranking表示学习框架（CGRL）的GIC，将共识表示到接地字幕管道。共识是通过对准视觉图（例如，场景图）到考虑图中的节点和边的语言图。有了对齐的共识，字幕模型可以捕获正确的语言特征和视觉相关性，然后进一步建立适当的图像区域。我们验证了我们的模型的有效性，在Flickr 30 k实体数据集上，对象幻觉显著下降（-9% i）。此外，我们的CGRL还通过几个自动度量和人工评估进行了评估，结果表明，所提出的方法可以同时提高图像描述（+2.9 Cider）和接地（+2.3 F1）的性能。
2022-04-13 cs.AI cs.CL cs.CV
Meaning guided video captioning
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；Hiroshima University（广岛大学）
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时，经常遭受在要描述的视频中丢失对象的问题。在本文中，我们提出了一种新的方法来视频描述，可以描述由目标检测检测到的对象，并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT，一个用于视频描述的序列到序列模型。给定视频帧序列，编码RNN获取帧以及帧中检测到的对象，以便将对象的信息并入场景中。然后，将以下解码RNN输出馈送到注意层，然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较，使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明，该方法的性能明显优于未引入意义引导框架的模型，表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark
University of Washington（华盛顿大学）；Pika Labs（皮卡实验室）；Stanford University（斯坦福大学）；Harvard University（哈佛大学）；New York University（纽约大学）
本文提出基于大型多模态模型的视频描述器AuroraCap，通过token合并策略实现高效视频详细描述，并构建VDC基准及LLM辅助评估指标VDCscore，在多个基准上超越GPT-4V等模型。
2025-04-09 cs.CV
Paying Attention to Descriptions Generated by Image Captioning Models
Aalto University（阿尔托大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Central Florida（中佛罗里达大学）
为了弥合人类和机器在图像理解和描述方面的差距，我们需要进一步了解人们如何描述感知场景。在本文中，我们研究了自下而上的基于显着性的视觉注意和场景描述结构中的对象引用之间的协议。我们调查的性质，人类书面的描述和机器生成的。然后，我们提出了一个显着性增强的图像描述模型，以调查从低级别的线索在语言模型的好处。我们了解到，（1）人类在描述中提到更突出的对象比不太突出的对象更早，（2）字幕模型表现得越好，它与人类描述的注意力一致性就越好，（3）与其基线形式相比，所提出的显着性增强模型在MS COCO数据库上没有显着改善，表明当任务在数据上被很好地学习和调整时，显式自下而上的提升没有帮助，（4）然而，对于未看到的数据，对于显著性提升的模型观察到更好的泛化。
2017-08-04 cs.AI cs.CV
SnapCap: Efficient Snapshot Compressive Video Captioning
National Key Laboratory of Radar Signal Processing, Xidian University（西安电子科技大学雷达信号处理国家重点实验室）；Westlake University（西湖大学）
本文提出SnapCap模型，通过预训练CLIP知识蒸馏直接从快照压缩感知相机的压缩测量值生成视频描述，避免了传统流程的信息冗余与丢失，在两个数据集上比先重建后描述方法快至少3倍且效果更好。
2024-01-10 cs.CV
Image Captioning based on Feature Refinement and Reflective Decoding
King Saud University（沙特国王大学）
图像描述是以自然语言自动生成图像描述的过程。图像描述是图像理解中的重要挑战之一，因为它不仅需要识别图像中的显著对象，还需要识别它们的属性以及它们相互作用的方式。然后，系统必须生成语法和语义正确的标题，该标题以自然语言描述图像内容。随着深度学习模型的重大进展及其有效编码大量图像和生成正确句子的能力，最近提出了几种基于神经的字幕方法，每种方法都试图实现更好的准确性和字幕质量。本文介绍了一种基于编码器-解码器的图像描述系统，其中编码器使用ResNet-101从图像中提取空间特征。这个阶段之后是一个细化模型，它使用一个注意力的注意力机制来提取目标图像对象的视觉特征，然后确定它们的相互作用。解码器由一个基于注意力的递归模块和一个反射注意力模块组成，它们协同地将注意力应用于视觉和文本特征，以增强解码器对长期顺序依赖关系建模的能力。在Flickr 30 K上进行的大量实验表明了该方法的有效性和生成字幕的高质量。
2022-07-25 cs.CV
Injecting Semantic Concepts into End-to-End Image Captioning
Arizona State University（亚利桑那州立大学）；Microsoft Corporation（微软公司）
近年来，在开发更好的图像描述模型方面取得了巨大的进展，但其中大多数依赖于单独的对象检测器来提取区域特征。最近的视觉语言研究正在转向无检测器的趋势，利用网格表示进行更灵活的模型训练和更快的推理速度。然而，这样的发展主要集中在图像理解任务上，并且对于字幕生成任务的研究仍然较少。在本文中，我们关注一个性能更好的无检测器的图像描述模型，并提出了一个纯视觉Transformer为基础的图像描述模型，称为ViTCAP，其中使用网格表示，而不提取区域特征。为了提高性能，我们引入了一种新的概念令牌网络（CTN）预测的语义概念，然后将它们纳入端到端的字幕。特别是，CTN是建立在一个视觉Transformer的基础上，并被设计为通过分类任务预测的概念令牌，其中包含丰富的语义信息大大有利于字幕任务。与以前的基于检测器的模型相比，ViTCAP大大简化了架构，同时在各种具有挑战性的图像描述数据集上实现了有竞争力的性能。特别是，ViTCAP在COCO-caption Karpathy-split上达到138.1 CIDEr评分，在nocaps和Google-CC字幕数据集上分别达到93.8和108.6 CIDEr评分。
2022-03-31 cs.CL cs.CV
Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning
The University of Tokyo（东京大学）
使用卷积神经网络（CNN）从图像中提取特征并使用递归神经网络（RNN）生成字幕的工作流程已经成为图像描述任务的事实标准。然而，由于CNN特征最初是为分类任务而设计的，因此它主要关注图像的主要显著元素，并且通常无法正确地传达关于局部次要元素的信息。我们建议将编码与局部聚集描述符（VLAD）的空间金字塔的子区域的CNN功能，以产生图像表示，更好地反映图像的局部信息。我们的研究结果表明，我们的紧凑VLAD编码方法可以匹配CNN功能，只有3%的维度，当与空间金字塔相结合时，它会导致图像字幕，更准确地考虑到本地元素。
2016-03-30 cs.CV
Video Captioning: a comparative review of where we are and which could be the route
Centro de Investigación en Ciencias de Información Geoespacial AC（地理空间信息科学研究中心（AC））；Consejo Nacional de Ciencia y Tecnología (CONACyT)（国家科学技术委员会（CONACyT））
视频描述是描述图像序列的内容的过程，捕捉其语义关系和含义。用一张图像处理这个任务是艰巨的，更不用说视频（或图像序列）是多么困难。视频描述的应用量和相关性是巨大的，主要用于处理视频监控中的大量视频记录，或者辅助视力受损的人等等。为了分析我们的社区在解决视频描述任务方面的努力，以及可以更好地遵循的路线，本文对2016年至2021年期间的105篇论文进行了广泛的回顾。因此，确定了最常用的数据集和指标。此外，使用的主要方法和最好的方法。我们计算一组排名的基础上，几个性能指标，以获得，根据其性能，最好的方法与最好的结果上的视频描述任务。最后，总结了一些见解，这些见解可能是下一步或机会领域，以改善处理这一复杂的任务。
2022-04-13 cs.CV
Consensus-based Sequence Training for Video Captioning
National Institute of Informatics（国立信息学研究所）
字幕模型通常使用交叉熵损失来训练。然而，他们的表现是根据其他指标进行评估的，这些指标旨在更好地与人类评估相关联。最近，研究表明，强化学习（RL）可以直接优化字幕等任务中的这些指标。然而，这在计算上是昂贵的，并且需要在每一步指定基线奖励以使训练收敛。我们提出了一种快速的方法来优化一个人的目标的兴趣，通过增强算法。首先，我们证明，通过用地面真理句子替换模型样本，RL训练可以被视为加权交叉熵损失的一种形式，给出了一个快速的，基于RL的预训练算法。其次，我们建议使用同一视频的地面实况字幕之间的共识作为基线奖励。这可以非常有效地计算。我们将完整的建议称为基于序列的序列训练（CST）。应用于MSRVTT视频描述基准测试，我们的建议训练明显快于可比方法，并建立了一个新的国家的最先进的任务，提高CIDER分数从47.3到54.2。
2017-12-27 cs.CV
Image Captioning in news report scenario
University of California San Diego（加州大学圣迭戈分校）；University of North Texas（北德克萨斯大学）；Northern Arizona University（北亚利桑那大学）；Tunghai University（东海大学）
本文针对新闻报道场景提出面向名人照片的图像描述生成方法，弥补现有工作偏重场景与动作理解的不足，以增强自动化新闻内容生成并丰富新闻叙事。
2024-04-02 cs.AI cs.CV
One Patch to Caption Them All: A Unified Zero-Shot Captioning Framework
ISTI-CNR, Italy（意大利国家研究委员会信息科学与技术研究所）；University of Pisa, Italy（比萨大学）
本文提出一种统一的零样本描述框架，从图像中心转向补丁中心范式，使能描述任意区域而不需区域级监督。通过将单个补丁视为原子描述单元，实现对任意区域的描述，实验表明有意义的密集视觉特征对多区域描述任务至关重要。
2026-03-27 cs.CV
A Neural Compositional Paradigm for Image Captioning
The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；NVIDIA（英伟达）
主流的字幕模型通常遵循顺序结构来生成字幕，导致诸如引入无关语义、生成的字幕缺乏多样性以及泛化性能不足等问题。在本文中，我们提出了另一种范式的图像描述，它分解成两个阶段的字幕过程：（1）提取一个明确的语义表示从给定的图像;（2）构建的标题的基础上递归的组成过程中自底向上的方式。与传统的范式相比，我们的范式通过对语义和句法的显式分解，更好地保留了语义内容。通过使用合成生成过程，字幕构造遵循递归结构，这自然符合人类语言的特性。此外，所提出的合成过程需要更少的数据来训练，更好地概括，并产生更多样化的字幕。
2018-10-23 cs.CL cs.CV cs.LG
TOD3Cap: Towards 3D Dense Captioning in Outdoor Scenes
CASIA（中国科学院自动化研究所）；Li Auto AIR（理想汽车AIR研究院）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；HKUST（香港科技大学）；HKU（香港大学）
本文提出室外3D密集描述任务及TOD3Cap网络，通过BEV表示、Relation Q-Former与LLaMA-Adapter实现点云和图像下的对象定位与描述，并构建了最大规模的TOD3Cap数据集，性能显著超越基线。
2024-06-05 cs.CV
A Better Use of Audio-Visual Cues: Dense Video Captioning with Bi-modal Transformer
Tampere University（坦佩雷大学）
密集视频描述旨在定位和描述未修剪视频中的重要事件。现有的方法主要通过只利用视觉特征来解决这个任务，而完全忽略了音轨。只有少数先前的作品利用了这两种模式，但它们显示出较差的结果或证明了具有特定域的数据集的重要性。在本文中，我们介绍了双模态Transformer，它概括了双模态输入的Transformer架构。我们展示了所提出的模型的有效性与音频和视觉模态的密集视频描述任务，但该模块能够消化任何两种形式的序列到序列的任务。我们还表明，作为双模态Transformer的一部分，预训练的双模态编码器可以用作简单提案生成模块的特征提取器。该性能在具有挑战性的ActivityNet Captions数据集上得到了证明，我们的模型在该数据集上实现了出色的性能。代码可在以下网址获得：v-iashin.github.io/bmt
2020-08-11 cs.CL cs.CV cs.LG
TROPE: TRaining-Free Object-Part Enhancement for Seamlessly Improving Fine-Grained Zero-Shot Image Captioning
Arizona State University（亚利桑那州立大学）
针对细粒度零样本图像描述生成性能不足的问题，提出无训练对象部件增强（TROPE），利用检测器与NLP补充部件细节，无缝提升各方法性能并达到最先进水平。
2024-11-02 cs.CL cs.CV
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
The University of Western Australia（西澳大学）
视频字幕的自动生成是计算机视觉中的一个基本挑战。最近的技术通常采用卷积神经网络（CNN）和递归神经网络（RNN）的组合用于视频描述。这些方法主要集中在通过RNN定制序列学习以更好地生成字幕，而现成的视觉特征则是从CNN中借来的。我们认为，仔细设计的视觉功能，这项任务是同样重要的，并提出了一个视觉功能编码技术，生成语义丰富的字幕使用门控递归单位（GRUs）。我们的方法通过分层地将短傅立叶变换应用于整个视频的CNN特征，在视觉特征中嵌入丰富的时间动态。它还从对象检测器中导出高级语义，以利用检测到的对象的空间动态来丰富表示。最终的表示被投影到一个紧凑的空间，并提供给一个语言模型。通过学习一个相对简单的语言模型，包括两个GRU层，我们建立了新的最先进的MSVD和MSR-VTT数据集的METEOR和ROUGE_L指标。
2019-04-29 cs.CV
Dual Graph Convolutional Networks with Transformer and Curriculum Learning for Image Captioning
Wuhan University（武汉大学）；JD Finance America Corporation（京东金融美国公司）；OPPO US Research Center, InnoPeak Technology Inc.（OPPO美国研究中心，英诺峰科技有限公司）
现有的图像描述方法只关注于理解单个图像中对象或实例之间的关系，而没有探索上下文图像之间存在的上下文相关性。在本文中，我们提出了双图卷积网络（Dual-GCN）与Transformer和课程学习的图像描述。特别地，我们不仅使用对象级GCN来捕获单个图像内的对象到对象的空间关系，而且还采用图像级GCN来捕获相似图像提供的特征信息。通过设计良好的Dual-GCN，可以使语言转换器Transformer更好地理解单个图像中不同对象之间的关系，并充分利用相似图像作为辅助信息，为单个图像生成合理的字幕描述。同时，通过引入交叉复习策略来确定难度水平，我们采用课程学习作为训练策略，以提高我们提出的模型的鲁棒性和泛化能力。我们在大规模MS COCO数据集上进行了大量的实验，实验结果有力地证明了我们提出的方法优于最近的最先进的方法。它的BLEU-1得分为82.2，BLEU-2得分为67.6。我们的源代码位于{ \em \color{magenta}{\url{https://github.com/Unbear430/DGCN-for-image-captioning}} }。
2021-08-05 cs.CV
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
UIT-DarkCow team at ImageCLEFmedical Caption 2024: Diagnostic Captioning for Radiology Images Efficiency with Transformer Models
University of Information Technology（信息科技大学）；Vietnam National University（越南国家大学）
本研究利用Transformer模型从放射学图像自动生成诊断性描述，VisionDiagnostor-BioBART取得最佳BERTScore 0.6267，团队获排行榜第三，旨在提升医疗报告质量与效率。
2024-05-28 cs.CV
Embodied Image Captioning: Self-supervised Learning Agents for Spatially Coherent Image Descriptions
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genoa（热那亚大学）
提出一种自监督三阶段框架，通过共识机制提炼伪描述并微调现成图像描述模型，显著提升了具身智能体在主动探索环境时跨视角图像描述的准确性和一致性。
2025-09-16 cs.CV cs.RO
When Better Eyes Lead to Blindness: A Diagnostic Study of the Information Bottleneck in CNN-LSTM Image Captioning Models
Independent Researcher（独立研究者）
本文通过从Genesis到Nexus的五个CNN-LSTM图像描述模型的迭代开发，揭示仅升级视觉骨干而不引入注意力机制会因单向量信息瓶颈导致性能下降，最终Nexus在MS COCO 2017上以BLEU-4 31.4验证了注意力机制的必要性。
2025-08-20 cs.AI cs.CV cs.LG
Fast Image Caption Generation with Position Alignment
University of Chinese Academy of Sciences（中国科学院大学）
目前用于图像描述的神经网络模型通常采用编码器-解码器结构，其中解码器采用递归序列解码方式。然而，这种自回归解码可能导致连续的错误积累和缓慢的产生，这限制了实际应用。非自回归（NA）解码已被提出来涵盖这些问题，但遭受语言质量问题，由于目标分布的间接建模。为此，我们提出了一种改进的NA预测框架，以加速图像描述。我们的解码部分包括一个位置对齐来排序描述给定图像中检测到的内容的单词，以及一个精细的非自回归解码器来生成优雅的描述。此外，我们引入了一个推理策略，把位置信息作为一个潜在的变量，以指导进一步的句子生成。在公开数据集上的实验结果表明，该模型的性能优于一般NA字幕模型，与自回归图像描述模型相当，并具有显著的加速比.
2019-12-13 cs.CV
EAMA : Entity-Aware Multimodal Alignment Based Approach for News Image Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
针对新闻图像描述中实体信息处理不足及文本输入充分性与简洁性权衡问题，提出EAMA方法，通过实体感知句子选择和实体选择两个对齐任务增强MLLM，在两个主流数据集上超越先前模型。
2024-09-20 cs.CL cs.CV
Attend to You: Personalized Image Captioning with Context Sequence Memory Networks
Lunit Inc.（Lunit 公司）；Seoul National University（首尔大学）
我们解决个性化问题的图像描述，这还没有讨论过在以前的研究。对于一个查询图像，我们的目标是生成一个描述性的句子，占先验知识，如用户在以前的文档中的活跃词汇。作为个性化图像描述的应用程序，我们解决了两个后自动化任务：主题标签预测和后生成，在我们新收集的Instagram数据集上，由来自6.3K用户的110万个帖子组成。本文提出了一种新的字幕模型--上下文序列记忆网络（CSMN）。它对以前的记忆网络模型的独特更新包括（i）利用记忆作为多种类型的上下文信息的存储库，（ii）将以前生成的单词附加到记忆中以捕获长期信息，而不会遭受消失梯度问题，以及（iii）采用CNN记忆结构来联合表示附近的有序记忆槽，以更好地理解上下文。通过Amazon Mechanical Turk的定量评估和用户研究，我们展示了CSMN的三个新功能的有效性及其在最先进的字幕模型上对个性化图像描述的性能增强。
2017-04-25 cs.CL cs.CV
Learning Distinct and Representative Styles for Image Captioning
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）
针对图像描述的模式坍塌问题，提出离散模式学习 DML，通过 CdVAE 学习可区分、具代表性的模式嵌入，并注入 MIC 分支控制生成风格，在 MSCOCO 上提升 Transformer 与 AoANet 的多样性和质量。
2023-08-15 cs.CV
TPsgtR: Neural-Symbolic Tensor Product Scene-Graph-Triplet Representation for Image Captioning
University of Florida（佛罗里达大学）
如果图形表示的结构可以用概念位置绑定来公式化，则可以改进图像描述。在这项工作中，我们介绍了一种新的技术，用于字幕生成使用的场景图的神经符号编码，来自区域的图像视觉信息，我们称之为张量积场景图三元组表示（TP $_{sgt}$ R）。虽然，以前的大多数工作集中在识别图像中的对象特征，我们引入了神经符号嵌入，可以将图像不同区域之间的识别关系嵌入到具体的形式中，而不是依赖于模型来组成任何/所有组合。这些神经符号表征有助于更好地定义神经符号空间，以实现神经符号注意，并可以转换为更好的字幕。在此基础上，我们引入了两种新的字幕生成模型（TP $_{sgt}$ R-TDBU和TP $_{sgt}$ R-sTDBU）进行对比，实验结果表明，本文提出的字幕生成模型性能优于其他模型，生成的字幕更加全面、自然。
2019-11-22 cs.CL cs.CV cs.LG
CaptionSmiths: Flexibly Controlling Language Pattern in Image Captioning
University of Seoul（首尔大学）
本文提出 CaptionSmiths 方法，通过将描述的长度、描述性和词语独特性量化为连续标量并利用端点向量插值进行条件控制，使单一图像描述模型能够平滑切换语言模式，并在词汇对齐和控制精度上优于基线。
2025-07-02 cs.CV
Visually-Aware Context Modeling for News Image Captioning
KU Leuven（KU Leuven（荷语鲁汶大学））
本文提出一种面向新闻图像描述的视觉感知上下文建模框架，包含人脸命名模块、基于CLIP的检索策略及CoLaM方法，在GoodNews和NYTimes800k数据集上显著超越现有方法。
2024-03-21 cs.CV
Continual Learning for Image Captioning through Improved Image-Text Alignment
IT & Engineering International University of Applied Sciences（IT与工程国际应用科学大学）
针对持续图像描述中的灾难性遗忘与图文对齐难题，提出融合三类对齐损失的多损失框架，在无推理额外开销的前提下，有效缓解遗忘并取得优于现有方法的语义对齐效果。
2025-11-18 cs.CV
Captioning for Text-Video Retrieval via Dual-Group Direct Preference Optimization
Korea University（韩国大学）；Hanwha Vision（翰威英航）；KAIST（韩国科学技术院）
针对文本-视频检索中辅助字幕泛化且难以区分的问题，提出CaRe-DPO框架，通过双组直接偏好优化和角色嵌入生成细粒度字幕，显著提升检索性能。
2025-09-20 cs.CV
Neural Twins Talk & Alternative Calculations
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
受人类大脑在描述高度集中的主题时如何使用更多神经通路的启发，我们表明用于图像描述的主要视觉语言任务的深度注意模型可以扩展以实现更好的性能。图像字幕是计算机视觉和自然语言处理之间的桥梁。自动化的图像描述是一种工具，可以消除人工为未见过的图像创建描述性字幕的需要。自动化的图像描述具有挑战性，但也很有趣。其中一个原因是，能够生成描述输入图像的句子的基于AI的系统可以用于各种各样的任务，而不仅仅是为在网络上找到的或上传到社交媒体的看不见的图像生成标题。例如，在生物学和医学科学中，这些系统可以为研究人员和医生提供相关图像的简短语言描述，从而可能加快他们的工作。
2021-08-05 cs.CV
UniTAB: Unifying Text and Box Outputs for Grounded Vision-Language Modeling
Microsoft Cloud and AI（微软云与人工智能部门）
我们提出了统一文本和框输出接地视觉语言（VL）建模的UniTAB。接地VL任务（如接地字幕）需要模型生成文本描述并将预测的单词与对象区域对齐。为了实现这一点，模型必须一起生成所需的文本和框输出，同时指示单词和框之间的对齐。与现有的使用多个单独模块进行不同输出的解决方案相比，UniTAB用共享的标记序列表示文本和框输出，并引入了一个特殊的<obj>标记来自然地指示序列中的单词框对齐。因此，UniTAB可以提供一个更全面和可解释的图像描述，通过自由接地生成的单词对象区域。在接地字幕方面，UniTAB提供了一个简单的解决方案，只有一个输出头，并且在接地和字幕评估方面都明显优于现有技术。在具有不同期望输出格式的一般VL任务上（即，文本、框或它们的组合），具有单个网络的UniTAB实现了比任务特定的最新技术水平更好或相当的性能。实验涵盖7个VL基准，包括接地字幕、视觉接地、图像描述和视觉问答。此外，UniTAB的统一多任务网络和任务无关的输出序列设计使模型参数有效，并可推广到新的任务。
2022-07-27 cs.CV
Multiple Instance Captioning: Learning Representations from Histopathology Textbooks and Articles
Warwick University（华威大学）
我们提出了一个计算病理学（CP）多实例字幕数据集，以促进CP任务的密集监督。现有的CP数据集专注于狭窄的任务;另一方面，CP包含针对一系列染色，组织类型和病理的密集诊断和形态描述。使用固有的维数估计，我们表明，CP数据集是唯一的CP数据集，（非）竞争对手的计算机视觉模拟MS-COCO字幕。我们推测，在密集图像字幕上预训练的编码器学习大多数CP任务的可转移表示。我们支持这一猜想，有证据表明，与ImageNet特征或仅通过病理图像的自监督或多任务学习获得的表示相比，ImageNet表示更好地转移到各种病理子任务。我们发布了我们最好的模型，并邀请其他研究人员在他们的CP任务中测试它。
2021-03-08 cs.AI cs.CV
Hidden State Guidance: Improving Image Captioning using An Image Conditioned Autoencoder
University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数基于RNN的图像描述模型接收对输出单词的监督以模仿人类字幕。因此，隐藏状态只能通过时间反向传播层接收噪声梯度信号，导致生成的字幕不太准确。因此，我们提出了一种新的框架，隐藏状态指导（HSG），匹配隐藏状态的字幕解码器中的教师解码器训练的一个更容易的任务，自动编码的字幕条件的图像。在使用REINFORCE算法进行训练期间，传统的奖励是平均分配给每个生成的单词的基于排名的评估指标，而不管它们的相关性如何。HSG提供了一个单词级的奖励，帮助模型学习更好的隐藏表示。实验结果表明，HSG明显优于各种国家的最先进的字幕解码器使用原始图像或检测到的对象作为输入。
2020-01-14 cs.CL cs.CV
Transparent Human Evaluation for Image Captioning
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们建立THumB，一个基于规则的人类评价协议的图像描述模型。我们的评分规则及其定义是基于MSCOCO数据集上机器和人类生成的标题精心开发的。每个标题都沿着两个主要维度进行评估，以权衡（精确度和召回率）以及衡量文本质量的其他方面（流畅性，简洁性和包容性语言）。我们的评价显示了当前评价实践中的几个关键问题。人类生成的字幕显示出比机器生成的字幕高得多的质量，特别是在显著信息的覆盖方面（即，召回），而大多数自动指标则相反。我们的基于规则的结果表明，CLIPScore，一个最近的指标，使用图像特征，更好地与人类的判断比传统的纯文本的指标，因为它是更敏感的召回。我们希望这项工作将促进一个更透明的评价协议的图像描述及其自动度量。
2022-05-18 cs.CL cs.CV
Multi-Task Video Captioning with Video and Entailment Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视频描述，描述视频内容的任务，近年来已经看到了一些有前途的改进与序列到序列模型，但准确地学习任务中涉及的时间和逻辑动态仍然是一个挑战，特别是考虑到缺乏足够的注释数据。我们通过与两个相关的定向生成任务共享知识来改进视频描述：一个时间定向的无监督视频预测任务，以学习更丰富的上下文感知视频编码器表示，和一个逻辑定向的语言蕴涵生成任务，以学习更好的视频蕴涵字幕解码器表示。为此，我们提出了一个多对多的多任务学习模型，该模型在三个任务的编码器和解码器之间共享参数。我们实现了显着的改进和新的国家的最先进的几个标准的视频描述数据集使用不同的自动和人工评估。我们还展示了相互多任务的蕴涵生成任务的改进。
2017-08-08 cs.AI cs.CL cs.CV
Question-controlled Text-aware Image Captioning
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
对于具有多个场景文本的图像，不同的人可能对不同的文本信息感兴趣。当前的文本感知图像描述模型不能根据不同的信息需求生成不同的字幕。为了探索如何生成个性化的文本感知字幕，我们定义了一个新的具有挑战性的任务，即文本控制的文本感知图像描述（Qc-TextCap）。该任务以问题为控制信号，要求模型理解问题，找到相关的场景文本，并用人类语言流利地将它们与对象一起描述。基于两个现有的文本感知字幕数据集，我们自动构建两个数据集，ControlTextCaps和ControlVizWiz来支持任务。我们提出了一种新的几何和问题感知模型（GQAM）。GQAM首先应用一个基于几何信息的视觉编码器，融合区域级对象特征和区域级场景文本特征，并考虑空间关系。然后，我们设计了一个视觉引导的编码器，为每个问题选择最相关的视觉特征。最后，GQAM使用多模态解码器生成个性化的文本感知字幕。我们的模型实现了更好的字幕性能和问答能力比精心设计的基线上的两个数据集。以问题作为控制信号，我们的模型比最先进的文本感知字幕模型生成更多信息和多样化的字幕。我们的代码和数据集可在https://github.com/HAWLYQ/Qc-TextCap上公开获取。
2021-08-04 cs.CV cs.MM
CapWAP: Captioning with a Purpose
Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）
传统的图像描述任务使用通用参考字幕来提供关于图像的文本信息。然而，不同的用户群体将关心图像的不同视觉方面。在本文中，我们提出了一个新的任务，字幕与目的（CapWAP）。我们的目标是开发一个系统，可以定制为有用的信息需求的目标人群，而不仅仅是提供有关图像的通用信息。在这个任务中，我们使用问答（QA）对-一个自然的表达信息需要-从用户，而不是参考标题，训练和推理后评估。我们表明，可以使用强化学习直接优化预期的信息需求，通过奖励输出，允许一个问答模型提供正确的答案，抽样用户的问题。我们将几个视觉问答数据集转换为CapWAP数据集，并证明了在各种情况下，我们有目的的字幕系统学会预测和满足特定的信息需求比一般的同行，作为衡量QA性能的用户问题，从看不见的图像，当单独使用的标题作为上下文。
2020-11-09 cs.CL cs.CV
Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage
Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学）；Adobe Research（Adobe研究）
本文针对多模态大语言模型在超详细图像描述中的幻觉问题，提出LLM-MLLM协作的多智能体纠正方法，并构建双重评估框架与基准数据集，显著提升描述的事实准确性，同时揭示VQA基准与详细描述能力不相关的局限性。
2025-07-07 cs.CV
