Intrinsic Image Captioning Evaluation
City University of Hong Kong(香港城市大学)
图像描述任务即将从图像生成合适的描述。对于这项任务,可能会有几个挑战,如准确性,流畅性和多样性。然而,在评价字幕模型的效果时,很少有指标能够涵盖所有这些属性。基于自动编码机制和词嵌入的研究进展,本文提出了一种基于学习的图像描述评价方法,我们称之为内在图像描述评价(I2CE)。我们选择了几个国家的最先进的图像描述模型和测试他们的表现在MS COCO数据集方面的当代指标和建议的I2CE。实验结果表明,该方法在语义相似或语义不一致的情况下,仍能保持较好的鲁棒性,并能对候选字幕给出更灵活的评分。在这个问题上,建议的度量可以作为一个新的指标之间的内在信息的字幕,这可能是补充现有的。
2020-12-14 cs.CV
Stack-Captioning: Coarse-to-Fine Learning for Image Captioning
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
现有的图像描述方法通常采用训练一级句子解码器,难以生成丰富的细粒度描述。另一方面,由于梯度消失问题,多级图像字幕模型难以训练。在本文中,我们提出了一个由粗到细的多阶段预测框架的图像描述,由多个解码器,每个操作上一个阶段的输出,产生越来越精细的图像描述。我们提出的学习方法通过提供一个执行中间监督的学习目标函数来解决训练过程中梯度消失的困难。特别是,我们优化我们的模型与强化学习的方法,利用每个中间解码器的测试时推理算法的输出,以及其前一个解码器的输出规范化的奖励,同时解决了众所周知的曝光偏差问题和损失评估不匹配的问题。我们广泛评估所提出的方法MSCOCO和表明,我们的方法可以实现国家的最先进的性能。
2018-03-14 cs.CV
Partially-Supervised Image Captioning
Georgia Tech(佐治亚理工学院);Macquarie University(麦考瑞大学);Australian National University(澳大利亚国立大学)
图像描述模型在描述受限域中的图像内容方面变得越来越成功。然而,如果这些模型要在野外发挥作用--例如,作为视力受损者的助手--就必须理解数量和种类多得多的视觉概念。为了解决这个问题,我们教图像描述模型新的视觉概念标记的图像和目标检测数据集。由于图像标签和对象类可以被解释为部分标题,我们制定了这个问题,从部分指定的序列数据学习。然后,我们提出了一种新的算法训练序列模型,如递归神经网络,部分指定的序列,我们表示使用有限状态自动机。在图像描述的上下文中,我们的方法解除了限制,以前需要的图像描述模型只在成对的图像句子语料库上进行训练,或者需要专门的模型架构,以利用替代的数据模态。将我们的方法应用于现有的神经字幕模型,我们使用COCO数据集在新的对象字幕任务上取得了最先进的结果。我们进一步表明,我们可以训练字幕模型来描述来自Open Images数据集的新视觉概念,同时保持具有竞争力的COCO评估分数。
2018-11-28 cs.CV
Towards Unique and Informative Captioning of Images
Princeton University(普林斯顿大学);California Institute of Technology(加州理工学院)
尽管取得了相当大的进步,但现有技术的图像描述模型产生通用的标题,忽略了重要的图像细节。此外,这些系统甚至可能歪曲图像,以便产生由共同概念组成的更简单的标题。在本文中,我们首先分析了现代字幕系统和评价指标,通过实证实验来量化这些现象。我们发现,现代字幕系统返回更高的可能性为不正确的干扰语句相比,地面真相字幕,和评价指标,如SPICE可以“顶”使用简单的字幕系统依赖于对象检测器。受这些观察的启发,我们设计了一个新的度量(SPICE-U)通过引入一个概念的唯一性在标题中生成的概念。我们发现,SPICE-U是更好地与人类的判断相比,SPICE,并有效地捕捉到多样性和连续性的概念。最后,我们还展示了一种通用的技术,以改善任何现有的字幕模型-通过使用互信息作为重新排序的目标在解码过程中。从经验上讲,这会产生更独特和信息量更大的标题,并改进SPICE-U上的三种不同的最先进模型以及现有指标的平均得分。
2020-09-08 cs.CV
Captioning Images Taken by People Who Are Blind
University of Texas at Austin(德克萨斯大学奥斯汀分校)
虽然视觉社区中的一个重要问题是设计可以自动为图像添加标题的算法,但很少有公开的算法开发数据集直接满足真实用户的兴趣。观察到盲人依赖(基于人类的)图像描述服务来了解他们拍摄的图像近十年,我们介绍了第一个图像描述数据集来代表这个真实的用例。这个新的数据集,我们称之为VizWiz-Captions,由来自盲人的超过39,000张图像组成,每张图像都与五个标题配对。我们分析这个数据集,以(1)表征典型的字幕,(2)表征图像中发现的内容的多样性,(3)将其内容与八个流行的视觉数据集中发现的内容进行比较。我们还分析了现代图像描述算法,以确定是什么使这个新的数据集的视觉社区的挑战。我们在https://vizwiz.org上公开分享数据集和字幕挑战说明
2020-07-15 cs.CV
Reflective Decoding Network for Image Captioning
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
现有的图像描述方法大多集中在改善图像的视觉特征上,较少关注利用语言的固有特性来提高字幕效果。在本文中,我们表明,词汇之间的连贯性和句子的句法范式也很重要,以产生高质量的图像字幕。在传统的编码器-解码器框架下,我们提出了用于图像描述的反射解码网络(RDN),它增强了字幕解码器中单词的长序列依赖性和位置感知。我们的模型学习协作地关注视觉和文本特征,同时感知每个单词在句子中的相对位置,以最大限度地提高生成的标题中提供的信息。我们评估我们的RDN的有效性COCO图像描述数据集上,并实现优于以前的方法的性能。进一步的实验表明,我们的方法是特别有利的复杂的场景描述的标题硬的情况下。
2019-08-30 cs.CV
Progress-Aware Video Frame Captioning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出帧级进度感知视频字幕生成任务,构建ProgressCaptioner模型及FrameCap数据集和FrameCapEval基准,显著提升字幕时间精度,并应用于关键帧选择与视频理解。
2025-03-26 cs.CV
Improving Image Captioning by Leveraging Knowledge Graphs
Artificial Intelligent Research Laboratory(人工智能研究实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
我们探索使用知识图谱,捕捉一般或常识的知识,以增强从图像中提取的信息,通过最先进的方法为图像描述。我们的实验的结果,在几个基准数据集,如MS COCO,如CIDER-D,图像描述的性能度量所测量的,显示了利用从知识图谱中提取的信息的图像描述的最先进的方法的变体可以大大优于那些只依赖于从图像中提取的信息。
2019-01-25 cs.CV
Neural Attention for Image Captioning: Review of Outstanding Methods
University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
图像描述是自动生成以最佳方式描述输入图像的句子的任务。自动生成图像字幕的最成功的技术最近使用了专注深度学习模型。具有注意力的深度学习模型的设计方式有很多变化。在本次调查中,我们提供了与图像描述的专注深度学习模型相关的文献综述。我们没有对深度图像描述模型的所有先前工作进行全面回顾,而是解释了用于深度学习模型中图像描述任务的各种类型的注意力机制。用于图像描述的最成功的深度学习模型遵循编码器-解码器架构,尽管这些模型采用注意力机制的方式存在差异。通过对不同注意深度模型在图像描述中的表现结果的分析,旨在寻找最成功的图像描述深度模型中的注意力机制类型。软注意、自下而上注意和多头注意力是在用于图像描述的最先进的注意深度学习模型中广泛使用的注意力机制类型。目前,最好的结果是从具有自下而上注意力的多头注意力的变体中获得的。
2021-11-29 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu(百度ERNIE团队);College of Artificial Intelligence, Inner Mongolia University(内蒙古大学人工智能学院)
提出CodecCap框架,通过关键帧和残差字幕模拟视频编解码器,在保持细粒度视觉证据的同时减少冗余,并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT(麻省理工学院);IBM Research(IBM研究院);JD AI Research(京东人工智能研究院);UC Davis(加州大学戴维斯分校)
视觉语言基础在现代神经图像描述系统中被广泛研究,其通常采用由两个主要组件组成的编码器-解码器框架:用于图像特征提取的卷积神经网络(CNN)和用于语言字幕生成的递归神经网络(RNN)。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性,我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法,检查神经图像描述系统是否会被误导,输出一些随机选择的标题或关键字。我们广泛的实验表明,我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例,并且对抗性示例可以高度转移到其他图像描述系统。因此,我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Improving Image Captioning with Control Signal of Sentence Quality
University of Electronic Science and Technology of China(电子科技大学)
在图像描述的数据集中,每幅图像都与多个描述对齐。尽管这些描述的质量各不相同,但现有的字幕模型在训练过程中对它们一视同仁。在本文中,我们提出了一个新的控制信号的句子质量,这是作为一个额外的输入到字幕模型。通过整合控制信号信息,字幕模型知道目标句子的质量水平,并以不同的方式处理它们。此外,我们提出了一种新的强化训练方法,专门设计的控制信号的句子质量:质量导向的自标注训练(Q-SAT)。在MSCOCO数据集上的大量实验表明,在没有来自地面实况字幕的额外信息的情况下,由最高质量水平控制的模型在基于准确性的评估指标上优于基线模型,这验证了我们所提出的方法的有效性。
2023-03-09 cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University(北京航空航天大学);Tencent AI LAB(腾讯AI实验室)
虽然端到端(E2E)学习已经在各种视觉理解任务上取得了令人印象深刻的进展,但它经常受到硬件限制(例如,GPU内存),并且易于过拟合。当涉及到视频描述时,这是计算机视觉中最具挑战性的基准任务之一,E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上,用于视频描述的现有技术方法通过卷积神经网络来处理视频帧,并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们,生成的模型既消耗内存又需要大量数据,这使得训练非常困难。在本文中,我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务(例如,属性、奖励和字幕),使得它们可以联合调节E2E神经网络的搜索空间,从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知,这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明,该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology(布尔诺理工大学)
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入,以找到语义相似的图像。从这些图像中,基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低,但它在通过图灵测试的字幕比例方面具有竞争力,并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);University of Udine(乌迪内大学)
图像描述最近得到了很多关注,这要归功于深度字幕架构所取得的令人印象深刻的成就,深度字幕架构结合了卷积神经网络来提取图像表示,并结合了递归神经网络来生成相应的字幕。与此同时,一个重要的研究工作一直致力于显着性预测模型的发展,它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构,研究仍然在努力将这两种技术结合起来。在这项工作中,我们提出了一个图像描述的方法,其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题,通过利用由显着性预测模型上的图像的部分是显着的,哪些是上下文的条件。我们表明,通过对大规模数据集进行广泛的定量和定性实验,我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Boosted Attention: Leveraging Human Attention for Image Captioning
Department of Computer Science and Engineering, University of Minnesota(明尼苏达大学计算机科学与工程系)
视觉注意力在图像描述中已经显示出有用性,其目的是使字幕模型能够选择性地聚焦于感兴趣区域。现有的模型通常依赖于自上而下的语言信息,并通过优化字幕目标来隐式地学习注意力。虽然有些有效,但学习的自上而下的注意力在没有直接监督的情况下可能无法集中在正确的兴趣区域。受人类视觉系统的启发,它不仅是由特定于任务的自上而下的信号,但也是视觉刺激,我们在这项工作中提出使用这两种类型的注意图像描述。特别是,我们强调了这两种类型的注意力的互补性,并开发了一个模型(提升注意力),将它们整合为图像描述。我们验证了所提出的方法与国家的最先进的性能在各种评估指标。
2019-03-18 cs.CV
Good News, Everyone! Context driven entity-aware captioning for news images
Computer Vision Center, UAB, Spain(西班牙加泰罗尼亚理工大学计算机视觉中心)
当前的图像描述系统仅在描述性水平上执行,基本上列举场景中的对象及其关系。相反,人类通过整合世界的几个先验知识来源来解释图像。在这项工作中,我们的目标是采取一个步骤更接近生产字幕,提供一个合理的解释的场景,通过整合这样的上下文信息到字幕管道。为此,我们专注于用于说明新闻文章的图像的标题。我们提出了一种新的字幕方法,能够利用上下文信息与图像相关联的新闻文章的文本提供。我们的模型能够有选择地从视觉线索引导的文章中提取信息,并动态地将输出字典扩展到出现在上下文源中的词汇表外的命名实体。此外,我们介绍了“好新闻”,最大的新闻图像描述数据集在文献中,并展示了国家的最先进的结果。
2019-04-02 cs.CV
Meaning guided video captioning
BITS Pilani(比尔拉科学技术学院皮拉尼分校);Hiroshima University(广岛大学)
当前的视频描述方法在生成语义上与地面实况语句相似的字幕的同时,经常遭受在要描述的视频中丢失对象的问题。在本文中,我们提出了一种新的方法来视频描述,可以描述由目标检测检测到的对象,并生成具有正确的字幕相似的意义的字幕。我们的模型依赖于S2VT,一个用于视频描述的序列到序列模型。给定视频帧序列,编码RNN获取帧以及帧中检测到的对象,以便将对象的信息并入场景中。然后,将以下解码RNN输出馈送到注意层,然后馈送到解码器以生成字幕。通过学习度量将字幕与地面实况进行比较,使得生成的字幕的矢量表示在语义上类似于地面实况的矢量表示。在MSDV数据集上的实验结果表明,该方法的性能明显优于未引入意义引导框架的模型,表明了该模型的有效性。代码可在https://github.com/captanlevi/Meaning-guided-video-captioning-上公开获取。
2019-12-12 cs.CV
Watch What You Just Said: Image Captioning with Text-Conditional Attention
University of Michigan(密歇根大学);University of Rochester(罗切斯特大学)
注意力机制由于其强大的性能而在图像描述中引起了相当大的兴趣。然而,现有的方法仅使用视觉内容作为注意力,文本上下文是否可以提高图像描述中的注意力仍然没有解决。为了探索这个问题,我们提出了一种新型的注意力机制,称为\textit{text-conditional attention},它允许字幕生成器关注先前生成的文本的某些图像特征。为了获得我们的注意力模型的文本相关图像特征,我们采用了引导性长短期记忆(gLSTM)字幕架构和CNN微调。我们提出的方法允许联合学习的图像嵌入,文本嵌入,文本条件注意和语言模型与一个网络架构在一个端到端的方式。我们在MS-COCO数据集上进行了大量的实验。实验结果表明,我们的方法优于国家的最先进的字幕方法的各种定量指标,以及在人类的评价,这支持使用我们的文本条件注意在图像描述。
2016-11-24 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute(OPPO研究院);Tongji University(同济大学)
本研究针对Soccernet数据集的密集视频字幕任务,采用Blip框架生成足球动作字幕,结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位,完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
In-Home Daily-Life Captioning Using Radio Signals
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文旨在描述日常生活,即,来创建人们的活动以及与家中物品的交互的文本描述。解决这个问题需要超越传统视频描述的新方法,因为大多数人对在家中部署摄像头会有隐私问题。我们介绍RF日记,一个新的模式,通过分析隐私保护的无线电信号在家里的家庭的平面图的日常生活的字幕。RF-Diary可以通过墙壁和遮挡以及黑暗环境进一步观察和说明人们的生活。在设计RF-Diary时,我们利用无线电信号的能力来捕捉人的3D动态,并使用floor map来帮助模型学习人与物体的交互。我们还使用了一个多模态特征对齐训练方案,该方案利用现有的基于视频的字幕数据集来提高我们基于无线电的字幕模型的性能。大量的实验结果表明,RF-Diary在可见条件下生成准确的字幕。它还在黑暗或遮挡的环境中保持了良好的性能,其中基于视频的字幕方法无法生成有意义的字幕。欲了解更多信息,请访问我们的项目网页:http://rf-diary.csail.mit.edu
2020-08-25 cs.CV
Weakly Supervised Dense Event Captioning in Videos
Tsinghua University(清华大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Microsoft Research Asia(微软亚洲研究院);Tencent AI Lab(腾讯人工智能实验室)
密集事件字幕旨在检测和描述视频中包含的所有感兴趣的事件。尽管在这一领域的先进发展,现有的方法解决这个任务,利用密集的时间注释,这是显着的源消耗。本文提出了一个新的问题:弱监督密集事件字幕,它不需要时间段的模型训练注释。我们的解决方案是基于一一对应的假设,每个标题描述一个时间段,每个时间段有一个标题,这在当前的基准数据集和大多数现实世界的情况下。我们将问题分解为一对对偶问题:事件字幕和句子定位,并提出了一个循环系统来训练我们的模型。大量的实验结果证明了我们的模型在密集事件字幕和句子定位视频的能力。
2018-12-10 cs.CV
Journalistic Guidelines Aware News Image Captioning
Stony Brook University(石溪大学);Dataminr Inc.(Dataminr公司)
新闻图像描述字幕的任务是为新闻图像生成描述性和信息性的字幕。与简单地用一般术语描述图像内容的传统图像标题不同,新闻图像标题遵循新闻准则,并且严重依赖命名实体来描述图像内容,通常从与它们相关联的整篇文章中提取上下文。在这项工作中,我们提出了一种新的方法来完成这项任务,其动机是记者遵循的标题准则。我们的方法,新闻指南意识到新闻图像描述(JoGANIC),利用标题的结构,以提高生成质量,并指导我们的表示设计。在两个大规模公开数据集上进行的实验结果(包括详细的消融研究)表明,JoGANIC在标题生成和命名实体相关度量方面都大大优于最先进的方法。
2021-09-10 cs.CV
End-to-end Image Captioning Exploits Multimodal Distributional Similarity
The University of Sheffield(谢菲尔德大学)
我们假设,端到端的神经图像描述系统的工作似乎很好,因为他们利用和学习“分布相似性”在多模态特征空间,通过映射测试图像在这个空间中类似的训练图像,并从相同的空间生成一个标题。为了验证我们的假设,我们专注于图像描述的“图像”方面,并改变输入图像表示,但保持CNN-RNN模型的RNN文本生成组件不变。我们的分析表明,图像描述模型(i)是能够分离的结构从嘈杂的输入表示;(ii)遭受几乎没有显着的性能损失时,高维表示被压缩到一个较低的维度空间;(iii)聚类图像相似的视觉和语言信息在一起。我们的研究结果表明,我们的分布相似性假设成立。我们的结论是,无论使用的图像表示图像描述系统似乎匹配图像,并在一个学习的联合图像-文本语义子空间生成字幕。
2018-09-11 cs.CV
It's Just Another Day: Unique Video Captioning by Discriminative Prompting
University of Bristol(布里斯托大学);University of Oxford(牛津大学)
本文提出唯一视频字幕生成问题及CDP方法,通过预测区分相同字幕片段的属性生成唯一字幕,在第一人称视频和时间循环电影基准上显著提升了文本到视频检索R@1指标。
2024-10-15 cs.CV
Look and Modify: Modification Networks for Image Captioning
Multimedia University(多媒体大学)
基于注意力的神经编码器-解码器框架已被广泛用于图像描述。这些框架中的许多框架将其全部焦点部署在通过仅依赖于图像特征或目标检测区域特征从头开始生成字幕上。在本文中,我们介绍了一种新的框架,通过对剩余信息进行建模,从给定的框架中学习修改现有的字幕,在每个时间步,模型学习保留,删除或添加到现有字幕中的内容,使模型能够完全专注于“修改什么”而不是“预测什么”。我们在COCO数据集上评估了我们的方法,在几个图像描述框架上进行了训练,并表明我们的模型成功地修改了标题,从而获得了更好的评价分数。
2020-03-09 cs.CV
Cycle-Consistency Learning for Captioning and Grounding
Huawei Inc.(华为公司);University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所)
提出CyCo循环一致性学习框架,桥接视觉定位与图像描述,实现半弱监督训练并提升全监督性能,生成可描述任意区域的通用描述模型。
2023-12-23 cs.CV
Unsupervised Image Captioning
Tencent AI Lab(腾讯人工智能实验室);University of Rochester(罗切斯特大学)
深度神经网络在图像描述任务上取得了巨大成功。然而,大多数现有的模型严重依赖于成对的图像-句子数据集,这是非常昂贵的获取。在本文中,我们首次尝试以无监督的方式训练一个图像描述模型。而不是依赖于手动标记的图像-句子对,我们提出的模型只需要一个图像集,句子语料库,和现有的视觉概念检测器。句子语料库用于教导字幕模型如何生成合理的句子。同时,视觉概念检测器中的知识被提取到字幕模型中,以指导模型识别图像中的视觉概念。为了进一步鼓励生成的字幕与图像语义一致,图像和字幕被投影到公共潜在空间中,使得它们可以彼此重构。鉴于现有的句子语料库主要是为语言学研究而设计的,因此很少参考图像内容,我们爬行了一个大规模的图像描述语料库的200万个自然句子,以促进无监督的图像描述的情况。实验结果表明,我们提出的模型是能够产生相当有前途的结果没有任何字幕注释。
2019-04-06 cs.CV
Exploring Nearest Neighbor Approaches for Image Captioning
Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
我们探讨了各种最近邻基线方法的图像描述。这些方法在训练集中找到一组最近邻图像,可以从该训练集中借用字幕用于查询图像。我们通过找到最能代表从最近邻图像收集的候选字幕集的“一致性”的字幕来为查询图像选择字幕。当通过MS COCO字幕评估服务器上的自动评估指标进行测量时,这些方法的性能与许多最近生成新颖字幕的方法一样好。然而,人类研究表明,生成新颖字幕的方法仍然优于最近邻方法。
2015-05-17 cs.CV
Understanding and Evaluating Racial Biases in Image Captioning
Princeton University(普林斯顿大学)
图像描述是一项重要的任务,为基准的视觉推理和使无障碍的人与视觉障碍。然而,正如在许多机器学习环境中一样,社会偏见可能会以不期望的方式影响图像描述。在这项工作中,我们研究了图像描述中的偏差传播途径,特别关注COCO数据集。先前的工作分析了使用自动派生的性别标签的标题中的性别偏见,在这里,我们研究使用手动注释的种族和交叉偏见。我们的第一个贡献是在获得IRB批准后,注释了28,315名被描绘的人的感知性别和肤色。使用这些注释,我们比较了手动和自动生成的图像标题中存在的种族偏见。我们展示了图片的标题性能,情绪和文字选择之间的差异与较深的皮肤的人。此外,我们发现这些差异的幅度在现代字幕系统中比旧的字幕系统更大,从而导致人们担心,如果没有适当的考虑和缓解,这些差异只会变得越来越普遍。代码和数据可在https://princetonvisualai.github.io/imagecaptioning-bias上获得。
2021-08-30 cs.CV
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.(InnoPeak科技公司);Stony Brook University(石溪大学)
图像描述通过使用场景图来表示图像中对象的关系,能够实现更好的性能。目前的字幕编码器通常使用图卷积网络(GCN)来表示关系信息,并通过级联或卷积将其与对象区域特征合并,以获得用于句子解码的最终输入。然而,由于两个原因,现有方法中基于GCN的编码器对于字幕效果较差。首先,使用图像描述作为目标(即,最大似然估计)而不是以关系为中心的损失不能充分发掘编码器的潜力。其次,使用预先训练的模型而不是编码器本身来提取关系是不灵活的,并且不能有助于模型的可解释性。为了提高图像描述的质量,我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征,并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型,将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕,而且可以提取强关系的图像特征,还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明,我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong(香港城市大学);Fuzhou University(福州大学)
自动评估图像字幕的质量可能是非常具有挑战性的,因为人类语言是非常灵活的,可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发,我们提出了一种基于学习的图像描述度量,我们称之为内在图像描述评价($I^2CE$)。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型,双分支模型和三分支模型。我们的实证测试表明,$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断,当代图像描述评价指标。此外,我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明,我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上,建议的度量可以作为一个新的指标的内在信息之间的字幕,这可能是补充现有的。
2021-06-29 cs.CV
AVC-DPO: Aligned Video Captioning via Direct Preference Optimization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);College of Artificial Intelligence, Nankai University(南开大学人工智能学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
本文提出AVC-DPO后训练框架,通过针对时间动态和空间信息的增强提示进行直接偏好优化,提升视频多模态大语言模型的描述能力,并在CVPR'25视频详细描述挑战赛中获得第一名。
2025-07-02 cs.CV
Guided Open Vocabulary Image Captioning with Constrained Beam Search
The Australian National University(澳大利亚国立大学);Macquarie University(麦考瑞大学)
现有的图像描述模型不能很好地推广到包含新场景或对象的域外图像。这种限制严重阻碍了这些模型在处理野外图像的现实应用中的使用。我们使用一种灵活的方法来解决这个问题,该方法使现有的深度字幕架构能够在测试时利用图像标记器,而无需重新训练。我们的方法使用约束束搜索来强制在输出中包含选定的标记词,并使用固定的预训练词嵌入来促进词汇扩展到以前未见过的标记词。使用这种方法,我们实现了最先进的结果,在MSCOCO的域外字幕(和改进的结果,在域字幕)。也许令人惊讶的是,我们的结果显着优于将相同的标签预测纳入学习算法的方法。我们还表明,我们可以通过利用地面实况标签来显着提高生成的ImageNet标题的质量。
2017-07-19 cs.CV
Geometry Attention Transformer with Position-aware LSTMs for Image Captioning
University of Electronic Science and Technology of China(电子科技大学)
近年来,Transformer结构已经广泛应用于图像描述中,并具有令人印象深刻的性能。为了获得良好的字幕效果,不同视觉对象的几何形状和位置关系通常被认为是关键信息。为了进一步促进基于Transformers的图像描述,提出了一种改进的几何注意力Transformer(GAT)模型.为了进一步利用几何信息,两个新的几何感知架构分别设计的编码器和解码器在我们的GAT。此外,该模型还包括两个工作模块:1)几何门控自注意细化器,用于在编码步骤中显式地将相对空间信息合并到图像区域表示中; 2)一组位置LSTM,用于在生成字幕文本时精确地通知解码器相对单词位置。在MS COCO和Flickr 30 K数据集上的实验结果表明,该方法具有较好的效果,并且性能优于现有的图像描述模型.
2021-10-01 cs.CV
COMIC: Towards A Compact Image Captioning Model with Attention
University of Malaya(马来亚大学)
最近的工作在图像描述显示了非常有前途的原始性能。然而,我们意识到,大多数这些编码器-解码器风格的注意力网络不能自然地扩展到大的词汇量,使它们难以部署在硬件资源有限的嵌入式系统上。这是因为单词和输出嵌入矩阵的大小与词汇表的大小成比例地增长,从而对这些网络的紧凑性产生不利影响。针对这一局限性,本文在图像描述领域引入了一种全新的思想。也就是说,我们解决了迄今为止尚未探索的图像描述模型的紧凑性问题。我们发现,我们提出的模型,名为COMIC for COMpact图像描述,在MS-COCO和InstaPIC-1.1M数据集上,尽管嵌入词汇量小了39 - 99倍,但在五个常见的评估指标中,与最先进的方法取得了相当的结果。源代码和模型可在以下网址获得:https://github.com/jiahuei/COMIC-Compact-Image-Captioning-with-Attention
2019-06-11 cs.CV
CapOnImage: Context-driven Dense-Captioning on Image
Northwestern Polytechnical University(西北工业大学);Alibaba Group(阿里巴巴集团)
现有的图像描述系统专用于生成图像的叙事字幕,其在呈现中与图像空间分离。但是,文字也可以作为图像上的装饰,突出重点,增加图像的吸引力。在这项工作中,我们引入了一个新的任务,称为图像上的字幕(CapOnImage),其目的是根据上下文信息在图像的不同位置生成密集的字幕。为了充分利用周围的视觉上下文来为每个位置生成最合适的字幕,我们提出了一个多模态预训练模型,该模型具有多层次的预训练任务,从容易到困难逐步学习文本和图像位置之间的对应关系。由于该模型可能会为附近的位置生成冗余的字幕,我们进一步增强了与相邻位置作为上下文的位置嵌入。对于这个新任务,我们还引入了一个名为CapOnImage2M的大规模基准测试,其中包含210万个产品图像,每个图像平均具有4.8个空间本地化标题。与其他图像描述模型变体相比,我们的模型在字幕准确性和多样性方面都取得了最好的结果。我们将公开代码和数据集,以方便未来的研究。
2022-04-27 cs.CV
The Solution for the CVPR2024 NICE Image Captioning Challenge
Nanjing University of Science and Technology(南京理工大学);Alibaba(阿里巴巴)
本报告提出了一种针对CVPR2024 NICE零样本图像描述挑战的解决方案,通过检索增强和描述分级方法,结合OFA模型与高质量训练数据,实现了234.11的CIDEr得分。
2024-04-29 cs.CV
A Comprehensive Analysis of Real-World Image Captioning and Scene Identification
本文针对真实世界低质量图像描述难题,基于MIT Indoor scenes构建含800+图像、65+场景类别的数据集,并采用IC3方法生成描述,系统评估了不同编码机制、语言解码器和训练流程下多种模型的性能。
2023-08-05 cs.CV
Let there be a clock on the beach: Reducing Object Hallucination in Image Captioning
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心)
用缺失或不存在的对象来解释图像被称为图像描述中的对象偏差(幻觉)。这种行为在最先进的字幕模型中很常见,这是人类不希望看到的。为了减少字幕中的对象幻觉,我们提出了三种简单而有效的句子训练增强方法,这些方法不需要新的训练数据或增加模型大小。通过广泛的分析,我们表明,所提出的方法可以显着减少我们的模型的对象偏见的幻觉指标。此外,我们通过实验证明,我们的方法减少了对视觉特征的依赖。我们所有的代码、配置文件和模型重量都将公开。
2021-11-02 cs.CV
Image Captioning as Neural Machine Translation Task in SOCKEYE
Amazon Research(亚马逊研究院)
图像描述是介于计算机视觉和自然语言处理之间的一个交叉学科。任务是生成图像内容的文本描述。用于图像描述的典型模型是编码器-解码器深度网络,其中编码器捕获图像的本质,而解码器负责生成描述图像的句子。注意力机制可以用于自动地将解码器聚焦在与预测下一个单词相关的图像部分上。在本文中,我们探讨了神经机器翻译中流行的不同解码器和注意力模型,即注意力递归神经网络,自注意力Transformers和全卷积网络,它们代表了神经机器翻译的当前技术水平。图像描述模块作为SOCKEYE的一部分在https://github.com/awslabs/sockeye上提供,其教程可以在https://awslabs.github.io/sockeye/image_captioning.html上找到。
2018-10-15 cs.CV
Shot2Tactic-Caption: Multi-Scale Captioning of Badminton Videos for Tactical Understanding
Nagoya Institute of Technology(名古屋技术大学);Nagoya University(名古屋大学)
本文提出Shot2Tactic-Caption框架及首个羽毛球描述数据集,通过双分支结构和逐击球提示引导机制,实现击球级与战术级多尺度视频描述,有效捕捉中断后恢复的战术执行。
2025-10-16 cs.CV
Sali4Vid: Saliency-Aware Video Reweighting and Adaptive Caption Retrieval for Dense Video Captioning
Hanyang University(翰阳大学)
针对现有密集视频字幕模型帧权重均等、忽略场景转换的问题,提出Sali4Vid框架,通过显著性感知视频重加权和自适应字幕检索优化任务效果,在两个基准上达SOTA。
2025-09-04 cs.CV
Bench-Marking And Improving Arabic Automatic Image Captioning Through The Use Of Multi-Task Learning Paradigm
University of Colorado Boulder(科罗拉多大学博尔德分校);University of British Columbia(不列颠哥伦比亚大学)
社交媒体的使用和互联网上的视觉内容的持续增长加速了计算机视觉领域的研究,特别是图像描述任务。生成最好地描述图像的字幕的过程对于各种应用是有用的任务,例如它可以用于图像索引和作为视力受损者的助听器。近年来,图像描述任务在数据集和体系结构方面都取得了显着的进步,因此,字幕质量已经达到了惊人的性能。然而,大多数这些进步,特别是在数据集方面,都是针对英语的,这使得阿拉伯语等其他语言落后。尽管阿拉伯语有超过4.5亿人使用,并且是互联网上增长最快的语言,但它缺乏推进其图像描述研究所需的基本支柱,例如基准或统一数据集。这项工作是一种尝试,以加快在这项任务中的协同作用,提供统一的数据集和基准,同时也探索的方法和技术,可以提高阿拉伯图像描述的性能。多任务学习的使用进行了探索,同时探索各种单词表示和不同的功能。结果表明,使用多任务学习和预训练的词嵌入显着提高了图像描述的质量,但所呈现的结果显示,阿拉伯语字幕仍然落后于英语。使用的数据集和代码可在此链接中获得。
2022-03-11 cs.CV
Self-Supervised Image Captioning with CLIP
New York University(纽约大学)
针对图像描述依赖大量图文对的问题,提出先用少量有标注数据初始化、再借助 CLIP 相关性辅助任务进行自监督学习的方法,仅用不到2%的COCO标注即达到全量训练的先进性能。
2023-11-02 cs.CV
Visual News: Benchmark and Challenges in News Image Captioning
University of Maryland(马里兰大学);Amazon Alexa(亚马逊 Alexa);University of Virginia(弗吉尼亚大学);Rice University(莱斯大学)
我们提出了视觉新闻字幕,一个实体感知的新闻图像描述的任务模型。我们还介绍了Visual News,这是一个大规模的基准测试,包含超过一百万张新闻图片以及相关的新闻文章、图片标题、作者信息和其他元数据。与标准的图像描述任务不同,新闻图像描述了人物、位置和事件至关重要的情况。我们提出的方法可以有效地结合视觉和文本特征,以生成具有更丰富信息(如事件和实体)的字幕。更具体地说,建立在Transformer架构,我们的模型进一步配备了新的多模态特征融合技术和注意力机制,旨在更准确地生成命名实体。我们的方法使用更少的参数,同时实现略好的预测结果比竞争的方法。我们更大、更多样化的视觉新闻数据集进一步突出了新闻图片字幕方面的剩余挑战。
2021-09-13 cs.CV
Text-guided Attention Model for Image Captioning
POSTECH(浦项科技大学)
视觉注意在图像理解中起着重要的作用,并在生成图像的自然语言描述中表现出其有效性。另一方面,最近的研究表明,与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发,我们引入了一个文本引导的注意力模型的图像描述,学习驱动视觉注意力使用相关的字幕。对于这个模型,我们提出了一个基于范例的学习方法,检索从训练数据相关的标题与每个图像,并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型,并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
Contrastive Learning for Image Captioning
The Chinese University of Hong Kong(香港中文大学)
图像描述是计算机视觉的一个热门课题,近年来取得了长足的进展。然而,自然描述的独特性在以前的工作中经常被忽视。它与字幕的质量密切相关,因为独特的字幕更有可能描述具有独特方面的图像。在这项工作中,我们提出了一种新的学习方法,对比学习(CL),图像描述。具体而言,通过制定的参考模型的顶部上的两个约束,所提出的方法可以鼓励独特性,同时保持生成的字幕的整体质量。我们在两个具有挑战性的数据集上测试了我们的方法,它显著提高了基线模型。我们还表明,在我们的研究中,所提出的方法是通用的,可用于各种结构的模型。
2017-10-06 cs.CV
A-CAP: Anticipation Captioning with Commonsense Knowledge
The University of Tokyo(东京大学);The Graduate University for Advanced Studies(综合研究大学院大学);National Institute of Informatics(国立情报学研究所)
本文提出预期描述生成任务及A-CAP模型,通过将常识知识融入预训练视觉-语言模型,利用稀疏时序图像预测未来图像描述,并在视觉叙事数据集上取得优于现有方法的性能。
2023-04-13 cs.CV
Unpaired Image Captioning by Language Pivoting
Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
图像描述是涉及计算机视觉和自然语言处理的多模态任务,其目标是学习从图像到其自然语言描述的映射。通常,映射函数是从图像-字幕对的训练集学习的。然而,对于某些语言,大规模的图像-字幕配对语料库可能无法使用。我们提出了一种方法,这种不成对的图像描述问题的语言旋转。我们的方法可以有效地捕捉图像字幕的特点,从主语言(中文),并将其对齐到目标语言(英语)使用另一个非目标(汉英)句子平行语料库。我们在两个图像到英语的基准数据集上评估我们的方法:MSCOCO和Flickr 30 K。对几个基线方法的定量比较表明,我们的方法的有效性。
2018-07-18 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP(对比存储-图像预训练)在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而,它在跨模态生成任务,如zero-shot图像描述的性能仍然不令人满意。在这项工作中,我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态,在很大程度上忽略了视觉信息,我们称之为\emph{contextual language prior}。为了解决这个问题,我们提出了跨模态语言模型(CLM),以促进无监督的跨模态学习。我们进一步提出了锚增强,以指导生成模型的注意力,在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
Diagnostic Captioning: A Survey
Stockholm University(斯德哥尔摩大学);Athens University of Economics and Business(雅典经济与商业大学);Medical Diagnostic Center Kosmoiatriki(科斯莫亚特里基医疗诊断中心)
诊断字幕(DC)涉及从在检查期间收集的患者的一组医学图像自动生成诊断文本。DC可以帮助经验不足的医生,减少临床错误。它还可以帮助有经验的医生更快地生成诊断报告。随着深度学习的进步,特别是在通用图像描述方面,DC最近引起了更多的关注,导致了几个系统和数据集。本文是对DC的全面概述。它提供了相关的数据集,评估措施和最新的系统。它还强调了阻碍DC进步的缺点,并提出了未来的方向。
2021-01-18 cs.CV
Comprehensive Image Captioning via Scene Graph Decomposition
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tencent AI Lab(腾讯人工智能实验室)
我们通过重新审视图像场景图的表示来解决图像描述的挑战性问题。在我们的方法的核心在于一个场景图分解成一组子图,每个子图捕捉输入图像的语义组件。我们设计了一个深度模型来选择重要的子图,并将每个选定的子图解码成单个目标句子。通过使用子图,我们的模型能够关注图像的不同组成部分。因此,我们的方法占准确,多样,接地和可控的字幕在同一时间。我们提出了广泛的实验来证明我们的综合字幕模型的好处。我们的方法建立了新的国家的最先进的字幕多样性,接地和可控性的结果,并比较有利的字幕质量的最新方法。我们的项目网站可以在http://pages.cs.wisc.edu/~yiwuzhong/Sub-GC.html上找到。
2020-07-23 cs.CV
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST(韩国科学技术院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们在这项工作中的目标是训练一个图像描述模型,生成更密集和信息量更大的字幕。我们介绍“关系字幕”,一种新的图像描述任务,其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架,是在多样性和信息量的优势,导致图像理解的基础上的关系。词性(POS,即主语-宾语-谓语类别)标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此,我们提出了一个多任务三流网络(MTTSNet),它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV