LineCap: Line Charts for Data Visualization Captioning Models
Harvard University(哈佛大学)
数据可视化标题可以帮助读者理解可视化的目的,对于有视觉障碍的人来说至关重要。不良图形字幕的普遍存在以及深度学习方法在图像描述中的成功应用促使人们将类似技术用于自动图形字幕。然而,由于缺乏合适的数据集,这一领域的研究一直受到阻碍。我们介绍了LineCap,这是一个包含3,528个图形的新型图形字幕数据集,我们提供了对该数据集的管理和使用端到端深度学习模型进行自动图形字幕的见解。
2022-07-15 cs.CL cs.CV cs.LG
Visual Semantic Relatedness Dataset for Image Captioning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);TALP Research Center(TALP研究中心);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所)
本研究针对图像字幕任务,在COCO Captions数据集基础上扩展场景文本信息,构建文本视觉上下文数据集,支持将多种NLP方法以端到端或后处理方式融入字幕系统。
2023-04-30 cs.CL cs.CV
Decoupled Box Proposal and Featurization with Ultrafine-Grained Semantic Labels Improve Image Captioning and Visual Question Answering
Google AI(谷歌AI)
目标检测在当前的视觉和语言任务(如图像描述和视觉问答)的解决方案中起着重要作用。然而,像Faster R-CNN这样的流行模型依赖于为边界框及其相应的语义标签注释地面事实的昂贵过程,这使得它不太适合作为迁移学习的原始任务。在本文中,我们研究的效果去耦盒建议和特征化的下游任务。关键的见解是,这使我们能够利用大量的标记注释,这些注释以前无法用于标准目标检测基准。从经验上讲,我们证明了这会导致有效的迁移学习和改进的图像描述和视觉问答模型,如在公开的基准测试中所测量的。
2019-09-04 cs.CL cs.CV
Image Captioning with Visual Object Representations Grounded in the Textual Modality
Charles University(查理大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心)
我们目前正在探索文本和视觉模态之间共享嵌入空间的可能性。利用目标检测标签的文本性质和提取的视觉对象表示的假设表达性,我们提出了一种与当前趋势相反的方法,将表示接地在字幕系统的词嵌入空间中,而不是接地在其相关图像中的词或句子。基于以前的工作,我们施加额外的接地损耗的图像描述训练目标,旨在迫使视觉对象表示,以创建更多的异构集群的基础上,他们的类标签和复制的语义结构的词嵌入空间。此外,我们提供了一个学习的对象向量空间投影及其对IC系统性能的影响的分析。在性能只有轻微变化的情况下,接地模型在训练过程中比无约束模型更快地达到停止标准,需要的训练更新大约少两到三倍。此外,词嵌入与原始和投影对象向量之间的结构相关性的改善表明,接地实际上是相互的。
2020-10-20 cs.CL cs.CV
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而,现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点,我们提出了风格感知的对比学习多风格的图像描述。首先,我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外,我们提出了一个风格感知的三重对比度目标来区分图像,风格和标题是否匹配。为了给对比学习提供正样本和负样本,本文提出了三种检索方案:基于对象的检索、基于RoI的检索和基于三元组的检索,并设计了一个动态的权衡函数来计算检索得分。实验结果表明,我们的方法达到了最先进的性能。此外,我们进行了广泛的分析,以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
From Image Captioning to Visual Storytelling
TUDelft(代尔夫特理工大学)
本研究将视觉叙事视为图像描述的超集,先通过视觉到语言模型生成图像描述,再以语言到语言方法转化为连贯叙事,缩短训练时间且易复用,还提出ideality指标模拟与基准模型的差距及类人性。
2025-07-31 cs.CL cs.CV
Context-Aware Visual Policy Network for Fine-Grained Image Captioning
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
随着视觉检测技术的成熟,我们更加雄心勃勃地用开放词汇、细粒度和自由形式的语言来描述视觉内容,即,图像描述的任务。特别是,我们有兴趣生成更长,更丰富,更细粒度的句子和段落作为图像描述。图像描述可以转化为给定视觉内容的序列语言预测任务,其中输出序列形成具有合理语法的自然语言描述。然而,现有的图像描述方法仅关注语言策略而非视觉策略,并且因此未能捕获对于诸如对象关系(例如,“人骑马”)和视觉比较(例如,“小(er)猫”)。当生成较长的序列(如段落)时,此问题尤其严重。为了填补这一空白,我们提出了一个上下文感知的视觉策略网络(CAVP)细粒度的图像到语言生成:图像句子字幕和图像段落字幕。在字幕生成过程中,CAVP将先前的视觉注意力视为上下文,并在给定当前视觉注意力的情况下决定上下文是否用于当前单词/句子生成。与传统的视觉注意力机制在每一步只固定一个视觉区域相比,CAVP可以随着时间的推移注意到复杂的视觉成分。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过使用演员-评论家策略梯度方法进行端到端的有效优化。我们已经证明了CAVP的有效性,最先进的性能MS-COCO和斯坦福字幕数据集,使用各种指标和定性视觉环境的明智的可视化。
2019-06-06 cs.CV
An Attempt towards Interpretable Audio-Visual Video Captioning
University of Rochester(罗切斯特大学);University of Maryland(马里兰大学);Mississippi State University(密西西比州立大学)
自动生成一个自然语言句子来描述输入视频的内容是一个非常具有挑战性的问题。这是一项重要的多模态任务,其中听觉和视觉内容同等重要。虽然音频信息已被利用,以改善视频描述在以前的作品,它通常被视为一个额外的功能送入一个黑盒融合机。生成的句子中的单词是如何与听觉和视觉模态相关联的?这个问题仍然没有得到调查。在本文中,我们首次尝试设计一个可解释的视听视频描述网络,以发现句子中的单词和视听序列之间的关联。为了实现这一点,我们提出了一个多模态卷积神经网络为基础的视听视频描述框架,并介绍了一个模态感知模块,探索在句子生成过程中的模态选择。此外,我们收集了新的音频字幕和视觉字幕数据集,以进一步探索高层次视频理解的听觉和视觉模态之间的相互作用。大量的实验表明,情态感知模块使我们的模型在句子生成过程中的情态选择的解释。即使增加了可解释性,我们的视频描述网络仍然可以实现与最近的最先进的方法相当的性能。
2018-12-07 cs.CV
Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers
Mitsubishi electric research laboratories(三菱电机研究实验室)
视频描述是理解场景、用自然语言描述事件的必要技术。为了将其应用于实时监控,系统不仅需要准确地描述事件,而且还需要尽快产生字幕。需要低延迟字幕来实现这样的功能,但是用于在线视频描述字幕的这一研究领域尚未被追求。本文提出了一种新的方法来优化每个字幕的输出时间之间的权衡延迟和字幕质量的基础上。视听变换器被训练为仅使用所有视频帧的一小部分来生成地面实况字幕,并且模仿所有帧都被给予的预先训练的Transformer的输出。基于CNN的定时检测器也被训练来检测适当的输出定时,其中由两个变压器生成的字幕变得彼此足够接近。通过联合训练的Transformer和定时检测器,可以在事件触发的视频剪辑的早期阶段生成字幕,只要事件发生或可以预测。使用ActivityNet Captions数据集进行的实验表明,我们的方法使用整个视频片段实现了预先训练的Transformer给出的上限的94%的字幕质量,仅使用了从开始的28%的帧。
2021-08-04 cs.CL cs.CV
Improving Image Captioning with Better Use of Captions
Ingenuity Labs Research Institute, Queen’s University(女王大学Ingenuity实验室研究所);Queen’s University(女王大学);Fudan University(复旦大学)
图像描述是一个多模态问题,在自然语言处理和计算机视觉领域都引起了广泛的关注。在本文中,我们提出了一种新的图像描述架构,以更好地探索字幕中的语义,并利用它来增强图像表示和字幕生成。我们的模型首先构建标题引导的视觉关系图,使用弱监督多示例学习引入有益的归纳偏差。然后,通过具有文本和视觉特征的相邻和上下文节点来增强表示。在生成过程中,该模型还使用多任务学习来结合视觉关系,以联合预测单词和对象/谓词标签序列。我们在MSCOCO数据集上进行了大量的实验,结果表明,所提出的框架显着优于基线,从而在广泛的评估指标下获得了最先进的性能。
2020-06-21 cs.CL cs.CV
D3Net: A Unified Speaker-Listener Architecture for 3D Dense Captioning and Visual Grounding
Technical University of Munich(慕尼黑工业大学);Simon Fraser University(西蒙弗雷泽大学)
最近关于3D中密集字幕和视觉基础的研究取得了令人印象深刻的结果。尽管这两个领域都有发展,但可用的3D视觉语言数据量有限,导致3D视觉基础和3D密集字幕方法的过拟合问题。此外,如何区分描述复杂的三维环境中的对象还没有得到充分的研究。为了解决这些挑战,我们提出了D3 Net,这是一种端到端的神经说话者-听者架构,可以检测,描述和区分。我们的D3 Net以自我批判的方式将密集的字幕和视觉基础统一在3D中。D3 Net的这种自我批判特性还在对象标题生成过程中引入了可辨别性,并支持对具有部分注释描述的ScanNet数据进行半监督训练。我们的方法在ScanRefer数据集上的两项任务中均优于SOTA方法,大大超过了SOTA 3D密集字幕方法。
2022-07-22 cs.CV
On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);University of Utah(犹他大学)
将视觉模态与预先训练的语言模型相结合,对于简单的描述性任务(如图像描述)非常有效。然而,更一般的文本生成仍然是难以捉摸的。我们退一步问:这些模型如何适用于更复杂的生成任务,即对文本和图像的条件反射?多模态模型仅仅是视觉适应的语言模型,还是它们结合了模态?我们调查这些问题的自我合理化的背景下(联合生成任务标签/答案和自由文本解释)的三个任务:(一)视觉问答VQA-X,(二)视觉常识推理VCR,(三)视觉文本蕴涵在e-SNLI-VE。我们发现,最近的单峰的进步,CLIP图像表示和缩放的语言模型,并没有一贯提高自我合理化多模态任务。我们发现,没有任何一种模型类型在任务、数据集和微调数据大小方面都能做到最好。我们的研究结果激发了对新的通用主干方法的需求,该方法将文本生成从图像和文本中超越图像描述。
2022-10-22 cs.CL cs.CV
Dense Captioning with Joint Inference and Visual Context
Snap Inc.(Snap公司)
密集字幕是一个新兴的计算机视觉课题,用于理解具有密集语言描述的图像。目标是密集地检测视觉概念(例如,对象、对象部分以及它们之间的交互),用简短的描述性短语标记每个对象。我们确定了两个关键的挑战,密集字幕,需要妥善处理时,解决这个问题。首先,每个图像中密集的视觉概念注释与高度重叠的目标区域相关联,使得每个视觉概念的准确定位具有挑战性。其次,大量的视觉概念使得很难仅通过外观来识别它们中的每一个。我们提出了一个新的模型管道的基础上两个新的想法,联合推理和上下文融合,以减轻这两个挑战。我们设计我们的模型架构在一个有条不紊的方式,并彻底评估架构的变化。我们的最终模型,紧凑和高效,实现了最先进的准确性Visual Genome的密集字幕与73\%的相对增益相比,以前的最佳算法。定性实验也揭示了我们的模型在密集字幕的语义能力。
2017-08-07 cs.CV
Masked Diffusion Captioning for Visual Feature Learning
University of Michigan(密歇根大学);Cornell University(康奈尔大学);University of Maryland(马里兰大学)
提出掩码扩散字幕生成(MDC)方法,通过图像条件的掩码扩散语言模型重建被掩码的文本token来学习视觉特征,避免了自回归方法对辅助目标的依赖,并在下游视觉任务中表现出竞争力。
2025-10-30 cs.CV
Hierarchical LSTMs with Adaptive Attention for Visual Captioning
The University of Electronic Science and Technology of China(电子科技大学)
最近在使用基于注意力的编码器-解码器框架用于图像和视频描述字幕方面取得了进展。大多数现有的解码器将注意力机制应用于包括两个视觉词(例如,“枪”和“射击”)和非视觉词(例如“the”,“a”)。然而,这些非视觉词可以很容易地预测使用自然语言模型,而不考虑视觉信号或注意。将注意力机制强加在非视觉文字上会产生误导,降低视觉字幕的整体效果。此外,LSTM的层次结构可以更复杂地表示视觉数据,以不同的尺度捕获信息。为了解决这些问题,我们提出了一种具有自适应注意力的分层LSTM(hLSTMat)方法,用于图像和视频描述。具体地说,该框架利用空间或时间注意力来选择特定的区域或帧来预测相关词,而自适应注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外,一个分层的LSTM被设计为同时考虑低级别的视觉信息和高级语言上下文信息,以支持字幕生成。我们最初设计我们的hLSTMat为视频描述任务。然后,我们进一步完善它,并将其应用到图像描述任务。为了证明我们提出的框架的有效性,我们在视频和图像描述任务上测试了我们的方法。实验结果表明,我们的方法实现了国家的最先进的性能的大多数评价指标的任务。在消融研究中也充分利用了重要组件的作用。
2018-12-26 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT(麻省理工学院);IBM Research(IBM研究院);JD AI Research(京东人工智能研究院);UC Davis(加州大学戴维斯分校)
视觉语言基础在现代神经图像描述系统中被广泛研究,其通常采用由两个主要组件组成的编码器-解码器框架:用于图像特征提取的卷积神经网络(CNN)和用于语言字幕生成的递归神经网络(RNN)。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性,我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法,检查神经图像描述系统是否会被误导,输出一些随机选择的标题或关键字。我们广泛的实验表明,我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例,并且对抗性示例可以高度转移到其他图像描述系统。因此,我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
VieCap4H-VLSP 2021: ObjectAoA-Enhancing performance of Object Relation Transformer with Attention on Attention for Vietnamese image captioning
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
图像描述目前是一项具有挑战性的任务,它需要理解视觉信息并使用人类语言来描述图像中的视觉信息的能力。在本文中,我们提出了一种有效的方法来提高图像的理解能力的transformer为基础的方法,通过扩展对象关系Transformer架构与注意力的注意力机制。在VieCap4H数据集上的实验表明,该方法在VLSP图像描述共享任务的公开测试和私有测试中均优于原结构.
2023-03-20 cs.CL cs.CV
Transferable Decoding with Visual Entities for Zero-Shot Image Captioning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tencent(腾讯);Shanghai Jiao Tong University(上海交通大学);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
提出ViECap可迁移解码模型,通过实体感知硬提示引导LLMs聚焦图像视觉实体,有效缓解对象幻觉,在零样本跨域及域内图像描述生成任务中均取得领先性能。
2023-07-31 cs.CL cs.CV
Visual News: Benchmark and Challenges in News Image Captioning
University of Maryland(马里兰大学);Amazon Alexa(亚马逊 Alexa);University of Virginia(弗吉尼亚大学);Rice University(莱斯大学)
我们提出了视觉新闻字幕,一个实体感知的新闻图像描述的任务模型。我们还介绍了Visual News,这是一个大规模的基准测试,包含超过一百万张新闻图片以及相关的新闻文章、图片标题、作者信息和其他元数据。与标准的图像描述任务不同,新闻图像描述了人物、位置和事件至关重要的情况。我们提出的方法可以有效地结合视觉和文本特征,以生成具有更丰富信息(如事件和实体)的字幕。更具体地说,建立在Transformer架构,我们的模型进一步配备了新的多模态特征融合技术和注意力机制,旨在更准确地生成命名实体。我们的方法使用更少的参数,同时实现略好的预测结果比竞争的方法。我们更大、更多样化的视觉新闻数据集进一步突出了新闻图片字幕方面的剩余挑战。
2021-09-13 cs.CV
More Grounded Image Captioning by Distilling Image-Text Matching Model
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
视觉注意力不仅可以提高图像字幕的性能,而且可以作为一种视觉解释来定性地衡量字幕的合理性和模型的透明度。具体来说,我们期望字幕者能够在生成相应单词的同时将其专注的目光固定在正确的对象上。这种能力也被称为接地图像描述。然而,现有字幕机的接地精度远不能令人满意。为了在保持字幕质量的同时提高接地精度,收集词区域对齐作为强监督是昂贵的。为此,我们提出了一个部分的语音(POS)增强的图像-文本匹配模型(SCAN \cite{lee2018stacked}):POS-SCAN,作为更接地图像描述的有效知识蒸馏。好处是双重的:1)给定一个句子和一幅图像,POS-SCAN可以比SCAN更准确地定位对象; 2)POS-SCAN作为字幕者视觉注意力模块的单词区域对齐正则化。通过展示基准实验结果,我们证明了配备POS-SCAN的传统图像字幕机可以在没有强有力监督的情况下显着提高接地精度。最后但并非最不重要的是,我们探讨了不可或缺的自我批判序列训练(SCST)\cite{Rennie_2017_CVPR}的背景下接地图像描述,并表明图像-文本匹配分数可以作为奖励更接地的字幕\footnote{https://github.com/YuanEZhou/Grounded-Image-Captioning}。
2020-04-01 cs.CL cs.CV
Consensus Graph Representation Learning for Better Grounded Image Captioning
Zhejiang University(浙江大学);Citycloud Technology(城云科技)
由于视觉错误分类或过度依赖先验知识,导致视觉信息与目标词汇之间的语义不一致,当代视觉字幕模型经常出现幻觉对象,而这些对象实际上并不在场景中。最常见的方式是鼓励字幕模型将生成的目标词或短语动态地链接到图像的适当区域,即,接地的图像描述(GIC)。然而,GIC利用辅助任务(接地对象),其尚未解决对象幻觉的关键问题,即,语义不一致。在本文中,我们采取了一个新的角度对上述问题-利用视觉和语言模态之间的语义一致性。具体来说,我们提出了共识Ranking表示学习框架(CGRL)的GIC,将共识表示到接地字幕管道。共识是通过对准视觉图(例如,场景图)到考虑图中的节点和边的语言图。有了对齐的共识,字幕模型可以捕获正确的语言特征和视觉相关性,然后进一步建立适当的图像区域。我们验证了我们的模型的有效性,在Flickr 30 k实体数据集上,对象幻觉显著下降(-9% i)。此外,我们的CGRL还通过几个自动度量和人工评估进行了评估,结果表明,所提出的方法可以同时提高图像描述(+2.9 Cider)和接地(+2.3 F1)的性能。
2022-04-13 cs.AI cs.CL cs.CV
Zero-shot Visual Question Answering with Language Model Feedback
Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
本文提出LAMOC方法,通过语言模型反馈引导captioning模型生成更符合任务目标的描述,在零样本知识型VQA中取得优于竞争方法的效果。
2023-05-26 cs.CL cs.CV
UniT3D: A Unified Transformer for 3D Dense Captioning and Visual Grounding
Technical University of Munich(慕尼黑工业大学);Meta AI;Simon Fraser University(西蒙菲莎大学)
执行3D密集字幕和视觉基础需要对潜在的多模态关系有共同的理解。然而,尽管之前有一些尝试将这两个相关的任务与高度任务特异性的神经模块连接起来,但如何明确描述它们的共享性质以同时学习它们仍然没有得到充分研究。在这项工作中,我们提出了UniT 3D,一个简单而有效的完全统一的基于变压器的架构,共同解决三维视觉接地和密集字幕。UniT 3D通过具有双向和seq-to-seq目标的监督联合预训练方案,可以在两个任务中学习强大的多模态表示。通过通用架构设计,UniT 3D允许将预训练范围扩展到更多不同的训练源,例如来自2D先验知识的合成数据,以利于3D视觉语言任务。大量的实验和分析表明,UniT 3D获得了显着的收益,为3D密集字幕和视觉接地。
2022-12-01 cs.CV
TextCaps: a Dataset for Image Captioning with Reading Comprehension
Facebook AI Research(Facebook 人工智能研究院);University of California, Berkeley(加利福尼亚大学伯克利分校)
图像描述可以帮助视障人士快速理解图像内容。虽然我们在自动描述图像和光学字符识别方面取得了重大进展,但目前的方法无法在其描述中包括书面文本,尽管文本在人类环境中无处不在,并且对于理解我们的环境至关重要。为了研究如何在图像的上下文中理解文本,我们收集了一个新的数据集TextCaps,其中包含28k图像的145k标题。我们的数据集挑战一个模型来识别文本,将其与其视觉上下文相关联,并决定复制或解释文本的哪一部分,这需要在多个文本标记和视觉实体(如对象)之间进行空间,语义和视觉推理。我们研究基线和适应现有的方法,这个新的任务,我们称之为图像描述与阅读理解。我们对自动和人类研究的分析表明,我们新的TextCaps数据集比以前的数据集提供了许多新的技术挑战。
2020-08-04 cs.CL cs.CV
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features
Tohoku University(东北大学);RIKEN Center for AIP(理化学研究所先进智能项目中心)
当前最先进的图像描述方法采用基于区域的特征,因为它们提供了描述图像内容所必需的对象级信息;它们通常由诸如Faster R-CNN之类的对象检测器提取。然而,它们有几个问题,如缺乏上下文信息,不准确检测的风险,以及高计算成本。前两个可以通过额外使用基于网格的特征来解决。然而,如何提取和融合这两种类型的功能是未知的。本文提出了一种仅基于Transformer的神经架构,称为GRIT(Grid- and Region-based图像描述Transformer),它有效地利用了这两个视觉特征来生成更好的字幕。GRIT用基于DETR的检测器取代了以前方法中使用的基于CNN的检测器,使其计算速度更快。此外,它的单片设计仅由Transformers组成,可以实现模型的端到端训练。这种创新的设计和双重视觉功能的整合带来了显着的性能改善。在多个图像描述基准上的实验结果表明,GRIT在推理精度和速度上都优于以往的方法。
2022-07-20 cs.AI cs.CL cs.CV
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能中最具挑战性的任务之一,其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而,这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中,我们探索显式和隐式的视觉关系,以丰富区域级表示的图像描述。具体地说,我们在对象对上构建语义图,并利用门控图卷积网络(Gated GCN)选择性地聚合局部邻居的信息。隐含地,我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers(区域BERT)没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性,我们进行了广泛的实验在Microsoft COCO基准,并取得显着的改善相比,强大的基线。
2021-05-06 cs.CV
Context-Aware Visual Policy Network for Sequence-Level Image Captioning
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
许多视觉语言任务可以归结为自然语言输出的序列预测问题。特别是,图像描述的最新进展使用深度强化学习(RL)来减轻训练期间的“暴露偏差”:在每一步预测中暴露真实子序列,这在仅看到预测子序列时在测试中引入偏差。然而,现有的基于RL的图像描述方法仅关注语言策略而不关注视觉策略(例如,视觉注意力),并且因此不能捕获对于诸如视觉关系的组成推理至关重要的视觉上下文(例如,“人骑马”)和比较(例如,“更小的猫”)。为了填补这一空白,我们提出了一个上下文感知的视觉策略网络(CAVP)的序列级图像描述。在每一个时间步,CAVP显式地考虑以前的视觉注意力作为上下文,然后决定上下文是否有助于当前词生成给定的当前视觉注意力。与传统的视觉注意在每一步只固定一个图像区域相比,CAVP可以随着时间的推移关注复杂的视觉组合。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过相对于任何字幕评价度量使用演员-评论家策略梯度方法来有效地端到端优化。我们证明了CAVP的有效性,最先进的性能MS-COCO离线分割和在线服务器上,使用各种指标和明智的可视化的定性视觉环境。代码可在https://github.com/daqingliu/CAVP上获得
2018-08-22 cs.CV
Oracle performance for visual captioning
Université de Montréal(蒙特利尔大学);IBM T.J. Watson Research(IBM T.J. Watson 研究院);New York University(纽约大学)
将图像和视频与自然语言描述相关联的任务最近吸引了大量的关注。在开发新算法和发布新数据集方面都取得了快速进展。事实上,一些标准数据集上的最新结果已经被推入了一个越来越难以做出重大改进的领域。这项工作没有提出新的模型,而是研究了在各种视觉字幕数据集上凭经验建立性能上限的可能性,而无需额外的数据标记工作或人工评估。特别是,它被假定为视觉字幕分解为两个步骤:从视觉输入到视觉概念,从视觉概念到自然语言的描述。当假设第一步是完美的并且仅需要为第二步训练条件语言模型时,将能够获得上界。我们在MS-COCO,YouTube 2 Text和LSMDC(M-VAD和MPII-MD的组合)上演示了这种界限的构建。令人惊讶的是,尽管不完美的过程中,我们使用的视觉概念提取的第一步和简单的语言模型的第二步,我们表明,目前的国家的最先进的模型相比,学习的上限时,不足。此外,有了这样的界限,我们量化了几个重要的因素有关的图像和视频描述:由不同的模型捕获的视觉概念的数量,捕获的视觉元素的数量和它们的准确性之间的权衡,以及不同的数据集的内在困难和祝福。
2016-09-14 cs.CL cs.CV stat.ML
GroundCap: A Visually Grounded Image Captioning Dataset
INESC-ID(INESC-ID研究所)
提出基于ID的视觉定位图像描述系统及数据集GroundCap,实现对象引用跟踪与动作-对象链接,并引入gMETEOR指标验证描述的可验证性。
2025-06-25 cs.CL cs.CV
Image captioning with weakly-supervised attention penalty
UCLA(加州大学洛杉矶分校);UC Merced(加州大学默塞德分校)
故事对家谱研究至关重要,因为它们可以帮助人们建立情感联系。很多家庭故事都保留在历史照片和相册中。图像描述模型的最新发展使得自动为照片“讲故事”成为可能。由于注意力机制可以在视觉部分和语言部分之间架起一座桥梁,因此在许多基于编码器-解码器的图像描述模型中被广泛采用。大多数现有的字幕模型隐含地训练注意模块与词的可能性损失。与此同时,大量的研究采用基于梯度的方法来研究视觉模型的内在注意力。理想情况下,由字幕模型预测的注意力地图应该与任何给定视觉概念的视觉模型的内在注意力一致。然而,没有工作已经做了调整内隐学习的注意力地图与内在的视觉注意。在本文中,我们提出了一个新的模型,衡量字幕预测注意力和内在视觉注意力之间的一致性。这种对齐丢失允许明确的注意力校正,而无需使用任何昂贵的限界框注释。我们在COCO数据集以及来自Ancestry.com Operations Inc.的系谱数据集上开发和评估了我们的模型,它包含了数十亿张历史照片该模型在两个数据集的所有常用语言评估指标上都取得了更好的性能。
2019-03-06 cs.CV
Cycle-Consistency Learning for Captioning and Grounding
Huawei Inc.(华为公司);University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所)
提出CyCo循环一致性学习框架,桥接视觉定位与图像描述,实现半弱监督训练并提升全监督性能,生成可描述任意区域的通用描述模型。
2023-12-23 cs.CV
ViPCap: Retrieval Text-Based Visual Prompts for Lightweight Image Captioning
Hanyang University(汉阳大学)
ViPCap提出基于检索文本的视觉提示方法,通过将文本映射到CLIP空间并采样高斯分布增强视觉特征,在COCO等数据集上显著提升轻量级图像描述生成的效率与效果。
2025-01-24 cs.AI cs.CL cs.CV
Semantic Compositional Networks for Visual Captioning
Duke University(杜克大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
提出了一种用于图像描述的语义合成网络(SCN),标签),并且每个标签的概率用于构成长短期记忆(LSTM)网络中的参数。SCN将LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合。集合中的每个成员用于生成图像标题的程度与对应标签的图像相关概率有关。除了为图像添加字幕外,我们还扩展了SCN以生成视频剪辑的字幕。我们定性分析了SCN中的语义组成,并在三个基准数据集上定量评估了该算法:COCO,Flickr30k和Youtube2Text。实验结果表明,该方法显着优于现有的最先进的方法,在多个评价指标。
2017-03-28 cs.CL cs.CV cs.LG
Visual Commonsense-aware Representation Network for Video Captioning
University of Electronic Science and Technology of China(电子科技大学);Southwest Jiaotong University(西南交通大学)
生成视频的连续描述,即,视频描述要求在生成过程中充分利用视觉表示。现有的视频描述方法集中于探索时空表示及其关系以产生推断。然而,这些方法只利用了视频本身所包含的表面关联,而没有考虑视频数据集中存在的内在视觉常识知识,这可能会影响其知识认知能力,从而导致准确的描述。为了解决这个问题,我们提出了一个简单而有效的方法,称为视觉常识感知表示网络(VCRN),视频描述。具体来说,我们构建了一个视频字典,即插即用的组件,通过将所有视频特征从总数据集中聚类到多个聚类中心而无需额外的注释。每个中心隐式地表示视频域中的视觉常识概念,该视觉常识概念被用于我们提出的视觉概念选择(Visual Concept Selection,简称VCP)中以获得与视频相关的概念特征。接着,提出了一种概念整合生成(CIG)来增强字幕生成。在三个公开的视频描述基准测试:MSVD、MSR-VTT和VATEX上进行的大量实验表明,我们的方法达到了最先进的性能,表明了我们方法的有效性。此外,我们的方法被集成到现有的视频问答的方法,并提高了这种性能,进一步显示了我们的方法的推广。源代码已在https://github.com/zchoi/VCRN上发布。
2022-11-17 cs.CV
Multimodal Arabic Captioning with Interpretable Visual Concept Integration
Ulm University(乌尔姆大学);Alexandria University(亚历山大大学)
本研究提出可解释的阿拉伯语图像描述框架VLCAP,结合多语言CLIP编码器检索视觉概念与视觉语言模型生成描述,验证了不同编码器-解码器组合的效果,可生成文化适配、准确的阿拉伯语描述。
2025-09-29 cs.CL cs.CV cs.LG
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science(阿尔托大学理学院)
在本文中,我们描述了使用递归神经网络(RNN)生成短视频片段的文本描述的系统,我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上,并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外,我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明,利用基于关键帧的功能,密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University(杭州电子科技大学);University of Chinese Academy of Sciences(中国科学院大学)
图像描述的目标是自动生成给定图像的自然语言描述,并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络(CNN)的图像编码器,从输入图像中提取基于区域的视觉特征,和一个基于递归神经网络(RNN)的字幕解码器,基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功,目前的方法只建模的共同注意的特点,通道间的相互作用,而忽略了自我注意的特点,通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发,本文将其扩展为一个用于图像描述的多模态Transformer(MT)模型。与现有的图像描述方法相比,MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成,MT模型可以执行复杂的多模态推理并输出准确的字幕。此外,为了进一步提高图像描述的性能,多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法,并进行广泛的消融研究,以调查其有效性背后的原因。实验结果表明,我们的方法显着优于以前的国家的最先进的方法。在撰写本文时,我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Text-guided Attention Model for Image Captioning
POSTECH(浦项科技大学)
视觉注意在图像理解中起着重要的作用,并在生成图像的自然语言描述中表现出其有效性。另一方面,最近的研究表明,与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发,我们引入了一个文本引导的注意力模型的图像描述,学习驱动视觉注意力使用相关的字幕。对于这个模型,我们提出了一个基于范例的学习方法,检索从训练数据相关的标题与每个图像,并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型,并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
Aligning Linguistic Words and Visual Semantic Units for Image Captioning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University of Science and Technology(南京理工大学);Huawei Devices(华为终端);University of Chinese Academy of Sciences(中国科学院大学)
图像描述试图生成由多个语言词组成的句子,这些语言词用于描述图像中的对象、属性和交互,在本文中表示为视觉语义单元。基于这一观点,本文提出了基于图卷积网络(Graph Convolutional Networks,GCN)的语义和几何对象交互模型,并充分利用语言词和视觉语义单元之间的对齐关系来实现图像描述。特别地,我们构造语义图和几何图,其中每个节点对应于视觉语义单元,即,对象、属性或两个对象之间的语义(几何)交互。因此,通过相应的GCN学习处理器获得每个单元的语义(几何)上下文感知嵌入。在每一个时间步,上下文门控注意模块作为输入的嵌入的视觉语义单元和分层对齐的当前单词与这些单元,首先决定哪种类型的视觉语义单元(对象,属性,或交互)的当前单词是关于,然后找到最相关的视觉语义单元下的这种类型。在具有挑战性的MS-COCO图像描述数据集上进行了广泛的实验,并报告了与最先进方法相比的优越结果。
2019-08-06 cs.CL cs.CV cs.LG
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University(香港浸会大学);Fuxi AI Lab, NetEase Inc.(网易公司伏羲人工智能实验室)
图像描述是连接视觉和语言的一项基本任务,涉及跨模态理解和文本生成。近年来,图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前,首先利用一个额外的目标检测器来识别图像中的目标。然而,它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器,这是一项艰巨的任务。此外,目标检测器的错误很容易传播到后续的字幕模型,降低模型的性能。为了减轻这些缺陷,我们提出了一个令人沮丧的简单,但高效的端到端的图像描述框架,视觉条件GPT(VC-GPT),通过连接预先训练的视觉编码器(CLIP-ViT)和语言解码器(GPT 2)。与直接将交叉注意模块插入GPT 2的香草连接方法不同,本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此,我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试(MSCOCO、Flickr 30 k和NoCaps)进行的实验结果表明,我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad(达尔瓦德印度理工学院);UltraInstinct AI
视频描述是一个流行的任务,挑战模型使用自然语言描述视频中的事件。在这项工作中,我们调查的能力,各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器(WAFTM),字幕模型,将内存中的Transformer编码器,并使用一种新的方法,融合功能,确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后,我们在两个数据集上对我们的模型进行了基准测试,并在MSVD上获得了92.4的CIDER,在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而,这些基于融合的模型,他们仍然受到批评,缺乏几何信息的帧间和帧内注意力细化。另一方面,基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中,我们介绍了一种新的几何纠缠视觉语义Transformer(GEVST)网络,实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说,一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后,为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力,我们构建了四个并行的Transformer编码器VV(Pure Visual),VS(Semantic fused to Visual),SV(Visual fused to Semantic),SS(Pure Semantic)用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块,以更好地测量注意力。为了验证我们的模型,我们在MS-COCO数据集上进行了大量的实验,实验结果表明,我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning
University of Electronic Science and Technology of China(电子科技大学);Beijing University of Posts and Telecommunications(北京邮电大学)
在使用基于注意力的编码器-解码器框架用于视频描述方面已经取得了最近的进展。然而,大多数现有的解码器将注意力机制应用于包括两个视觉词(例如,“枪”和“射击”)和非视觉词(例如“the”,“a”)。然而,这些非视觉词语可以使用自然语言模型轻松预测,而无需考虑视觉信号或注意力。将注意力机制强加于非视觉文字会误导和降低视频描述的整体性能。为了解决这个问题,我们提出了一种用于视频描述的具有调整时间注意力的分层LSTM(hLSTMat)方法。具体地说,该框架利用时间注意力来选择特定的帧来预测相关词,而调整后的时间注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外,分层LSTM被设计为同时考虑低级视觉信息和高级语言上下文信息以支持视频字幕生成。为了证明我们提出的框架的有效性,我们测试了我们的方法在两个流行的数据集:MSVD和MSR-VTT,实验结果表明,我们的方法优于国家的最先进的方法在这两个数据集。
2017-06-05 cs.CV
Boosted Attention: Leveraging Human Attention for Image Captioning
Department of Computer Science and Engineering, University of Minnesota(明尼苏达大学计算机科学与工程系)
视觉注意力在图像描述中已经显示出有用性,其目的是使字幕模型能够选择性地聚焦于感兴趣区域。现有的模型通常依赖于自上而下的语言信息,并通过优化字幕目标来隐式地学习注意力。虽然有些有效,但学习的自上而下的注意力在没有直接监督的情况下可能无法集中在正确的兴趣区域。受人类视觉系统的启发,它不仅是由特定于任务的自上而下的信号,但也是视觉刺激,我们在这项工作中提出使用这两种类型的注意图像描述。特别是,我们强调了这两种类型的注意力的互补性,并开发了一个模型(提升注意力),将它们整合为图像描述。我们验证了所提出的方法与国家的最先进的性能在各种评估指标。
2019-03-18 cs.CV
Relational Reasoning using Prior Knowledge for Visual Captioning
Beijing Institute of Technology(北京理工大学);University of Rochester(罗切斯特大学)
利用对象之间的关系已经在通过自然语言解释图像或视频方面取得了显着进展。现有的大多数方法都是先检测目标及其关系,然后生成文本描述,这严重依赖于预先训练好的检测器,在目标检测中遇到严重遮挡、小尺寸目标和长尾等问题时会导致性能下降。此外,检测和字幕的分离过程导致预定义的对象/关系类别与目标词汇之间的语义不一致。我们利用先前的人类常识知识来推理对象之间的关系,而无需任何预先训练的检测器,并在字幕中的一个图像或视频中达到语义一致性。先验知识(例如,以知识图谱的形式)提供了图像和视频中不明确的对象之间的常识语义关联和约束,用作构建用于句子生成的语义图谱的有用指导。特别地,我们提出了一种联合推理方法,该方法包括:1)常识推理,用于将图像或视频区域嵌入语义空间以构建语义图; 2)关系推理,用于对语义图进行编码以生成句子。在MS-COCO图像描述基准和MSVD视频描述基准上的大量实验验证了我们的方法在利用先验常识知识增强视觉字幕的关系推理方面的优越性。
2019-06-04 cs.CV
Towards Local Visual Modeling for Image Captioning
Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
本文研究了基于网格特征的图像描述局部视觉建模方法,该方法是生成准确、详细的图像字幕的关键。为了实现这一目标,我们提出了一个局部敏感的Transformer网络(LSTNet)的两个新的设计,即局部敏感的注意力(LSA)和局部敏感的融合(LSF)。LSA通过建模每个网格与其邻居之间的关系,部署在Transformer中用于层内交互。它降低了字幕过程中局部对象识别的难度。LSF用于层间信息融合,其聚合不同编码器层的信息以实现跨层语义互补。通过这两种新颖的设计,所提出的LSTNet可以对网格特征的局部视觉信息进行建模,以提高字幕质量。为了验证LSTNet,我们在竞争对手MS-COCO基准上进行了广泛的实验。实验结果表明,LSTNet不仅能够进行局部视觉建模,而且在离线和在线测试中优于一系列最先进的字幕模型,即,分别为134.8 CIDEr和136.3 CIDEr。此外,还在Flickr 8 k和Flickr 30 k数据集上验证了LSTNet的泛化能力
2023-02-13 cs.CV cs.MM
Fusion Models for Improved Visual Captioning
Saarland University(萨尔大学);Spoken Language Systems (LSV)(口语语言系统研究所)
视觉字幕旨在生成给定图像或视频的文本描述。传统上,图像描述模型是在人类注释的数据集上训练的,例如Flickr 30 k和MS-COCO,这些数据集在大小和多样性方面都受到限制。这种限制阻碍了这些模型的泛化能力,同时也使它们容易出错。然而,语言模型可以在大量免费可用的未标记数据上进行训练,并且最近已经成为成功的语言编码器和连贯文本生成器。同时,一些单模态和多模态融合技术已经被证明可以很好地用于自然语言生成和自动语音识别。基于这些最新的发展,并以提高生成的字幕的质量为目的,我们在本文中的工作的贡献是双重的:首先,我们提出了一个通用的多模态模型融合框架的字幕生成以及校正,我们利用不同的融合策略,将一个预训练的辅助语言模型(MALM)在传统的编码器-解码器的视觉字幕框架。接下来,我们采用相同的融合策略,将预先训练的掩蔽语言模型(MLM),即BERT,与视觉字幕模型,即Show,Attend和Tell集成在一起,用于校正字幕中的语法和语义错误。我们的标题校正实验的三个基准图像描述数据集,即Flickr 8 k,Flickr 30 k,和MSCOCO,显示出改进的基线,表明我们提出的多模态融合策略的实用性。此外,我们进行了初步的定性分析,并确定错误类别的校正类型的基础上的修订标题。
2020-12-05 cs.AI cs.CL cs.CV
VIVO: Visual Vocabulary Pre-Training for Novel Object Captioning
Microsoft Corporation(微软公司)
生成能够描述在字幕标记的训练数据中不可见的新对象的图像字幕是非常期望但又具有挑战性的,这是在新对象字幕挑战(nocaps)中评估的能力。在此挑战中,除了COCO Captions之外,不允许用于模型训练的其他图像标题训练数据。因此,传统的视觉语言预训练(VLP)方法不能被应用。本文介绍了可视化语音预训练(VIVO),在没有字幕注释的情况下执行预训练。通过打破VLP中成对图像-标题训练数据的依赖性,VIVO可以利用大量成对图像-标签数据来学习视觉词汇。这是通过预训练多层Transformer模型来完成的,该模型学习将图像级标签与其对应的图像区域特征对齐。为了解决图像标签的无序性,VIVO使用匈牙利匹配损失和掩码标签预测来进行预训练。我们通过微调用于图像描述的预训练模型来验证VIVO的有效性。此外,我们执行的视觉文本对齐推断我们的模型的分析。结果表明,我们的模型不仅可以生成流畅的图像字幕,描述新的对象,但也确定这些对象的位置。我们的单一模型在nocaps上取得了新的最先进的结果,并超过了人类的CIDEr评分。
2021-03-04 cs.CL cs.CV cs.LG
SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Shandong University(山东大学);Tencent AI Lab(腾讯AI实验室);National University of Singapore(新加坡国立大学)
视觉注意已经成功地应用于结构预测任务,如视觉字幕和问答。现有的视觉注意力模型通常是空间的,即,注意力被建模为对编码输入图像的CNN的最后一个卷积层特征图进行重新加权的空间概率。然而,我们认为,这种空间注意力并不一定符合注意力机制-一个动态特征提取器,随着时间的推移结合上下文固定,因为CNN特征自然是空间的,通道的和多层的。在本文中,我们介绍了一种新的卷积神经网络,称为SCA-CNN,它在CNN中集成了空间和空间方向的注意力。在图像描述的任务中,SCA-CNN动态地调制多层特征图中的句子生成上下文,编码其中(即,在多个层上的关注的空间位置)和什么(即,注意的渠道)的视觉注意力。我们在三个基准图像描述数据集上评估了所提出的SCA-CNN架构:Flickr 8 K,Flickr 30 K和MSCOCO。一致地观察到SCA-CNN显著优于最先进的基于视觉注意力的图像描述方法。
2017-04-12 cs.CV
Learning Visual Relation Priors for Image-Text Matching and Image Captioning with Neural Scene Graph Generators
Microsoft AI and Research(微软人工智能与研究事业部)
将语言与视觉关系联系起来对于各种语言和视觉应用至关重要。在这项工作中,我们解决了两个基本的语言和视觉任务:图像-文本匹配和图像描述,并证明神经场景图生成器可以学习有效的视觉关系特征,以促进接地语言视觉关系,并随后改善两个终端应用程序。通过将关系特征与最先进的模型相结合,我们的实验显示出对标准Flickr 30 K和MSCOCO基准的显着改进。我们的实验结果和分析表明,关系特征提高了下游模型捕捉视觉关系的能力,在最终的视觉和语言应用程序。我们还证明了学习场景图生成器与视觉相关的关系,关系功能的有效性的重要性。
2019-09-22 cs.AI cs.CV
CapWAP: Captioning with a Purpose
Google Research(谷歌研究院);Massachusetts Institute of Technology(麻省理工学院)
传统的图像描述任务使用通用参考字幕来提供关于图像的文本信息。然而,不同的用户群体将关心图像的不同视觉方面。在本文中,我们提出了一个新的任务,字幕与目的(CapWAP)。我们的目标是开发一个系统,可以定制为有用的信息需求的目标人群,而不仅仅是提供有关图像的通用信息。在这个任务中,我们使用问答(QA)对-一个自然的表达信息需要-从用户,而不是参考标题,训练和推理后评估。我们表明,可以使用强化学习直接优化预期的信息需求,通过奖励输出,允许一个问答模型提供正确的答案,抽样用户的问题。我们将几个视觉问答数据集转换为CapWAP数据集,并证明了在各种情况下,我们有目的的字幕系统学会预测和满足特定的信息需求比一般的同行,作为衡量QA性能的用户问题,从看不见的图像,当单独使用的标题作为上下文。
2020-11-09 cs.CL cs.CV
MetaCaptioner: Towards Generalist Visual Captioning with Open-source Suites
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);University of Chinese Academy of Science(中国科学院大学);Xiamen University(厦门大学);The Chinese University of Hong Kong(香港中文大学)
本文提出CapFlow多智能体工作流,利用开源模型以89.5%成本降低实现与GPT-4.1相当的描述质量,并微调得到通用描述器MetaCaptioner,达到开源社区顶级多模态性能。
2025-10-16 cs.CV
Towards Real Time Egocentric Segment Captioning for The Blind and Visually Impaired in RGB-D Theatre Images
USTHB University(阿尔及利亚科学技术大学(USTHB));RIIMA Laboratory(RIIMA实验室)
针对现有视障辅助技术多聚焦导航避障、缺乏场景理解支持的问题,研究提出一种带空间位置与区域关系描述的第一人称图像字幕生成方法,并应用于TS-RGBD数据集以帮助视障人士理解剧场场景。
2023-08-26 cs.CV
AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning
Nanjing University(南京大学);Kuaishou Technology(快手科技);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
研究全模态视频字幕编排视听协同问题,提出AVSCap框架,构建训练语料库,采用两阶段策略训练字幕生成器,引入新基准,实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色,提升了整体性能。
2026-07-15 cs.CV