The Devil is in the EOS: Sequence Training for Detailed Image Captioning
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学)
本文提出一种无监督方法消除交叉熵训练中模型对EOS标记的偏置,从而在不依赖复杂奖励或监督的情况下生成更长、更详细的图像描述,并在多个VLMs和基准上验证了有效性。
2025-08-21 cs.CL cs.CV
A Semantics-Assisted Video Captioning Model Trained with Scheduled Sampling
Tsinghua University(清华大学);Samsung Research China(三星中国研究院)
给定视频的特征,递归神经网络可以用于自动生成视频的字幕。用于视频描述的现有方法具有至少三个限制。首先,语义信息已被广泛应用于提高视频描述模型的性能,但现有的网络往往无法提供有意义的语义特征。第二,教师强迫算法通常用于优化视频描述模型,但在训练和推理期间,应用不同的策略来指导单词生成,导致性能不佳。第三,当前的视频描述模型倾向于生成不适当地表达视频内容的相对短的字幕。针对这三个问题,我们提出了三个相应的改进措施。首先,我们提出了一个度量来比较语义特征的质量,并利用适当的功能作为输入的语义检测网络(SDN)具有足够的复杂性,以产生有意义的语义特征的视频。然后,我们应用了一个预定的抽样策略,逐渐转移培训阶段从教师指导的方式向更多的自学方式。最后,利用句子长度对普通对数概率损失函数进行杠杆作用,从而缓解了短句生成倾向。我们的模型在YouTube 2 Text数据集上取得了比以前模型更好的结果,并且与MSR-VTT数据集上以前的最佳模型具有竞争力。
2020-07-24 cs.CL cs.CV
Enhancing Journalism with AI: A Study of Contextualized Image Captioning for News Articles using LLMs and LMMs
DFKI German Research Center for Artificial Intelligence(德国人工智能研究中心);Applied Artificial Intelligence, Carl von Ossietzky University Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学应用人工智能系)
本研究利用GoodNews数据集评估LLMs和LMMs为新闻图片生成上下文描述的能力,发现开源LMMs可媲美专有模型,且控制上下文量能提升性能,表明新闻业需要人在回路的交互式策略。
2024-08-08 cs.CL cs.CV
ABMAMBA: Multimodal Large Language Model with Aligned Hierarchical Bidirectional Scan for Efficient Video Captioning
Keio University(庆应义塾大学);National Institute of Informatics(国立信息学研究所);National Institute of Informatics Research and Development Center for Large Language Models(国立信息学研究所大型语言模型研发中心)
本文提出ABMamba,一种具有线性计算复杂度的多模态大语言模型,通过替代二次注意力机制,实现视频序列的高效处理,在视频描述任务中表现出色。
2026-04-09 cs.CV
Denoising Large-Scale Image Captioning from Alt-text Data using Content Selection Models
Google Research(谷歌研究院);Meta AI;Uber(优步)
训练大规模图像描述(IC)模型需要访问丰富多样的训练样本集,这些样本通常来自于嘈杂的替代文本数据。然而,在这种情况下,最近的IC建模方法往往在性能方面有所不足,因为它们假设一个干净的注释数据集(而不是噪音较大的基于替代文本的注释),并采用端到端的生成方法,这往往缺乏可控性和可解释性。我们通过将任务分解为两个更简单,更可控的任务来解决这些问题-骨架预测和基于字幕的字幕生成。具体来说,我们表明,选择内容词作为骨架有助于在利用丰富但嘈杂的基于替代文本的未策展数据集时生成改进和去噪的字幕。我们还表明,预测的英语骨架可以进一步跨语言利用生成非英语字幕,目前的实验结果涵盖字幕生成法语,意大利语,德语,西班牙语和印地语。我们还表明,基于文本的预测可以更好地控制某些字幕属性,如长度,内容和性别表达,提供了一个句柄来执行人在回路半自动校正。
2022-10-30 cs.CL cs.CV
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida(佛罗里达大学)
视频描述主要研究两个基本概念:特征检测和特征合成。虽然现代Transformers在构成特征上是有益的,但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加,包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中,我们引入了一个新的概念,自我意识的组成Transformer(SACT),能够产生多项式注意力(MultAtt),这是一种生成各种组合的帧的分布。此外,多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来,这对自然语言分类很好,但对视频描述有局限性。视频内容具有重复,并且需要解析重要内容以更好地内容合成。在这项工作中,我们已经引入了SACT更多的选择性注意,并结合他们为不同的注意力头更好地捕捉可用的内容,为任何应用程序。为了解决多样化的问题,并鼓励选择性利用,我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集,如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
Regional Attention-Enhanced Swin Transformer for Clinically Relevant Medical Image Captioning
Electrical Engineering and Computer Science(电子工程与计算机科学);Gwangju Institute of Science and Technology(全州科学技术研究院);Electrical and Computer Engineering Department(电子与计算机工程系);Chonnam National University(全南国立大学);AI Convergence Department(人工智能融合部门);Department of Information Systems, CCSIT(信息系统系,CCSIT);King Faisal University(国王费萨尔大学);Thomas Jefferson University, Philadelphia(费城托马斯杰斐逊大学)
该研究提出搭载轻量区域注意力模块的Swin-BART医学图像字幕系统,在ROCO数据集上多项指标达最优,兼具紧凑性与可解释性,支持有人参与的安全临床研究应用。
2025-11-13 cs.CL cs.CV
BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning
Apple(苹果公司)
本文提出BalCapRL框架,通过联合优化正确性、参考覆盖和语言质量,解决图像描述中因评价指标狭窄导致的权衡问题,并通过改进的奖励解耦归一化和长度条件奖励遮蔽提升性能。
2026-05-08 cs.AI cs.CV
#PraCegoVer: A Large Dataset for Image Captioning in Portuguese
Institute of Computing, University of Campinas(计算机学院,坎皮纳斯大学)
本文提出#PraCegoVer数据集,基于Instagram帖子生成葡萄牙语图像描述,是首个大规模葡萄牙语图像描述数据集,具有单张图像仅一个描述及较长句子长度的挑战性特征。
2021-10-28 cs.CL cs.CV
Human-like Controllable Image Captioning with Verb-specific Semantic Roles
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室);Columbia University(哥伦比亚大学);Tencent Data Platform(腾讯数据平台)
可控图像描述(CIC)--根据指定的控制信号生成图像描述--在过去几年中受到了前所未有的关注。为了模仿人类控制字幕生成的能力,目前的CIC研究只关注与客观属性有关的控制信号,例如感兴趣的内容或描述模式。然而,我们认为,几乎所有现有的客观控制信号都忽略了理想控制信号的两个不可或缺的特征:1)事件兼容性:单个句子中所指的所有视觉内容都应该与所描述的活动兼容。2)样品适用:控制信号应适用于特定的图像样品。为此,我们提出了一个新的控制信号CIC:动词特定的语义角色(VSR)。VSR由一个动词和一些语义角色组成,它表示一个目标活动和参与该活动的实体的角色。给定一个指定的VSR,我们首先训练一个接地的语义角色标注(GSRL)模型,以识别和接地每个角色的所有实体。然后,我们提出了一个语义结构规划器(SSP)学习人类一样的描述性语义结构。最后,我们使用角色转换字幕模型来产生字幕。大量的实验和消融表明,我们的框架可以实现更好的可控性比几个强大的基线上两个具有挑战性的CIC基准。此外,我们可以生成多层次的多样化的字幕很容易。该代码可从以下网址获取:https://github.com/mad-red/VSR-guided-CIC。
2021-03-22 cs.AI cs.CL cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University(北京航空航天大学);Tencent AI LAB(腾讯AI实验室)
虽然端到端(E2E)学习已经在各种视觉理解任务上取得了令人印象深刻的进展,但它经常受到硬件限制(例如,GPU内存),并且易于过拟合。当涉及到视频描述时,这是计算机视觉中最具挑战性的基准任务之一,E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上,用于视频描述的现有技术方法通过卷积神经网络来处理视频帧,并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们,生成的模型既消耗内存又需要大量数据,这使得训练非常困难。在本文中,我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务(例如,属性、奖励和字幕),使得它们可以联合调节E2E神经网络的搜索空间,从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知,这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明,该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Macroscopic Control of Text Generation for Image Captioning
University of Electronic Science and Technology of China(电子科技大学)
尽管图像描述模型已经能够为给定图像生成令人印象深刻的描述,但挑战仍然存在:(1)现有模型的可控性和多样性仍然远远不能令人满意;(2)模型有时可能产生质量极差的字幕。本文介绍了两种新的方法来解决这两个问题。针对前一个问题,本文引入了一个控制信号,可以控制句子的宏观属性,如句子质量、句子长度、句子时态和名词数量等,增强了现有字幕模型的可控性和多样性。针对后一个问题,本文创新性地提出了一种策略,即训练一个图文匹配模型,对前后两个方向生成的句子质量进行度量,最终选择较好的一个。结果表明,该策略能有效地降低低质量句子的比例.我们提出的方法可以很容易地应用于大多数图像描述模型,以提高其整体性能。基于Up-Down模型的实验结果表明,在交叉熵训练的MSCOCO Karpathy测试分割上,我们的方法获得了BLEU- 4/CIDEr/SPICE的37.5/120.3/21.5的分数,超过了其他最先进的交叉熵损失训练方法。
2021-01-20 cs.CV
Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning
Sun Yat-sen University(中山大学);JD AI Research(京东人工智能研究院)
视频描述是计算机视觉和人工智能领域中的一项基本而又具有挑战性的任务。流行的方法是通过递归神经网络(RNN)以序列到序列的方式将输入视频映射到可变长度的输出句子。然而,RNN的训练仍然在一定程度上受到消失/爆炸梯度问题的影响,使得优化变得困难。此外,RNN中固有的递归依赖性阻止了训练期间序列内的并行化,因此限制了计算。在本文中,我们提出了一种新的设计-时间可变形卷积编码器-解码器网络(简称TDConvED),充分利用卷积的编码器和解码器网络的视频描述。从技术上讲,我们利用卷积块结构来计算固定数量输入的中间状态,并堆叠几个块来捕获长期关系。编码器中的结构还配备有时间可变形卷积,以实现时间采样的自由形式变形。我们的模型还利用时间注意力机制的句子生成。在MSVD和MSR-VTT视频描述数据集上进行了大量的实验,与传统的基于RNN的编码器-解码器技术相比,报告了更好的结果。更值得注意的是,TDConvED将MSVD的CIDEr-D性能从58.8%提高到67.2%。
2019-05-03 cs.CV
Visual Attention Never Fades: Selective Progressive Attention ReCalibration for Detailed Image Captioning in Multimodal Large Language Models
Seoul National University(首尔大学)
本文提出无需训练的 SPARC 方法,通过选择性渐进重校准视觉注意力,在极小计算开销下同时提升多模态大语言模型详细图像描述的精确率与召回率。
2025-06-04 cs.AI cs.CV
Time-Scaling State-Space Models for Dense Video Captioning
Google Deepmind(谷歌DeepMind)
针对密集视频字幕生成中长视频处理的计算、内存限制及无法在线处理的问题,提出带转移状态的SSM方法,提升其长上下文状态维持能力,可在线生成字幕,适配长视频且FLOPs降低至1/7。
2025-09-03 cs.CV
ICECAP: Information Concentrated Entity-aware Image Captioning
Renmin University of China(中国人民大学)
当前的图像描述系统主要关注于描述图像的一般内容,缺乏对图像进行深入理解的背景知识,如精确命名的实体或具体事件。在这项工作中,我们专注于实体感知的新闻图像描述任务,其目的是通过利用相关的新闻文章提供有关目标图像的背景知识来生成信息丰富的标题。然而,由于新闻文章的长度,以前的作品只采用粗文章或句子级别的新闻文章,这是不够细粒度的细化相关事件和准确选择命名实体。为了克服这些局限性,我们提出了一个信息集中的可靠性意识的新闻图像描述(ICECAP)模型,它逐步集中在相应的新闻文章中的相关文本信息,从句子级别到单词级别。我们的模型首先使用跨模态检索模型在相关句子上创建粗集中,然后通过进一步集中在句子内的相关单词来生成标题。在BreakingNews和GoodNews数据集上的大量实验证明了我们所提出的方法的有效性,它优于其他最先进的方法。ICECAP的代码可在https://github.com/HAWLYQ/ICECAP上公开获取。
2021-08-04 cs.CV cs.MM
ITIScore: An Image-to-Text-to-Image Rating Framework for the Image Captioning Ability of MLLMs
Shanghai Jiao Tong University(上海交通大学);University of Electronic and Science Technology of China(电子科技大学);Beijing University of Technology(北京工业大学);Institut Universitaire de France (IUF), University of Nantes(法国大学研究院(IUF),南特大学)
本文提出ICBenchmark图像描述基准,包含12类内容和2K图像生成的40K短长描述,提出ITIScore自动评估指标,通过图像到文本到图像框架衡量描述质量,实验显示其与人类判断一致且具有强泛化能力。
2026-04-13 cs.CV
Phrase-based Image Captioning with Hierarchical LSTM Model
University of Malaya(马来亚大学)
自动生成描述图像内容的字幕是近年来的一个研究热点,现有的大多数工作都将图像字幕视为纯序列数据。然而,自然语言具有时间层次结构,每个子序列之间具有复杂的依赖关系。在本文中,我们提出了一个基于短语的分层长短期记忆(phi-LSTM)模型来生成图像描述。与传统的以纯顺序方式生成字幕的解决方案相比,我们提出的模型从短语到句子解码图像字幕。它包括一个在底层的短语解码器,用于解码可变长度的名词短语,和一个在上层的缩写句解码器,用于解码图像描述的缩写形式。在推理阶段,通过将生成的短语与句子相结合来形成完整的图像标题。从经验上讲,与最先进的模型相比,我们提出的模型在Flickr 8 k,Flickr 30 k和MS-COCO数据集上显示出更好或具有竞争力的结果。我们还表明,我们提出的模型是能够产生更多的新颖的字幕(没有看到在训练数据),这是更丰富的文字内容,在所有这三个数据集。
2017-11-11 cs.AI cs.CL cs.CV
Self-Annotated Training for Controllable Image Captioning
University of Electronic Science and Technology of China(电子科技大学)
可控图像描述(CIC)任务旨在根据指定的控制信号生成字幕。提出了几种与结构相关的控制信号来控制句子的语义结构,如句子长度和词性标记序列。然而,由于基于准确性的奖励主要关注内容而不是语义结构,现有的强化训练方法不适用于结构相关的CIC模型。强化训练的缺乏导致暴露偏差以及优化函数与评价指标之间的不一致。在本文中,我们提出了一种新的结构相关的控制信号的强化训练方法:自标注训练(SAT),以提高CIC模型的准确性和可控性。在SAT中,设计了一个递归注释机制(RAM)来强制输入控制信号与实际输出句子相匹配。此外,我们提出了一个额外的对齐奖励来微调SAT方法后训练的CIC模型,这进一步增强了模型的可控性。在MSCOCO基准上,我们对不同的结构相关控制信号和不同的基线模型进行了广泛的实验,结果表明了我们的方法的有效性和通用性。
2021-11-20 cs.AI cs.CV
Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition
University of California, San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(Adobe研究院)
最近,人们对自动生成图像的描述产生了很大的兴趣。大多数现有的语言模型为基础的方法,这项任务学习生成一个图像描述的单词在其原始的词序。然而,对于人类来说,首先定位对象及其关系,然后详细说明每个对象,描述显着的属性是更自然的。我们提出了一种由粗到精的方法,将原始图像描述分解为骨架句及其属性,并分别生成骨架句和属性短语。通过这种分解,我们的方法可以产生更准确和新颖的描述比以前的国家的最先进的。MS-COCO和一个更大规模的Stock 3 M数据集上的实验结果表明,我们的算法产生一致的改善,在不同的评价指标,特别是SPICE指标,它有更高的相关性比传统的指标与人类的评级。此外,我们的算法可以产生不同长度的描述,受益于骨架和属性的单独控制。这使得能够更好地适应用户偏好的图像描述生成。
2017-04-23 cs.CV
Shifted Window Fourier Transform And Retention For Image Captioning
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学)
提出基于傅里叶变换和保留机制的轻量架构SwiFTeR,解决图像描述模型视觉骨干与解码器效率瓶颈,以20M参数和3.1 GFLOPs实现高效并行处理,为高效架构设计指明新方向。
2024-08-25 cs.CV
Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage
Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学);Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能交叉学科项目,首尔国立大学);Adobe Research(Adobe研究)
本文针对多模态大语言模型在超详细图像描述中的幻觉问题,提出LLM-MLLM协作的多智能体纠正方法,并构建双重评估框架与基准数据集,显著提升描述的事实准确性,同时揭示VQA基准与详细描述能力不相关的局限性。
2025-07-07 cs.CV
Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning
National University of Singapore(新加坡国立大学)
研究密集视频字幕生成,提出并行自回归框架,利用事件间弱局部依赖重组因果依赖图,引入全局规划和事件分解并行解码机制,提升效率与字幕性能。
2026-07-07 cs.AI cs.CV cs.MM
Improving Image Captioning Descriptiveness by Ranking and LLM-based Fusion
Department of Informatics, Systems and Communication(信息学、系统与通信系)
本文提出一种无需额外训练的图像字幕增强方法,通过BLIPScore排序并利用LLM融合多个SoTA模型生成的字幕,在MS-COCO和Flickr30k上提升了描述丰富性并减少幻觉。
2025-10-10 cs.AI cs.CL cs.CV
Controlling Multimodal LLMs via Reward-guided Decoding
Mila - Quebec AI Institute(魁北克AI研究院);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Meta FAIR;Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出首个针对多模态大语言模型的奖励引导解码方法,通过两个独立奖励模型分别控制目标精确度和召回率,并控制搜索广度,在标准目标幻觉基准上实现了对MLLM推理的即时可控性,且持续优于现有幻觉缓解方法。
2025-08-15 cs.AI cs.CL cs.CV
Goal-driven text descriptions for images
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
实现通用人工智能(AGI)的一个重要部分是建立一个可以像人类一样看和听的机器。许多工作集中于设计用于图像分类、视频分类、目标检测、姿态估计、语音识别等的模型,并且由于深度学习,近年来取得了重大进展。然而,仅仅了解世界是不够的。一个人工智能智能体还需要知道如何说话,尤其是如何与人类交流。虽然感知(例如视觉)在动物物种中更为常见,但复杂语言的使用是人类所独有的,也是智力最重要的方面之一。在这篇论文中,我们专注于生成文本输出给定的视觉输入。在第三章中,我们着重于生成指称表达式,即图像中对象的文本描述,以便接收者可以推断出哪个对象正在被描述。我们使用一个理解机器来直接引导所生成的指称表达,使其更具区分性。在第四章中,我们介绍了一种方法,鼓励在图像字幕生成的可辨别性。我们发现,更多的歧视性字幕模型产生更多的描述性字幕。在第5章中,我们研究了训练目标和采样方法如何影响模型生成多样化字幕的能力。我们发现,一个流行的字幕训练策略将不利于生成字幕的多样性。在第六章中,我们提出了一个可以控制字幕长度的模型。通过改变所需的长度,可以影响标题的风格和连贯性。最后,在第7章中,我们根据它们的信息效用对信息图像标签进行排名/生成信息图像标签。所提出的方法更好地匹配人类认为是图像最重要的标签。
2021-08-28 cs.CL cs.CV
FlexCap: Describe Anything in Images in Controllable Detail
Google Deepmind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
FlexCap是一种能生成可控长度区域描述的视觉语言模型,通过大规模变长数据集训练,在密集描述、零样本VQA及视觉对话等任务中取得优异表现。
2025-01-28 cs.AI cs.CL cs.CV
When More Words Say Less: Decoupling Length and Specificity in Image Description Evaluation
Stanford University(斯坦福大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出通过对比集定义描述特异性,验证人们更偏好信息密集的描述,无论长度如何,且长度分配影响特异性差异。
2026-04-19 cs.CL
Exploring Discrete Diffusion Models for Image Captioning
Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学);Microsoft(微软)
图像描述任务通常通过对文本标记逐个解码的自回归方法来实现。我们提出了一个基于扩散的字幕模型,被称为DDCap,以允许更多的解码灵活性。与图像生成不同,图像生成的输出是连续的,冗余的,具有固定的长度,图像标题中的文本是分类的,长度不同的短。因此,如我们的实验所示,单纯地将离散扩散模型应用于文本解码并不能很好地工作。为了解决性能差距,我们提出了几个关键技术,包括最佳优先推理,集中注意力掩码,文本长度预测和无图像训练。在没有额外字幕预训练的COCO上,它的CIDER得分为117.8,比在受控设置中具有相同架构的自回归基线高出+5.0。在字幕填充任务中,它的CIDEr分数比自回归基线(230.3 vs.203.5)高出+26.8。使用4M视觉语言预训练图像和基本大小的模型,我们在COCO上获得了125.1的CIDER分数,这与最好的自回归框架相竞争。该代码可在https://github.com/buxiangzhiren/DDCap上获得。
2022-12-09 cs.CV
CLID: Controlled-Length Image Descriptions with Limited Data
Technion – Israel Institute of Technology(以色列理工学院)
针对长描述训练数据稀缺问题,本文提出用长度可变的自生成描述扩充数据集,并设计在训练不同阶段筛选数据的新型策略,显著提升图像描述长度控制能力且保持SoTA质量,并可推广至段落生成。
2024-01-21 cs.CV
DiffCap: Exploring Continuous Diffusion on Image Captioning
Peking University(北京大学);Fudan University(复旦大学)
本文提出DiffCap方法,首次将连续扩散模型应用于图像描述生成,通过自然转换离散词元并融合图像特征实现非自回归解码,在COCO数据集上以更简单结构取得与以往工作相当的结果,并显著提升了生成多样性。
2023-05-20 cs.AI cs.CV
Joint Event Detection and Description in Continuous Video Streams
Boston University(波士顿大学);Baidu Research(百度研究院);University of British Columbia(英属哥伦比亚大学)
密集视频字幕是一个细粒度的视频理解任务,涉及两个子问题:定位长视频流中的不同事件,并为本地化事件生成字幕。我们提出了联合事件检测和描述网络(JEDDi-Net),它解决了密集的视频描述任务的端到端的方式。我们的模型连续编码的输入视频流与三维卷积层,提出了可变长度的时间事件的基础上汇集的功能,并生成他们的字幕。建议特征通过来自共享视频特征编码的3D感兴趣段池在每个建议段内提取。为了明确建模的视觉事件和他们的字幕在一个单一的视频之间的时间关系,我们还提出了一个两级分层字幕模块,跟踪上下文。在大规模的ActivityNet Captions数据集上,JEDDi-Net展示了通过标准指标衡量的改进结果。我们还提出了第一个密集字幕结果的TACoS-MultiLevel数据集。
2018-12-25 cs.CV
AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark
University of Washington(华盛顿大学);Pika Labs(皮卡实验室);Stanford University(斯坦福大学);Harvard University(哈佛大学);New York University(纽约大学)
本文提出基于大型多模态模型的视频描述器AuroraCap,通过token合并策略实现高效视频详细描述,并构建VDC基准及LLM辅助评估指标VDCscore,在多个基准上超越GPT-4V等模型。
2025-04-09 cs.CV
Video ReCap: Recursive Captioning of Hour-Long Videos
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta AI
针对现有视频字幕模型难以处理长视频、无法生成多层级描述的问题,提出递归视频字幕模型Video ReCap,结合课程学习处理不同时长视频,构建Ego4D-HCap数据集,可生成多层级字幕并支持其他视频理解任务。
2024-05-16 cs.CV
OmniDiff: A Comprehensive Benchmark for Fine-grained Image Difference Captioning
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
OmniDiff提出一个全面的细粒度图像差异描述基准,结合多模态大语言模型与插拔式多尺度差异感知模块,提升跨场景差异识别性能。
2026-02-11 cs.CV
Track and Caption Any Motion: Open-Vocabulary Spatiotemporal Captioning via Trajectory-Conditioned Generation
Northeastern University(东北大学)
研究提出TCAM框架,无需文本查询和区域提示,通过字幕感知重采样器在点粒度结合跟踪与语言,用现有分割注释训练,能描述视频中运动、定位时间及轨迹,优于密集视频字幕基线,匹配相关方法,为运动驱动视频理解提供新途径。
2026-10-20 cs.CV
Analysis of Convolutional Decoder for Image Caption Generation
National Institute of Technology, Silchar(锡尔卡尔国家理工学院)
最近,卷积神经网络已被提出用于序列建模任务,如图像标题生成。然而,与递归神经网络不同,卷积神经网络作为图像字幕生成的解码器的性能还没有被广泛研究。在这项工作中,我们分析了基于卷积神经网络的解码器的各个方面,如网络复杂性和深度,数据增强的使用,注意力机制,训练过程中使用的句子长度等对模型性能的影响。我们使用Flickr8k和Flickr30k图像描述数据集进行实验,并观察到与基于递归神经网络的解码器不同,用于图像描述的卷积解码器通常不会受益于网络深度的增加,以堆叠卷积层的形式,以及数据增强技术的使用。此外,使用注意力机制也为卷积解码器提供了有限的性能增益。此外,我们观察到卷积解码器仅在使用包含多达15个单词的较小长度的句子进行训练时才显示出与递归解码器相当的性能,但在使用更长的句子长度进行训练时,它们具有局限性,这表明卷积解码器可能无法有效地对长期依赖性进行建模。此外,与递归解码器相比,卷积解码器通常在CIDEr评估度量上表现不佳。
2021-03-08 cs.CV
Album Storytelling with Iterative Story-aware Captioning and Large Language Models
Peking University(北京大学);Microsoft(微软);University of Chinese Academy of Sciences(中国科学院大学)
本文提出一种迭代式相册叙事流程,通过故事感知字幕模型与LLMs交替优化,减少故事中的事实错误,并引入新数据集和评估指标验证其生成故事更准确、连贯且生动。
2023-05-24 cs.CV
Annotation Order Matters: Recurrent Image Annotator for Arbitrary Length Image Tagging
The University of Tokyo(东京大学)
图像自动标注是实现大规模图像管理和检索的重要研究课题。现有方法侧重于学习图像与标签的相关性或标签之间的相关性,以提高注释准确性。然而,这些方法中的大多数使用top-k检索性能来评估其性能,其中k是固定的。虽然这样的设置为比较不同的方法提供了方便,但它不是人类注释图像的自然方式。注释标签的数量应取决于图像内容。受机器翻译和图像描述的启发,提出了一种新的递归图像标注模型,将图像标注任务转化为序列生成问题,使得递归图像标注能够根据图像内容自动预测标签的长度。我们在各种图像注释数据集上评估了所提出的模型。除了将我们的模型与使用传统top-k评估措施的现有方法进行比较之外,我们还提供了我们的模型作为任意长度图像标记任务的高质量基线。此外,我们的实验结果表明,在训练阶段的标签的顺序有很大的影响,最终的标注性能。
2016-12-07 cs.AI cs.CV
Caption Anything: Interactive Image Description with Diverse Multimodal Controls
SUSTech VIP Lab(南方科技大学VIP实验室);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出Caption AnyThing(CAT)框架,结合SAM和ChatGPT,统一视觉与语言控制,支持点、框、轨迹及情感、长度等多种多模态控制,实现灵活交互式图像描述。
2023-07-06 cs.CV
Algorithm Development for Controlling Movement of a Robotic Platform by Digital Image Processing
Universidad de Cundinamarca(昆迪纳马卡大学);Universidad Católica de Pereira(佩雷拉天主教大学)
下面的工作显示了一个算法,可以处理图像的数字控制移动机器人平台在一定的环境中的运动的目标。该平台是用一个特定的颜色来识别,而平台移位的位移环境用不同的颜色来识别障碍物,对于这两种情况,它都是用RGB色标来工作的。为了获得控制的机器人平台的运动,该算法是在C程序设计语言开发的,并使用Open CV库在开发平台C++上处理由摄像机捕获的图像。摄像机之前使用ZHANG技术进行校准,其中参数是焦距和倾斜焦点像素。在该算法中,开发了图像的直方图分析和分割,允许准确地确定平台相对于障碍物的相对位置和要遵循的运动策略。
2022-05-23 cs.CV cs.RO