Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT（麻省理工学院）；IBM Research（IBM研究院）；JD AI Research（京东人工智能研究院）；UC Davis（加州大学戴维斯分校）
视觉语言基础在现代神经图像描述系统中被广泛研究，其通常采用由两个主要组件组成的编码器-解码器框架：用于图像特征提取的卷积神经网络（CNN）和用于语言字幕生成的递归神经网络（RNN）。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性，我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法，检查神经图像描述系统是否会被误导，输出一些随机选择的标题或关键字。我们广泛的实验表明，我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例，并且对抗性示例可以高度转移到其他图像描述系统。因此，我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Understanding and Evaluating Racial Biases in Image Captioning
Princeton University（普林斯顿大学）
图像描述是一项重要的任务，为基准的视觉推理和使无障碍的人与视觉障碍。然而，正如在许多机器学习环境中一样，社会偏见可能会以不期望的方式影响图像描述。在这项工作中，我们研究了图像描述中的偏差传播途径，特别关注COCO数据集。先前的工作分析了使用自动派生的性别标签的标题中的性别偏见，在这里，我们研究使用手动注释的种族和交叉偏见。我们的第一个贡献是在获得IRB批准后，注释了28，315名被描绘的人的感知性别和肤色。使用这些注释，我们比较了手动和自动生成的图像标题中存在的种族偏见。我们展示了图片的标题性能，情绪和文字选择之间的差异与较深的皮肤的人。此外，我们发现这些差异的幅度在现代字幕系统中比旧的字幕系统更大，从而导致人们担心，如果没有适当的考虑和缓解，这些差异只会变得越来越普遍。代码和数据可在https://princetonvisualai.github.io/imagecaptioning-bias上获得。
2021-08-30 cs.CV
Context-Aware Visual Policy Network for Fine-Grained Image Captioning
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
随着视觉检测技术的成熟，我们更加雄心勃勃地用开放词汇、细粒度和自由形式的语言来描述视觉内容，即，图像描述的任务。特别是，我们有兴趣生成更长，更丰富，更细粒度的句子和段落作为图像描述。图像描述可以转化为给定视觉内容的序列语言预测任务，其中输出序列形成具有合理语法的自然语言描述。然而，现有的图像描述方法仅关注语言策略而非视觉策略，并且因此未能捕获对于诸如对象关系（例如，“人骑马”）和视觉比较（例如，“小（er）猫”）。当生成较长的序列（如段落）时，此问题尤其严重。为了填补这一空白，我们提出了一个上下文感知的视觉策略网络（CAVP）细粒度的图像到语言生成：图像句子字幕和图像段落字幕。在字幕生成过程中，CAVP将先前的视觉注意力视为上下文，并在给定当前视觉注意力的情况下决定上下文是否用于当前单词/句子生成。与传统的视觉注意力机制在每一步只固定一个视觉区域相比，CAVP可以随着时间的推移注意到复杂的视觉成分。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过使用演员-评论家策略梯度方法进行端到端的有效优化。我们已经证明了CAVP的有效性，最先进的性能MS-COCO和斯坦福字幕数据集，使用各种指标和定性视觉环境的明智的可视化。
2019-06-06 cs.CV
Masked Diffusion Captioning for Visual Feature Learning
University of Michigan（密歇根大学）；Cornell University（康奈尔大学）；University of Maryland（马里兰大学）
提出掩码扩散字幕生成（MDC）方法，通过图像条件的掩码扩散语言模型重建被掩码的文本token来学习视觉特征，避免了自回归方法对辅助目标的依赖，并在下游视觉任务中表现出竞争力。
2025-10-30 cs.CV
LocCa: Visual Pretraining with Location-aware Captioners
KU Leuven（鲁汶大学）；Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文提出了一种具有位置感知能力的字幕生成器视觉预训练方法LocCa，通过图像字幕生成器任务接口教导模型读出边界框坐标和字幕信息，在定位下游任务上显著优于标准字幕生成器并保持整体任务性能。
2024-11-11 cs.CV
Leveraging Visual Question Answering for Image-Caption Ranking
Virginia Tech（弗吉尼亚理工大学）
视觉问答（VQA）的任务是将图像和关于图像的自由形式的自然语言问题作为输入，并产生准确的答案。在这项工作中，我们认为VQA作为一个"特征提取"模块来提取图像和字幕表示。我们采用这些表示的图像标题排名的任务。每个特征维度捕捉（想象）一个事实（问题-答案对）对于图像和标题是否可能是真实的。这允许模型从各种各样的角度解释图像和标题。我们提出了分数级和代表级融合模型，将VQA知识在现有的国家的最先进的VQA不可知的图像字幕排名模型。我们发现，结合和推理图像和字幕之间的一致性显着提高性能。具体来说，我们的模型在MSCOCO数据集上的标题检索和图像检索方面分别提高了7.1%和4.4%。
2016-08-31 cs.CV
Hierarchical LSTMs with Adaptive Attention for Visual Captioning
The University of Electronic Science and Technology of China（电子科技大学）
最近在使用基于注意力的编码器-解码器框架用于图像和视频描述字幕方面取得了进展。大多数现有的解码器将注意力机制应用于包括两个视觉词（例如，“枪”和“射击”）和非视觉词（例如“the”，“a”）。然而，这些非视觉词可以很容易地预测使用自然语言模型，而不考虑视觉信号或注意。将注意力机制强加在非视觉文字上会产生误导，降低视觉字幕的整体效果。此外，LSTM的层次结构可以更复杂地表示视觉数据，以不同的尺度捕获信息。为了解决这些问题，我们提出了一种具有自适应注意力的分层LSTM（hLSTMat）方法，用于图像和视频描述。具体地说，该框架利用空间或时间注意力来选择特定的区域或帧来预测相关词，而自适应注意力则用于决定是依赖于视觉信息还是语言上下文信息。此外，一个分层的LSTM被设计为同时考虑低级别的视觉信息和高级语言上下文信息，以支持字幕生成。我们最初设计我们的hLSTMat为视频描述任务。然后，我们进一步完善它，并将其应用到图像描述任务。为了证明我们提出的框架的有效性，我们在视频和图像描述任务上测试了我们的方法。实验结果表明，我们的方法实现了国家的最先进的性能的大多数评价指标的任务。在消融研究中也充分利用了重要组件的作用。
2018-12-26 cs.CV
Generating Diverse and Accurate Visual Captions by Comparative Adversarial Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；JD AI Research（京东人工智能研究院）
我们研究如何生成字幕，不仅准确地描述图像，但也区分不同的图像。这个问题既基本又有趣，因为大多数机器生成的字幕，尽管在过去几年中取得了惊人的研究进展，但都是以非常单调和无特色的格式表示的。虽然这些字幕通常是准确的，但它们往往缺乏人类语言的重要特征-每个字幕的独特性和不同图像的多样性。为了解决这个问题，我们提出了一种新的条件生成对抗网络，用于在图像中生成不同的字幕。所提出的比较对抗学习框架不是仅在一张图像上估计字幕的质量，而是通过比较图像-字幕联合空间内的一组字幕来更好地评估字幕的质量。通过与人类书写字幕和图像不匹配字幕的对比，字幕生成器有效地利用了人类语言的固有特性，生成了更具鉴别力的字幕。我们表明，我们提出的网络能够在图像中产生准确和多样化的字幕。
2019-03-10 cs.CV
Chain-of-Talkers (CoTalk): Fast Human Annotation of Dense Image Captions
Hohai University（河海大学）；HKUST（香港科技大学）
提出AI在环的Chain-of-Talkers (CoTalk)框架，通过顺序标注残差信息与多模态读写说界面，在固定预算下提升密集图像标注的速度、全面性及视觉-语言对齐效果。
2025-06-01 cs.CL cs.CV
Dense Captioning with Joint Inference and Visual Context
Snap Inc.（Snap公司）
密集字幕是一个新兴的计算机视觉课题，用于理解具有密集语言描述的图像。目标是密集地检测视觉概念（例如，对象、对象部分以及它们之间的交互），用简短的描述性短语标记每个对象。我们确定了两个关键的挑战，密集字幕，需要妥善处理时，解决这个问题。首先，每个图像中密集的视觉概念注释与高度重叠的目标区域相关联，使得每个视觉概念的准确定位具有挑战性。其次，大量的视觉概念使得很难仅通过外观来识别它们中的每一个。我们提出了一个新的模型管道的基础上两个新的想法，联合推理和上下文融合，以减轻这两个挑战。我们设计我们的模型架构在一个有条不紊的方式，并彻底评估架构的变化。我们的最终模型，紧凑和高效，实现了最先进的准确性Visual Genome的密集字幕与73\%的相对增益相比，以前的最佳算法。定性实验也揭示了我们的模型在密集字幕的语义能力。
2017-08-07 cs.CV
AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning
Nanjing University（南京大学）；Kuaishou Technology（快手科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
研究全模态视频字幕编排视听协同问题，提出AVSCap框架，构建训练语料库，采用两阶段策略训练字幕生成器，引入新基准，实验表明该模型在非语音音频覆盖率和跨模态绑定方面表现出色，提升了整体性能。
2026-07-15 cs.CV
Enhancing Descriptive Captions with Visual Attributes for Multimodal Perception
NJUST（南京理工大学）；Baidu VIS（百度视觉部）；HKU（香港大学）；NJU（南京大学）；SUTD（新加坡科技设计大学）
本文提出EDC方法，通过整合视觉专家的低级和细粒度属性，提升图像标题的描述质量，以增强多模态感知能力。
2026-01-27 cs.CV
Geometry-Entangled Visual Semantic Transformer for Image Captioning
图像描述的最新进展具有视觉语义融合或几何辅助注意力细化的特征。然而，这些基于融合的模型，他们仍然受到批评，缺乏几何信息的帧间和帧内注意力细化。另一方面，基于几何辅助注意的模型仍然受到视觉和语义信息之间的模态差距的影响。在本文中，我们介绍了一种新的几何纠缠视觉语义Transformer（GEVST）网络，实现视觉语义融合和几何辅助注意力细化的优势互补。具体地说，一个稠密字幕模型首先提出了一些具有相应的几何信息的稠密字幕。然后，为了使GEVS具有弥合视觉和语义信息之间的模态差距的能力，我们构建了四个并行的Transformer编码器VV（Pure Visual），VS（Semantic fused to Visual），SV（Visual fused to Semantic），SS（Pure Semantic）用于最终字幕生成。视觉和语义几何特征都用于融合模块和自我注意力模块，以更好地测量注意力。为了验证我们的模型，我们在MS-COCO数据集上进行了大量的实验，实验结果表明，我们的GEVST模型可以获得很好的性能增益。
2021-09-29 cs.CV
MetaCaptioner: Towards Generalist Visual Captioning with Open-source Suites
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；University of Chinese Academy of Science（中国科学院大学）；Xiamen University（厦门大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出CapFlow多智能体工作流，利用开源模型以89.5%成本降低实现与GPT-4.1相当的描述质量，并微调得到通用描述器MetaCaptioner，达到开源社区顶级多模态性能。
2025-10-16 cs.CV
Context-Aware Visual Policy Network for Sequence-Level Image Captioning
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
许多视觉语言任务可以归结为自然语言输出的序列预测问题。特别是，图像描述的最新进展使用深度强化学习（RL）来减轻训练期间的“暴露偏差”：在每一步预测中暴露真实子序列，这在仅看到预测子序列时在测试中引入偏差。然而，现有的基于RL的图像描述方法仅关注语言策略而不关注视觉策略（例如，视觉注意力），并且因此不能捕获对于诸如视觉关系的组成推理至关重要的视觉上下文（例如，“人骑马”）和比较（例如，“更小的猫”）。为了填补这一空白，我们提出了一个上下文感知的视觉策略网络（CAVP）的序列级图像描述。在每一个时间步，CAVP显式地考虑以前的视觉注意力作为上下文，然后决定上下文是否有助于当前词生成给定的当前视觉注意力。与传统的视觉注意在每一步只固定一个图像区域相比，CAVP可以随着时间的推移关注复杂的视觉组合。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过相对于任何字幕评价度量使用演员-评论家策略梯度方法来有效地端到端优化。我们证明了CAVP的有效性，最先进的性能MS-COCO离线分割和在线服务器上，使用各种指标和明智的可视化的定性视觉环境。代码可在https://github.com/daqingliu/CAVP上获得
2018-08-22 cs.CV
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
The University of Western Australia（西澳大学）
视频字幕的自动生成是计算机视觉中的一个基本挑战。最近的技术通常采用卷积神经网络（CNN）和递归神经网络（RNN）的组合用于视频描述。这些方法主要集中在通过RNN定制序列学习以更好地生成字幕，而现成的视觉特征则是从CNN中借来的。我们认为，仔细设计的视觉功能，这项任务是同样重要的，并提出了一个视觉功能编码技术，生成语义丰富的字幕使用门控递归单位（GRUs）。我们的方法通过分层地将短傅立叶变换应用于整个视频的CNN特征，在视觉特征中嵌入丰富的时间动态。它还从对象检测器中导出高级语义，以利用检测到的对象的空间动态来丰富表示。最终的表示被投影到一个紧凑的空间，并提供给一个语言模型。通过学习一个相对简单的语言模型，包括两个GRU层，我们建立了新的最先进的MSVD和MSR-VTT数据集的METEOR和ROUGE_L指标。
2019-04-29 cs.CV
Visual Analytics for Efficient Image Exploration and User-Guided Image Captioning
University of California, Davis（加州大学戴维斯分校）；Visa Research（维萨研究院）
本文提出协同视觉分析系统，利用语言-图像模型生成的描述探索大规模图像数据集、识别偏差，并通过交互式界面评估和引导图像描述生成。
2023-11-02 cs.CV
Predicting Visual Features from Text for Image and Video Caption Retrieval
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）；University of Amsterdam（阿姆斯特丹大学）
本文试图在一组句子中找到最好的描述给定图像或视频内容的句子。不同于现有的作品，它依赖于一个联合子空间的图像和视频字幕检索，我们建议这样做，在视觉空间专门。除了这个概念上的新颖性，我们贡献了\emph{Word2VisualVec}，一个深度神经网络架构，学习预测文本输入的视觉特征表示。示例字幕基于多尺度句子向量化被编码为文本嵌入，并通过简单的多层感知器进一步转换为选择的深度视觉特征。我们进一步推广Word 2 VisualVec的视频字幕检索，从文本预测的3-D卷积神经网络功能，以及视听表示。在Flickr 8 k、Flickr 30 k、微软视频描述数据集和最近NIST TrecVid视频字幕检索挑战上的实验详细介绍了Word 2 VisualVec的属性、其优于文本嵌入的优势、多模态查询组合的潜力及其最先进的结果。
2018-07-14 cs.CV
Text-guided Attention Model for Image Captioning
POSTECH（浦项科技大学）
视觉注意在图像理解中起着重要的作用，并在生成图像的自然语言描述中表现出其有效性。另一方面，最近的研究表明，与图像相关的语言可以在我们的认知过程中引导场景中的视觉注意。受此启发，我们引入了一个文本引导的注意力模型的图像描述，学习驱动视觉注意力使用相关的字幕。对于这个模型，我们提出了一个基于范例的学习方法，检索从训练数据相关的标题与每个图像，并使用它们来学习视觉功能的注意。我们的注意力模型能够通过有效区分小的或易混淆的对象来描述场景的详细状态。我们在MS-COCO Captioning基准测试中验证了我们的模型，并在标准度量中实现了最先进的性能。
2016-12-12 cs.CV
Multimodal Transformer with Multi-View Visual Representation for Image Captioning
Hangzhou Dianzi University（杭州电子科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述的目标是自动生成给定图像的自然语言描述，并且大多数最先进的模型都采用了编码器-解码器框架。该框架包括一个基于卷积神经网络（CNN）的图像编码器，从输入图像中提取基于区域的视觉特征，和一个基于递归神经网络（RNN）的字幕解码器，基于视觉特征与注意力机制生成输出字幕词。尽管现有的研究取得了成功，目前的方法只建模的共同注意的特点，通道间的相互作用，而忽略了自我注意的特点，通道内的相互作用。受Transformer模型在机器翻译中成功应用的启发，本文将其扩展为一个用于图像描述的多模态Transformer（MT）模型。与现有的图像描述方法相比，MT模型在统一的注意力块中同时捕获模态内和模态间的交互。由于这种注意力块的深入模块化组成，MT模型可以执行复杂的多模态推理并输出准确的字幕。此外，为了进一步提高图像描述的性能，多视角视觉特征被无缝地引入到MT模型中。我们使用基准MSCOCO图像描述数据集定量和定性地评估我们的方法，并进行广泛的消融研究，以调查其有效性背后的原因。实验结果表明，我们的方法显着优于以前的国家的最先进的方法。在撰写本文时，我们的解决方案在MSCOCO图像描述挑战赛的实时排行榜上排名第一。
2019-05-20 cs.CV
Read, look and detect: Bounding box annotation from image-caption pairs
IRT Saint Exupéry（圣埃克苏佩里技术研究院）
该研究提出利用图像-文本对这种更弱监督形式，结合视觉-语言模型与自监督视觉Transformer实现弱监督短语定位与目标检测，在相关数据集上取得了优异性能，有效降低了目标检测的标注成本。
2023-06-09 cs.AI cs.CV
Top-down Visual Saliency Guided by Captions
Boston University（波士顿大学）；Adobe Research（Adobe研究院）
神经图像/视频描述模型可以生成准确的描述，但它们将区域映射到单词的内部过程是一个黑盒，因此难以解释。自上而下的神经显着性方法可以找到重要的区域，给出了一个高层次的语义任务，如对象分类，但不能使用一个自然语言句子作为自上而下的输入任务。在本文中，我们提出了字幕引导的视觉显着性，以暴露现代编码器-解码器网络中的区域到单词的映射，并证明它是从字幕训练数据中隐式学习的，没有任何像素级注释。我们的方法可以为预测的字幕和任意查询语句生成空间或时空热图。它恢复显着性而无需引入显式注意层的开销，并且可以用于分析各种现有的模型架构并改进其设计。对大规模视频和图像数据集的评估表明，我们的方法实现了与现有方法相当的字幕性能，同时提供了更准确的显着性热图。我们的代码可在visionlearninggroup.github.io/caption-guided-saliency/上获得。
2017-04-12 cs.CV
HowToCaption: Prompting LLMs to Transform Video Annotations at Scale
Goethe University Frankfurt（法兰克福大学）；SIC；University of Bonn（波恩大学）；University of Oxford（牛津大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Saarland University（萨尔大学）
本文提出HowToCaption，利用LLM依据HowTo100M的ASR字幕生成带时间戳的大规模视频描述，显著改善零样本检索、视频字幕及文本-视频-音频任务。
2024-09-07 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions
South China University of Technology（华南理工大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）
提出Omni密集描述任务，通过六维结构模式生成带时间戳的类脚本描述，构建OmniDCBench基准和SodaM评估指标，训练TimeChat-Captioner-7B模型，在音视频推理和时间定位任务上超越Gemini-2.5-Pro。
2026-07-03 cs.CV
DVCFlow: Modeling Information Flow Towards Human-like Video Captioning
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Technologies（华为技术有限公司）
密集视频描述（DVC）的目的是生成多句描述来阐明视频中的多个事件，这是一个挑战，需要视觉一致性，话语连贯性和语言多样性。现有的方法主要从单个视频片段生成字幕，缺乏对全局视觉上下文的适应性，以及快速演变的视觉内容和文本描述之间的渐进对齐，这导致冗余和拼接的描述。在本文中，我们引入信息流的概念来模拟渐进的信息变化的视频序列和字幕。通过设计跨模态信息流对齐机制，实现了视觉信息流和文本信息流的捕获和对齐，为字幕过程提供了更丰富的上下文和事件/主题演化的动态性。在跨模态信息流对齐模块的基础上，我们进一步提出了DVCFlow框架，该框架由全局-局部视觉编码器和预训练的字幕生成器组成，全局-局部视觉编码器用于捕获每个视频片段的全局特征和局部特征，字幕生成器用于生成字幕。在流行的ActivityNet Captions和YouCookII数据集上进行的大量实验表明，我们的方法显着优于竞争基线，并根据主题和客观测试生成更人性化的文本。
2021-11-19 cs.CV
Visual Commonsense-aware Representation Network for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Jiaotong University（西南交通大学）
生成视频的连续描述，即，视频描述要求在生成过程中充分利用视觉表示。现有的视频描述方法集中于探索时空表示及其关系以产生推断。然而，这些方法只利用了视频本身所包含的表面关联，而没有考虑视频数据集中存在的内在视觉常识知识，这可能会影响其知识认知能力，从而导致准确的描述。为了解决这个问题，我们提出了一个简单而有效的方法，称为视觉常识感知表示网络（VCRN），视频描述。具体来说，我们构建了一个视频字典，即插即用的组件，通过将所有视频特征从总数据集中聚类到多个聚类中心而无需额外的注释。每个中心隐式地表示视频域中的视觉常识概念，该视觉常识概念被用于我们提出的视觉概念选择（Visual Concept Selection，简称VCP）中以获得与视频相关的概念特征。接着，提出了一种概念整合生成（CIG）来增强字幕生成。在三个公开的视频描述基准测试：MSVD、MSR-VTT和VATEX上进行的大量实验表明，我们的方法达到了最先进的性能，表明了我们方法的有效性。此外，我们的方法被集成到现有的视频问答的方法，并提高了这种性能，进一步显示了我们的方法的推广。源代码已在https://github.com/zchoi/VCRN上发布。
2022-11-17 cs.CV
VLTinT: Visual-Linguistic Transformer-in-Transformer for Coherent Video Paragraph Captioning
University of Arkansas（阿肯色大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
视频段落字幕的目的是生成一个多句子的描述一个未经修剪的视频与几个时间事件的位置在连贯的故事。在人类的感知过程中，场景被有效地理解分解成视觉（如人类，动物）和非视觉组件（如动作，关系）的视觉和语言的相互影响下，我们首先提出了一个视觉语言（VL）功能。在所提出的VL功能，场景建模的三个模态，包括（i）一个全球性的视觉环境;（ii）本地视觉主代理;（iii）语言场景元素。然后，我们引入了自回归变换器中的Transformer（TinT），同时捕获视频内的事件内和事件间内容的语义一致性。最后，我们提出了一个新的VL对比损失函数，以保证学习的嵌入特征与字幕语义相匹配。在ActivityNet Captions和YouCookII数据集上进行的全面实验和广泛的消融研究表明，所提出的视觉语言转换器（VLTinT）在准确性和多样性方面优于现有的最先进的方法。源代码可在https://github.com/UARK-AICV/VLTinT上公开获取。
2023-02-16 cs.CV
CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
ERNIE Team, Baidu（百度ERNIE团队）；College of Artificial Intelligence, Inner Mongolia University（内蒙古大学人工智能学院）
提出CodecCap框架，通过关键帧和残差字幕模拟视频编解码器，在保持细粒度视觉证据的同时减少冗余，并引入VidCapQA基准验证其高保真度。
2026-05-26 cs.CV
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能中最具挑战性的任务之一，其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而，这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中，我们探索显式和隐式的视觉关系，以丰富区域级表示的图像描述。具体地说，我们在对象对上构建语义图，并利用门控图卷积网络（Gated GCN）选择性地聚合局部邻居的信息。隐含地，我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers（区域BERT）没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性，我们进行了广泛的实验在Microsoft COCO基准，并取得显着的改善相比，强大的基线。
2021-05-06 cs.CV
CAST: Mitigating Object Hallucination in Large Vision-Language Models via Caption-Guided Visual Attention Steering
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本研究针对大型视觉语言模型的物体幻觉问题，提出无需训练的即插即用方法CAST，通过字幕引导的视觉注意力调控，在低推理成本下平均降低物体幻觉6.03%，实现最优性能。
2026-07-30 cs.CV
Exploration of Visual Features and their weighted-additive fusion for Video Captioning
Indian Institute of Technology Dharwad（达尔瓦德印度理工学院）；UltraInstinct AI
视频描述是一个流行的任务，挑战模型使用自然语言描述视频中的事件。在这项工作中，我们调查的能力，各种视觉特征表示来自国家的最先进的卷积神经网络捕捉高层次的语义上下文。我们介绍了加权加法融合Transformer与内存增强编码器（WAFTM），字幕模型，将内存中的Transformer编码器，并使用一种新的方法，融合功能，确保适当的重要性给予更重要的表示。我们说明了通过应用词块令牌化和流行的REINFORCE算法实现的性能增益。最后，我们在两个数据集上对我们的模型进行了基准测试，并在MSVD上获得了92.4的CIDER，在ActivityNet Captions数据集上获得了0.091的METEOR。
2021-01-14 cs.CV
Towards Universal Video MLLMs with Attribute-Structured and Quality-Verified Instructions
VCIP, School of Computer Science, Nankai University（VCIP，计算机科学学院，南开大学）；ByteDance Inc.（字节跳动公司）；Tsinghua University（清华大学）
本研究提出ASID-1M数据集、ASID-Verify验证流程和ASID-Captioner模型，通过细粒度结构化指令提升视频理解性能，实现高质量描述生成与指令遵循。
2026-02-13 cs.CV
Visual Fact Checker: Enabling High-Fidelity Detailed Caption Generation
NVIDIA（英伟达）
本文提出无训练流程 VisualFactChecker，通过提议-验证-字幕生成三阶段结合开源模型与工具进行事实核查，在 2D 图像和 3D 物体字幕生成上以远小于专有模型的规模达到与 GPT-4V 相当的性能。
2024-04-30 cs.CV
Caption Generation on Scenes with Seen and Unseen Object Categories
Middle East Technical University（中东技术大学）；HAVELSAN Inc.（哈维尔桑公司）
图像字幕生成是视觉和语言领域中最具挑战性的问题之一。在这项工作中，我们提出了一个现实的字幕任务，输入场景可能会纳入视觉对象，没有相应的视觉或文本训练样本。对于这个问题，我们提出了一个检测驱动的方法，包括一个单阶段的广义zero-shot检测模型来识别和本地化的实例，看到和看不见的类，和基于模板的字幕模型，将检测到的句子。为了改善广义zero-shot检测模型，它提供了必要的信息，字幕，我们定义了有效的类表示类到类的语义相似性，并利用其特殊的结构，构建一个有效的看不见的/看到的类置信度评分校准机制。我们还提出了一种新的评价指标，通过分别测量生成的句子的视觉和非视觉内容，为字幕输出提供了额外的见解。我们的实验强调了在所提出的zero-shot设置中研究字幕的重要性，并验证了所提出的检测驱动的zero-shot字幕方法的有效性。
2022-07-01 cs.CV
Explore and Tell: Embodied Visual Captioning in 3D Environments
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）
针对单张图像视角不佳阻碍细粒度场景理解的问题，提出具身视觉描述任务与级联具身描述模型CaBOT，构建ET-Cap数据集支撑研究，实验证明模型表现优于基线。
2023-08-21 cs.CV
OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
Hunyuan, Tencent（腾讯混元）；Nanyang Technological University（南洋理工大学）；Northumbria University（诺森比亚大学）
研究针对MLLM视听推理评估的痛点，提出OmniCapBench深度结构化评估框架，通过原子评估单元实现可靠评分，揭示前沿MLLM局部感知强但长时视听推理弱的问题，为全模态发展提供路线图。
2026-10-09 cs.CV
Image captioning with weakly-supervised attention penalty
UCLA（加州大学洛杉矶分校）；UC Merced（加州大学默塞德分校）
故事对家谱研究至关重要，因为它们可以帮助人们建立情感联系。很多家庭故事都保留在历史照片和相册中。图像描述模型的最新发展使得自动为照片“讲故事”成为可能。由于注意力机制可以在视觉部分和语言部分之间架起一座桥梁，因此在许多基于编码器-解码器的图像描述模型中被广泛采用。大多数现有的字幕模型隐含地训练注意模块与词的可能性损失。与此同时，大量的研究采用基于梯度的方法来研究视觉模型的内在注意力。理想情况下，由字幕模型预测的注意力地图应该与任何给定视觉概念的视觉模型的内在注意力一致。然而，没有工作已经做了调整内隐学习的注意力地图与内在的视觉注意。在本文中，我们提出了一个新的模型，衡量字幕预测注意力和内在视觉注意力之间的一致性。这种对齐丢失允许明确的注意力校正，而无需使用任何昂贵的限界框注释。我们在COCO数据集以及来自Ancestry.com Operations Inc.的系谱数据集上开发和评估了我们的模型，它包含了数十亿张历史照片该模型在两个数据集的所有常用语言评估指标上都取得了更好的性能。
2019-03-06 cs.CV
Cycle-Consistency Learning for Captioning and Grounding
Huawei Inc.（华为公司）；University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
提出CyCo循环一致性学习框架，桥接视觉定位与图像描述，实现半弱监督训练并提升全监督性能，生成可描述任意区域的通用描述模型。
2023-12-23 cs.CV
Clue: Cross-modal Coherence Modeling for Caption Generation
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）
我们使用受话语计算模型启发的连贯关系来研究图像描述的信息需求和目标。使用一个注释协议专门设计用于捕获图像-标题的连贯性关系，我们注释10,000例公开的图像-标题对。我们介绍了一个新的任务，学习推理的图像和文本，连贯性关系预测，并表明这些连贯性注释可以利用学习关系分类器作为中间步骤，也训练连贯性意识，可控的图像描述模型。结果表明，通过一致性关系指定的信息需求方面的一致性和质量的显着改善所生成的字幕。
2020-05-02 cs.CL cs.CV
Iconographic Image Captioning for Artworks
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
图像描述意味着仅基于视觉输入自动生成图像的文本描述。虽然这是近年来广泛讨论的一个研究课题，但在艺术史料领域的贡献并不多。在这种特定的背景下，图像描述的任务面临着各种挑战，如缺乏大规模的图像-文本对的数据集，与描述艺术品相关的含义的复杂性和需要专家级的注释。这项工作旨在通过利用一个新颖的大规模艺术品图像数据集来解决其中的一些挑战，该数据集注释了专为艺术和图像学设计的Iconclass分类系统中的概念。注释被处理成清晰的文本描述，以创建适合于在图像描述任务上训练深度神经网络模型的数据集。受在为自然图像生成字幕方面取得的最先进成果的启发，使用艺术品图像数据集对基于transformer的视觉语言预训练模型进行了微调。使用标准图像描述度量来执行结果的定量评估。所生成的标题和模型的能力，以推广到新的数据的质量进行了探讨，采用该模型上的一个新的集合的绘画和执行之间的关系的分析通常生成的标题和艺术流派。总体结果表明，该模型可以生成与艺术历史背景具有更强相关性的有意义的字幕，特别是与仅在自然图像数据集上训练的模型获得的字幕相比。
2021-02-07 cs.CV
New Encoder Learning for Captioning Heavy Rain Images via Semantic Visual Feature Matching
Kunsan National University（群山大学）
针对暴雨图像描述中视觉特征退化问题，提出一种基于初始重建子网络和语义视觉特征匹配子网络联合学习的新型编码器，将退化特征转换为语义视觉特征，从而提升描述准确性。
2021-09-15 cs.CV
Exploring Annotation-free Image Captioning with Retrieval-augmented Pseudo Sentence Generation
University of Sydney（悉尼大学）
本文提出RaPSG策略，通过蒸馏大型预训练模型知识并从不匹配语料库检索相关区域描述生成高质量伪句子，结合流畅性过滤器和CLIP指导，在零样本、无监督等多种设置下优于SOTA模型。
2024-10-14 cs.AI cs.CV
Mask-free OVIS: Open-Vocabulary Instance Segmentation without Manual Mask Annotations
Johns Hopkins University（约翰斯·霍普金斯大学）；Northeastern University（东北大学）；Salesforce Research（赛富时研究院）
现有的实例分割模型使用来自基础（训练）类别的手动掩码注释来学习特定于任务的信息。这些掩码注释需要大量的人力，限制了注释新颖（新）类别的可扩展性。为了缓解这个问题，开放词汇（OV）方法利用大规模的图像-字幕对和视觉语言模型来学习新的类别。总之，OV方法使用来自基本注释的强监督来学习任务特定信息，并且使用来自图像-字幕对的弱监督来学习新类别信息。强监督和弱监督之间的这种差异导致对基本类别的过度拟合，从而导致对新类别的泛化能力差。在这项工作中，我们克服了这个问题，学习基本和新的类别从伪掩码注释生成的视觉语言模型在弱监督的方式使用我们提出的无掩码OVIS管道。我们的方法自动生成伪掩模注释，利用本地化能力的预训练的视觉语言模型的对象中存在的图像字幕对。然后，生成的伪掩码注释用于监督实例分割模型，从而将整个管道从任何劳动力昂贵的实例级注释和过拟合中解放出来。我们广泛的实验表明，与最近使用手动掩码训练的最先进方法相比，我们使用伪掩码训练的方法显着提高了MS-COCO数据集和OpenImages数据集上的mAP得分。https://vibashan.github.io/ovis-web/中提供了代码和模型。
2023-03-29 cs.CV
Boosted Attention: Leveraging Human Attention for Image Captioning
Department of Computer Science and Engineering, University of Minnesota（明尼苏达大学计算机科学与工程系）
视觉注意力在图像描述中已经显示出有用性，其目的是使字幕模型能够选择性地聚焦于感兴趣区域。现有的模型通常依赖于自上而下的语言信息，并通过优化字幕目标来隐式地学习注意力。虽然有些有效，但学习的自上而下的注意力在没有直接监督的情况下可能无法集中在正确的兴趣区域。受人类视觉系统的启发，它不仅是由特定于任务的自上而下的信号，但也是视觉刺激，我们在这项工作中提出使用这两种类型的注意图像描述。特别是，我们强调了这两种类型的注意力的互补性，并开发了一个模型（提升注意力），将它们整合为图像描述。我们验证了所提出的方法与国家的最先进的性能在各种评估指标。
2019-03-18 cs.CV
Caption Generation for Dongba Paintings via Prompt Learning and Semantic Fusion
Sichuan Agricultural University（四川农业大学）
本文提出PVGF-DPC框架，结合内容提示模块和新颖的视觉语义生成融合损失，解决东巴绘画自动描述问题，生成符合文化特色的描述。
2026-03-24 cs.CV
UMIC: An Unreferenced Metric for Image Captioning via Contrastive Learning
Seoul National University（首尔国立大学）；Adobe Research（奥多比研究院）
尽管BERTScore等各种文本生成指标取得了成功，但由于描述的多样性，在没有足够参考字幕的情况下仍然难以评估图像字幕。在本文中，我们引入了一个新的度量UMIC，一个无参考的度量图像描述，它不需要参考字幕来评估图像字幕。基于视觉与语言BERT，我们通过对比学习训练UMIC识别负面字幕。此外，我们观察到以前基准数据集的关键问题（即，人类注释）对图像描述度量的影响，并在所生成的字幕上引入人类注释的新集合。我们在四个数据集上验证了UMIC，包括我们的新数据集，并表明UMIC具有比以前所有需要多个引用的指标更高的相关性。我们发布基准数据集和预训练模型来计算UMIC。
2021-06-26 cs.CL cs.CV
DenseAnnotate: Enabling Scalable Dense Caption Collection for Images and 3D Scenes via Spoken Descriptions
University of Pennsylvania（宾夕法尼亚大学）
针对多模态大语言模型训练数据依赖稀疏标注的问题，提出音频驱动的DenseAnnotate平台，通过语音描述高效收集图像和3D场景的密集标注，构建多语言多模态数据集并提升模型性能。
2025-11-16 cs.CL cs.CV
The MSR-Video to Text Dataset with Clean Annotations
Tsinghua University（清华大学）；University of Hamburg（汉堡大学）；Chinese Institute for Brain Research（中国脑科学研究所）
本文针对MSR-VTT数据集中标注存在重复和语法噪声的问题进行数据清洗，实验证明清洗后的数据能提升典型视频字幕生成模型的定量指标和人类评价中的连贯性与相关性。
2024-02-25 cs.CV cs.LG
Discourse Analysis for Evaluating Coherence in Video Paragraph Captions
UCLA Center for Vision, Cognition, Learning, and Autonomy（加州大学洛杉矶分校视觉、认知、学习与自主中心）
视频段落字幕是自动生成视频中动作的连贯段落描述的任务。以往的语言学研究表明，自然语言语篇的连贯性是通过语篇结构和语篇关系来体现的。然而，现有的视频描述方法仅通过将它们与人类段落注释进行比较来评估所生成的段落的连贯性，并且无法推理潜在的话语结构。在加州大学洛杉矶分校，我们目前正在探索一种新的基于话语的框架来评估视频段落的连贯性。我们的方法的核心是视频的话语表示，这有助于在视频的连贯性为条件的段落建模的连贯性。我们还介绍了DisNet，一个新的数据集，包含3000个视频及其段落的建议视觉话语注释。我们的实验结果表明，所提出的框架评估视频段落的连贯性显着优于所有的基线方法。我们相信，许多其他多学科的人工智能问题，如视觉对话和视觉讲故事也将大大受益于拟议的视觉话语框架和DisNet数据集。
2022-01-17 cs.CV
Better Understanding Hierarchical Visual Relationship for Image Caption
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）多年来一直是计算机视觉中占主导地位的图像特征提取器。然而，它没有得到图像/对象之间的关系和它们的层次相互作用，这可以帮助表示和描述一个图像。在本文中，我们提出了一种新的设计下的通用编码器-解码器框架的图像字幕。它考虑了图像及其边界框中视觉信息的不同抽象层次之间的层次交互。具体来说，我们提出了CNN加上图卷积网络（GCN）架构，新颖地将语义和空间视觉关系集成到图像编码器中。通过GCN利用图结构来细化图像中区域的表示和图像之间的连接。有了学习到的多级特征，我们的模型利用基于transformer的解码器来生成描述。我们在COCO图像描述数据集上进行了实验。评估表明，我们提出的模型优于以前的国家的最先进的模型在图像标题的任务，导致更好的性能方面的所有评价指标。
2019-12-04 cs.CV
Scene Graph Generation for Better Image Captioning?
Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；LMU Munich（慕尼黑大学）
我们调查纳入监督图像字幕生成的任务，提出了一个模型，利用检测到的对象和自动生成的视觉关系来描述图像中的自然语言的视觉关系。要做到这一点，我们首先从原始图像像素生成一个场景图，通过识别单个对象和它们之间的视觉关系。然后，这个场景图作为我们的图形到文本模型的输入，生成最终的标题。与以前的方法相比，我们的模型因此明确地对图像中的对象和视觉关系的检测进行建模。在我们的实验中，我们从Visual Genome和MS COCO的交集中构建了一个新的数据集，该数据集由具有相应的黄金场景图和人类创作的标题的图像组成。我们的研究结果表明，我们的方法优于现有的最先进的端到端模型，直接从原始输入像素生成图像描述时，比较的BLEU和METEOR评估指标。
2021-09-23 cs.CV
Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction
Michigan State University（密歇根州立大学）；University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
本文提出Dense-Face模型，通过引入姿势可控适配器并利用SD UNet内部特征预测密集人脸标注，在保持文本编辑能力的同时实现高保真且身份一致的人脸生成。
2024-12-24 cs.CV
Relational Reasoning using Prior Knowledge for Visual Captioning
Beijing Institute of Technology（北京理工大学）；University of Rochester（罗切斯特大学）
利用对象之间的关系已经在通过自然语言解释图像或视频方面取得了显着进展。现有的大多数方法都是先检测目标及其关系，然后生成文本描述，这严重依赖于预先训练好的检测器，在目标检测中遇到严重遮挡、小尺寸目标和长尾等问题时会导致性能下降。此外，检测和字幕的分离过程导致预定义的对象/关系类别与目标词汇之间的语义不一致。我们利用先前的人类常识知识来推理对象之间的关系，而无需任何预先训练的检测器，并在字幕中的一个图像或视频中达到语义一致性。先验知识（例如，以知识图谱的形式）提供了图像和视频中不明确的对象之间的常识语义关联和约束，用作构建用于句子生成的语义图谱的有用指导。特别地，我们提出了一种联合推理方法，该方法包括：1）常识推理，用于将图像或视频区域嵌入语义空间以构建语义图; 2）关系推理，用于对语义图进行编码以生成句子。在MS-COCO图像描述基准和MSVD视频描述基准上的大量实验验证了我们的方法在利用先验常识知识增强视觉字幕的关系推理方面的优越性。
2019-06-04 cs.CV
