Generative Invertible Networks (GIN): Pathophysiology-Interpretable Feature Mapping and Virtual Patient Generation
Georgia Institute of Technology（佐治亚理工学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech（佐治亚理工学院H.米尔顿·斯图尔特工业与系统工程学院）；School of Computational Science and Engineering, Georgia Tech（佐治亚理工学院计算科学与工程学院）；Department of Industrial Engineering and Engineering Management, National Tsing Hua University（国立清华大学工业工程与工程管理系）；Marcus Heart Valve Center, Piedmont Heart Institute（皮埃蒙特心脏研究所马库斯心脏瓣膜中心）；School of Materials Science and Engineering, Georgia Tech（佐治亚理工学院材料科学与工程学院）
机器学习方法在复杂手术和干预的术前规划中发挥着越来越重要的作用。然而，研究人员经常发现新兴外科技术的历史记录，如经导管主动脉瓣置换术（TAVR），数量非常稀少。在本文中，我们通过提出新的生成可逆网络（GIN）来选择特征并生成高质量的虚拟患者来应对这一挑战，这些虚拟患者可能会作为机器学习的额外数据源。结合卷积神经网络（CNN）和生成对抗网络（GAN），GIN发现了特征空间的病理生理意义。此外，直接使用所选择的特征预测手术结果的测试导致81.55%的高准确度，这表明在进行特征选择时几乎没有丢失病理生理信息。这表明GIN可以生成虚拟患者，不仅视觉上真实，而且病理生理学上可解释。
2018-08-14 cs.CV
CLIP-Diffusion-LM: Apply Diffusion Model on Image Captioning
Imperial College London（帝国理工学院）
图像描述任务已经被广泛研究的前期工作。然而，有限的实验集中在基于非自回归文本解码器生成字幕。受最近图像合成任务的去噪扩散模型的成功的启发，我们将去噪扩散概率模型应用于图像描述任务中的文本生成。我们表明，我们的CLIP扩散LM是能够生成图像字幕使用显着较少的推理步骤比自回归模型。在Flickr 8 k数据集上，该模型的BLEU-4得分为0.1876。通过在Flickr 8 k和Flickr 30 k数据集上进行训练，我们的模型获得了0.2470的BLEU-4分数。我们的代码可在https://github.com/xu-shitong/diffusion-image-captioning上获得。
2022-10-10 cs.CV cs.LG
Guided Image Generation with Conditional Invertible Neural Networks
Visual Learning Lab Heidelberg（海德堡视觉学习实验室）
在这项工作中，我们解决了自然图像生成的任务由条件输入引导。我们介绍了一种新的架构称为条件可逆神经网络（cINN）。cINN将纯生成式INN模型与无约束前馈网络相结合，有效地将条件输入预处理为有用的特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。通过构造，与例如cGAN相比，cINN不经历模式坍塌并且生成不同的样本。与此同时，我们的模型产生清晰的图像，因为不需要重建损失，与VAE相比。我们证明了这些属性的任务MNIST数字生成和图像着色。此外，我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性，例如以直观的方式改变图像风格。
2019-07-10 cs.CV cs.LG
Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning
DeepMind（深度思维）
本文利用现成的图像生成与描述模型，通过生成合成输入、聚类错误分类样本并迭代描述，自动发现视觉模型中的失败案例和虚假相关性，并验证了其可扩展性。
2023-05-11 cs.CV cs.LG stat.ML
Bringing together invertible UNets with invertible attention modules for memory-efficient diffusion models
University of Maryland（马里兰大学）
针对高维医疗数据集扩散模型训练资源需求大的问题，提出结合可逆UNet与可逆注意力模块的架构，实现单GPU内存高效训练，峰值内存消耗降15%且保持图像质量。
2025-04-15 cs.AI cs.CV
Multimodal Data Augmentation for Image Captioning using Diffusion Models
School of Economics and Management, Tsinghua University（清华大学经济管理学院）；Department of Decision, Operations & Information Technologies, University of Maryland（马里兰大学决策、运营与信息技术系）
本文提出利用Stable Diffusion生成图像-描述对进行多模态数据增强，在MS COCO上显著提升图像描述性能，尤其在小样本场景下效果突出。
2023-05-03 cs.AI cs.CV
Can adversarial training learn image captioning ?
Polytechnic Mons（蒙斯理工学院）
最近，生成对抗网络（GAN）引起了人们的极大兴趣。多年来，它们在生成高质量的不可见样本（特别是图像）方面的效率有所提高。在自然语言生成（NLG）领域，使用对抗设置来生成有意义的句子已经被证明是困难的，原因有二：缺乏现有的架构来生成真实的句子和缺乏评估工具。在本文中，我们提出了一个对抗架构相关的条件GAN（cGAN），生成句子根据给定的图像（也称为图像描述）。这是第一次尝试不使用预先训练或强化方法。我们还解释了为什么我们的实验设置可以安全地评估和解释进一步的工作。
2019-10-31 cs.CL cs.CV cs.LG
Best Vision Technologies Submission to ActivityNet Challenge 2018-Task: Dense-Captioning Events in Videos
Best Vision Technologies Co., Ltd（最佳视觉科技有限公司）
本说明描述了我们对ActivityNet Challenge 2018视频任务中密集字幕事件的解决方案的详细信息。具体来说，我们用两阶段的方法解决这个问题，即，首先提出时间事件，然后生成句子。对于时间事件建议，我们直接利用[13，16]中的三阶段工作流。对于句子生成，我们利用基于LSTM的字幕框架与时间注意力机制（称为LSTM-T）。此外，基于LSTM的视频描述模型的输入视觉序列由RGB和光流图像组成。在推理方面，我们采用了一种后期融合方案，将两种基于LSTM的字幕模型融合在一起生成句子。
2018-06-25 cs.CV
RUC+CMU: System Report for Dense Captioning Events in Videos
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
这篇笔记本论文介绍了我们的系统在视频中的ActivityNet密集字幕任务（任务3）。时间建议生成和字幕生成都是密集字幕任务的重要组成部分。因此，我们提出了一个提案排名模型，采用一组有效的特征表示来生成提案，并集成一系列用上下文信息增强的字幕模型，以根据预测的提案稳健地生成字幕。我们的方法在密集视频描述任务上达到了最先进的性能，在挑战测试集上的METEOR得分为8.529。
2018-06-22 cs.CV
Team RUC_AIM3 Technical Report at Activitynet 2020 Task 2: Exploring Sequential Events Detection for Dense Video Captioning
Renmin University of China（中国人民大学）
在未修剪的视频中检测有意义的事件对于密集的视频描述是必不可少的。在这项工作中，我们提出了一种新的和简单的事件序列生成模型，并探讨视频中的事件序列的时间关系。该模型省略了效率低下的两阶段的建议生成，并直接生成事件边界的双向时间依赖性在一个通行证。实验结果表明，该事件序列生成模型能够在少量的提议下生成更准确、更多样的事件。对于事件字幕，我们遵循我们以前的工作，采用事件内字幕模型到我们的管道系统。整个系统在视频任务中的密集字幕事件上实现了最先进的性能，在挑战测试集上的METEOR得分为9.894。
2020-06-14 cs.CV
Unifying Event Detection and Captioning as Sequence Generation via Pre-Training
Renmin University of China（中国人民大学）
针对密集视频字幕生成中事件检测与字幕生成任务关联弱、事件检测忽略时序依赖的问题，提出将事件检测定义为序列生成任务的统一预训练微调框架，在ActivityNet数据集上性能超越SOTA，预训练后可进一步提升。
2022-07-18 cs.CV
Caption Generation on Scenes with Seen and Unseen Object Categories
Middle East Technical University（中东技术大学）；HAVELSAN Inc.（哈维尔桑公司）
图像字幕生成是视觉和语言领域中最具挑战性的问题之一。在这项工作中，我们提出了一个现实的字幕任务，输入场景可能会纳入视觉对象，没有相应的视觉或文本训练样本。对于这个问题，我们提出了一个检测驱动的方法，包括一个单阶段的广义zero-shot检测模型来识别和本地化的实例，看到和看不见的类，和基于模板的字幕模型，将检测到的句子。为了改善广义zero-shot检测模型，它提供了必要的信息，字幕，我们定义了有效的类表示类到类的语义相似性，并利用其特殊的结构，构建一个有效的看不见的/看到的类置信度评分校准机制。我们还提出了一种新的评价指标，通过分别测量生成的句子的视觉和非视觉内容，为字幕输出提供了额外的见解。我们的实验强调了在所提出的zero-shot设置中研究字幕的重要性，并验证了所提出的检测驱动的zero-shot字幕方法的有效性。
2022-07-01 cs.CV
CIAN: Multi-Stage Framework for Event-Enriched Image Captioning via Retrieval-Augmented Generation
University of Science, Ho Chi Minh City（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）
提出多阶段框架CIAN，通过检索相关文章并利用LoRA微调Qwen模型生成叙事，结合N-Gram精炼，在OpenEvents-V1上提升CIDEr从0.030到0.094，实现事件丰富的图像描述。
2026-06-17 cs.CV
Macroscopic Control of Text Generation for Image Captioning
University of Electronic Science and Technology of China（电子科技大学）
尽管图像描述模型已经能够为给定图像生成令人印象深刻的描述，但挑战仍然存在：（1）现有模型的可控性和多样性仍然远远不能令人满意;（2）模型有时可能产生质量极差的字幕。本文介绍了两种新的方法来解决这两个问题。针对前一个问题，本文引入了一个控制信号，可以控制句子的宏观属性，如句子质量、句子长度、句子时态和名词数量等，增强了现有字幕模型的可控性和多样性。针对后一个问题，本文创新性地提出了一种策略，即训练一个图文匹配模型，对前后两个方向生成的句子质量进行度量，最终选择较好的一个。结果表明，该策略能有效地降低低质量句子的比例.我们提出的方法可以很容易地应用于大多数图像描述模型，以提高其整体性能。基于Up-Down模型的实验结果表明，在交叉熵训练的MSCOCO Karpathy测试分割上，我们的方法获得了BLEU- 4/CIDEr/SPICE的37.5/120.3/21.5的分数，超过了其他最先进的交叉熵损失训练方法。
2021-01-20 cs.CV
Robust Image Captioning
Central Michigan University（中密歇根大学）
照片的自动字幕是一项任务，它结合了照片分析和文本生成的困难。字幕的一个基本特征是注意力的概念：如何确定指定什么以及以何种顺序。在这项研究中，我们利用对象关系使用对抗鲁棒切割算法，该算法通过图形表示专门嵌入有关输入数据之间的空间关联的知识，从而在此方法基础上发展。我们的实验研究代表了我们所提出的方法图像描述有前途的性能。
2020-12-06 cs.CV
End-to-end Dense Video Captioning as Sequence Generation
UC Santa Barbara（加州大学圣巴巴拉分校）；Google Research（谷歌研究院）
密集视频描述旨在识别输入视频中感兴趣的事件，并为每个事件生成描述性字幕。以前的方法通常遵循两个阶段的生成过程，首先为每个事件提出一个片段，然后为每个识别的片段呈现一个标题。大规模序列生成预训练的最新进展在统一各种任务的任务制定方面取得了巨大成功，但到目前为止，更复杂的任务，如密集的视频描述还不能充分利用这种强大的范例。在这项工作中，我们展示了如何建模的两个子任务的密集视频描述联合作为一个序列生成任务，并同时预测的事件和相应的描述。YouCook2和ViTT上的实验显示了令人鼓舞的结果，并表明了训练复杂任务的可行性，例如集成到大规模预训练模型中的端到端密集视频描述。
2022-09-16 cs.CL cs.CV
Dual-path Collaborative Generation Network for Emotional Video Captioning
School of Information Science and Technology, USTC（中国科学技术大学信息科学技术学院）
针对情感视频描述中情感动态变化易被忽视及情感引导过强导致事实内容弱化的问题，提出双路径协同生成网络，通过动态情感演变模块和情感自适应解码器实现情感线索动态感知与事实-情感平衡生成，并在三个数据集上验证了有效性。
2024-08-06 cs.CV
Convolutional Image Captioning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
图像描述是一项重要但具有挑战性的任务，适用于虚拟助理、编辑工具、图像索引和残疾人支持。它的挑战是由于可能的图像描述的可变性和模糊性。近年来，在图像描述方面取得了重大进展，使用由长短期记忆（LSTM）单元驱动的递归神经网络。尽管减轻了消失梯度的问题，尽管它们具有令人信服的记忆依赖关系的能力，但LSTM单元是复杂的，并且在时间上具有内在的顺序性。为了解决这个问题，最近的工作已经显示出卷积网络用于机器翻译和条件图像生成的好处。受他们成功的启发，在本文中，我们开发了一种卷积图像描述技术。我们在具有挑战性的MSCOCO数据集上证明了它的有效性，并证明了与基线相当的性能，同时每个参数的训练时间更快。我们还进行了详细的分析，提供了令人信服的理由，有利于卷积语言生成的方法。
2017-11-24 cs.CV
Journalistic Guidelines Aware News Image Captioning
Stony Brook University（石溪大学）；Dataminr Inc.（Dataminr公司）
新闻图像描述字幕的任务是为新闻图像生成描述性和信息性的字幕。与简单地用一般术语描述图像内容的传统图像标题不同，新闻图像标题遵循新闻准则，并且严重依赖命名实体来描述图像内容，通常从与它们相关联的整篇文章中提取上下文。在这项工作中，我们提出了一种新的方法来完成这项任务，其动机是记者遵循的标题准则。我们的方法，新闻指南意识到新闻图像描述（JoGANIC），利用标题的结构，以提高生成质量，并指导我们的表示设计。在两个大规模公开数据集上进行的实验结果（包括详细的消融研究）表明，JoGANIC在标题生成和命名实体相关度量方面都大大优于最先进的方法。
2021-09-10 cs.CV
Fast Image Caption Generation with Position Alignment
University of Chinese Academy of Sciences（中国科学院大学）
目前用于图像描述的神经网络模型通常采用编码器-解码器结构，其中解码器采用递归序列解码方式。然而，这种自回归解码可能导致连续的错误积累和缓慢的产生，这限制了实际应用。非自回归（NA）解码已被提出来涵盖这些问题，但遭受语言质量问题，由于目标分布的间接建模。为此，我们提出了一种改进的NA预测框架，以加速图像描述。我们的解码部分包括一个位置对齐来排序描述给定图像中检测到的内容的单词，以及一个精细的非自回归解码器来生成优雅的描述。此外，我们引入了一个推理策略，把位置信息作为一个潜在的变量，以指导进一步的句子生成。在公开数据集上的实验结果表明，该模型的性能优于一般NA字幕模型，与自回归图像描述模型相当，并具有显著的加速比.
2019-12-13 cs.CV
Models See Hallucinations: Evaluating the Factuality in Video Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
视频描述的目的是用自然语言描述视频中的事件。近年来，许多研究工作都集中在提高字幕模型的性能上。然而，与其他文本生成任务一样，它有可能引入输入视频不支持的事实错误。这些事实错误会严重影响生成的文本的质量，有时会使其完全无法使用。虽然事实一致性在文本到文本任务中受到了很多研究关注（例如，摘要），但在基于视觉的文本生成的背景下研究较少。在这项工作中，我们进行了详细的人类评价的真实性视频描述，并收集两个注释的真实性数据集。我们发现，57.0%的模型生成的句子有事实错误，这是一个严重的问题，在这一领域。然而，现有的评价指标主要是基于n-gram匹配和人类真实性标注的相关性很小。我们进一步提出了一个弱监督的，基于模型的真实性度量FactVC，它优于以前的指标对视频描述的真实性评估。这些数据集和指标将被发布，以促进未来对视频描述的研究。
2023-03-06 cs.CV
Visual Commonsense-aware Representation Network for Video Captioning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Jiaotong University（西南交通大学）
生成视频的连续描述，即，视频描述要求在生成过程中充分利用视觉表示。现有的视频描述方法集中于探索时空表示及其关系以产生推断。然而，这些方法只利用了视频本身所包含的表面关联，而没有考虑视频数据集中存在的内在视觉常识知识，这可能会影响其知识认知能力，从而导致准确的描述。为了解决这个问题，我们提出了一个简单而有效的方法，称为视觉常识感知表示网络（VCRN），视频描述。具体来说，我们构建了一个视频字典，即插即用的组件，通过将所有视频特征从总数据集中聚类到多个聚类中心而无需额外的注释。每个中心隐式地表示视频域中的视觉常识概念，该视觉常识概念被用于我们提出的视觉概念选择（Visual Concept Selection，简称VCP）中以获得与视频相关的概念特征。接着，提出了一种概念整合生成（CIG）来增强字幕生成。在三个公开的视频描述基准测试：MSVD、MSR-VTT和VATEX上进行的大量实验表明，我们的方法达到了最先进的性能，表明了我们方法的有效性。此外，我们的方法被集成到现有的视频问答的方法，并提高了这种性能，进一步显示了我们的方法的推广。源代码已在https://github.com/zchoi/VCRN上发布。
2022-11-17 cs.CV
ReFormer: The Relational Transformer for Image Captioning
InnoPeak Technology, Inc.（InnoPeak科技公司）；Stony Brook University（石溪大学）
图像描述通过使用场景图来表示图像中对象的关系，能够实现更好的性能。目前的字幕编码器通常使用图卷积网络（GCN）来表示关系信息，并通过级联或卷积将其与对象区域特征合并，以获得用于句子解码的最终输入。然而，由于两个原因，现有方法中基于GCN的编码器对于字幕效果较差。首先，使用图像描述作为目标（即，最大似然估计）而不是以关系为中心的损失不能充分发掘编码器的潜力。其次，使用预先训练的模型而不是编码器本身来提取关系是不灵活的，并且不能有助于模型的可解释性。为了提高图像描述的质量，我们提出了一种新的体系结构ReFormer --一个关系Transformer来生成嵌入了关系信息的特征，并显式地表达图像中对象之间的成对关系。ReFormer采用一种改进的Transformer模型，将场景图生成的目标与图像描述的目标相结合。这种设计允许ReFormer不仅可以生成更好的图像字幕，而且可以提取强关系的图像特征，还可以生成场景图来显式描述成对关系。在公开数据集上的实验表明，我们的模型在图像描述和场景图生成方面明显优于现有的方法
2022-07-14 cs.CV
Player-Centric Multimodal Prompt Generation for Large Language Model Based Identity-Aware Basketball Video Captioning
Beijing University of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）；The Hong Kong Polytechnic University（香港理工大学）
针对体育视频字幕中球员身份易出错的问题，本文提出LLM-IAVC以球员为中心生成多模态提示，并构建NBA-Identity数据集，实验验证其先进性能。
2025-07-27 cs.CV
Learning to Discretely Compose Reasoning Module Networks for Video Captioning
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
为视频生成自然语言描述，即，视频描述本质上需要沿着生成过程的逐步推理。例如，要生成句子“a man is shooting a basketball”，我们需要先定位并描述主语“man”，然后推理出“man is shooting”，再描述射击的宾语“basketball”。然而，现有的视觉推理方法设计的视觉问答是不适合视频描述，因为它需要更复杂的视觉推理的视频在空间和时间上，和动态的模块组合沿生成过程。在本文中，我们提出了一种新的视觉推理方法的视频描述，命名为推理模块网络（RMN），配备现有的编码器-解码器框架与上述推理能力。具体来说，我们的RMN采用1）三个复杂的时空推理模块，和2）一个动态和离散的模块选择器训练的语言损失与Gumbel近似。MSVD和MSR-VTT数据集上的大量实验表明，所提出的RMN优于最先进的方法，同时提供了一个明确的和可解释的生成过程。我们的代码可在https://github.com/tgc1997/RMN上获得。
2020-07-17 cs.CV
Uncertainty-Aware Image Captioning
Meituan（美团）
一般认为，字幕中单词的不确定性越高，就需要更多的上下文相关信息来确定它，然而，目前的图像描述方法通常考虑的是句子中所有单词的顺序生成。在本文中，我们提出了一个不确定性感知的图像描述框架，该框架从容易到困难，直到收敛，反复操作插入现有的单词之间的不连续的候选单词。我们假设句子中的高不确定性单词需要更多的先验信息来做出正确的决定，并且应该在稍后的阶段产生。由此产生的非自回归层次结构使得字幕生成易于解释和直观。具体来说，我们利用图像条件的词袋模型来衡量字的不确定性和应用动态规划算法来构建训练对。在推理过程中，我们设计了一个不确定性自适应并行束搜索技术，产生经验对数时间复杂度。在MS COCO基准上的大量实验表明，我们的方法在字幕质量和解码速度上都优于强基线和相关方法。
2022-11-30 cs.CV
Multi-Task Video Captioning with Video and Entailment Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视频描述，描述视频内容的任务，近年来已经看到了一些有前途的改进与序列到序列模型，但准确地学习任务中涉及的时间和逻辑动态仍然是一个挑战，特别是考虑到缺乏足够的注释数据。我们通过与两个相关的定向生成任务共享知识来改进视频描述：一个时间定向的无监督视频预测任务，以学习更丰富的上下文感知视频编码器表示，和一个逻辑定向的语言蕴涵生成任务，以学习更好的视频蕴涵字幕解码器表示。为此，我们提出了一个多对多的多任务学习模型，该模型在三个任务的编码器和解码器之间共享参数。我们实现了显着的改进和新的国家的最先进的几个标准的视频描述数据集使用不同的自动和人工评估。我们还展示了相互多任务的蕴涵生成任务的改进。
2017-08-08 cs.AI cs.CL cs.CV
Using Artificial Tokens to Control Languages for Multilingual Image Caption Generation
School of Informatics and Computing（信息学与计算学院）；Indiana University（印第安纳大学）
计算机视觉领域最近的工作在用自然语言自动描述图像方面取得了令人印象深刻的成果。这些系统中的大多数都用一种语言生成字幕，需要多个特定于语言的模型来构建多语言字幕系统。我们提出了一种非常简单的技术来构建一个跨语言的统一模型，使用人工令牌来控制语言，使字幕系统更加紧凑。我们评估了我们生成英语和日语字幕的方法，并表明典型的神经字幕架构能够学习可以在两种不同语言之间切换的单个模型。
2017-06-20 cs.CV
Exploring Visual Relationship for Image Captioning
JD AI Research（京东AI研究院）；Sun Yat-sen University（中山大学）
人们一直相信，对象之间的建模关系将有助于表示和最终描述图像。然而，没有证据支持图像描述生成的想法。在本文中，我们介绍了一种新的设计，探索对象之间的连接图像描述的保护伞下，基于注意力的编码器-解码器框架。具体来说，我们提出了图卷积网络加上长短期记忆（称为GCN-LSTM）架构，该架构新颖地将语义和空间对象关系集成到图像编码器中。从技术上讲，我们根据图像中检测到的对象的空间和语义连接来构建图形。然后，通过GCN利用图结构来细化在对象上提出的每个区域的表示。通过学习区域级别的特征，我们的GCN-LSTM利用基于LSTM的字幕框架和注意力机制来生成句子。在COCO图像描述数据集上进行了大量的实验，并与最先进的方法相比，获得了优异的结果。更值得注意的是，GCN-LSTM在COCO测试集上将CIDEr-D性能从120.1%提高到128.7%。
2018-09-19 cs.CV
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
Scene Graph Generation for Better Image Captioning?
Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；LMU Munich（慕尼黑大学）
我们调查纳入监督图像字幕生成的任务，提出了一个模型，利用检测到的对象和自动生成的视觉关系来描述图像中的自然语言的视觉关系。要做到这一点，我们首先从原始图像像素生成一个场景图，通过识别单个对象和它们之间的视觉关系。然后，这个场景图作为我们的图形到文本模型的输入，生成最终的标题。与以前的方法相比，我们的模型因此明确地对图像中的对象和视觉关系的检测进行建模。在我们的实验中，我们从Visual Genome和MS COCO的交集中构建了一个新的数据集，该数据集由具有相应的黄金场景图和人类创作的标题的图像组成。我们的研究结果表明，我们的方法优于现有的最先进的端到端模型，直接从原始输入像素生成图像描述时，比较的BLEU和METEOR评估指标。
2021-09-23 cs.CV
Diagnostic Captioning: A Survey
Stockholm University（斯德哥尔摩大学）；Athens University of Economics and Business（雅典经济与商业大学）；Medical Diagnostic Center Kosmoiatriki（科斯莫亚特里基医疗诊断中心）
诊断字幕（DC）涉及从在检查期间收集的患者的一组医学图像自动生成诊断文本。DC可以帮助经验不足的医生，减少临床错误。它还可以帮助有经验的医生更快地生成诊断报告。随着深度学习的进步，特别是在通用图像描述方面，DC最近引起了更多的关注，导致了几个系统和数据集。本文是对DC的全面概述。它提供了相关的数据集，评估措施和最新的系统。它还强调了阻碍DC进步的缺点，并提出了未来的方向。
2021-01-18 cs.CV
Transform, Contrast and Tell: Coherent Entity-Aware Multi-Image Captioning
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）
本文针对新闻文档中相邻图像描述缺乏连贯性的问题，提出基于Transformer和两种对比学习连贯机制的实体感知多图像描述生成模型，并构建DM800K数据集，实验证明其在描述质量和连贯性上均优于多个基线。
2023-11-29 cs.CV
Context-Aware Visual Policy Network for Fine-Grained Image Captioning
University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
随着视觉检测技术的成熟，我们更加雄心勃勃地用开放词汇、细粒度和自由形式的语言来描述视觉内容，即，图像描述的任务。特别是，我们有兴趣生成更长，更丰富，更细粒度的句子和段落作为图像描述。图像描述可以转化为给定视觉内容的序列语言预测任务，其中输出序列形成具有合理语法的自然语言描述。然而，现有的图像描述方法仅关注语言策略而非视觉策略，并且因此未能捕获对于诸如对象关系（例如，“人骑马”）和视觉比较（例如，“小（er）猫”）。当生成较长的序列（如段落）时，此问题尤其严重。为了填补这一空白，我们提出了一个上下文感知的视觉策略网络（CAVP）细粒度的图像到语言生成：图像句子字幕和图像段落字幕。在字幕生成过程中，CAVP将先前的视觉注意力视为上下文，并在给定当前视觉注意力的情况下决定上下文是否用于当前单词/句子生成。与传统的视觉注意力机制在每一步只固定一个视觉区域相比，CAVP可以随着时间的推移注意到复杂的视觉成分。整个图像描述模型-- CAVP及其后续的语言策略网络--可以通过使用演员-评论家策略梯度方法进行端到端的有效优化。我们已经证明了CAVP的有效性，最先进的性能MS-COCO和斯坦福字幕数据集，使用各种指标和定性视觉环境的明智的可视化。
2019-06-06 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP（对比存储-图像预训练）在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而，它在跨模态生成任务，如zero-shot图像描述的性能仍然不令人满意。在这项工作中，我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态，在很大程度上忽略了视觉信息，我们称之为\emph{contextual language prior}。为了解决这个问题，我们提出了跨模态语言模型（CLM），以促进无监督的跨模态学习。我们进一步提出了锚增强，以指导生成模型的注意力，在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
DeepDiary: Automatic Caption Generation for Lifelogging Image Streams
Indiana University（印第安纳大学）
Lifelogging摄像机从第一人称视角捕捉日常生活，但产生的数据太多，用户很难有效地浏览和组织他们的图像集。在本文中，我们建议使用自动图像描述算法来生成这些集合的文本表示。我们开发和探索基于深度学习的新技术，为单个图像和图像流生成字幕，使用时间一致性约束来创建更紧凑、噪音更小的摘要。我们评估我们的技术与定量和定性的结果，并应用字幕的图像检索应用程序，寻找潜在的私人图像。我们的研究结果表明，我们的自动字幕算法，虽然不完美，可能工作得很好，足以帮助用户管理生活日志照片集。
2016-08-12 cs.CV
CG-MLLM: Captioning and Generating 3D content via Multi-modal Large Language Models
Zhejiang University, China（浙江大学）
本文提出CG-MLLM，一种能实现3D描述和高分辨率3D生成的多模态大语言模型，通过混合Transformer架构分离不同建模需求，结合预训练视觉语言模型与专用3D VAE潜在空间，提升3D生成质量与感知能力。
2026-05-15 cs.CV
On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Utah（犹他大学）
将视觉模态与预先训练的语言模型相结合，对于简单的描述性任务（如图像描述）非常有效。然而，更一般的文本生成仍然是难以捉摸的。我们退一步问：这些模型如何适用于更复杂的生成任务，即对文本和图像的条件反射？多模态模型仅仅是视觉适应的语言模型，还是它们结合了模态？我们调查这些问题的自我合理化的背景下（联合生成任务标签/答案和自由文本解释）的三个任务：（一）视觉问答VQA-X，（二）视觉常识推理VCR，（三）视觉文本蕴涵在e-SNLI-VE。我们发现，最近的单峰的进步，CLIP图像表示和缩放的语言模型，并没有一贯提高自我合理化多模态任务。我们发现，没有任何一种模型类型在任务、数据集和微调数据大小方面都能做到最好。我们的研究结果激发了对新的通用主干方法的需求，该方法将文本生成从图像和文本中超越图像描述。
2022-10-22 cs.CL cs.CV
Masked Non-Autoregressive Image Captioning
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Nanjing University（南京大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）
现有的字幕模型通常采用编码器-解码器架构，其中解码器使用自回归解码来生成字幕，使得在给定先前生成的令牌的情况下顺序地生成每个令牌。然而，自回归解码导致诸如顺序错误累积、生成缓慢、语义不正确和缺乏多样性等问题。非自回归解码已经被提出来解决神经机器翻译的缓慢生成，但是由于目标分布的间接建模而遭受多模态问题。在本文中，我们提出了一种屏蔽的非自回归解码来解决自回归解码和非自回归解码的问题。在掩蔽非自回归解码中，我们在训练过程中对输入序列的几种比率进行掩蔽，在推理过程中以合成的方式从完全掩蔽序列到完全非掩蔽序列分几个阶段生成字幕。实验表明，我们提出的模型可以更有效地保留语义内容，并可以生成更多样化的字幕。
2019-06-03 cs.CV
End-to-end Image Captioning Exploits Multimodal Distributional Similarity
The University of Sheffield（谢菲尔德大学）
我们假设，端到端的神经图像描述系统的工作似乎很好，因为他们利用和学习“分布相似性”在多模态特征空间，通过映射测试图像在这个空间中类似的训练图像，并从相同的空间生成一个标题。为了验证我们的假设，我们专注于图像描述的“图像”方面，并改变输入图像表示，但保持CNN-RNN模型的RNN文本生成组件不变。我们的分析表明，图像描述模型（i）是能够分离的结构从嘈杂的输入表示;（ii）遭受几乎没有显着的性能损失时，高维表示被压缩到一个较低的维度空间;（iii）聚类图像相似的视觉和语言信息在一起。我们的研究结果表明，我们的分布相似性假设成立。我们的结论是，无论使用的图像表示图像描述系统似乎匹配图像，并在一个学习的联合图像-文本语义子空间生成字幕。
2018-09-11 cs.CV
Guided Attention for Interpretable Motion Captioning
EuroMov Digital Health in Motion（EuroMov数字健康运动中心）；IMT Mines Ales（IMT阿莱斯矿业学院）
本文针对运动描述生成任务提出基于时空与自适应注意力的可解释架构，并通过训练期注意力引导实现动作定位、身体部位识别和运动相关词区分，在提升描述性能的同时保持模型可解释性。
2024-09-03 cs.CV
Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
图像描述的目的是通过机器生成描述图像内容的字幕。尽管做出了许多努力，但为图像生成有区别的字幕仍然是不平凡的。传统的方法大多模仿语言的结构模式，因此往往陷入重复频繁的短语或句子的刻板印象，而忽略了每个图像的独特之处。在这项工作中，我们提出了一个图像描述框架与自检索模块作为训练指导，鼓励产生歧视性的字幕。它具有独特的优势：（1）自检索引导可以充当字幕区分度的度量和评估器，以确保生成的字幕的质量。(2)生成的字幕和图像之间的对应关系自然地被纳入生成过程中，而无需人工注释，因此我们的方法可以利用大量未标记的图像来提高字幕性能，而无需额外的费力注释。我们证明了所提出的检索引导方法的有效性COCO和Flickr30k字幕数据集，并显示其优越的字幕性能与更多的歧视性字幕。
2018-07-23 cs.CV
Semi-Autoregressive Transformer for Image Captioning
Hefei University of Technology（合肥工业大学）；Tencent AI Lab（腾讯AI实验室）；Key Laboratory of Knowledge Engineering with Big Data (Ministry of Education)（大数据知识工程教育部重点实验室）
当前最先进的图像描述模型采用自回归解码器\ie，它们通过调节先前生成的单词来生成每个单词，这导致推理期间的严重延迟。为了解决这个问题，最近提出了非自回归图像描述模型，通过并行生成所有单词来显著加快推理速度。然而，这些非自回归模型不可避免地遭受大的生成质量下降，因为他们删除字依赖过度。为了在速度和质量之间取得更好的平衡，我们引入了一个用于图像描述~的半自回归模型（SATIC），该模型在全局上保持自回归特性，但在局部上生成单词。在Transformer的基础上，只需要做一些修改就可以实现SATIC。在MSCOCO图像描述基准测试上的实验结果表明，SATIC可以实现良好的权衡，而无需花里胡哨。代码可在{ \color{magenta} \url{https://github.com/YuanEZhou/satic} }获得。
2021-08-17 cs.CV
Captioning for Text-Video Retrieval via Dual-Group Direct Preference Optimization
Korea University（韩国大学）；Hanwha Vision（翰威英航）；KAIST（韩国科学技术院）
针对文本-视频检索中辅助字幕泛化且难以区分的问题，提出CaRe-DPO框架，通过双组直接偏好优化和角色嵌入生成细粒度字幕，显著提升检索性能。
2025-09-20 cs.CV
Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network
Xiamen University（厦门大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；Tencent Youtu Lab（腾讯云图实验室）；Tsinghua University（清华大学）
基于变换器的体系结构在图像描述中取得了巨大的成功，其中对象区域被编码，然后被加入到矢量表示中以指导字幕解码。然而，这种矢量表示只包含区域级信息，而没有考虑反映整个图像的全局信息，这未能扩展图像描述中复杂多模态推理的能力。在本文中，我们引入了一个全球增强的Transformer（简称GET），使提取更全面的全球表示，然后自适应地引导解码器生成高质量的字幕。在GET中，设计了全局增强编码器用于全局特征的嵌入，设计了全局自适应解码器用于指导字幕的生成。前者模型内和层间的全局表示，利用所提出的全球增强注意力和逐层融合模块。后者包含一个全局自适应控制器，它可以自适应地将全局信息融合到解码器中，以指导字幕生成。在MS COCO数据集上的大量实验表明，我们的GET优于许多国家的艺术。
2020-12-13 cs.CV
Caption Generation for Dongba Paintings via Prompt Learning and Semantic Fusion
Sichuan Agricultural University（四川农业大学）
本文提出PVGF-DPC框架，结合内容提示模块和新颖的视觉语义生成融合损失，解决东巴绘画自动描述问题，生成符合文化特色的描述。
2026-03-24 cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Track and Caption Any Motion: Open-Vocabulary Spatiotemporal Captioning via Trajectory-Conditioned Generation
Northeastern University（东北大学）
研究提出TCAM框架，无需文本查询和区域提示，通过字幕感知重采样器在点粒度结合跟踪与语言，用现有分割注释训练，能描述视频中运动、定位时间及轨迹，优于密集视频字幕基线，匹配相关方法，为运动驱动视频理解提供新途径。
2026-10-20 cs.CV
Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning
MIT（麻省理工学院）；IBM Research（IBM研究院）；JD AI Research（京东人工智能研究院）；UC Davis（加州大学戴维斯分校）
视觉语言基础在现代神经图像描述系统中被广泛研究，其通常采用由两个主要组件组成的编码器-解码器框架：用于图像特征提取的卷积神经网络（CNN）和用于语言字幕生成的递归神经网络（RNN）。为了研究机器视觉和感知中语言基础对对抗性扰动的鲁棒性，我们提出了一种用于在神经图像描述中制作对抗性示例的新算法Show-and-Fool。该算法提供了两种评估方法，检查神经图像描述系统是否会被误导，输出一些随机选择的标题或关键字。我们广泛的实验表明，我们的算法可以成功地制作具有随机目标字幕或关键字的视觉相似的对抗性示例，并且对抗性示例可以高度转移到其他图像描述系统。因此，我们的方法导致新的鲁棒性的神经图像描述和视觉语言接地的新见解的影响。
2018-05-22 cs.CV
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
The University of Western Australia（西澳大学）
视频字幕的自动生成是计算机视觉中的一个基本挑战。最近的技术通常采用卷积神经网络（CNN）和递归神经网络（RNN）的组合用于视频描述。这些方法主要集中在通过RNN定制序列学习以更好地生成字幕，而现成的视觉特征则是从CNN中借来的。我们认为，仔细设计的视觉功能，这项任务是同样重要的，并提出了一个视觉功能编码技术，生成语义丰富的字幕使用门控递归单位（GRUs）。我们的方法通过分层地将短傅立叶变换应用于整个视频的CNN特征，在视觉特征中嵌入丰富的时间动态。它还从对象检测器中导出高级语义，以利用检测到的对象的空间动态来丰富表示。最终的表示被投影到一个紧凑的空间，并提供给一个语言模型。通过学习一个相对简单的语言模型，包括两个GRU层，我们建立了新的最先进的MSVD和MSR-VTT数据集的METEOR和ROUGE_L指标。
2019-04-29 cs.CV
Paying More Attention to Saliency: Image Captioning with Saliency and Context Attention
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Udine（乌迪内大学）
图像描述最近得到了很多关注，这要归功于深度字幕架构所取得的令人印象深刻的成就，深度字幕架构结合了卷积神经网络来提取图像表示，并结合了递归神经网络来生成相应的字幕。与此同时，一个重要的研究工作一直致力于显着性预测模型的发展，它可以预测人眼的固定。即使显著性信息可以通过提供什么是显著的和什么不是显著的指示来用于调节图像描述架构，研究仍然在努力将这两种技术结合起来。在这项工作中，我们提出了一个图像描述的方法，其中生成递归神经网络可以集中在输入图像的不同部分在生成的标题，通过利用由显着性预测模型上的图像的部分是显着的，哪些是上下文的条件。我们表明，通过对大规模数据集进行广泛的定量和定性实验，我们的模型在有和没有显着性的字幕基线以及结合显着性和字幕的不同最先进方法方面都取得了优异的性能。
2018-05-21 cs.CV
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University（特拉维夫大学）
我们介绍了一种zero-shot视频描述方法，该方法采用两个冻结网络：GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同，我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的，从而逐渐提高所生成句子的特异性和全面性。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实世界知识。我们的代码可在：https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
Improving Medical Visual Representations via Radiology Report Generation
MIT Lincoln Laboratory（林肯实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；BIDMC（贝斯以色列女执事医疗中心）
本文提出面向放射学的CNN编码器-Transformer解码器模型RadTex，以双向报告生成作为MVLP策略，在CheXpert上达到89.4% macro-AUC，并能生成临床报告与交互式响应。
2025-01-10 cs.CV
Image Captioning with Integrated Bottom-Up and Multi-level Residual Top-Down Attention for Game Scene Understanding
Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
近年来，图像描述引起了相当大的关注。然而，游戏图像描述具有一些独特的特点和要求，对于它的研究还很少。在这项工作中，我们提出了一种新的游戏图像描述模型，它集成了自自底向上的【形】的注意力与一个新的多级剩余自上而下的注意力机制。首先，在基于Faster R-CNN的自底向上注意力网络中添加一个较低级别的残差自顶向下注意力网络，以解决后者在提取区域特征时可能丢失重要空间信息的问题。其次，在字幕生成网络中实现上层残差自上而下的注意力网络，以更好地融合提取的区域特征，用于后续的字幕预测。我们创建了两个游戏数据集来评估所提出的模型。大量的实验表明，我们提出的模型优于现有的基线模型。
2019-06-16 cs.CV
