Revisiting Image Captioning Training Paradigm via Direct CLIP-based Optimization
IIT-CNR（意大利国家研究委员会信息学与电信研究所）
本文提出Direct CLIP-Based Optimization (DiCO)新训练范式，通过联合优化蒸馏的奖励模型并解决加权分类问题，提升图像描述的稳定性和质量，更符合人类偏好。
2024-08-26 cs.AI cs.CL cs.CV
CLIP Meets Video Captioning: Concept-Aware Representation Learning Does Matter
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
对于视频描述，“预训练和微调”已经成为事实上的范例，其中ImageNet预训练（INP）通常用于编码视频内容，然后从头开始微调面向任务的网络以应对字幕生成。本文首先研究了最近提出的CLIP（对比图像预训练）对视频描述的影响。通过对INP与CLIP的实证研究，我们发现了INP的潜在缺陷，并探索了准确描述生成的关键因素。实验结果表明，基于INP的模型对概念语义的捕捉比较困难，对无关背景信息比较敏感。相比之下，基于CLIP的模型显著提高了字幕质量，并突出了概念感知表示学习的重要性。有了这些发现，我们提出了双概念检测（DCD）进一步注入概念知识的模型在训练过程中。DCD是一个辅助任务，需要一个字幕模型来学习视频内容和概念之间的对应关系以及概念之间的共现关系。在MSR-VTT和VATEX上的实验验证了DCD的有效性，可视化结果进一步揭示了学习概念感知表征的必要性。
2022-08-21 cs.CV
Linear Alignment of Vision-language Models for Image Captioning
ELLIS Unit Linz（ELLIS林茨单元）；LIT AI Lab（LIT人工智能实验室）；Institute for Machine Learning（机器学习研究所）；JKU LIT SAL（约翰内斯·开普勒大学林茨软件应用实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
本文提出ReCap方法，通过闭式线性映射重新对齐CLIP联合嵌入空间，实现训练速度提升1000倍的轻量级图像字幕生成，并提出两种新的CLIP评估指标，在多个基准上取得领先性能。
2025-02-08 cs.CL cs.CV cs.LG
It's Just Another Day: Unique Video Captioning by Discriminative Prompting
University of Bristol（布里斯托大学）；University of Oxford（牛津大学）
本文提出唯一视频字幕生成问题及CDP方法，通过预测区分相同字幕片段的属性生成唯一字幕，在第一人称视频和时间循环电影基准上显著提升了文本到视频检索R@1指标。
2024-10-15 cs.CV
Distinctive Image Captioning via CLIP Guided Group Optimization
McGill University（麦吉尔大学）；City University of Hong Kong（香港城市大学）；South China University of Technology（华南理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
图像描述模型通常是根据人工标注的地面实况字幕来训练的，这可以生成准确但通用的字幕。在本文中，我们专注于生成独特的字幕，可以区分目标图像从其他类似的图像。为了评估字幕的独特性，我们引入了一系列使用大规模视觉语言预训练模型CLIP来量化独特性的指标。为了进一步提高字幕模型的区分度，提出了一种简单有效的训练策略，通过比较目标图像与相似图像组，优化组嵌入间隙来训练字幕模型。在各种基线模型上进行了大量的实验，以证明我们的策略的广泛适用性和度量结果与人类评价的一致性。通过比较我们的最佳模型与现有的国家的最先进的模型的性能，我们声称，我们的模型实现了新的国家的最先进的独特性目标。
2022-08-27 cs.CV
Zero-shot Image Captioning by Anchor-augmented Vision-Language Space Alignment
CLIP（对比存储-图像预训练）在视觉分类和图像检索等跨模态相关任务中表现出显著的zero-shot传输能力。然而，它在跨模态生成任务，如zero-shot图像描述的性能仍然不令人满意。在这项工作中，我们讨论了直接采用CLIP的zero-shot图像描述更多地依赖于上下文中的文本模态，在很大程度上忽略了视觉信息，我们称之为\emph{contextual language prior}。为了解决这个问题，我们提出了跨模态语言模型（CLM），以促进无监督的跨模态学习。我们进一步提出了锚增强，以指导生成模型的注意力，在CLIP表示的细粒度信息。在MS COCO和Flickr 30 K上的实验验证了该方法在字幕质量和计算效率方面的良好性能。
2022-11-14 cs.CV
An Examination of the Robustness of Reference-Free Image Captioning Evaluation Metrics
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
本研究检验了CLIPScore、UMIC和PAC-S等参考无关图像描述评估指标在区分高词汇重叠但含义不同的描述时的鲁棒性，发现它们对细粒度错误识别不足，但对视觉接地错误敏感，并指出了其在否定理解和结构敏感性上的局限。
2024-02-06 cs.AI cs.CL cs.CV
VCRScore: Image captioning metric based on V\&L Transformers, CLIP, and precision-recall
针对图像描述任务评估指标长期停滞的问题，本文提出基于V&L Transformers、CLIP和精确率-召回率的新评估指标VCRScore，构建人工标注数据集作为真实标签，实验证明其性能优于现有经典及新指标。
2025-01-27 cs.CL cs.CV
ViPCap: Retrieval Text-Based Visual Prompts for Lightweight Image Captioning
Hanyang University（汉阳大学）
ViPCap提出基于检索文本的视觉提示方法，通过将文本映射到CLIP空间并采样高斯分布增强视觉特征，在COCO等数据集上显著提升轻量级图像描述生成的效率与效果。
2025-01-24 cs.AI cs.CL cs.CV
Do More Details Always Introduce More Hallucinations in LVLM-based Image Captioning?
University of Rochester（罗切斯特大学）
针对“更多细节是否总会让LVLM图像字幕生成产生更多幻觉”的争议，提出差异化波束解码策略DBD与CLIP系列评估指标，在Visual Genome数据集上验证了其可生成细节丰富且低幻觉的字幕。
2024-06-18 cs.AI cs.CV
Efficient Image Captioning for Edge Devices
Huawei Inc.（华为公司）
近年来，图像描述的发展非常迅速。然而，对大的存储器存储和沉重的计算负担的需求阻止这些字幕模型被部署在移动设备上。主要的障碍在于重量级的视觉特征提取器（即，目标检测器）和复杂的跨模态融合网络。为此，我们提出了LightCap，一个轻量级的图像字幕资源有限的设备。核心设计是建立在最新的CLIP模型，以实现高效的图像描述。具体来说，一方面，我们利用CLIP模型来提取紧凑的网格特征，而不依赖于耗时的目标检测器。另一方面，通过设计一个新颖的视觉概念提取器和交叉模态调制器，将CLIP的图文检索设计转移到图像描述场景中。我们通过顺序和集成蒸馏进一步优化了跨模态融合模型和并行预测头。通过精心设计的结构，我们的模型仅包含40 M参数，与当前最先进的方法相比，节省了75%以上的模型大小和98%以上的FLOP。尽管容量较低，但我们的模型在流行的数据集上仍然表现出最先进的性能，例如，136.6 CIDEr对COCO Karpathy测试的拆分。在只有一个CPU的智能手机上进行测试，所提出的LightCap显示出每幅图像188ms的快速推理速度，这是为实际应用做好了准备。
2022-12-18 cs.CV
VLRM: Vision-Language Models act as Reward Models for Image Captioning
Huawei Moscow Research Center（华为莫斯科研究中心）
本文提出 VLRM，一种以 CLIP、BLIP2-ITM 等视觉-语言模型为奖励模型、通过强化学习无监督增强 BLIP2 图像描述的方法，使描述更长更全面，并在 MS-COCO 上达到 0.90 R@1。
2024-04-02 cs.CV
FungalZSL: Zero-Shot Fungal Classification with Image Captioning Using a Synthetic Data Approach
Aalborg University（奥尔堡大学）
针对真菌零样本分类，提出FungalZSL方法，利用LLM生成文本和合成图像增强CLIP，通过共享表示空间对齐并研究知识迁移以细化分类。
2025-02-26 cs.CV
Lesion-Aware Visual-Language Fusion for Automated Image Captioning of Ulcerative Colitis Endoscopic Examinations
Monterrey Institute of Technology and Higher Education（墨西哥蒙特雷理工大学）；University of Leeds（利兹大学）
本研究提出溃疡性结肠炎内镜图像病灶感知描述框架，融合多模态特征与临床元数据提示，提升描述质量与MES分类准确率，辅助内镜报告生成。
2025-09-03 cs.AI cs.CV
Guiding Image Captioning Models Toward More Specific Captions
Google DeepMind（谷歌DeepMind）；Apple AI/ML（苹果人工智能与机器学习部门）；University of Washington（华盛顿大学）
本文提出利用无分类器引导和语言模型引导自回归图像描述模型，在最少改动训练过程的前提下生成更具特异性的描述，显著提升无参考指标但略微降低基于参考的指标。
2023-07-31 cs.CV cs.LG
Distinctive Image Captioning: Leveraging Ground Truth Captions in CLIP Guided Reinforcement Learning
IRISA（IRISA研究所）；IMATAG（IMATAG机构）；CNRS（法国国家科学研究中心）
本文提出在CLIP引导的强化学习图像描述训练中利用真实标注描述，通过MLP判别器正则化、加权教师强制损失和对比奖励基线三种方式，在MS-COCO上生成更独特且流畅的图像描述。
2024-02-21 cs.CL cs.CV
Global2Local: A Joint-Hierarchical Attention for Video Captioning
针对视频描述中捕捉关键语义项及时空相关性的挑战，提出联合层次注意力模型，通过全局到局部的特征选择提升性能，在两个基准数据集上优于现有方法。
2025-04-14 cs.CV
Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation
University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）；IIT-CNR（意大利国家研究委员会信息学与电信研究所）
针对视觉字幕评估任务，提出正样本增强对比学习得分指标PAC-S，融合对比视觉语义空间学习与精选数据的生成样本增强，在多数据集上实现与人类判断的最高相关性，优于现有主流评估指标。
2023-07-20 cs.AI cs.CL cs.CV
PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing University（南京大学）
针对长视频字幕生成的主体指代不一致、叙事碎片化问题，提出基于持久身份图库与演进式全局叙事摘要的PIGEONS模型，经三阶段训练后在长视频字幕生成上性能显著优于现有方法。
2026-10-14 cs.CV
HICEScore: A Hierarchical Metric for Image Captioning Evaluation
Xidian University（西安电子科技大学）；National Key Laboratory of Radar Signal Processing（雷达信号处理国家重点实验室）；State Key Laboratory of Integrated Service Networks（综合业务网理论及关键技术国家重点实验室）
提出无参考的图像描述评估指标 HICE-S，通过层次化评分机制检测局部视觉区域和文本短语，解决现有指标难以评估细节描述和缺乏可解释性的问题，在多个基准上达到 SOTA。
2024-07-26 cs.CV
Guidance Module Network for Video Captioning
视频描述是一个具有挑战性和重要性的任务，它用单个句子描述视频剪辑的内容。视频描述的模型通常是编码器-解码器。我们发现，提取的视频特征的归一化可以提高视频描述的最终性能。编码器-解码器模型通常使用教师强制策略进行训练，使每个单词的预测概率接近0-1分布，并忽略其他单词。在本文中，我们提出了一种新的架构，它引入了一个指导模块，鼓励编码器-解码器模型生成相关的过去和未来的话在一个字幕的话。在规范化和引导模块的基础上，构建了引导模块网络（GMNet）。在常用数据集MSVD上的实验结果表明，GMNet能够提高编码器-解码器模型在视频描述任务上的性能.
2020-12-20 cs.CV
Fluent and Accurate Image Captioning with a Self-Trained Reward Model
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
本文提出Self-Cap方法，通过基于自生成负样本训练的可学习判别器作为奖励模型，在提升图像描述正确性与丰富度的同时避免CLIP奖励导致的语法问题，并缩短了微调时间。
2024-08-29 cs.CV
Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning
Google Research（谷歌研究院）；Inria Paris（法国国家信息与自动化研究所巴黎分部）；Département d’informatique de l’ENS（巴黎高等师范学院计算机系）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；DeepMind（深度思维）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（捷克布拉格技术大学信息学、机器人学与控制论研究所）
在这项工作中，我们引入了Vid 2Seq，这是一个多模态单阶段密集事件字幕模型，它在叙事视频上进行了预训练，这些视频在规模上很容易获得。Vid 2Seq架构使用特殊的时间标记增强了语言模型，使其能够在相同的输出序列中无缝预测事件边界和文本描述。这样一个统一的模型需要大规模的训练数据，这是目前的注释数据集不可用。我们表明，它是可以利用未标记的叙述视频密集的视频描述，通过重新制定句子边界的转录语音作为伪事件边界，并使用转录的语音句子作为伪事件标题。在YT-Temporal-1B数据集上预训练的Vid 2Seq模型改进了各种密集视频描述基准测试的最新技术水平，包括YouCook 2，ViTT和ActivityNet字幕。Vid 2Seq还可以很好地推广到视频段落字幕和视频剪辑字幕的任务，以及Few-Shot设置。我们的代码可在https://antoyang.github.io/vid2seq.html上公开获取。
2023-03-21 cs.AI cs.CL cs.CV
Text Data-Centric Image Captioning with Interactive Prompts
本文提出TIPCap方法，通过多元高斯映射和提示交互模块，在四种逐步减少配对数据依赖的设置下实现以文本数据为中心的图像描述生成，并在MS-COCO和Flickr30K上取得最优性能。
2024-03-28 cs.CV
Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction
IRIT, University of Toulouse（图卢兹大学IRIT研究所）；Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR））；CNRS, IRIT（法国国家科学研究中心（CNRS），IRIT研究所）
本文提出了一种通过关键时刻提取实现长视频多模态摘要的方法，利用轻量级模型和大型语言模型实现高效摘要生成。
2026-01-08 cs.CL cs.CV
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
Aalto University School of Science（阿尔托大学理学院）
在本文中，我们描述了使用递归神经网络（RNN）生成短视频片段的文本描述的系统，我们在参加ICCV 2015的2015年大规模电影描述挑战赛时使用了该系统。我们的工作建立在基于RNN的语言模型的静态图像字幕系统的基础上，并将此框架扩展到利用静态图像特征和视频特定特征的视频。此外，我们研究的有用性的视觉内容分类器作为额外的信息源字幕生成。实验结果表明，利用基于关键帧的功能，密集的轨迹视频功能和内容分类器输出一起提供了更好的性能比任何一个单独。
2015-12-09 cs.CV
Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning
Dr.Vishwanath Karad MIT World Peace University（维什瓦纳特·卡拉德博士MIT世界和平大学）
在当前生成智能时代的全球化世界中，大多数体力劳动任务都是自动化的，效率更高。这可以帮助企业节省时间和金钱。生成智能的一个关键组成部分是视觉和语言的整合。因此，图像描述成为一个有趣的研究领域。研究人员曾多次尝试用不同的深度学习架构来解决这个问题，虽然准确率有所提高，但结果仍不达标。这项研究将Transformer和LSTM与MS-COCO数据集上的注意力块模型进行了比较，MS-COCO数据集是图像描述的标准数据集。对于这两个模型，我们使用预训练的Inception-V3 CNN编码器进行图像的特征提取。双语评价替补评分（BLEU）用于检查两个模型生成的字幕的准确性。随着Transformer和具有注意力块模型的LSTM，CLIP-扩散模型，M2-Transformer模型和X-线性注意力模型已经以最先进的精度进行了讨论。
2023-03-05 cs.CV cs.LG
Zero-Shot Video Captioning with Evolving Pseudo-Tokens
Tel Aviv University（特拉维夫大学）
我们介绍了一种zero-shot视频描述方法，该方法采用两个冻结网络：GPT-2语言模型和CLIP图像-文本匹配模型。匹配分数用于引导语言模型生成具有与视频帧的子集的高平均匹配分数的句子。与zero-shot图像描述方法不同，我们的工作一次考虑整个句子。这是通过在生成过程中从头开始优化提示的一部分、修改提示中所有其他标记的表示以及迭代地重复该过程来实现的，从而逐渐提高所生成句子的特异性和全面性。我们的实验表明，生成的字幕是连贯的，并显示了广泛的现实世界知识。我们的代码可在：https://github.com/YoadTew/zero-shot-video-to-text
2022-07-27 cs.CV
GOAL: A Challenging Knowledge-grounded Video Captioning Benchmark for Real-time Soccer Commentary Generation
Tsinghua University（清华大学）；Biendata；Tencent（腾讯）
针对现有视频字幕模型难以生成知识驱动的细粒度领域解说的问题，本文提出包含超8900个足球视频片段的GOAL基准，设定知识驱动视频字幕新任务，通过适配现有方法的实验揭示了该任务的难点与研究方向。
2023-10-05 cs.CL cs.CV cs.LG
Diverse Video Captioning by Adaptive Spatio-temporal Attention
University of Tübingen（图宾根大学）
为了生成合适的视频字幕，推理需要识别相关概念，并注意它们之间的空间关系以及剪辑中的时间发展。我们的端到端的编码器-解码器视频描述框架结合了两个基于transformer的架构，一个适合的Transformer用于单个联合时空视频分析，以及一个基于自注意力的解码器用于高级文本生成。此外，我们引入了一个自适应帧选择方案，以减少所需的传入帧的数量，同时保持相关的内容时，训练两个Transformers。此外，我们估计语义概念相关的视频描述通过聚合每个样本的所有地面实况字幕。我们的方法实现了最先进的结果MSVD，以及大规模的MSR-VTT和VATEX基准数据集考虑多个自然语言生成（NLG）指标。对多样性分数的额外评估突出了我们生成的字幕结构的表达力和多样性。
2022-08-19 cs.CV
Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models
Florida Atlantic University（佛罗里达大西洋大学）
Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。
2026-04-07 cs.AI cs.CL cs.CV
Progress-Aware Video Frame Captioning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出帧级进度感知视频字幕生成任务，构建ProgressCaptioner模型及FrameCap数据集和FrameCapEval基准，显著提升字幕时间精度，并应用于关键帧选择与视频理解。
2025-03-26 cs.CV
Improving Generalization of Image Captioning with Unsupervised Prompt Learning
Wuhan University（武汉大学）
本文提出无监督提示学习方法 GeneIC，通过 CLIP 对齐视觉与语言模态，从属性和语义一致性两方面优化领域特定提示向量，在不需标注数据的情况下提升图像描述模型的领域泛化能力。
2023-08-05 cs.CV
GIPCOL: Graph-Injected Soft Prompting for Compositional Zero-Shot Learning
Michigan State University（密歇根州立大学）；University of Michigan（密歇根大学）
提出GIPCOL方法，通过图注入软提示捕获组合结构，提升视觉-语言模型的组合零样本学习能力，在三个基准上取得最优AUC结果。
2023-11-09 cs.CV
Exploring Annotation-free Image Captioning with Retrieval-augmented Pseudo Sentence Generation
University of Sydney（悉尼大学）
本文提出RaPSG策略，通过蒸馏大型预训练模型知识并从不匹配语料库检索相关区域描述生成高质量伪句子，结合流畅性过滤器和CLIP指导，在零样本、无监督等多种设置下优于SOTA模型。
2024-10-14 cs.AI cs.CV
I-Tuning: Tuning Frozen Language Models with Image for Lightweight Image Captioning
Hong Kong Baptist University（香港浸会大学）；Zhejiang University（浙江大学）；NetEase Inc.（网易公司）
图像描述是一种传统的视觉和语言任务，旨在生成图像的语言描述。最近的研究集中在按比例增加模型的大小和训练数据的数量，这显著增加了模型训练的成本。与这些高成本模型不同，我们引入了一个轻量级的图像描述框架（I-Tuning），其中包含少量的可训练参数。我们设计了一个新的I-Tuning交叉注意模块来连接不可训练的预训练语言解码器GPT 2和视觉编码器CLIP-ViT。由于大多数参数在训练过程中不需要更新，因此我们的框架是轻量级和快速的。在三个图像描述基准上进行的实验结果表明，我们的框架实现了与大规模基线系统相当或更好的性能。但是，与最先进的基线相比，我们的模型包含的可训练参数少了10倍，需要的训练数据也少得多。
2023-03-13 cs.CL cs.CV
Beyond Anonymous Captions: Grounding Character Identity in Video Captioning and Question Answering
Télécom SudParis, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）；Moments Lab Research（Moments Lab 研究院）
本文提出身份感知视频字幕与问答框架，通过自动角色识别与空间锚定，结合LoRA微调，显著提升身份理解，BAC-8B达93.20%准确率。
2026-10-08 cs.CV
Cross-Domain Image Captioning with Discriminative Finetuning
Meta AI；UPF（庞培法布拉大学）；Samaya AI（萨马亚人工智能）；ICREA（加泰罗尼亚研究与高级研究院）
本文提出使用自监督判别性交流目标对现成神经描述生成器进行微调，以生成更具信息量的视觉描述，在跨域数据集上更接近人类参考描述，并在图像判别任务中为人类标注员提供更大帮助。
2023-04-04 cs.AI cs.CL cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning
University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学）；Macquarie University（麦考瑞大学）
针对零样本视频字幕生成研究不足的问题，提出RETTA框架，以可学习token为媒介连接四个冻结预训练模型，通过推理数据软标签在测试时自适应学习，在三个数据集上CIDEr指标较现有SOTA提升5.1%-32.4%。
2025-10-28 cs.CV
CLIP-Diffusion-LM: Apply Diffusion Model on Image Captioning
Imperial College London（帝国理工学院）
图像描述任务已经被广泛研究的前期工作。然而，有限的实验集中在基于非自回归文本解码器生成字幕。受最近图像合成任务的去噪扩散模型的成功的启发，我们将去噪扩散概率模型应用于图像描述任务中的文本生成。我们表明，我们的CLIP扩散LM是能够生成图像字幕使用显着较少的推理步骤比自回归模型。在Flickr 8 k数据集上，该模型的BLEU-4得分为0.1876。通过在Flickr 8 k和Flickr 30 k数据集上进行训练，我们的模型获得了0.2470的BLEU-4分数。我们的代码可在https://github.com/xu-shitong/diffusion-image-captioning上获得。
2022-10-10 cs.CV cs.LG
Weakly Supervised Dense Video Captioning
Intel Labs China（英特尔中国研究院）；Fudan University（复旦大学）
本文研究了一种新颖而具有挑战性的视觉任务--密集视频描述，其目的是用多个信息丰富且多样化的字幕语句自动描述视频片段。该方法在训练时不需要细粒度句子与视频区域序列对应关系的显式注释，而是仅基于弱视频级句子注释。它在三个技术方面不同于现有的视频描述系统。首先，我们提出了词汇全卷积神经网络（Lexical-FCN）与弱监督多实例多标签学习弱链接视频区域与词汇标签。其次，我们引入了一种新的子模最大化方案，以产生多个信息和不同的区域序列的基础上的词汇-FCN输出。在训练阶段，采用赢者通吃的策略将句子与区域序列进行弱关联。第三，序列到序列的学习为基础的语言模型的弱监督信息，通过关联过程中得到的训练。我们表明，该方法不仅可以产生信息丰富和多样化的密集字幕，但也优于国家的最先进的单一视频描述方法的大幅度。
2017-04-05 cs.CV
Transparent Human Evaluation for Image Captioning
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们建立THumB，一个基于规则的人类评价协议的图像描述模型。我们的评分规则及其定义是基于MSCOCO数据集上机器和人类生成的标题精心开发的。每个标题都沿着两个主要维度进行评估，以权衡（精确度和召回率）以及衡量文本质量的其他方面（流畅性，简洁性和包容性语言）。我们的评价显示了当前评价实践中的几个关键问题。人类生成的字幕显示出比机器生成的字幕高得多的质量，特别是在显著信息的覆盖方面（即，召回），而大多数自动指标则相反。我们的基于规则的结果表明，CLIPScore，一个最近的指标，使用图像特征，更好地与人类的判断比传统的纯文本的指标，因为它是更敏感的召回。我们希望这项工作将促进一个更透明的评价协议的图像描述及其自动度量。
2022-05-18 cs.CL cs.CV
Multimodal Arabic Captioning with Interpretable Visual Concept Integration
Ulm University（乌尔姆大学）；Alexandria University（亚历山大大学）
本研究提出可解释的阿拉伯语图像描述框架VLCAP，结合多语言CLIP编码器检索视觉概念与视觉语言模型生成描述，验证了不同编码器-解码器组合的效果，可生成文化适配、准确的阿拉伯语描述。
2025-09-29 cs.CL cs.CV cs.LG
CaReBench: A Fine-Grained Benchmark for Video Captioning and Retrieval
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出含1,000对视频与详细人工字幕的 CaReBench 基准及 ReBias、CapST 指标，并以两阶段 SFT 训练 MLLM 基线，实现检索与描述的统一评估。
2025-03-18 cs.CV cs.IR cs.LG
Text-Only Training for Image Captioning with Retrieval Augmentation and Modality Gap Correction
INESC-ID, Instituto Superior Tecnico, University of Lisbon（INESC-ID，理工学院，里斯本大学）
TOMCap通过检索增强和模态差距校正，实现无需对齐图像-文本对的纯文本训练图像描述生成。
2025-12-03 cs.CL cs.CV
A Frustratingly Simple Approach for End-to-End Image Captioning
Hong Kong Baptist University（香港浸会大学）；Fuxi AI Lab, NetEase Inc.（网易公司伏羲人工智能实验室）
图像描述是连接视觉和语言的一项基本任务，涉及跨模态理解和文本生成。近年来，图像描述的研究越来越受到人们的关注。大多数现有的作品遵循传统的两阶段训练范式。在训练字幕模型之前，首先利用一个额外的目标检测器来识别图像中的目标。然而，它们需要具有细粒度对象注释的相当大的数据集来训练对象检测器，这是一项艰巨的任务。此外，目标检测器的错误很容易传播到后续的字幕模型，降低模型的性能。为了减轻这些缺陷，我们提出了一个令人沮丧的简单，但高效的端到端的图像描述框架，视觉条件GPT（VC-GPT），通过连接预先训练的视觉编码器（CLIP-ViT）和语言解码器（GPT 2）。与直接将交叉注意模块插入GPT 2的香草连接方法不同，本文提出了一种综合考虑单模态和跨模态知识的自集成跨模态融合机制。因此，我们不需要额外的对象检测器来进行模型训练。对三种流行的图像描述基准测试（MSCOCO、Flickr 30 k和NoCaps）进行的实验结果表明，我们的VC-GPT在广泛的基线系统的所有评估指标中实现了最佳或次佳性能。
2022-04-14 cs.CL cs.CV
BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model
Instituto Superior Técnico（里斯本大学理工学院）；INESC-ID；Instituto de Telecomunicações（电信机构）
本文提出了一种无参考图像描述评估方法BEiTScore，通过高效的交叉编码器模型解决传统评估方法在计算成本和敏感性方面的不足，提出了一种新的评估指标，并在多种场景下验证了其优越的性能。
2026-05-20 cs.CL cs.CV cs.LG
Supervising Neural Attention Models for Video Captioning by Human Gaze Data
Seoul National University（首尔大学）
深度神经网络中的注意力机制受到人类注意力的启发，人类注意力随着时间的推移顺序地关注信息的最相关部分以生成预测输出。这些模型中的注意力参数是以端到端的方式进行隐式训练的，但很少有试验明确地将人类视线跟踪纳入监督注意力模型。在本文中，我们调查是否注意力模型可以受益于明确的人类注视标签，特别是视频描述的任务。我们收集了一个名为VAS的新数据集，包括电影剪辑和相应的多个描述性句子以及人类视线跟踪数据。我们提出了一个视频描述模型称为凝视编码注意网络（GEAN），可以利用视线跟踪信息，以提供空间和时间的注意句子生成。通过评估语言相似性指标和亚马逊机械土耳其人的评估，我们证明了由人类凝视数据引导的空间注意力确实提高了多种字幕方法的性能。此外，我们表明，所提出的方法不仅在我们的VAS数据集，而且在标准数据集（例如LSMDC和好莱坞2）中实现了最先进的性能的凝视预测和视频描述。
2017-07-19 cs.CV
Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset
Instituto Federal do Espírito Santo (IFES)（巴西联邦大学埃斯皮里图圣安东尼奥理工学院）；École de Technologie Supérieure (ÉTS)（加拿大超技术学院）
本研究通过跨原生翻译数据集评估Transformer模型在巴西葡萄牙语图像描述生成中的表现，发现Swin-DistilBERTimbau表现优异，GPT-4在CLIP-Score上表现最佳，同时揭示了模型中的系统性偏见。
2026-01-30 cs.CL cs.CV cs.LG
Vision-Language Asymmetry in Bistable Image Captioning
Arohan Agate
通过83个双稳态刺激的行为基线和稀疏自编码器分析，发现视觉塔中同时激活两种解释，但因果干预仅能翻转默认主导刺激的描述，揭示视觉表征与语言承诺之间的不对称性。
2026-06-06 cs.CV
OpenVoxel: Training-Free Grouping and Captioning Voxels for Open-Vocabulary 3D Scene Understanding
NVIDIA；National Taiwan University（国立台湾大学）
OpenVoxel通过无需训练的多模态大语言模型实现稀疏体素的分组与标注，提升开放词汇3D场景理解的性能。
2026-01-14 cs.CV
Delving Deeper into the Decoder for Video Captioning
Tsinghua University（清华大学）
视频描述是一种高级的多模态任务，其目的是使用自然语言语句来描述视频片段。编码器-解码器框架是近年来用于此任务的最流行的范例。然而，在视频描述模型的解码器中存在一些问题。我们对解码器进行了深入的研究，并采用了三种技术来提高模型的性能。首先，将变分丢弃和层归一化的组合嵌入到循环单元中，以缓解过拟合问题。其次，提出了一种新的在线方法来评估模型在验证集上的性能，以选择最佳的检查点进行测试。最后，提出了一种新的培训策略，称为专业学习，它利用字幕模型的优点，绕过它的弱点。在微软研究院视频描述语料库（MSVD）和MSR-Video to Text（MSR-VTT）数据集上的实验表明，我们的模型在BLEU，CIDEr，METEOR和ROUGE-L指标上取得了最好的结果，与以前的最先进的模型相比，MSVD和MSR-VTT的收益分别高达18%和3.5%。
2020-02-15 cs.CL cs.CV
Enhancing Traffic Safety with Parallel Dense Video Captioning for End-to-End Event Analysis
University of Central Florida（中佛罗里达大学）；North Dakota State University（北达科他州立大学）
本研究针对2024年AI City挑战赛交通安全分析任务，基于PDVC框架结合CLIP特征、领域适配与知识迁移优化密集视频字幕，在WTS数据集测试集上获竞赛第6名。
2024-04-12 cs.CV
