Putting Captions to the Test: Evaluating Video Caption Quality through Multiple-Choice Question Answering
Apple（苹果公司）
针对现有视频字幕评估指标的局限，提出无参考基准CapQuiz，通过人工验证的多项选择问答衡量信息保真度，实验证明其与人类判断相关性更高。
2026-09-10 cs.CV
Evaluating Text-to-Image Matching using Binary Image Selection (BISON)
University of Southern California（南加州大学）；Facebook AI Research（Facebook人工智能研究院）
为系统提供关联语言和视觉内容的能力是计算机视觉的标志之一。任务，如基于文本的图像检索和图像描述的目的是测试这种能力，但与评估措施，有很大的差异或难以解释。我们研究了一个替代的任务，匹配文本和图像的系统：给定一个文本查询，系统被要求从一对语义相似的图像中选择最匹配的查询的图像。该系统的准确性，这个二进制图像选择（BISON）的任务是可解释的，消除了检索评估的可靠性问题，并专注于系统的能力，以了解细粒度的视觉结构。我们收集了一个BISON数据集，补充COCO数据集，并使用它来评估现代基于文本的图像检索和图像描述系统。我们的研究结果为这些系统的性能提供了新的见解。COCO-BISON数据集和相应的评估代码可从\url{http://hexianghu.com/bison/}公开获得。
2019-04-05 cs.AI cs.CL cs.CV
Understanding and Evaluating Racial Biases in Image Captioning
Princeton University（普林斯顿大学）
图像描述是一项重要的任务，为基准的视觉推理和使无障碍的人与视觉障碍。然而，正如在许多机器学习环境中一样，社会偏见可能会以不期望的方式影响图像描述。在这项工作中，我们研究了图像描述中的偏差传播途径，特别关注COCO数据集。先前的工作分析了使用自动派生的性别标签的标题中的性别偏见，在这里，我们研究使用手动注释的种族和交叉偏见。我们的第一个贡献是在获得IRB批准后，注释了28，315名被描绘的人的感知性别和肤色。使用这些注释，我们比较了手动和自动生成的图像标题中存在的种族偏见。我们展示了图片的标题性能，情绪和文字选择之间的差异与较深的皮肤的人。此外，我们发现这些差异的幅度在现代字幕系统中比旧的字幕系统更大，从而导致人们担心，如果没有适当的考虑和缓解，这些差异只会变得越来越普遍。代码和数据可在https://princetonvisualai.github.io/imagecaptioning-bias上获得。
2021-08-30 cs.CV
CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning
Queen Mary, University of London（伦敦大学玛丽女王学院）；Centre for Research and Technology Hellas（希腊研究中心）；City St George’s, University of London（伦敦大学圣乔治学院）
本文提出CycleCap，通过自监督循环一致性训练提升VLMs的图像描述性能，利用GRPO优化策略，基于重建图像与原始图像相似性作为奖励信号，无需标注数据即可提高描述准确性。
2026-03-20 cs.CV
Models See Hallucinations: Evaluating the Factuality in Video Captioning
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
视频描述的目的是用自然语言描述视频中的事件。近年来，许多研究工作都集中在提高字幕模型的性能上。然而，与其他文本生成任务一样，它有可能引入输入视频不支持的事实错误。这些事实错误会严重影响生成的文本的质量，有时会使其完全无法使用。虽然事实一致性在文本到文本任务中受到了很多研究关注（例如，摘要），但在基于视觉的文本生成的背景下研究较少。在这项工作中，我们进行了详细的人类评价的真实性视频描述，并收集两个注释的真实性数据集。我们发现，57.0%的模型生成的句子有事实错误，这是一个严重的问题，在这一领域。然而，现有的评价指标主要是基于n-gram匹配和人类真实性标注的相关性很小。我们进一步提出了一个弱监督的，基于模型的真实性度量FactVC，它优于以前的指标对视频描述的真实性评估。这些数据集和指标将被发布，以促进未来对视频描述的研究。
2023-03-06 cs.CV
Cycle-Consistency Learning for Captioning and Grounding
Huawei Inc.（华为公司）；University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
提出CyCo循环一致性学习框架，桥接视觉定位与图像描述，实现半弱监督训练并提升全监督性能，生成可描述任意区域的通用描述模型。
2023-12-23 cs.CV
Synthesizing Novel Pairs of Image and Text
生成新颖的图像和文本对是结合计算机视觉和自然语言处理的问题。在本文中，我们提出了基于现有的字幕数据集生成新的图像和字幕对的策略。该模型利用了生成对抗网络和序列到序列建模的最新进展。我们进行推广，从多个域生成配对样本。此外，我们还研究了从图像到文本，然后再回到图像的循环，以及它与自动编码器的联系。
2017-12-18 cs.CL cs.CV cs.LG
A Novel Evaluation Framework for Image2Text Generation
University of Amsterdam（阿姆斯特丹大学）
本文提出一种基于具备图像生成能力的 LLM 的无参考图像描述评估框架，通过“图像—描述—再生成图像”的相似度衡量模型性能，并经人工评估验证有效。
2024-08-03 cs.CV cs.IR
Spot-the-shift: Evaluating Grounded Image Difference Captioning of Long-term Changes
University of Trento（特伦托大学）；Sorbonne Université（索邦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出SPOT-THE-SHIFT基准和评估协议，用于衡量多模态大模型在真实驾驶场景中检测和描述长期结构变化的能力，并开发合成数据流水线提升模型性能。
2026-09-10 cs.CV
Evaluating Data Augmentation Techniques for Coffee Leaf Disease Classification
National University of Science and Technology POLITEHNICA Bucharest（布加勒斯特理工国立科学技术大学）；National Institute for Research and Development in Informatics - ICI Bucharest（布加勒斯特国家信息学研发研究所（ICI布加勒斯特））；Academy of Romanian Scientists（罗马尼亚科学家学院）
本文针对RoCoLe数据集样本少且不平衡的问题，结合pix2pix分割与CycleGAN增强，验证了Transformer模型和增强技术在咖啡叶病害分类中的有效性。
2024-01-11 cs.CV
Cross-Domain Image Conversion by CycleDM
Kyushu University（九州大学）
本研究提出融合CycleGAN理念与扩散模型的无配对跨域转换方法CycleDM，无需域间显式对应即可高效训练，实现印刷体与手写体字符图像的相互转换，性能优于同类方法。
2024-03-05 cs.CV
End-to-End Learning Using Cycle Consistency for Image-to-Caption Transformations
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
到目前为止，从字幕保持图像的足够信息的观点出发，已经进行了从图像生成字幕的研究。如果可以从生成的字幕生成接近输入图像的图像，即，如果可以生成包含足够信息的自然语言字幕来再现图像，则认为该字幕忠实于图像。为了使这种再生成为可能，使用循环一致性损失的学习是有效的。在这项研究中，我们提出了一种通过学习端到端的图像和文本之间的相互转换生成字幕的方法。为了评估我们的方法，我们进行了比较实验，有和没有周期的一致性。通过自动评估和众包对结果进行评估，证明了我们所提出的方法是有效的。
2019-03-25 cs.CL cs.CV
Discourse Analysis for Evaluating Coherence in Video Paragraph Captions
UCLA Center for Vision, Cognition, Learning, and Autonomy（加州大学洛杉矶分校视觉、认知、学习与自主中心）
视频段落字幕是自动生成视频中动作的连贯段落描述的任务。以往的语言学研究表明，自然语言语篇的连贯性是通过语篇结构和语篇关系来体现的。然而，现有的视频描述方法仅通过将它们与人类段落注释进行比较来评估所生成的段落的连贯性，并且无法推理潜在的话语结构。在加州大学洛杉矶分校，我们目前正在探索一种新的基于话语的框架来评估视频段落的连贯性。我们的方法的核心是视频的话语表示，这有助于在视频的连贯性为条件的段落建模的连贯性。我们还介绍了DisNet，一个新的数据集，包含3000个视频及其段落的建议视觉话语注释。我们的实验结果表明，所提出的框架评估视频段落的连贯性显着优于所有的基线方法。我们相信，许多其他多学科的人工智能问题，如视觉对话和视觉讲故事也将大大受益于拟议的视觉话语框架和DisNet数据集。
2022-01-17 cs.CV
L-CLIPScore: a Lightweight Embedding-based Captioning Metric for Evaluating and Training
Key Laboratory of New Generation Artificial Intelligence Technology & Its Interdisciplinary Applications, (Southeast University),Ministry of Education（新一代人工智能技术及跨学科应用国家重点实验室，东南大学，教育部）；Alibaba Group（阿里巴巴集团）
提出轻量级描述指标L-CLIPScore，通过权重复用和矩阵分解压缩双编码器，并设计多模态相似度调节器损失进行蒸馏，在保持多模态对齐能力的同时降低计算成本，可用于高效评估描述质量及指导模型训练。
2025-07-11 cs.CV
A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions
Meta；FAIR at Meta（元公司FAIR研究院）；Mila（米拉研究所）；Universite de Montreal（蒙特利尔大学）；McGill University（麦吉尔大学）
本文构建含7805张图像、平均描述超1000词的人工密集描述数据集DCI及限长版sDCI，并提出描述-子裁剪匹配任务，评估CLIP类VLM，发现标准基准进展不等于细粒度理解提升，而用sDCI微调可显著改进CLIP。
2024-06-17 cs.CV
EMScore: Evaluating Video Captioning via Coarse-Grained and Fine-Grained Embedding Matching
University of Science and Technology of China（中国科学技术大学）；Southeast University（东南大学）；Alibaba Group（阿里巴巴集团）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
当前用于视频描述的度量主要基于参考和候选字幕之间的文本级比较。然而，它们有一些无法克服的缺点，例如，它们不能处理没有参考的视频，并且由于视频到文本的一对多性质和忽视视觉相关性，它们可能导致有偏见的评价。从人类评估者的角度来看，高质量的字幕应该与所提供的视频一致，但不一定在文字或语义上与参考相似。受人类评价的启发，我们提出了EMScore（Embedding Matching-based score），这是一种新的无参考的视频描述指标，它直接测量视频和候选字幕之间的相似性。受益于大规模预训练模型的最新发展，我们利用一个良好的预训练视觉语言模型来提取视觉和语言嵌入以计算EMScore。具体来说，EMScore结合了粗粒度（视频和字幕）和细粒度（帧和文字）级别的匹配分数，考虑了视频的整体理解和详细特征。此外，考虑到潜在的信息增益，EMScore可以灵活地扩展到人类标记参考可用的条件。最后但并非最不重要的是，我们收集VATEX-EVAL和ActivityNet-FOIl数据集，以系统地评估现有指标。VATEX-EVAL实验表明，EMScore具有较高的人类相关性和较低的参考依赖性。ActivityNet-FOIL实验验证了EMScore能够有效识别“幻觉”字幕。将发布数据集，以促进视频描述指标的制定。该代码可从以下网址获取：https://github.com/ShiYaya/emscor…
2022-07-17 cs.CV
Re-evaluating Automatic Metrics for Image Captioning
Hacettepe University（哈杰泰佩大学）
近年来，从图像生成自然语言描述的任务受到了很多关注。因此，以自动方式评估此类图像描述方法变得越来越重要。在本文中，我们提供了一个深入的评估现有的图像描述指标，通过一系列精心设计的实验。此外，我们探讨利用最近提出的字移动器的距离（WMD）文档度量的目的图像描述。我们的研究结果概述了指标之间的差异和/或相似之处，并通过广泛的相关性，准确性和分心为基础的评估，其相对稳健性。我们的研究结果还表明，大规模杀伤性武器提供了强大的优势，比其他指标。
2016-12-22 cs.CL cs.CV
From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space
Shanghai Jiao Tong University（上海交通大学）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）；University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；Adobe Research（Adobe研究实验室）；Stanford University（斯坦福大学）；Shanghai Innovation Institute（上海创新研究院）；CPII under InnoHK Project（InnoHK项目下的CPII）
本文提出多视图GRPO，通过增强条件空间探索样本间关系，提升文本到图像流模型的对齐性能。
2026-03-13 cs.CV
CapProbe: Evaluating Detailed Image Captions via Full-Scene Dense Question Answering
Huawei Technologies（华为技术有限公司）
CapProbe是用于评估VLMs生成的详细图像描述的全场景密集问答基准，通过区域对齐的事实核查，揭示了13个VLMs的覆盖差距、能力-效率权衡及遗漏的失败模式，相关资源将很快发布。
2026-08-12 cs.CV
Semantic Object Accuracy for Generative Text-to-Image Synthesis
University of Hamburg（汉堡大学）
以文本图像描述为条件的生成对抗网络能够生成逼真的图像。然而，当前的方法仍然难以基于来自异构域的复杂图像字幕来生成图像。此外，定量评估这些文本到图像的模型是具有挑战性的，因为大多数评估指标只判断图像质量，但没有图像和它的字幕之间的一致性。为了解决这些挑战，我们引入了一个新的模型，明确地对图像中的各个对象进行建模，并引入了一个新的评估指标，称为语义对象准确性（SOA），专门评估给定图像标题的图像。SOA使用预先训练的对象检测器来评估生成的图像是否包含图像标题中提到的对象，例如，从“一辆汽车在街上行驶”生成的图像是否包含汽车。我们进行了一项用户研究，比较了几个文本到图像的模型，并表明我们的SOA指标排名模型的方式与人类相同，而其他指标，如Inception Score没有。我们的评估还表明，模型，明确的模型对象优于模型，只模型的全球图像特征。
2020-06-02 cs.CV cs.LG cs.NE
Evaluating Remote Sensing Image Captions Beyond Metric Biases
Hohai University（河海大学）；Cardiff University（卡迪夫大学）
本文提出ReconScore指标，通过文本重建能力评估描述质量，发现未微调的MLLM在零样本遥感图像描述任务中表现更优，并引入无需训练的RemoteDescriber方法提升语义精度。
2026-04-22 cs.CV
VELA: An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions
Keio University（庆应大学）
针对 MLLM 长图像描述缺乏适用自动指标的问题，本文提出 LLM-Hybrid-as-a-Judge 指标 VELA，并构建含 7,805 张图像和 32,246 条人工判断的 LongCap-Arena 基准，验证其性能超越现有指标及人类水平。
2025-09-30 cs.AI cs.CL cs.CV
Evaluating Automatically Generated Phoneme Captions for Images
Delft University of Technology（代尔夫特理工大学）；KU Leuven（鲁汶大学）
Image2Speech是一个相对较新的任务，它生成图像的口头描述。本文提出了一个调查这项任务的评价。为此，首先实现了Image2Speech系统，该系统生成由音素序列组成的图像字幕。该系统在Flickr8k语料库上的性能优于原始的Image2Speech系统。随后，这些音素字幕被转换成单词的句子。这些文字说明是由人类评估者根据其对图像描述的好坏进行评级的。最后，将结果的几个客观度量分数与这些人类评级相关联。虽然BLEU4与人类评级并不完全相关，但它在所研究的指标中获得了最高的相关性，并且是Image2Speech任务的最佳现有指标。当前的度量标准受到这样一个事实的限制，即它们假设输入是单词。Image2Speech任务的更合适的度量应该假设其输入是单词的一部分，即音素。
2020-07-31 cs.CL cs.CV
cycle text2face: cycle text-to-face gan via transformers
Shahed Univerisity（沙希德大学）
文本到面部是文本到图像的子集，由于其更详细的生产，需要更复杂的架构。在本文中，我们提出了一个编码器-解码器模型称为循环Text 2Face。CycleText 2Face是编码器部分的一项新举措，它使用句子Transformer和GAN来生成文本所描述的图像。通过在模型的解码器部分中再现面部的文本来完成循环。使用CelebA数据集评估模型，结果比以前基于GAN的模型更好。在测量生成的人脸质量时，除了满足人类观众之外，我们还获得了3.458的FID分数。该模型具有高速处理能力，可以在短时间内提供高质量的人脸图像。
2022-06-09 cs.AI cs.CV
UIT-OpenViIC: A Novel Benchmark for Evaluating Image Captioning in Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）
针对越南语图像描述缺乏基准的问题，构建了UIT-OpenViIC数据集，并提出了CAMO方法以提升描述质量，为低资源语言研究提供标准评估平台。
2023-05-09 cs.CL cs.CV
CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness
University of Science and Technology of China（中国科学技术大学）；Tongyi Lab, Alibaba Group（阿里云实验室）
CAPability是一个全面的视觉描述基准，通过12个维度评估描述的正确性和全面性，利用人类标注数据和启发式指标提升多模态模型的描述能力分析。
2025-11-26 cs.CL cs.CV cs.LG
VisMin: Visual Minimal-Change Understanding
Mila - Quebec AI Institute（米拉 - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文提出VisMin基准，通过最小变化图像-描述对测试VLM的细粒度理解，发现现有模型在空间关系和计数上存在缺陷，并生成训练数据微调CLIP和Idefics2以显著提升性能。
2025-01-22 cs.CL cs.CV cs.LG
Evaluating authenticity and quality of image captions via sentiment and semantic analyses
Northeastern University（东北大学）；HHMI - Janelia Research Campus（HHMI珍妮亚研究园区）；The Knowledge House（知识之家）
本研究针对众包图像字幕训练数据质量评估问题，提出结合情感与语义分析的方法，在COCO-MS数据集上验证了人工与模型生成字幕的情感、语义差异及与对象类别的关联。
2024-09-14 cs.AI cs.CV cs.LG
VideoPhy: Evaluating Physical Commonsense for Video Generation
University of California Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
本文提出 VideoPhy 基准，通过材料相互作用提示评估文本到视频模型的物理常识能力，发现现有模型表现不佳，并引入自动评估器 VideoCon-Physics。
2024-10-03 cs.AI cs.CV cs.LG
Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO
National University of Singapore（新加坡国立大学）；University of Chinese Academy of Sciences（中国科学院大学）；Nanyang Technological University（南洋理工大学）；Wuhan University（武汉大学）
研究针对多模态大语言模型的区域理解与定位问题，提出循环组相对策略优化框架CycleGRPO，利用任务对偶性构建自我评估范式，仅需区域输入，通过质量感知奖励评估字幕，在多基准测试中提升能力，为推进MLLMs像素级能力提供新途径。
2026-09-03 cs.CV
CLAIR: Evaluating Image Captions with Large Language Models
University of California, Berkeley（加州大学伯克利分校）
提出CLAIR方法，利用大型语言模型的零样本能力评估图像描述，在多个基准上显著提升与人类判断的相关性，并提供可解释的评分推理。
2023-10-19 cs.AI cs.CL cs.CV
StyleM: Stylized Metrics for Image Captioning Built with Contrastive N-grams
University of Kentucky（肯塔基大学）
在本文中，我们建立了两个自动评估指标，用于评估机器生成的字幕和地面真实风格化字幕之间的关联：OnlyStyle和StyleCIDER。
2022-01-04 cs.AI cs.CL cs.CV
Intrinsic Image Captioning Evaluation
City University of Hong Kong（香港城市大学）
图像描述任务即将从图像生成合适的描述。对于这项任务，可能会有几个挑战，如准确性，流畅性和多样性。然而，在评价字幕模型的效果时，很少有指标能够涵盖所有这些属性。基于自动编码机制和词嵌入的研究进展，本文提出了一种基于学习的图像描述评价方法，我们称之为内在图像描述评价（I2CE）。我们选择了几个国家的最先进的图像描述模型和测试他们的表现在MS COCO数据集方面的当代指标和建议的I2CE。实验结果表明，该方法在语义相似或语义不一致的情况下，仍能保持较好的鲁棒性，并能对候选字幕给出更灵活的评分。在这个问题上，建议的度量可以作为一个新的指标之间的内在信息的字幕，这可能是补充现有的。
2020-12-14 cs.CV
"It's trained by non-disabled people": Evaluating How Image Quality Affects Product Captioning with Vision-Language Models
University of California, Irvine（加州大学尔湾分校）；Northwestern University（西北大学）
研究评估图像质量对视觉语言模型生成产品描述准确性的影响，发现图像质量下降会导致模型性能显著降低，提出改进模型可靠性的建议。
2026-03-31 cs.CV cs.HC
Can Motion-Language Models Ground Structure? STRIDE for Evaluating the Evaluators
针对运动-语言模型评估器对语言结构理解不足的问题，提出STRIDE基准系统评估时间顺序、镜像反射和动作身份，发现现有评估器存在严重缺陷，并通过结构硬负样本改进对比学习显著提升性能。
2026-09-29 cs.CV
NICGSlowDown: Evaluating the Efficiency Robustness of Neural Image Caption Generation Models
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
神经图像字幕生成（NICG）模型由于其在视觉理解方面的优异表现而受到研究界的广泛关注。现有的工作主要集中在提高NICG模型的精度，而效率的探索较少。然而，许多实际应用需要实时反馈，这高度依赖于NICG模型的效率。最近的研究表明，NICG模型的效率可能因不同的投入而异。这一观察带来了NICG模型的新攻击面，即，攻击者可能会稍微改变输入，导致NICG模型消耗更多的计算资源。为了进一步了解这种效率导向的威胁，我们提出了一种新的攻击方法，NICGSlowDown，以评估NICG模型的效率鲁棒性。我们的实验结果表明，NICGSlowDown可以生成具有人类不可察觉的扰动的图像，这将使NICG模型延迟增加483.86%。我们希望这项研究可以提高社会各界对NICG模型的效率鲁棒性的关注。
2022-03-29 cs.AI cs.CV cs.LG
Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder
City University of Hong Kong（香港城市大学）；Fuzhou University（福州大学）
自动评估图像字幕的质量可能是非常具有挑战性的，因为人类语言是非常灵活的，可以有各种表达相同的含义。当前的字幕度量大多依赖于候选字幕和地面实况标签句子之间的标记级匹配。它通常忽略了中间层信息。受自动编码器机制和对比表示学习进步的启发，我们提出了一种基于学习的图像描述度量，我们称之为内在图像描述评价（$I^2CE$）。我们开发了三种渐进式模型结构来学习句子级表示-单分支模型，双分支模型和三分支模型。我们的实证测试表明，$I^2CE$训练与双分支结构实现了更好的一致性与人类的判断，当代图像描述评价指标。此外，我们选择了几个国家的最先进的图像描述模型和测试他们的表现上的MS COCO数据集有关的当代指标和建议的$I^2CE$。实验结果表明，我们提出的方法可以很好地对齐从其他当代指标产生的分数。在这个问题上，建议的度量可以作为一个新的指标的内在信息之间的字幕，这可能是补充现有的。
2021-06-29 cs.CV
Learning How To Ask: Cycle-Consistency Refines Prompts in Multimodal Foundation Models
Microsoft Research（微软研究院）
本文提出CyclePrompt技术，利用循环一致性作为免费监督信号，在多模态基础模型中通过双向映射迭代优化提示，无需微调或训练数据，在代码生成和图像字幕任务上显著提升模型性能。
2024-02-13 cs.CL cs.CV
A Hybrid Model for Combining Neural Image Caption and k-Nearest Neighbor Approach for Image Captioning
Delhi Technological University（德里理工大学）
提出了一种混合模型，该模型集成了两种流行的图像描述方法，以生成描述图像内容的基于文本的摘要。两种图像描述模型是神经图像描述（NIC）和k-最近邻方法。它们在训练集上单独训练。我们从验证集中提取了一组五个特征，用于评估两个模型的结果，这两个模型又用于训练逻辑回归分类器。比较两个模型的BLEU-4分数，以生成逻辑回归分类器的二进制值基础事实。对于测试集，输入图像首先分别通过两个模型以生成单独的字幕。从两个模型中提取的五维特征集被传递到逻辑回归分类器，以做出关于所生成的最终字幕的决定，该最终字幕是由模型生成的两个字幕中最好的。在基准Flickr 8 k数据集上，我们实现的k-最近邻模型的BLEU-4得分为15.95，NIC模型的BLEU-4得分为16.01。所提出的混合模型能够实现BLEU-4得分为18.20，证明了我们的方法的有效性。
2021-05-09 cs.CV
The Bias Amplification Paradox in Text-to-Image Generation
UC Irvine（加州大学尔湾分校）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文发现Stable Diffusion在文本到图像生成中看似放大性别-职业偏差，实则源于训练标题与模型提示的分布差异，校正后放大显著降低，凸显偏差比较的挑战。
2023-11-15 cs.CL cs.CV cs.CY
CaptionQA: Is Your Caption as Useful as the Image Itself?
Advanced Micro Devices, Inc.（先进微器件公司）；Stanford University（斯坦福大学）；Independent Researcher（独立研究者）；Northwestern University（西北大学）；UT Austin（德克萨斯大学奥斯汀分校）
CaptionQA通过评估生成描述在下游任务中的实用性，揭示了图像与描述之间的效用差距，涵盖四个领域，包含25个顶级和69个子类别，提供33,027个密集标注的多选问题。
2026-04-15 cs.CV
Describing like humans: on diversity in image captioning
City University of Hong Kong（香港城市大学）
最近，用于图像描述的最先进的模型已经超越了基于最流行的度量（诸如BLEU、METEOR、ROUGE和CIDER）的人类性能。这是否意味着我们已经解决了图像描述的任务？上述指标仅测量生成的字幕与人类注释的相似性，这反映了其准确性。然而，图像包含许多概念和多层次的细节，因此有各种各样的标题，表达不同的概念和细节，可能是不同的人感兴趣的。因此，仅仅评估准确性是不足以衡量字幕模型的性能的-还应该考虑生成的字幕的多样性。在本文中，我们提出了一种新的度量图像字幕的多样性，这是来自潜在语义分析和核化使用CIDER相似性。我们进行了广泛的实验，重新评估最近的字幕模型的多样性和准确性的背景下。我们发现，在准确性和多样性方面，模型和人类的表现之间仍然存在很大的差距，具有优化准确性（CIDEr）的模型具有较低的多样性。我们还表明，在训练过程中平衡强化学习中的交叉熵损失和CIDEr奖励可以有效地控制生成的字幕的多样性和准确性之间的权衡。
2019-05-15 cs.CV
Analysis of diversity-accuracy tradeoff in image captioning
TTI-Chicago（芝加哥技术研究所）
我们研究了不同的模型架构，训练目标，超参数设置和解码程序对自动生成的图像字幕的多样性的影响。我们的研究结果表明：1）通过朴素采样进行简单解码，再加上低温，是一种具有竞争力和快速的方法，可以产生多样化和准确的字幕集; 2）使用强化学习进行基于CIDER的奖励训练会损害生成器的多样性，这无法通过操纵解码参数来减轻。此外，我们提出了一个新的度量AllSPICE的准确性和多样性的一组字幕由一个单一的值进行评估。
2020-02-27 cs.CL cs.CV
RefCaptioner: Multi-Reference Image-Grounded Video Captioning
本文提出多参考图像接地的视频字幕生成新任务，构建语料库与MRVBench基准，提出RefCaptioner框架，实验证实其性能最优且生成字幕更忠实。
2026-07-31 cs.CV
COCONut-PanCap: Joint Panoptic Segmentation and Grounded Captions for Fine-Grained Understanding and Generation
ByteDance（字节跳动）
本文提出COCONut-PanCap数据集，在COCO与COCONut全景掩码基础上引入细粒度区域级定位描述，通过人工密集标注提升视觉语言模型的理解与文本到图像生成性能，为联合全景分割与定位描述任务建立新基准。
2025-02-04 cs.CV
G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o
The Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；China University of Mining and Technology（中国矿业大学）
针对视觉字幕评估指标语义深度不足或零样本受限的问题，提出基于 GPT-4o 和思维链推理的通用评估指标 G-VEval，支持图像与视频输入，并在与人类判断的相关性上优于现有方法。
2024-12-19 cs.AI cs.CL cs.CV
Exposing and Correcting the Gender Bias in Image Captioning Datasets and Models
图像描述的任务隐含地涉及性别识别。然而，由于数据中的性别偏见，图像描述模型的性别识别受到影响。此外，由于逐词预测，性别活动偏差会影响字幕预测中的其他词，从而导致众所周知的标签偏差问题。在这项工作中，我们研究了COCO字幕数据集中的性别偏见，并表明它不仅来自上下文的性别统计分布，而且来自人类注释者的有缺陷的注释。我们在训练模型中研究这种偏见造成的问题。我们提出了一种技术，以摆脱偏见的任务分为2个子任务：性别中立的图像描述和性别分类。通过这种脱钩，可以消除性别背景的影响。我们训练性别中立的图像描述模型，即使在对具有与训练数据类似的偏差的数据集进行评估时，该模型也可以给出与性别化模型相当的结果。有趣的是，这个模型对没有人类的图像的预测也明显不同于对性别字幕训练的预测。我们使用可用的限界框和基于掩码的图像中的人的注释来训练性别分类器。这使我们能够摆脱背景，专注于人来预测性别。通过将性别替换到性别中立的字幕中，我们得到最终的性别预测。我们的预测与使用性别训练的模型具有相似的性能，同时没有性别偏见。最后，我们的主要结果是，在反刻板的数据集上，我们的模型优于一个流行的图像描述模型，该模型是用性别训练的。
2019-12-02 cs.CV
Cycled Compositional Learning between Images and Text
Seoul National University（首尔国立大学）；RippleAI
本文提出了一种基于循环组合网络的图文嵌入语义距离度量方法。首先，合成网络在嵌入空间中使用相对字幕将参考图像转换为目标图像。其次，校正网络计算嵌入空间中的参考图像和检索到的目标图像之间的差异，并将其与相对字幕进行匹配。我们的目标是学习使用组合网络的组合映射。由于这种单向映射是高度欠约束的，我们将其与具有校正网络的逆关系学习相结合，并为给定的图像引入循环关系。我们参加了Fashion IQ 2020挑战赛，并凭借我们的模型获得了第一名。
2021-07-24 cs.AI cs.CV
OxfordTVG-HIC: Can Machine Make Humorous Captions from Images?
University of Oxford（牛津大学）；KAUST（阿卜杜拉国王科技大学）
针对幽默相关生成任务数据稀缺的问题，本文提出大规模幽默图文数据集OxfordTVG-HIC，可用于训练和评估幽默字幕模型，并发现影响幽默的线索符合认知心理学的良性违背理论。
2023-07-21 cs.CL cs.CV
Video captioning with stacked attention and semantic hard pull
Islamic University of Technology（伊斯兰科技大学）；Dhaka University of Engineering and Technology（达卡工程技术大学）
本文提出语义敏感视频字幕生成（SSVC）架构，通过堆叠注意力和空间硬拉取改进上下文生成，并引入语义敏感性（SS）评分指标，提升视频字幕生成的性能。
2021-07-16 cs.CV
Enhancing Image Captioning with Neural Models
本文研究神经图像描述生成，比较不同架构并重点关注注入式架构，提出新质量指标，发现注入式架构能生成更简洁相关的描述，并强调数据优化和超参数调优的重要性。
2023-12-01 cs.CV cs.NE
When Visuals Aren't the Problem: Evaluating Vision-Language Models on Misleading Data Visualizations
Birla Institute of Technology and Science, Pilani（巴尔·印度理工学院和科学学院，皮拉尼）；Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
本文评估视觉-语言模型在识别误导性数据可视化中的能力，发现模型在检测可视化设计错误上更可靠，但常误判非误导性可视化。
2026-04-19 cs.AI cs.CV
Deep soccer captioning with transformer: dataset, semantics-related losses, and multi-level evaluation
ISIA Lab（ISIA实验室）；MAIA Lab（MAIA实验室）；MARO Lab（MARO实验室）
这项工作旨在使用深度学习为足球视频生成字幕。在此背景下，本文介绍了数据集，模型和三级评估。该数据集由22 k个字幕剪辑对和三个视觉特征（图像、光流、修复）组成，用于约500小时的\emph{SoccerNet}视频。该模型分为三个部分：Transformer学习语言，ConvNets学习视觉，以及语言和视觉特征的融合生成字幕。本文建议在三个层次上评估生成的字幕：语法（常用的评估指标，如BLEU评分和CIDER），含义（领域专家的描述质量）和语料库（生成的字幕的多样性）。该论文表明，生成的字幕的多样性有所改善（从0.07达到0.18）与语义相关的损失，优先选择的话。语义相关的损失和利用更多的视觉特征（光流，修复）提高了28%的标准化字幕得分。本作品的网页：https：//sites.google.com/view/soccercaptioning}{https：//sites.google.com/view/soccercaptioning
2022-11-30 cs.AI cs.CV
REO-Relevance, Extraness, Omission: A Fine-grained Evaluation for Image Captioning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, Redmond（微软研究院雷德蒙德分院）
用于评估图像描述系统的流行指标，如BLEU和CIDER，提供了一个单一的分数来衡量系统的整体有效性。该分数通常不足以指示给定系统产生的具体错误。在这项研究中，我们提出了一个细粒度的评价方法REO自动测量性能的图像描述系统。REO从三个方面评估字幕的质量：1）与地面实况的相关性，2）与地面实况无关的内容的外部性，以及3）图像和人类参考中的元素的省略。在三个基准数据集上的实验表明，该方法与人类判断具有更高的一致性，并提供了比其他指标更直观的评估结果。
2019-09-05 cs.CL cs.CV
