U-CESE: Unified Clip-based Event Search Engine for AI Challenge HCMC 2025
Faculty of Information Technology, University of Science, VNU-HCM（越南国家大学胡志明市分校信息科技学院）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学胡志明市分校）
提出U-CESE框架，通过统一剪辑算法、轻量级关键帧提取方法DAKE和时序一致字幕生成ReCap，实现大规模视频多模态事件检索。
2026-05-22 cs.CV
A Multi-Agent Feedback System for Detecting and Describing News Events in Satellite Imagery
Massachusetts Institute of Technology（麻省理工学院）；Planet Labs
提出一种迭代多智能体工作流SkyScraper，通过地理编码新闻文章并合成卫星图像序列描述，有效发现多时相事件并构建5000序列数据集。
2026-05-27 cs.CV cs.MA
Semi-supervised Text-based Person Search
Soochow University（苏州大学）；Meituan（美团）；Wuhan University（武汉大学）
本文探索半监督设置下的基于文本的行人搜索，提出先生成后检索的两阶段方案及融合PC-Mask与NP-Train策略的抗噪检索框架，有效利用未标注图像并在多个基准上取得良好性能。
2024-04-28 cs.CV
Continual and Multi-Task Architecture Search
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
架构搜索是自动学习最适合给定任务的神经模型或细胞结构的过程。最近，这种方法已经显示出有前途的性能改进（在语言建模和图像分类方面），具有合理的训练速度，使用称为高效神经架构搜索（ENAS）的权重共享策略。在我们的工作中，我们首先引入了一种新的连续架构搜索（CAS）方法，以便在多个任务的顺序训练过程中不断发展模型参数，而不会损失先前学习任务的性能（通过块稀疏性和正交性约束），从而实现终身学习。接下来，我们探索了一种多任务架构搜索（MAS）方法，通过ENAS找到一个统一的，单一的细胞结构，在多个任务中表现良好（通过联合控制器奖励），因此允许更普遍的细胞结构知识转移到一个看不见的新任务。我们的经验表明，我们的顺序持续学习和并行多任务学习为基础的架构搜索方法的有效性不同的双对分类任务（GLUE）和多模态生成为基础的视频描述任务。此外，我们提出了几个消融和分析的学习细胞结构。
2019-06-12 cs.CL cs.CV cs.LG
Guided Open Vocabulary Image Captioning with Constrained Beam Search
The Australian National University（澳大利亚国立大学）；Macquarie University（麦考瑞大学）
现有的图像描述模型不能很好地推广到包含新场景或对象的域外图像。这种限制严重阻碍了这些模型在处理野外图像的现实应用中的使用。我们使用一种灵活的方法来解决这个问题，该方法使现有的深度字幕架构能够在测试时利用图像标记器，而无需重新训练。我们的方法使用约束束搜索来强制在输出中包含选定的标记词，并使用固定的预训练词嵌入来促进词汇扩展到以前未见过的标记词。使用这种方法，我们实现了最先进的结果，在MSCOCO的域外字幕（和改进的结果，在域字幕）。也许令人惊讶的是，我们的结果显着优于将相同的标签预测纳入学习算法的方法。我们还表明，我们可以通过利用地面实况标签来显着提高生成的ImageNet标题的质量。
2017-07-19 cs.CV
Attention-based Natural Language Person Retrieval
University of California Los Angeles（加州大学洛杉矶分校）；SAIC Innovation Center San Jose（上汽集团创新中心圣何塞分部）
随着深度学习在图像分类和字幕方面的最新进展，我们开发了一种基于注意力机制的新型自然语言人物检索系统。更具体地说，给定一个人的描述，目标是定位图像中的人。为此，我们首先构建了一个基准数据集的自然语言人检索。为此，我们从分割掩码中为公共图像数据集中的人生成边界框，然后使用Amazon Mechanical Turk使用描述和属性进行注释。然后，我们采用Faster R-CNN中的区域建议网络作为候选区域生成器。基于区域建议的裁剪图像以及具有注意力权重的整个图像被馈送到卷积神经网络用于视觉特征提取，而自然语言表达和属性被输入到双向长短期记忆（BLSTM）模型用于文本特征提取。视觉和文本特征被集成到评分区域的建议，并与最高分的一个被检索作为我们的系统的输出。实验结果表明，显着改善国家的最先进的通用对象检索方法，这条线的研究有望有利于搜索监控视频录像。
2017-05-24 cs.CV
VideoMCC: a New Benchmark for Video Comprehension
Dartmouth College（达特茅斯学院）；Facebook AI Research（Facebook 人工智能研究院）
虽然人们普遍认为，未来的技术，用于组织，浏览和搜索视频取决于高层次的视频语义理解的方法的发展，到目前为止还没有达成共识的最佳方式训练和评估模型，这项任务。将视频理解转换为动作或事件分类的形式是有问题的，因为不完全清楚该领域中的语义类或抽象应该是什么。语言已经被利用来回避定义视频类别的问题，通过将视频理解公式化为字幕或描述的任务。然而，语言是高度复杂、冗余的，有时甚至是模棱两可的。许多不同的字幕可以表达相同的语义概念。为了解释这种模糊性，视频描述的定量评估需要复杂的指标，其性能分数通常很难由人类解释。本文提供了四个贡献这个问题。首先，我们制定视频多项选择字幕（VideoMCC）作为一个新的定义明确的任务，易于解释的性能指标。其次，我们描述了一个一般的半自动程序来创建这个任务的基准。第三，我们公开发布了一个大规模的视频基准测试，该测试是通过实施该程序创建的，我们还包括一项人类研究，该研究评估了人类在我们数据集上的表现。最后，为了更好地理解视频理解所带来的新挑战，我们提出并测试了一系列不同的方法。
2017-06-16 cs.CV
Bidirectional Beam Search: Forward-Backward Inference in Neural Sequence Models for Fill-in-the-Blank Image Captioning
Virginia Tech（弗吉尼亚理工大学）；Georgia Tech（佐治亚理工学院）
通过扩展束搜索（BS）来推理前向和后向时间依赖性，我们开发了双向神经序列模型中1-Best（和M-Best）解码的第一近似推理算法。束搜索（BS）是一种广泛使用的近似推理算法，用于从单向神经序列模型中解码序列。有趣的是，双向模型中的近似推理仍然是一个悬而未决的问题，尽管它们在对过去和未来的信息进行建模方面具有显着的优势。为了使双向模型的使用，我们提出了双向束搜索（BiBS），一个有效的算法近似双向inference.To评估我们的方法，并作为一个有趣的问题，在其本身的权利，我们引入了一个新的填空图像描述任务，需要推理的过去和未来的句子结构，以重建合理的图像描述。我们使用这个任务以及Visual Madlibs数据集来证明我们方法的有效性，始终优于所有基线方法。
2017-05-24 cs.CV
Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent AI Lab（腾讯人工智能实验室）
图像描述是一个模糊的问题，图像有许多合适的标题。为了解决歧义，束搜索是对多个字幕进行采样的实际方法。然而，束搜索在计算上是昂贵的，并且已知产生通用字幕。为了解决这个问题，已经提出了一些基于变分自动编码器（VAE）和生成对抗网络（GAN）的方法。虽然不同，但GAN和VAE不太准确。在本文中，我们首先预测图像的有意义的摘要，然后基于该摘要生成字幕。我们使用词性作为摘要，因为我们的摘要应该驱动标题生成。我们实现了三连胜：（1）如通过标准字幕度量和用户研究评估的不同字幕的高准确性;（2）与束搜索和不同束搜索相比，不同字幕的更快计算;以及（3）如通过计数新句子、不同的n元语法和相互重叠（即，mBleu-4）分数。
2019-04-11 cs.CV
Neural Architecture Search using Deep Neural Networks and Monte Carlo Tree Search
Brown University（布朗大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Facebook AI Research（脸书人工智能研究院）
神经结构搜索（NAS）在神经网络的自动化设计方面取得了巨大的成功，但目前NAS方法的计算量过大，需要进一步研究如何提高样本效率和网络评估成本，以便在更短的时间内获得更好的结果。在本文中，我们提出了一种新的可扩展的蒙特卡罗树搜索（MCTS）的NAS代理，命名为AlphaX，以解决这两个方面。AlphaX通过自适应地平衡状态级别的探索和利用来提高搜索效率，并通过元深度神经网络（DNN）来预测网络精度，以便将搜索偏向有希望的区域。为了分摊网络评估成本，AlphaX通过分布式设计加速MCTS的部署，并通过迁移学习（以MCTS中的树结构为指导）减少评估网络的历元数。在12个GPU天和1000个样本中，AlphaX发现了一个架构，在CIFAR-10上达到了97.84%的top-1准确率，在ImageNet上达到了75.5%的top-1准确率，在准确率和采样效率上都超过了SOTA NAS方法。特别是，我们还在NASBench-101（一个大规模NAS数据集）上评估了AlphaX; AlphaX在寻找全局最优值方面的样本效率分别是随机搜索和正则化进化的3倍和2.8倍。最后，我们展示了搜索架构改进了从神经风格转移到图像描述和目标检测的各种视觉应用。
2019-11-21 cs.AI cs.CV cs.DC
RedCaps: web-curated image-text data created by the people, for the people
University of Michigan（密歇根大学）
配对图像和文本的大型数据集在学习视觉和视觉与语言任务的通用表示方面越来越受欢迎。此类数据集是通过查询搜索引擎或收集HTML替代文本构建的--由于Web数据有噪音，因此需要复杂的过滤管道来保持质量。我们探索替代数据源，以最小的过滤收集高质量的数据。我们介绍RedCaps--一个从Reddit收集的1200万图像-文本对的大规模数据集。Reddit上的图片和标题描绘和描述了各种各样的物体和场景。我们从一组手动策划的子reddits中收集数据，这些子reddits提供粗略的图像标签，并允许我们在不标记单个实例的情况下控制数据集的组成。我们发现，在RedCaps上训练的字幕模型产生了人类喜欢的丰富多样的字幕，并学习了转移到许多下游任务的视觉表示。
2021-11-22 cs.CL cs.CV
Automatic Generation of Descriptive Titles for Video Clips Using Deep Learning
University of Georgia（佐治亚大学）
在过去的十年中，深度学习在许多应用中的使用产生了与人类专家表现相当甚至在某些情况下超过人类专家表现的结果。应用领域包括疾病诊断、金融、农业、搜索引擎、机器人视觉等。在本文中，我们提出了一个架构，利用图像/视频描述的方法和自然语言处理系统生成一个标题和一个简洁的视频摘要。这种系统可以潜在地用于许多应用领域，包括电影业、视频搜索引擎、安全监视、视频数据库/仓库、数据中心等。所提出的系统的功能和操作如下：它读取视频;代表性的图像帧被识别和选择;图像帧被加标题; NLP被应用于所有生成的标题以及文本摘要;最后，为视频生成标题和摘要。所有功能都是自动执行的。本文使用公开的数据集提供了初步结果。本文不关心系统在执行时的效率。我们希望能够在后续出版物中解决执行效率问题。
2021-04-07 cs.AI cs.CV cs.LG
ConZIC: Controllable Zero-shot Image Captioning by Sampling-Based Polishing
Xidian University（西安电子科技大学）
Zero-shot能力被认为是深度学习的一场新革命，它让机器在没有精心策划的训练数据的情况下完成任务。作为zero-shot图像描述（IC）的一个良好开端和唯一现有成果，ZeroCap放弃了监督训练，并使用大规模预训练模型的知识顺序搜索标题中的每个单词。虽然有效，它的自回归生成和梯度定向搜索机制限制了字幕的多样性和推理速度。此外，ZeroCap没有考虑zero-shot IC的可控性问题。为了向前推进，我们提出了一个框架，可控Zero-shot IC，命名为ConZIC。ConZIC的核心是一种新的基于采样的非自回归语言模型GibbsBERT，它可以生成并不断地打磨每个单词。大量的定量和定性结果表明，我们提出的ConZIC的优越性能的zero-shot集成电路和可控zero-shot IC。特别是，ConZIC的生成速度比ZeroCap快约5倍，多样性得分高约1.5倍，在不同的控制信号下都能准确生成。
2023-03-09 cs.CV
Uncertainty-Aware Image Captioning
Meituan（美团）
一般认为，字幕中单词的不确定性越高，就需要更多的上下文相关信息来确定它，然而，目前的图像描述方法通常考虑的是句子中所有单词的顺序生成。在本文中，我们提出了一个不确定性感知的图像描述框架，该框架从容易到困难，直到收敛，反复操作插入现有的单词之间的不连续的候选单词。我们假设句子中的高不确定性单词需要更多的先验信息来做出正确的决定，并且应该在稍后的阶段产生。由此产生的非自回归层次结构使得字幕生成易于解释和直观。具体来说，我们利用图像条件的词袋模型来衡量字的不确定性和应用动态规划算法来构建训练对。在推理过程中，我们设计了一个不确定性自适应并行束搜索技术，产生经验对数时间复杂度。在MS COCO基准上的大量实验表明，我们的方法在字幕质量和解码速度上都优于强基线和相关方法。
2022-11-30 cs.CV
VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution
Oxford Artificial Intelligence Society（牛津人工智能协会）；University of Oxford（牛津大学）
该研究推出用于基准测试视觉-语言模型性别偏见的VisoGender数据集，从代词消解偏见和检索偏见两维度评估，发现现有模型存在二元性别消解偏见，且图像描述模型偏见低于视觉-语言编码器。
2023-12-12 cs.CL cs.CV
End-to-End Video Captioning with Multitask Reinforcement Learning
Beihang University（北京航空航天大学）；Tencent AI LAB（腾讯AI实验室）
虽然端到端（E2E）学习已经在各种视觉理解任务上取得了令人印象深刻的进展，但它经常受到硬件限制（例如，GPU内存），并且易于过拟合。当涉及到视频描述时，这是计算机视觉中最具挑战性的基准任务之一，E2E学习的这些局限性尤其被输入视频和输出字幕都是冗长序列的事实所放大。实际上，用于视频描述的现有技术方法通过卷积神经网络来处理视频帧，并且通过展开递归神经网络来生成字幕。如果我们以E2E的方式连接它们，生成的模型既消耗内存又需要大量数据，这使得训练非常困难。在本文中，我们提出了一种多任务强化学习方法来训练E2E视频描述模型。主要思想是挖掘和构建尽可能多的有效任务（例如，属性、奖励和字幕），使得它们可以联合调节E2E神经网络的搜索空间，从中可以找到E2E视频描述模型并将其推广到测试阶段。据我们所知，这是第一个从原始视频输入到字幕输出端到端训练的视频描述模型。在两个标准视频描述数据集上的实验结果表明，该模型在很大程度上优于现有模型。
2019-01-01 cs.CV
Beam-Guided Knowledge Replay for Knowledge-Rich Image Captioning using Vision-Language Model
KFUPM（科威特理工学院）
提出KRCapVLM框架，通过束搜索解码、注意力模块和训练调度器，提升视觉语言模型生成知识丰富图像描述的质量和泛化能力。
2025-05-29 cs.CV
A Weighted Multi-Criteria Decision Making Approach for Image Captioning
Shahid Beheshti University G.C（沙希德·贝赫什提大学 G.C）
图像描述的目的是自动生成自然语言的图像描述。这是人工智能领域的一个具有挑战性的问题，最近在计算机视觉和自然语言处理中受到了极大的关注。在现有的方法中，基于视觉检索的方法已被证明是非常有效的。这些方法搜索相似的图像，然后基于检索到的图像的标题为查询图像构建标题。在这项研究中，我们提出了一种基于视觉检索的图像描述的方法，在该方法中，我们使用多准则决策算法，有效地结合了几个标准与比例的影响权重检索最相关的标题查询图像。所提出的方法的主要思想是设计一种机制，检索更多的语义相关的字幕与查询图像，然后选择最合适的字幕通过模仿人类的行为的基础上加权多准则决策算法。在MS COCO基准数据集上进行的实验表明，与使用比例影响权重的标准的最新模型相比，该方法提供了更有效的结果。
2019-03-17 cs.CV
Controllable Image Captioning
现有的图像字幕生成器可以生成准确的句子来描述图像，而不考虑可控性和可解释性。然而，这远不能使图像描述被广泛使用，因为图像可以根据目标和手头的上下文以无限的方式被解释。实现可控性是重要的，特别是当图像字幕由不同的人使用不同的方式来解释图像时。在本文中，我们介绍了一种新的框架图像描述，它可以产生不同的描述，通过捕获的词性标签和语义之间的相互依赖。我们的模型解释了连续变量之间的直接相关性。通过这种方式，它允许解码器彻底搜索潜在的词性选择，同时保持解码速度与POS词汇表的大小成比例。给定一个控制信号的形式的一个序列的部分的语音标签，我们提出了一种方法来生成字幕，通过一个Transformer网络，预测的基础上输入的部分的语音标签序列的话。在公开数据集上的实验表明，我们的模型在生成高质量的各种图像标题方面显着优于最先进的方法。
2022-05-25 cs.CV
PICS: Pipeline for Image Captioning and Search
PeopleTec（PeopleTec公司）
本文提出PICS，一种利用大型语言模型自动化图像描述并集成情感分析以丰富元数据的流水线，旨在解决大规模图像库的组织与高效检索问题。
2024-02-01 cs.CV cs.IR cs.LG
Compressed Image Captioning using CNN-based Encoder-Decoder Framework
University of Alberta（阿尔伯塔大学）
本研究提出结合CNN与编码器-解码器模型的自动图像描述生成架构，通过实验预训练模型并引入频率正则化技术压缩AlexNet和EfficientNetB0，在保持描述生成有效性的同时提升资源效率。
2024-04-28 cs.CV
3D CoCa v2: Contrastive Learners with Test-Time Search for Generalizable Spatial Intelligence
School of Computer Science, Peking University（北京大学计算机学院）
3D CoCa v2通过测试时间搜索提升3D场景描述的泛化能力，实现对比学习与描述生成的统一，提高鲁棒性。
2026-01-10 cs.CV
Dual-Stream Collaborative Transformer for Image Captioning
School of Information Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息工程学院）；Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计学院）；Computer Vision Institute, College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机视觉研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（社会人工智能与机器人研究院）
本文提出双流协作Transformer，通过融合区域和分割特征提升图像描述生成的准确性和描述性。
2026-01-19 cs.CV
Experimenting with Self-Supervision using Rotation Prediction for Image Captioning
Cranberry-Lemon University（蔓越莓柠檬大学）
图像描述是人工智能领域的一个融合了计算机视觉和自然语言处理的课题。它负责生成描述图像的图例，并具有各种应用程序，如辅助技术或索引图像（例如搜索引擎）所使用的描述。这使得它成为人工智能中的一个重要课题，正在进行大量的研究。然而，与许多其他任务一样，该任务是在通过人工注释标记的大型图像上训练的，这可能非常麻烦：它需要手动工作，既需要财务成本又需要时间成本，容易出错，并且在某些情况下（例如医学图像）可能难以执行。为了减少对标签的需求，我们尝试使用自监督学习，这是一种模型使用图像本身包含的数据作为标签的学习类型。然而，这是一项具有挑战性的任务，因为这项任务是双重的：图像和字幕来自两种不同的模式，通常由不同类型的网络处理。因此，完全自我监督的解决方案看起来并不明显。它如何以类似于今天在图像识别任务中应用自我监督的方式实现字幕，仍然是一个正在进行的研究课题。在这个项目中，我们使用了一个编码器-解码器架构，其中编码器是一个在OpenImages数据集上训练的卷积神经网络（CNN），并使用旋转借口任务以自我监督的方式学习图像特征。解码器是一个长短期记忆（LSTM），它在图像描述模型中在MS COCO数据集上进行训练，并负责生成字幕。我们的GitHub存储库可以找到：https://github.com/elhagry1/SSL_ImageCaptioning_RotationPrediction
2021-07-28 cs.CV
SPASS: Scientific Prominence Active Search System with Deep Image Captioning Network
Carnegie Mellon University（卡内基梅隆大学）
火星漫游者的行星探测任务是复杂的，通常需要人类专家进行详细的任务规划，从要采取的路径到要捕获的图像。NASA已经使用这个过程从火星上获取了超过2200万张图像。为了提高自动化程度，从而在这个过程中的效率，我们提出了一个系统的行星漫游车，积极寻找突出的预先指定的科学功能在捕获的图像。科学家可以用自然语言预先指定这些搜索任务，并将其上传到漫游者上，在漫游者上，部署的系统不断地用深度图像描述网络为捕获的图像添加字幕，并通过某些指标将自动生成的字幕与预先指定的搜索任务进行比较，以便优先考虑这些图像进行传输。作为一个有益的副作用，所提出的系统也可以部署到地面行星数据系统作为基于内容的搜索引擎。
2018-09-10 cs.CV cs.IR cs.LG
Attention Beam: An Image Captioning Approach
图像描述的目的是生成给定图像的文本描述。虽然对人类来说似乎是一项简单的任务，但对机器来说却是一项挑战，因为它需要理解图像（计算机视觉）的能力，从而为图像生成类似人类的描述（自然语言理解）。近来，基于编码器-解码器的体系结构已经实现了用于图像描述的最先进的结果。在这里，我们提出了一个启发式的束搜索的编码器-解码器为基础的架构，提供更好的质量字幕上的三个基准数据集：Flickr 8 k，Flickr 30 k和MS COCO。
2020-11-11 cs.CV cs.LG
TRECVID 2019: An Evaluation Campaign to Benchmark Video Activity Detection, Video Captioning and Matching, and Video Search & Retrieval
Georgetown University（乔治敦大学）；NIST（美国国家标准与技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Guest Researcher, NIST（美国国家标准与技术研究院客座研究员）；Dakota-consulting（达科他咨询公司）；Insight Research Centre, Dublin City University（都柏林城市大学洞察研究中心）；ADAPT Research Centre, Dublin City University（都柏林城市大学ADAPT研究中心）；Leiden University（莱顿大学）；TNO（荷兰应用科学研究组织）；Laboratoire d’Informatique de Grenoble（格勒诺布尔计算机实验室）；National Institute of Standards and Technology（美国国家标准与技术研究院）；Information Access Division（信息获取部）
2019年TREC视频检索评估（TRECVID）是一个TREC风格的视频分析和检索评估，其目标仍然是通过开放的，基于度量的评估，促进基于内容的开发和数字视频信息检索的研究和开发进展。在过去的19年里，这一努力使人们更好地理解了系统如何有效地完成这样的处理，以及如何可靠地对它们的性能进行基准测试。TRECVID由NIST（国家标准与技术研究所）和其他美国政府机构资助。此外，世界各地的许多组织和个人贡献了大量时间和精力。TRECVID 2019是TRECVID 2018的四项任务的延续。来自世界各地不同研究机构的27个团队完成了以下四项任务中的一项或多项：1. Ad-hoc视频搜索（AVS）2.实例搜索（INS）3.活动在扩展视频（ActEV）4.视频到文本描述（VTT）本文介绍了评估框架，任务，数据和在研讨会上使用的措施。
2020-09-21 cs.AI cs.CV
JSSFF: A Joint Structural-Semantic Fusion Framework for Remote Sensing Image Captioning
Computer Science and Engineering（计算机科学与工程）；University of Petroleum and Energy Studies（石油与能源研究大学）
本文提出JSSFF框架，通过融合图像和边缘信息提升遥感图像描述的准确性和语义表达。
2026-04-27 cs.CV
Good Representation, Better Explanation: Role of Convolutional Neural Networks in Transformer-Based Remote Sensing Image Captioning
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）；Department of Mechanical Engineering（机械工程系）；Indian Institute of Technology, BHU（印度理工学院BHU分校）；Department of Information Technology（信息技术系）；National Institute of Technology, Srinagar（国家理工学院斯里 Nagar分校）
本文系统评估了十二种CNN编码器在基于Transformer的遥感图像描述中的表现，并结合数值聚类、人工评估和搜索策略分析，证明编码器选择对描述质量具有关键影响。
2025-07-03 cs.CV cs.LG
From Simple to Professional: A Combinatorial Controllable Image Captioning Agent
BUPT（北京邮电大学）；PRIS Lab, BUPT（北京邮电大学PRIS实验室）
本文提出 CapAgent，通过 MLLM 与检测、搜索等外部工具把简单用户指令转化为专业指令，并透明展示推理与工具调用，以生成符合多重约束的可控图像描述。
2024-12-15 cs.AI cs.CV
Neural Image Captioning
Courant Institute of Mathematical Sciences New York University Email
近年来，主要计算机视觉任务的最大进步，如物体识别，手写数字识别，面部识别等。都是通过使用卷积神经网络（CNN）实现的。类似地，在自然语言处理领域，递归神经网络（RNN），特别是长短期记忆网络（LSTM），对于机器翻译、词性标注、情感分析等任务的性能方面的一些最大突破至关重要。这些进步极大地促进了NLP和计算机视觉交叉领域的任务，受到这一成功的启发，我们研究了一些现有的神经图像描述模型，这些模型已被证明工作良好。在这项工作中，我们研究了一些现有的字幕模型，提供接近国家的最先进的性能，并试图提高这样的模型。我们还提出了一个简单的图像描述模型，该模型利用了CNN、LSTM和beam search1算法，并基于各种定性和定量指标研究了其性能。
2019-07-02 cs.CL cs.CV cs.LG
Joint Image Captioning and Question Answering
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；cs.utexas.edu（德克萨斯大学奥斯汀分校计算机科学系（注：此处原文本中cs.utexas.edu为邮箱域名，按规则不应提取为机构，正确应为The University of Texas at Austin））
提出视觉问题需要获取日常常识，并对图像中不同部分之间的语义联系进行建模，这对于VQA系统来说太难了，只能从答案中学习。同时，使用束搜索策略的图像描述系统倾向于生成相似的字幕并且不能区分描述图像。为了解决上述问题，我们提出了一个系统，使这两个任务相互补偿，这是能够联合产生图像字幕和回答视觉问题。特别是，我们利用问题和图像的功能来生成问题相关的字幕，并使用生成的字幕作为额外的功能，提供新的知识的VQA系统。对于图像描述，我们的系统在VQA任务的相对改进以及使用自动化度量的竞争结果方面获得了更多信息的结果。将我们的系统应用于VQA任务，我们在VQA v2数据集上的结果使用生成的标题达到65.8%，在验证集中使用注释标题达到69.1%，在测试标准集中达到68.4%。此外，10个模型的集合导致69.7%的测试标准分裂。
2018-05-22 cs.CL cs.CV
LazySloth: Bounded LLM-based Lazy Tree Search for Fast Long Video Comprehension
Kalinga Institute of Industrial Technology (KIIT)（卡林加工业技术学院）；University of Southern California（南加州大学）
LazySloth提出有界惰性树搜索，利用VLM对不相关视频部分进行有界描述，实现2.9-8.3倍加速，并在多个基准上保持或提升准确性，缩小开源与闭源模型差距。
2026-09-30 cs.AI cs.CV
Top-Down Semantic Refinement for Image Captioning
自上而下语义细化通过高效MCTS算法提升图像描述生成的性能与质量
2026-02-16 cs.AI cs.CV
Do More Details Always Introduce More Hallucinations in LVLM-based Image Captioning?
University of Rochester（罗切斯特大学）
针对“更多细节是否总会让LVLM图像字幕生成产生更多幻觉”的争议，提出差异化波束解码策略DBD与CLIP系列评估指标，在Visual Genome数据集上验证了其可生成细节丰富且低幻觉的字幕。
2024-06-18 cs.AI cs.CV
RA-CoA: Training-free Fashion Image Captioning via Retrieval-Augmented Chain-of-Attributes
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
针对时尚图像描述中通用VLM细粒度属性精度不足的问题，提出无训练框架RA-CoA，通过从知识库检索属性集并进行属性级推理，显著提升描述质量，METEOR平均提升26.3%。
2026-09-15 cs.AI cs.CV cs.LG
Semantic-Conditional Diffusion Networks for Image Captioning
Sun Yat-sen University（中山大学）；JD Explore Academy（京东探索研究院）
文本到图像生成的最新进展见证了扩散模型的兴起，它作为强大的生成模型。然而，利用这样的潜变量模型来捕获离散词之间的依赖性，同时在图像描述中追求复杂的视觉语言对齐并不是微不足道的。在本文中，我们打破根深蒂固的公约，学习transformer为基础的编码器-解码器，并提出了一个新的扩散模型为基础的范例量身定制的图像描述，即语义条件扩散网络（SCD-网）。在技术上，对于每幅输入图像，我们首先通过跨模态检索模型搜索语义相关的句子，以传达全面的语义信息。丰富的语义被进一步视为语义优先于触发扩散Transformer的学习，其在扩散过程中产生输出句子。在SCD网络中，多个扩散Transformer结构被堆叠，以级联方式逐步加强输出句子，具有更好的视觉语言对齐和语言连贯性。此外，为了稳定扩散过程，设计了一种新的自临界序列训练策略，以指导SCD网络的学习与标准自回归Transformer模型的知识。COCO数据集上的大量实验表明，在具有挑战性的图像描述任务中使用扩散模型具有很大的潜力。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}获得。
2022-12-06 cs.CL cs.CV cs.MM
Comprehending and Ordering Semantics for Image Captioning
JD Explore Academy（京东探索研究院）
理解图像中丰富的语义并将其按语言顺序排列是构成图像描述的视觉基础和语言连贯描述的必要条件。现代技术通常利用预先训练的对象检测器/分类器来挖掘图像中的语义，同时使语义的固有语言顺序未得到充分利用。在本文中，我们提出了一个新的配方的变压器式的结构，即理解和排序语义网络（COS-Net），新颖地统一到一个单一的架构，丰富的语义理解和可学习的语义排序过程。在技术上，我们首先利用一个跨模态检索模型来搜索每幅图像的相关句子，并将搜索到的句子中的所有单词作为主要的语义线索。其次，设计了一种新的语义理解器，过滤掉主要语义线索中不相关的语义词，同时基于图像视觉推理缺失的相关语义词。之后，我们将所有筛选和丰富的语义词输入到语义排名器中，该排名器学习按照人类的语言顺序分配所有语义词。这种有序语义词的序列进一步与图像的视觉标记集成以触发句子生成。经验证据表明，COS-Net明显超过了COCO的最新方法，并在Karpathy测试分裂中获得了迄今为止最好的CIDER分数141.1%。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}获得。
2022-06-14 cs.AI cs.CL cs.CV
Beyond Vision: Contextually Enriched Image Captioning with Multi-Modal Retrieval
University of Science - VNUHCM（越南胡志明市大学）；Nanyang Technological University（南洋理工大学）
本文提出一种多模态检索方法，通过整合外部文本知识生成更丰富的上下文图像描述，提升视觉-文本理解能力。
2026-02-01 cs.AI cs.CV
Large VLM-based Stylized Sports Captioning
Eluvio AI Labs（Eluvio AI实验室）
本文针对现有大型视觉语言模型在体育图像描述中缺乏领域术语和风格化能力的问题，提出一种两级微调LVLM流水线，在F1和BERT分数上显著提升，并在超级碗直播中验证了其高效实用性。
2025-08-25 cs.CV cs.LG
Regional Attention-Enhanced Swin Transformer for Clinically Relevant Medical Image Captioning
Electrical Engineering and Computer Science（电子工程与计算机科学）；Gwangju Institute of Science and Technology（全州科学技术研究院）；Electrical and Computer Engineering Department（电子与计算机工程系）；Chonnam National University（全南国立大学）；AI Convergence Department（人工智能融合部门）；Department of Information Systems, CCSIT（信息系统系，CCSIT）；King Faisal University（国王费萨尔大学）；Thomas Jefferson University, Philadelphia（费城托马斯杰斐逊大学）
该研究提出搭载轻量区域注意力模块的Swin-BART医学图像字幕系统，在ROCO数据集上多项指标达最优，兼具紧凑性与可解释性，支持有人参与的安全临床研究应用。
2025-11-13 cs.CL cs.CV
PhaseWin: An Efficient Search Algorithm for Faithful Visual Attribution
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Shanghai Center for Mathematical Sciences, Fudan University（复旦大学上海数学中心）；College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院）；School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络空间安全学院）
提出PhaseWin算法，通过分阶段窗口搜索将视觉归因的计算复杂度从O(n²)降至O(n)，在保持接近贪心算法忠实度的同时大幅减少模型评估次数。
2026-06-25 cs.CV
Two Sides of the Same Coin: Co-Evolving Search for Cross-Task Attacks on Vision-Language Models
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Center for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局前沿人工智能研究中心）；School of Electrical Engineering and Automation, Fuzhou University（福州大学电气工程与自动化学院）；ByteDance（字节跳动）
针对视觉-语言模型易受对抗扰动的问题，提出协同演化跨模态攻击框架，联合优化文本与视觉空间，在多任务上展现出强攻击性能与跨任务可迁移性。
2026-08-04 cs.CV
Text-based Person Search without Parallel Image-Text Data
Soochow University（苏州大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Harbin Institute of Technology（哈尔滨工业大学）
本文首次研究无需并行图文数据的行人搜索，提出先为图像生成伪文本再进行检索的GTR两阶段框架，并通过细粒度描述生成和置信度训练缓解噪声，在多个基准上取得有前景的性能。
2023-08-04 cs.CV
The Role of Generative Systems in Historical Photography Management: A Case Study on Catalan Archives
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
本文以加泰罗尼亚档案馆历史照片为案例，评估生成式系统在少数化语言历史图像描述中的作用，并为结合视觉适应与语言邻近性的迁移学习提供工具和方向。
2024-09-05 cs.AI cs.CV
Approximate Query Matching for Image Retrieval
Georgia Tech（佐治亚理工学院）
传统的图像识别涉及识别具有单个对象焦点的肖像类型图像中的关键对象（ILSVRC，AlexNet和VGG）。最近的方法考虑密集图像识别-用适当的边界框分割图像并在这些边界框内执行图像识别（语义分割）。Visual Genome数据集[5]试图将这些不同的方法连接到每个子任务的内聚数据集-限界框生成，图像识别，字幕和一个新的操作：场景图生成。我们的重点是使用这样的场景图执行图像数据库上的图形搜索，从整体上检索图像的搜索标准的基础上。我们开发了一种方法来存储场景图和元数据在图形数据库（使用Neo4J），并执行快速近似检索的图像的基础上的图形搜索查询。我们处理比单一对象搜索更复杂的查询，例如“吃蛋糕的女孩”检索包含指定关系以及变化的图像。
2018-03-14 cs.CV cs.IR
QR-Structured Thermal Triggers for Targeted Semantic Attacks on Infrared Vision-Language Models
本研究提出QR-STT框架，作为隐蔽黑盒攻击手段，可定向操控IR-VLMs的语义对齐，其扰动还能跨任务迁移，凸显了对该类攻击进行鲁棒性评估的必要性。
2026-08-03 cs.AI cs.CV
Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models
Virginia Tech（弗吉尼亚理工大学）；Indiana University（印第安纳大学）
神经序列模型被广泛用于时间序列数据建模。同样普遍存在的是使用束搜索（BS）作为近似推理算法来解码来自这些模型的输出序列。BS以贪婪的左-右方式探索搜索空间，仅保留前B个候选者-导致序列彼此仅略有不同。生成几乎相同的序列列表不仅在计算上浪费，而且通常无法捕捉复杂人工智能任务的固有模糊性。为了克服这个问题，我们提出了多样性束搜索（DBS），BS的替代方案，通过优化多样性增强的目标来解码一系列不同的输出。我们观察到，我们的方法通过控制搜索空间的探索和利用来找到更好的前1解-这意味着DBS是更好的搜索算法。此外，与束搜索相比，这些增益是以最小的计算或存储器开销实现的。为了证明我们的方法的广泛适用性，我们提出的结果图像描述，机器翻译和视觉问题生成使用标准的定量指标和定性的人类研究。此外，我们研究了多样性的作用，图像为基础的语言生成任务的复杂性的图像的变化。我们观察到，我们的方法始终优于BS和以前提出的技术，从神经序列模型的不同解码。
2018-10-22 cs.AI cs.CL cs.CV
Search-based Testing of Vision Language Models for In-Car Scene Understanding
BMW Group, Technical University of Munich（宝马集团、慕尼黑技术大学）；Technical University of Munich（慕尼黑技术大学）；Technical University of Munich, fortiss GmbH（慕尼黑技术大学、fortiss GmbH）
提出ISU-Test方法，结合渲染场景生成与搜索测试，通过优化场景参数自动生成多样化车内场景，评估VLM在问答和字幕任务中的性能，相比随机生成故障率提高10倍，故障覆盖率提高3.6倍。
2026-07-10 cs.CV cs.SE
Enhancing Interactive Image Retrieval With Query Rewriting Using Large Language Models and Vision Language Models
University of Amsterdam（阿姆斯特丹大学）
本文提出一种基于VLM图像描述和LLM去噪的多轮交互式图像检索系统，通过查询重写提升召回率，并在新构建的数据集上取得10%的性能提升。
2024-04-29 cs.CV cs.MM
Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language
Google（谷歌）
大型预训练（例如，"基础"）模型根据它们所训练的数据域而展现出不同的能力。虽然这些域是通用的，但它们可能仅勉强重叠。例如，视觉语言模型（VLM）是在互联网规模的图像标题上训练的，但是大语言模型（LM）是在没有图像的互联网规模的文本上进一步训练的（例如，电子表格、SAT问题、代码）。因此，这些模型在不同领域存储不同形式的常识知识。在这项工作中，我们表明这种多样性是共生的，并且可以通过苏格拉底模型（SM）来利用：一个模块化框架，其中多个预训练模型可以由zero-shot组成，即，通过多模态通知提示，彼此交换信息并捕获新的多模态能力，而不需要微调。通过最少的工程，SM不仅与最先进的zero-shot图像描述和视频到文本检索竞争，而且还实现了新的应用，例如（i）回答关于自我中心视频的自由形式的问题，（ii）参与与人的多模态辅助对话（例如，用于烹饪食谱）通过与外部API和数据库（例如，网络搜索），以及（iii）机器人感知和规划。
2022-05-27 cs.AI cs.CL cs.CV
Can VLMs Predict Future States? Bootstrapping World Models from Inverse Dynamics
Institute for Language, Cognition and Computation, University of Edinburgh（语言、认知与计算研究所，爱丁堡大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；NVIDIA（NVIDIA公司）；University of Groningen（格罗宁根大学）
本文发现视觉语言模型（VLM）难以直接进行前向动力学预测（FDP），但逆动力学预测（IDP）更容易学习，并利用IDP通过弱监督学习和推理时验证两种策略引导FDP，在Aurora-Bench上取得与最先进图像编辑模型竞争的性能。
2026-06-03 cs.AI cs.CL cs.CV
Pay attention to the activations: a modular attention mechanism for fine-grained image recognition
Element AI（元素人工智能公司）；Computer Vision Center（计算机视觉中心）；Visual Tagging Services（视觉标记服务公司）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
细粒度图像识别是许多多媒体任务的核心，如搜索，检索和字幕。不幸的是，这些任务仍然具有挑战性，因为同一类的样本的外观可能比来自不同类的样本的外观更不同。在神经网络中，注意力通常通过选择图像中信息量最大的区域来实现，这些区域可以改善分类。相比之下，在本文中，注意力不应用于图像级别，而是应用于卷积特征激活。从本质上讲，通过我们的方法，神经模型学会关注较低级别的特征激活，而不需要部分注释，并使用这些激活来更新和纠正输出似然分布。所提出的机制是模块化的，体系结构无关的和有效的参数和计算所需的。实验表明，著名的网络，如宽残差网络和ResNeXt，当用我们的方法增强时，系统地提高了它们的分类精度，并且对变形和姿态的变化以及杂波的存在变得更加鲁棒。因此，我们的提案在CIFAR-10、Adience性别识别任务、Stanford Dogs和UEC-Food 100中达到了最先进的分类精度，同时在ImageNet、CIFAR-100、CUB 200 Birds和Stanford Cars中获得了有竞争力的性能。此外，我们分析了我们的模型的不同组成部分，表明所提出的注意力模块成功地找到了图像中最具鉴别力的区域。最后，作为概念证明，我们证明了只有本地预测，增强神经网络可以成功地分类图像之前，达到任何完全连接的层，从而减少计算量高达10%。
2019-07-30 cs.CV cs.LG eess.IV
