DS@GT ARC at ImageCLEFmed GANs 2026: Geometric Filtering for Privacy-Preserving CT Slice Generation
Georgia Institute of Technology（佐治亚理工学院）
为Image-CLEFmed GANs 2026挑战赛开发隐私保护框架，结合最优传输条件流匹配等，在几何潜在空间过滤候选切片。官方结果显示有真实感与隐私权衡，虽减少泄漏，但防止直接图像复制仍不足以消除患者特定解剖特征，凸显未来隐私保护医学图像生成的重要前沿。
2026-07-24 cs.AI cs.CV
Improving Medical Visual Representations via Radiology Report Generation
MIT Lincoln Laboratory（林肯实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；BIDMC（贝斯以色列女执事医疗中心）
本文提出面向放射学的CNN编码器-Transformer解码器模型RadTex，以双向报告生成作为MVLP策略，在CheXpert上达到89.4% macro-AUC，并能生成临床报告与交互式响应。
2025-01-10 cs.CV
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University（斯坦福大学）；Stanford Medicine（斯坦福医学院）
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化，减少错误，节省时间和医疗服务。在本文中，我们证明了特定领域的预训练的重要性，并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点，我们训练了一系列经过修改的Transformers，以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括：具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构，具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构，以及网状存储器增强的Transformer，其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU（1-4）、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型，并展示与最先进模型的竞争性评分。我们提供的证据表明，ImageNet预训练不适合医学图像字幕任务，特别是对于不太常见的情况（例如：扩大的心内膜，肺部病变，气胸）。此外，我们证明了双特征模型可以提高特定医疗条件（水肿，实变，气胸，支持设备）和整体CheXbert F1评分的性能，并应在未来的工作中进一步开发。这样的双特征模型，包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
Regional Attention-Enhanced Swin Transformer for Clinically Relevant Medical Image Captioning
Electrical Engineering and Computer Science（电子工程与计算机科学）；Gwangju Institute of Science and Technology（全州科学技术研究院）；Electrical and Computer Engineering Department（电子与计算机工程系）；Chonnam National University（全南国立大学）；AI Convergence Department（人工智能融合部门）；Department of Information Systems, CCSIT（信息系统系，CCSIT）；King Faisal University（国王费萨尔大学）；Thomas Jefferson University, Philadelphia（费城托马斯杰斐逊大学）
该研究提出搭载轻量区域注意力模块的Swin-BART医学图像字幕系统，在ROCO数据集上多项指标达最优，兼具紧凑性与可解释性，支持有人参与的安全临床研究应用。
2025-11-13 cs.CL cs.CV
An Empirical Study of Language CNN for Image Captioning
Nanyang Technological University（南洋理工大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
基于递归神经网络的语言模型已经主导了最近的图像字幕生成任务。在本文中，我们介绍了一种语言CNN模型，它适用于统计语言建模任务，并在图像描述中显示出有竞争力的性能。与之前基于前一个单词和隐藏状态预测下一个单词的模型相比，我们的语言CNN提供了所有之前的单词，并且可以对历史单词的长期依赖性进行建模，这对于图像描述至关重要。在MS COCO和Flickr30K两个数据集上验证了该方法的有效性。我们广泛的实验结果表明，我们的方法优于香草递归神经网络为基础的语言模型，是具有竞争力的国家的最先进的方法。
2017-08-02 cs.CV cs.LG
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology（布尔诺理工大学）
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入，以找到语义相似的图像。从这些图像中，基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低，但它在通过图灵测试的字幕比例方面具有竞争力，并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
A Comparative Study of Pre-trained CNNs and GRU-Based Attention for Image Caption Generation
University of Science and Technology of China（中国科学技术大学）；College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）
本文提出一种基于GRU注意力机制的图像字幕生成框架，使用预训练CNN编码器和GRU解码器，在MSCOCO和Flickr30k上取得有竞争力的结果。
2023-10-11 cs.CV cs.LG
Analysis of diversity-accuracy tradeoff in image captioning
TTI-Chicago（芝加哥技术研究所）
我们研究了不同的模型架构，训练目标，超参数设置和解码程序对自动生成的图像字幕的多样性的影响。我们的研究结果表明：1）通过朴素采样进行简单解码，再加上低温，是一种具有竞争力和快速的方法，可以产生多样化和准确的字幕集; 2）使用强化学习进行基于CIDER的奖励训练会损害生成器的多样性，这无法通过操纵解码参数来减轻。此外，我们提出了一个新的度量AllSPICE的准确性和多样性的一组字幕由一个单一的值进行评估。
2020-02-27 cs.CL cs.CV
Guiding Attention using Partial-Order Relationships for Image Captioning
National University of Computer and Emerging Sciences（国立计算机与新兴科学大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
使用注意力模型进行自动图像描述已经使得许多系统能够产生对图像的准确且有意义的描述。多年来，已经提出了许多新的方法来增强注意过程中使用不同的特征表示。在本文中，我们扩展这种方法，通过创建一个引导注意力网络机制，利用视觉场景和文本描述之间的关系，使用图像的空间特征，从主题的高层次信息，以及从标题生成的时间上下文，它们被嵌入在一个有序的嵌入空间。成对排序目标用于训练该嵌入空间，其允许共享语义空间中的类似图像、主题和标题在视觉语义层次结构中保持偏序，从而帮助模型产生视觉上更准确的标题。基于MSCOCO数据集的实验结果显示了我们的方法的竞争力，在各种评估指标上有许多最先进的模型。
2022-04-15 cs.CV
Align2Ground: Weakly Supervised Phrase Grounding Guided by Image-Caption Alignment
Georgia Institute of Technology（佐治亚理工学院）；SRI International（SRI国际）；Facebook AI Research（Facebook人工智能研究院）
我们解决了接地的问题，自由形式的文本短语，通过使用弱监督图像标题对。我们提出了一种新的端到端的模型，使用标题到图像检索作为“下游”的任务，以指导短语本地化的过程。我们的方法，作为第一步，推断感兴趣的区域（ROI）和标题中的短语之间的潜在对应关系，并使用这些匹配的ROI创建一个有区别的图像表示。在随后的步骤中，该（学习的）表示与标题对齐。我们的主要贡献在于建立这种“标题条件”的图像编码，它紧密耦合的任务，并允许弱监督，以有效地指导视觉接地。我们提供了广泛的实证和定性分析，以调查我们提出的模型的不同组成部分，并将其与竞争基线进行比较。对于短语本地化，我们报告了VisualGenome数据集上比现有技术水平提高了4.9%（绝对值）。我们还报告了COCO和Flickr 30 k数据集上下游标题到图像检索任务的最新结果。
2019-10-15 cs.CV
LMCap: Few-shot Multilingual Image Captioning by Retrieval Augmented Language Model Prompting
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；University of Copenhagen（哥本哈根大学）
本文提出LMCap，一种无需多语言描述训练数据的少样本图像描述模型，通过多语言CLIP检索相似图像描述并提示XGLM生成目标语言描述，在XM3600上达到与全监督模型相当的性能。
2023-05-31 cs.CL cs.CV
Show, Translate and Tell
Rochester Institute of Technology（罗切斯特理工学院）
人类具有处理和理解来自多个来源的信息（如图像，视频，文本和语音）的惊人能力。最近深度神经网络的成功使我们能够开发算法，使机器能够理解和解释这些信息。有必要扩大其适用性，并开发相关的视觉信息与语义内容的方法。我们提出了一个统一的模型，该模型联合训练图像和字幕，并学习在给定图像或字幕查询的情况下生成新的字幕。我们评估我们的模型上的三个不同的任务，即跨模态检索，图像描述，和句子释义。我们的模型深入了解跨模态向量嵌入，在多个任务上具有很好的泛化能力，并且与最先进的检索方法相比具有竞争力。
2019-03-14 cs.CV
Exploring Discrete Diffusion Models for Image Captioning
Xi’an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）；Microsoft（微软）
图像描述任务通常通过对文本标记逐个解码的自回归方法来实现。我们提出了一个基于扩散的字幕模型，被称为DDCap，以允许更多的解码灵活性。与图像生成不同，图像生成的输出是连续的，冗余的，具有固定的长度，图像标题中的文本是分类的，长度不同的短。因此，如我们的实验所示，单纯地将离散扩散模型应用于文本解码并不能很好地工作。为了解决性能差距，我们提出了几个关键技术，包括最佳优先推理，集中注意力掩码，文本长度预测和无图像训练。在没有额外字幕预训练的COCO上，它的CIDER得分为117.8，比在受控设置中具有相同架构的自回归基线高出+5.0。在字幕填充任务中，它的CIDEr分数比自回归基线（230.3 vs.203.5）高出+26.8。使用4M视觉语言预训练图像和基本大小的模型，我们在COCO上获得了125.1的CIDER分数，这与最好的自回归框架相竞争。该代码可在https://github.com/buxiangzhiren/DDCap上获得。
2022-12-09 cs.CV
Learning Audio-Video Modalities from Image Captions
Google Research（谷歌研究院）
文本-视频和文本-音频检索的一个主要挑战是缺乏大规模的训练数据。这与图像字幕不同，其中数据集是数百万个样本的数量级。为了缩小这一差距，我们提出了一个新的视频挖掘管道，涉及到从图像描述数据集的字幕传输到视频剪辑，没有额外的手动工作。使用这个管道，我们创建了一个新的大规模，弱标记的音频-视频描述数据集，由数百万配对的剪辑和字幕组成。我们表明，在此数据上训练基于多模态转换的模型在视频检索和视频描述方面具有竞争力的性能，匹配甚至优于HowTo 100 M预训练，剪辑减少了20倍。我们还表明，我们挖掘的剪辑是适合文本音频预训练，并实现最先进的音频检索任务的结果。
2022-04-01 cs.CV cs.MM cs.SD
Joint Image Captioning and Question Answering
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；cs.utexas.edu（德克萨斯大学奥斯汀分校计算机科学系（注：此处原文本中cs.utexas.edu为邮箱域名，按规则不应提取为机构，正确应为The University of Texas at Austin））
提出视觉问题需要获取日常常识，并对图像中不同部分之间的语义联系进行建模，这对于VQA系统来说太难了，只能从答案中学习。同时，使用束搜索策略的图像描述系统倾向于生成相似的字幕并且不能区分描述图像。为了解决上述问题，我们提出了一个系统，使这两个任务相互补偿，这是能够联合产生图像字幕和回答视觉问题。特别是，我们利用问题和图像的功能来生成问题相关的字幕，并使用生成的字幕作为额外的功能，提供新的知识的VQA系统。对于图像描述，我们的系统在VQA任务的相对改进以及使用自动化度量的竞争结果方面获得了更多信息的结果。将我们的系统应用于VQA任务，我们在VQA v2数据集上的结果使用生成的标题达到65.8%，在验证集中使用注释标题达到69.1%，在测试标准集中达到68.4%。此外，10个模型的集合导致69.7%的测试标准分裂。
2018-05-22 cs.CL cs.CV
In Defense of Scene Graphs for Image Captioning
University of California San Diego（加利福尼亚大学圣迭戈分校）；Intel Labs（英特尔实验室）；University of Warwick（华威大学）
主流的图像描述模型依赖于卷积神经网络（CNN）图像特征，通过递归模型生成字幕。最近，图像场景图已被用来增强字幕模型，以利用其结构语义，如对象实体，关系和属性。一些研究已经注意到，来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能，并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战，我们提出了\textbf{SG2Caps}，一个框架，只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像，另一个来自其标题。为了实现这一点，我们利用对象的空间位置和人-物-交互（HOI）标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度，表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积，从而减少了49%的可训练参数。我们的代码可在：https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
QACE: Asking Questions to Evaluate an Image Caption
Seoul National University（首尔大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（LIP6实验室）；reciTAL（reciTAL公司）；Adobe Research（Adobe研究院）
在本文中，我们提出了QACE，一个新的指标的基础上问答的字幕评价。QACE会对评估的标题生成问题，并通过对参考标题或源图像提出问题来检查其内容。我们首先开发QACE-Ref，将评估标题的答案与其参考进行比较，并使用最先进的指标报告竞争结果。为了更进一步，我们提出了QACE-Img，它直接在图像上询问问题，而不是引用。一个可视化的QA系统是必要的QACE-Img。不幸的是，标准的VQA模型仅被构建为几千个类别中的一个分类。相反，我们提出了Visual-T5，一个抽象的VQA系统。由此产生的度量，QACE-Img是多模态的，无参考的，可解释的。我们的实验表明，QACE-Img相比有利w.r.t.其他无参考指标。我们将发布预训练的模型来计算QACE。
2021-08-28 cs.CL cs.CV
CIC-BART-SSA: Controllable Image Captioning with Structured Semantic Augmentation
Rutgers University（罗格斯大学）；Samsung AI Centre - Toronto（三星人工智能中心（多伦多））；Solventum（索尔文腾公司）
提出CIC-BART-SSA模型，利用AMR结构化语义增强扩充数据集，生成多样且可控的图像描述，在多样性和文本质量上优于现有方法，并有效应对高度聚焦场景。
2024-07-17 cs.AI cs.CL cs.CV
Multilingual Training-Free Remote Sensing Image Captioning
INESC-ID（葡萄牙里斯本INESC-ID研究所）；Instituto Superior Técnico（葡萄牙里斯本技术大学）；Faculdade de Engenharia da Universidade do Porto（葡萄牙波尔图大学工程学院）
本文提出一种无需训练的多语言遥感图像描述生成方法，通过检索增强提示和图基重新排序策略，实现跨语言的高效描述生成。
2025-12-02 cs.CV
DIR: Retrieval-Augmented Image Captioning with Comprehensive Understanding
University of Science and Technology of China（中国科学技术大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对检索增强图像描述在域外场景中的特征偏差与检索文本利用不足问题，本文提出DIR，通过扩散引导检索增强和高质量检索数据库提升视觉理解与泛化能力，且不增加推理成本。
2024-12-02 cs.CV
A Deep Neural Framework for Image Caption Generation Using GRU-Based Attention Mechanism
University of Science and Technology of China（中国科学技术大学）
图像描述是计算机视觉和自然语言处理的一个快速发展的研究领域，涉及为图像创建文本解释。本研究旨在开发一种系统，该系统使用预先训练的卷积神经网络（CNN）从图像中提取特征，将这些特征与注意力机制相结合，并使用递归神经网络（RNN）创建字幕。为了将图像编码为特征向量作为图形属性，我们采用了多个预训练的卷积神经网络。然后，选择一个称为GRU的语言模型作为解码器来构造描述语句。为了提高性能，我们将Bahdanau注意力模型与GRU合并，以允许学习集中在图像的特定部分。在MSCOCO数据集上，实验结果与最先进的方法相比具有竞争力的性能。
2022-03-03 cs.CL cs.CV
MAT: A Multimodal Attentive Translator for Image Captioning
Tsinghua University（清华大学）；Toutiao AI Lab（今日头条人工智能实验室）；UESTC（电子科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们制定的问题，图像描述作为一个多模态翻译任务。类似于机器翻译，我们提出了一个序列到序列的递归神经网络（RNN）模型的图像字幕生成。与大多数现有的工作不同，其中整个图像由卷积神经网络（CNN）特征表示，我们建议将输入图像表示为检测到的对象的序列，该序列作为RNN模型的源序列。通过这种方式，图像的顺序表示可以自然地转换为单词序列，作为RNN模型的目标序列。为了以顺序的方式表示图像，我们提取图像中的对象特征，并使用卷积神经网络将它们按顺序排列。为了进一步利用来自编码对象的视觉信息，引入顺序注意层以选择性地注意相关的对象以在句子中生成对应的单词。在流行的基准数据集上进行了大量的实验来验证所提出的方法，MS COCO，和所提出的模型超越了国家的最先进的方法在所有指标以下的数据集分裂以前的工作。所提出的方法也由MS COCO字幕挑战的评估服务器进行评估，并且实现了非常有竞争力的结果，例如，a CIDEr为1.029（c5）和1.064（c40）。
2017-08-10 cs.CV
Dual-Level Collaborative Transformer for Image Captioning
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）；National Tsing Hua University（清华大学（台湾））
由目标检测网络提取的描述性区域特征在图像描述的最新进展中发挥了重要作用。然而，他们仍然批评缺乏上下文信息和细粒度的细节，这是传统的网格特征的优点。在本文中，我们介绍了一种新的双层协作Transformer（DLCT）网络，以实现这两个功能的优势互补。具体地说，在DLCT中，这两个特征首先通过一种新的双路自衰减（DWSA）算法进行处理，挖掘出它们的内在属性，并引入综合关系注意力（Comprehensive RelationAttention）组件嵌入几何信息。此外，我们提出了一个局部约束的交叉注意力模块，以解决这两个功能的直接融合所造成的语义噪声，其中构造的几何对齐图，以准确地对齐和加强区域和网格功能。为了验证我们的模型，我们在竞争激烈的MS-COCO数据集上进行了广泛的实验，并在本地和在线测试集上实现了新的最先进的性能，即，133.8% CIDEr-D在Karpathy分裂和135.4% CIDEr在官方分裂。代码可在https://github.com/luo3300612/image-captioning-DLCT上获得。
2021-08-03 cs.CV
A Semantics-Assisted Video Captioning Model Trained with Scheduled Sampling
Tsinghua University（清华大学）；Samsung Research China（三星中国研究院）
给定视频的特征，递归神经网络可以用于自动生成视频的字幕。用于视频描述的现有方法具有至少三个限制。首先，语义信息已被广泛应用于提高视频描述模型的性能，但现有的网络往往无法提供有意义的语义特征。第二，教师强迫算法通常用于优化视频描述模型，但在训练和推理期间，应用不同的策略来指导单词生成，导致性能不佳。第三，当前的视频描述模型倾向于生成不适当地表达视频内容的相对短的字幕。针对这三个问题，我们提出了三个相应的改进措施。首先，我们提出了一个度量来比较语义特征的质量，并利用适当的功能作为输入的语义检测网络（SDN）具有足够的复杂性，以产生有意义的语义特征的视频。然后，我们应用了一个预定的抽样策略，逐渐转移培训阶段从教师指导的方式向更多的自学方式。最后，利用句子长度对普通对数概率损失函数进行杠杆作用，从而缓解了短句生成倾向。我们的模型在YouTube 2 Text数据集上取得了比以前模型更好的结果，并且与MSR-VTT数据集上以前的最佳模型具有竞争力。
2020-07-24 cs.CL cs.CV
QG-CoC: Question-Guided Chain-of-Captions for Large Multimodal Models
Department of Computer Science, University of California, Los Angeles（计算机科学系，加州大学洛杉矶分校）
针对多模态大语言模型在多图像推理中感知与推理脱节的问题，本文提出零样本提示方法QG-CoC，通过问题引导的字幕链有效处理任意数量图像，并在多个基准上验证了其竞争力与稳健改进。
2025-11-05 cs.AI cs.CV cs.LG
Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning
Xidian University（西安电子科技大学）；McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
观察一组图像及其对应的段落标题，一个具有挑战性的任务是学习如何产生一个语义连贯的段落来描述图像的视觉内容。受最近成功地将语义主题集成到这个任务中的启发，本文开发了一个即插即用的分层主题引导的图像段落生成框架，该框架将视觉提取器与深度主题模型耦合起来，以指导语言模型的学习。为了在多个抽象层次上捕捉图像和文本之间的相关性，并从图像中学习语义主题，我们设计了一个变分推理网络来构建从图像特征到文本标题的映射。为了指导段落生成，学习的分层主题和视觉特征被集成到语言模型中，包括长短期记忆（LSTM）和Transformer，并联合优化。公共数据集上的实验表明，所提出的模型，这是竞争力的许多国家的最先进的方法在标准的评价指标，可以用来提取可解释的多层语义主题，并生成多样化和连贯的字幕。我们在https://github.com/DandanGuo1993/VTCM-based-image-paragraph-caption.git上发布代码
2022-07-26 cs.CV stat.ML
Phrase-based Image Captioning with Hierarchical LSTM Model
University of Malaya（马来亚大学）
自动生成描述图像内容的字幕是近年来的一个研究热点，现有的大多数工作都将图像字幕视为纯序列数据。然而，自然语言具有时间层次结构，每个子序列之间具有复杂的依赖关系。在本文中，我们提出了一个基于短语的分层长短期记忆（phi-LSTM）模型来生成图像描述。与传统的以纯顺序方式生成字幕的解决方案相比，我们提出的模型从短语到句子解码图像字幕。它包括一个在底层的短语解码器，用于解码可变长度的名词短语，和一个在上层的缩写句解码器，用于解码图像描述的缩写形式。在推理阶段，通过将生成的短语与句子相结合来形成完整的图像标题。从经验上讲，与最先进的模型相比，我们提出的模型在Flickr 8 k，Flickr 30 k和MS-COCO数据集上显示出更好或具有竞争力的结果。我们还表明，我们提出的模型是能够产生更多的新颖的字幕（没有看到在训练数据），这是更丰富的文字内容，在所有这三个数据集。
2017-11-11 cs.AI cs.CL cs.CV
The Right Losses for the Right Gains: Improving the Semantic Consistency of Deep Text-to-Image Generation with Distribution-Sensitive Losses
Amazon（亚马逊）
针对文本生成图像模型存在的语义一致性差、细粒度细节不足或效率低的问题，提出结合对比学习与假-假、假-真两种分布敏感损失的方法，在CUB、COCO数据集上验证了效果提升。
2023-12-18 cs.CV cs.LG
Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts
Middle East Technical University（中东技术大学）
针对零样本视觉问答的挑战，提出将问题驱动的图像描述作为提示融入大语言模型的方法，通过提取问题关键词生成定制描述，在GQA基准零样本设置下取得有竞争力的性能。
2024-04-12 cs.AI cs.CV
No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出MoFit框架，通过模型拟合嵌入实现无标题成员推断，克服了传统方法对真实标题的依赖，提升了在无标注场景下的成员推断性能。
2026-02-26 cs.CR cs.CV
Fine-Grained Image Captioning with Global-Local Discriminative Objective
Sun Yat-Sen University（中山大学）；DarkMatter Research（暗物质研究）；University of Electronic Science and Technology of China（电子科技大学）
图像描述是视觉和语言领域的一个活跃课题，近年来取得了重大进展。然而，现有的方法往往会产生过于笼统的标题，并且由一些最常见的单词/短语组成，从而导致描述不准确且难以区分（见图1）。这主要是由于（i）传统训练目标的保守特性，它驱动模型为类似图像生成正确但几乎没有区别的字幕，以及（ii）地面实况字幕的不均匀单词分布，这鼓励生成高频率的单词/短语，同时抑制不太频繁但更具体的单词/短语。在这项工作中，我们提出了一种新的全球-本地歧视性的目标，制定了一个参考模型，以促进生成细粒度的描述性字幕。具体来说，从全局的角度来看，我们设计了一个新的全局判别约束，它可以拉动生成的句子，以更好地从整个数据集中的所有其他图像中辨别出相应的图像。从本地的角度来看，提出了一个本地的歧视性约束，以增加注意力，使它强调不太频繁，但更具体的单词/短语，从而促进生成的标题，更好地描述给定图像的视觉细节。我们在广泛使用的MS-COCO数据集上评估了所提出的方法，在该数据集上，它的性能比基线方法高出相当大的幅度，并且与现有的领先方法相比具有竞争力。我们还进行了自检索实验，以证明所提出的方法的可辨别性。
2020-07-21 cs.CV cs.MM
A Lightweight Sparse Focus Transformer for Remote Sensing Image Change Captioning
本文提出一种轻量级Sparse Focus Transformer（SFT），通过引入稀疏聚焦注意力机制，在保持性能的同时大幅降低Transformer编码器的参数量和计算复杂度，用于遥感图像变化描述任务。
2024-10-11 cs.CV
Image Captioning with Deep Bidirectional LSTMs
Hasso Plattner Institute, University of Potsdam（哈索·普拉特纳研究所，波茨坦大学）
本文提出了一种用于图像描述的端到端可训练的深度双向LSTM（长短期记忆）模型。我们的模型建立在深度卷积神经网络（CNN）和两个独立的LSTM网络上。它能够通过利用高层语义空间中的历史和未来上下文信息来学习长期的视觉语言交互。提出了两种新的深度双向变体模型，其中我们以不同的方式增加非线性过渡的深度，学习层次视觉语言嵌入。提出了多裁剪、多尺度和垂直镜像等数据增强技术，以防止训练深度模型时的过拟合。我们可视化双向LSTM内部状态随时间的演变，并定性分析我们的模型如何将图像“翻译”为句子。我们提出的模型进行了评估的标题生成和图像句子检索任务与三个基准数据集：Flickr8K，Flickr30K和MSCOCO数据集。我们证明了双向LSTM模型即使在没有集成额外机制（例如目标检测、注意力模型等）的情况下，也能在字幕生成方面取得与最先进结果相比具有高度竞争力的性能。并且在检索任务上显著优于最近的方法。
2016-07-20 cs.CL cs.CV cs.MM
PVCap: Towards Accurate 3D Dense Captioning via PseudoCap and VoxelCapNet
SH AI Lab（上海人工智能实验室）；ZJU（浙江大学）；HKUST（香港科技大学）；SJTU（上海交通大学）
研究针对3D密集字幕任务，提出PVCap方法，由PseudoCap和VoxelCapNet组成。PseudoCap通过随机混合技术增加训练样本，VoxelCapNet利用体素特征改进网络架构。实验表明该方法在两个基准上超越现有技术，提升了3D密集字幕的准确性。
2026-07-08 cs.AI cs.CV
Evaluating Sequence-to-Sequence Models for Handwritten Text Recognition
University of Rostock（罗斯托克大学）；PLANET artificial intelligence GmbH（PLANET人工智能有限公司）
编码器-解码器模型已经成为序列学习任务（如机器翻译、图像描述和语音识别）的有效方法，但对于手写文本识别尚未显示出有竞争力的结果。为此，我们提出了一个基于注意力的序列到序列模型。它结合了一个卷积神经网络作为一个通用的特征提取器与递归神经网络编码的视觉信息，以及输入图像中的字符之间的时间上下文，并使用一个单独的递归神经网络解码的实际字符序列。我们对各种注意力机制和位置编码进行了实验比较，以找到输入和输出序列之间的适当对齐。该模型可以进行端到端的训练，如果需要，混合损失的可选集成允许编码器保留可解释和可用的输出。与不使用语言模型的最新技术相比，我们在IAM和ICFHR 2016 READ数据集上获得了有竞争力的结果，并且我们在任何最近的序列到序列方法上都有显着改进。
2019-07-15 cs.CV cs.LG
End-to-End Instance Segmentation with Recurrent Attention
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高级研究院）
虽然卷积神经网络最近在解决语义分割等结构化预测问题方面取得了令人印象深刻的成功，但区分场景中的单个对象实例仍然是一个挑战。实例分割在各种应用中非常重要，例如自动驾驶、图像字幕和视觉问答。已经提出了将大型图形模型与低级视觉相结合的技术来解决这个问题;然而，我们提出了一个端到端的递归神经网络（RNN）架构，该架构具有注意力机制来模拟类似人类的计数过程，并产生详细的实例分割。该网络被联合训练以顺序地产生感兴趣的区域以及每个区域内的主要对象分割。该模型在CVPPP、KITTI和Cityscapes数据集上取得了有竞争力的结果。
2017-07-13 cs.CV cs.LG
Dense-Face: Personalized Face Generation Model via Dense Annotation Prediction
Michigan State University（密歇根州立大学）；University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
本文提出Dense-Face模型，通过引入姿势可控适配器并利用SD UNet内部特征预测密集人脸标注，在保持文本编辑能力的同时实现高保真且身份一致的人脸生成。
2024-12-24 cs.CV
VisionPangu: A Compact and Fine-Grained Multimodal Assistant with 1.7B Parameters
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
VisionPangu通过高效多模态对齐和高质量监督，实现17亿参数紧凑多模态模型，在无需激进扩展的情况下提升图像描述的结构和细节。
2026-03-05 cs.CL cs.CV
Cross Modification Attention Based Deliberation Model for Image Captioning
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对图像描述单轮解码的错误累积与缺乏全局规划问题，提出含起草模型、斟酌模型及CMA模块的两轮解码框架CMA-DM，并在MS COCO上验证其显著优于基线。
2021-09-17 cs.AI cs.CV cs.MM
Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对组合图像检索中的三元组歧义问题，提出共识网络Css-Net，通过四个多样化组合器和KL散度损失实现共识学习，在FashionIQ等基准上显著提升召回率。
2024-09-03 cs.CV
Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval
University of Oxford（牛津大学）；Google Research（谷歌研究院）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
我们在这项工作中的目标是视频文本检索-特别是联合嵌入，使有效的文本到视频检索。该领域的挑战包括视觉架构的设计和训练数据的性质，因为可用的大规模视频-文本训练数据集（例如HowTo 100 M）是嘈杂的，因此只有通过大量计算才能在规模上实现有竞争力的性能。我们在本文中解决这两个挑战。我们提出了一个端到端的可训练模型，该模型旨在利用大规模图像和视频描述数据集。我们的模型是最近的ViT和Timesformer架构的适应和扩展，包括在空间和时间的注意。该模型是灵活的，可以在图像和视频文本数据集上单独或联合训练。它使用课程学习时间表进行训练，该时间表首先将图像视为视频的“冻结”快照，然后在视频数据集上进行训练时逐渐学会关注增加的时间上下文。我们还提供了一个新的视频-文本预训练数据集WebVid-2 M，由从互联网上抓取的200多万个带有弱字幕的视频组成。尽管在小一个数量级的数据集上进行了训练，但我们表明，这种方法在标准的下游视频检索基准测试（包括MSR-VTT，MSVD，DiDeMo和LSMDC）上产生了最先进的结果。
2022-05-13 cs.CV
CommonCanvas: An Open Diffusion Model Trained with Creative-Commons Images
Cornell Tech（康奈尔科技学院）；Databricks Mosaic
使用 Creative-Commons 图像和合成标题训练出与 Stable Diffusion 2 质量相当的开放扩散模型 CommonCanvas，仅需 3% 的 LAION-4B 数据，并实现约 3 倍训练加速。
2023-10-25 cs.CV cs.CY
CoLLM: A Large Language Model for Composed Image Retrieval
University of Maryland（马里兰大学）；Amazon（亚马逊公司）；University of Central Florida（中佛罗里达大学）
CoLLM提出了一站式组合图像检索框架，通过从图像-标题对即时生成三元组并利用大型语言模型进行联合嵌入学习，解决了数据稀缺和融合难题，并构建了340万样本的MTCIR数据集，在多个基准上达到最先进性能。
2025-03-25 cs.CV cs.IR
