ADS-Cap：一个使用非配对语料库进行准确且多样化风格化描述的框架
ADS-Cap: A Framework for Accurate and Diverse Stylized Captioning with Unpaired Stylistic Corpora
AI总结：
提出ADS-Cap框架，通过对比学习模块、条件变分自编码器和复核模块，利用非配对风格语料库生成准确且多样化的风格化图像描述，在多个数据集上表现优异。
摘要：
使用非配对风格语料库生成具有特定语言风格的视觉基础图像描述是一项具有挑战性的任务，特别是当我们期望风格化描述具有广泛的风格模式时。在本文中，我们提出了一个新颖的框架来生成准确且多样化的风格化描述（ADS-Cap）。我们的ADS-Cap首先使用对比学习模块来对齐图像和文本特征，这统一了训练过程中的配对事实语料库和非配对风格语料库。然后使用条件变分自编码器在潜在空间中自动记忆各种风格模式，并通过采样增强多样性。我们还设计了一个简单但有效的复核模块，通过过滤特定风格的描述来提高风格准确性。在两个广泛使用的风格化图像描述数据集上的实验结果表明，在与图像的一致性、风格准确性和多样性方面，ADS-Cap与各种基线相比取得了出色的性能。最后，我们进行了广泛的分析以了解我们方法的有效性。我们的代码可在https://github.com/njucckevin/ADS-Cap获取。
英文摘要：
Generating visually grounded image captions with specific linguistic styles using unpaired stylistic corpora is a challenging task, especially since we expect stylized captions with a wide variety of stylistic patterns. In this paper, we propose a novel framework to generate Accurate and Diverse Stylized Captions (ADS-Cap). Our ADS-Cap first uses a contrastive learning module to align the image and text features, which unifies paired factual and unpaired stylistic corpora during the training process. A conditional variational auto-encoder is then used to automatically memorize diverse stylistic patterns in latent space and enhance diversity through sampling. We also design a simple but effective recheck module to boost style accuracy by filtering style-specific captions. Experimental results on two widely used stylized image captioning datasets show that regarding consistency with the image, style accuracy and diversity, ADS-Cap achieves outstanding performances compared to various baselines. We finally conduct extensive analyses to understand the effectiveness of our method. Our code is available at https://github.com/njucckevin/ADS-Cap.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
