Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
Re³Cap:基于强化学习的图像字幕增强的检索引导优化
机构 * Taobao & Tmall Group of Alibaba(阿里巴巴淘宝和天猫集团) ; The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) ; Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
AI总结 本文提出Re³Cap方法,利用多模态检索作为推理信号,通过CRS和CQA优化图像字幕,在COCO-LN500基准上关系推理性能较GRPO提升8.64%,优于SFT。
Comments Accepted to EMNLP 2026 Main Conference