GenSeg-R1: 通过强化学习驱动的视觉-语言接地进行细粒度指称分割
GenSeg-R1: RL-Driven Vision-Language Grounding for Fine-Grained Referring Segmentation
AI总结：
GenSeg-R1 通过强化学习驱动的视觉-语言接地方法，在细粒度指称分割任务中实现了优于基线的性能。
摘要：
我们研究了通过解耦的推理-分割管道进行细粒度指称图像分割。一个视觉-语言模型（VLM）接收一张图像和一个自然语言查询，对场景进行推理，并生成结构化的空间提示：每个指称实例都包含一个边界框和两个内部关键点。一个冻结的可提示分割器（SAM 2）将这些提示转换为高质量的掩码。在我们的 GenSeg-R1 框架中，我们使用 Group Relative Policy Optimization（GRPO）微调 Qwen3-VL 模型（4B 和 8B 参数），无需监督的推理链标注。在 RefCOCOg 验证集上，我们最好的模型（GenSeg-R1-8B）在 cIoU 上达到 0.7127，在 mIoU 上达到 0.7382，显著优于对应的 Qwen3-VL Instruct 基线（分别提高 15.3 和 21.9 分）。我们进一步引入了 GenSeg-R1-G，该模型在 GRefCOCO 上进行训练，使用带有 SAM 2 的奖励机制，直接优化掩码质量。在 GRefCOCO 验证集上，GenSeg-R1-G 在目标 mIoU 上达到 76.69%，在负样本（无目标）提示上的准确率高达 82.40%，显著优于 Seg-R1-7B 和 Seg-Zero-7B，后者缺乏无目标检测能力。在 ReasonSeg 测试中，GenSeg-R1-4B 达到 68.40% 的 mIoU，超过 Seg-Zero-7B 7.0 分，超过 Seg-R1-7B 10.7 分。
英文摘要：
We study fine-grained referring image segmentation via a decoupled reason-then-segment pipeline. A vision-language model (VLM) receives an image and a natural-language query, reasons about the scene, and emits structured spatial prompts: a bounding box plus two interior keypoints for every referred instance. A frozen promptable segmenter (SAM 2) converts these prompts into high-quality masks. Within our GenSeg-R1 framework we finetune Qwen3-VL models (4B and 8B parameters) using Group Relative Policy Optimization (GRPO), requiring no supervised reasoning-chain annotations. On RefCOCOg validation our best model (GenSeg-R1-8B) achieves 0.7127 cIoU and 0.7382 mIoU, substantially outperforming the corresponding Qwen3-VL Instruct baselines (+15.3 and +21.9 points, respectively) and surpassing Seg-Zero-7B [3] by +3.3 cIoU under identical evaluation. We further introduce GenSeg-R1-G, a variant trained on GRefCOCO [9] with a SAM 2 in-the-loop reward that directly optimizes mask quality. On GRefCOCO validation GenSeg-R1-G achieves 76.69% target mIoU with 82.40% accuracy on negative (no-target) prompts, substantially outperforming Seg-R1-7B and Seg-Zero-7B, which lack no-target detection capability. On ReasonSeg test, GenSeg-R1-4B reaches 68.40% mIoU, surpassing Seg-Zero-7B by +7.0 and Seg-R1-7B by +10.7 points.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
