TextRegion：来自冻结图像-文本模型的文本对齐区域令牌
TextRegion: Text-Aligned Region Tokens from Frozen Image-Text Models
AI总结：
本文提出无需训练的TextRegion框架，结合图像-文本模型与SAM2分割模型生成文本对齐区域令牌，在开放世界语义分割、指代表达理解等任务上取得优越性能。
摘要：
图像-文本模型在图像级任务上表现出色，但在细粒度视觉理解方面存在不足。虽然这些模型提供了强大的视觉-语言对齐能力，但像SAM2这样的分割模型能够为对象提供精确的空间边界。为此，我们提出了TextRegion，一个简单、有效且无需训练的框架，它结合了图像-文本模型和SAM2的优势，生成强大的文本对齐区域令牌。这些令牌在保留开放词汇能力的同时，实现了细粒度的视觉理解。它们可以直接应用于各种下游任务，包括开放世界语义分割、指代表达理解和定位。我们进行了广泛的评估，与最先进的无需训练方法相比，始终取得了优越或有竞争力的性能。此外，我们的框架与许多图像-文本模型兼容，随着更强模型的出现，它具有高度的实用性和易于扩展性。代码可在以下地址获取：https://github.com/avaxiao/TextRegion。
英文摘要：
Image-text models excel at image-level tasks but struggle with detailed visual understanding. While these models provide strong visual-language alignment, segmentation models like SAM2 offer precise spatial boundaries for objects. To this end, we propose TextRegion, a simple, effective, and training-free framework that combines the strengths of image-text models and SAM2 to generate powerful text-aligned region tokens. These tokens enable detailed visual understanding while preserving open-vocabulary capabilities. They can be directly applied to various downstream tasks, including open-world semantic segmentation, referring expression comprehension, and grounding. We conduct extensive evaluations and consistently achieve superior or competitive performance compared to state-of-the-art training-free methods. Additionally, our framework is compatible with many image-text models, making it highly practical and easily extensible as stronger models emerge. Code is available at: https://github.com/avaxiao/TextRegion.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
