使用视觉-语言多路Transformer模型的BERT预训练进行开放词汇全景分割
Open-Vocabulary Panoptic Segmentation Using BERT Pre-Training of Vision-Language Multiway Transformer Model
AI总结：
本文提出OMTSeg，利用BEiT-3的跨模态注意力进行开放词汇全景分割，实验表明其性能优于现有最先进模型。
摘要：
开放词汇全景分割仍然是一个具有挑战性的问题。其中最大的困难之一在于训练模型利用有限的分类训练数据泛化到无限数量的类别。近期流行的方法涉及大规模视觉-语言预训练基础模型，例如CLIP。在本文中，我们提出OMTSeg用于开放词汇分割，使用另一个名为BEiT-3的大规模视觉-语言预训练模型，并利用BEiT-3中视觉与语言特征之间的跨模态注意力来实现更好的性能。实验结果表明，OMTSeg在与最先进模型的比较中表现优异。
英文摘要：
Open-vocabulary panoptic segmentation remains a challenging problem. One of the biggest difficulties lies in training models to generalize to an unlimited number of classes using limited categorized training data. Recent popular methods involve large-scale vision-language pre-trained foundation models, such as CLIP. In this paper, we propose OMTSeg for open-vocabulary segmentation using another large-scale vision-language pre-trained model called BEiT-3 and leveraging the cross-modal attention between visual and linguistic features in BEiT-3 to achieve better performance. Experiments result demonstrates that OMTSeg performs favorably against state-of-the-art models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
