基于令牌空间的掩码预测用于高效的视觉变换器分割
Token-Space Mask Prediction for Efficient Vision Transformer Segmentation
AI总结：
本文提出TokenMask，一种直接从查询令牌亲和力计算掩码logits并进行logit空间插值的方法，从而在保持准确性的同时减少计算和内存需求，提高分割效率。
摘要：
基于查询的视觉变换器分割模型通常重建密集的空间特征图以预测掩码，继承了卷积架构的设计模式。我们证明这种显式的图像空间重建是不必要的。我们引入TokenMask，一种令牌空间掩码头，直接从查询令牌亲和力计算掩码logits，并在logit空间而非特征空间中进行插值。这种重新表述保留了原始的线性评分机制，同时简化了计算结构。在多样化的ViT后端、数据集和分割任务中，TokenMask通过减少计算和内存需求，同时保持竞争性的准确性，提高了在NVIDIA Jetson AGX Orin上的实际速度。总体而言，TokenMask为嵌入式视觉系统提供了一种更简单且更易于部署的设计。
英文摘要：
Query-based Vision Transformer segmentation models typically reconstruct dense spatial feature maps to predict masks, inheriting design patterns from convolutional architectures. We show that this explicit image-space reconstruction is not required. We introduce TokenMask, a token-space mask head that computes mask logits directly from query-token affinities and performs interpolation in logit space rather than feature space. This reformulation preserves the original linear scoring mechanism while simplifying the computational structure. Across diverse ViT backbones, datasets and segmentation tasks, TokenMask consistently improves efficiency over prior approaches by reducing computational and memory requirements while maintaining competitive accuracy, leading to tangible speedups on NVIDIA Jetson AGX Orin using TensorRT FP16 inference. Overall, TokenMask yields a simpler and more deployment-friendly design for embedded vision systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
