ALGM：面向使用普通 Vision Transformer 的高效语义分割的自适应先局部后全局 Token 合并方法
ALGM: Adaptive Local-then-Global Token Merging for Efficient Semantic Segmentation with Plain Vision Transformers
AI总结：
提出 ALGM 两阶段 token 合并方法，先局部窗口后全图合并高余弦相似度 token，在保持分割质量的同时将吞吐量提升至多 100%、mIoU 提升至多 1.1，并支持推理时自适应权衡。
摘要：
本工作提出了 Adaptive Local-then-Global Merging（ALGM，自适应先局部后全局合并），这是一种用于采用普通 Vision Transformer 的语义分割网络的 token 缩减方法。ALGM 在两个阶段合并 token：（1）在网络第一层中，它在一个较小的局部窗口内合并相似 token；（2）在网络进行到一半时，它在整幅图像范围内合并相似 token。该方法的动机来自一项分析：我们发现，在这些情形下，具有高余弦相似度的 token 很可能可以在不降低分割质量的情况下被合并。通过在多个数据集和网络配置上进行大量实验，我们表明 ALGM 不仅将吞吐量显著提高至多 100%，而且还能将平均 IoU 提升至多 +1.1，从而在分割质量与效率之间实现比现有方法更好的权衡。此外，我们的方法在推理期间具有自适应性，这意味着同一个模型可根据应用需求用于实现最优效率或最优准确率。代码可在 https://tue-mps.github.io/ALGM 获取。
英文摘要：
This work presents Adaptive Local-then-Global Merging (ALGM), a token reduction method for semantic segmentation networks that use plain Vision Transformers. ALGM merges tokens in two stages: (1) In the first network layer, it merges similar tokens within a small local window and (2) halfway through the network, it merges similar tokens across the entire image. This is motivated by an analysis in which we found that, in those situations, tokens with a high cosine similarity can likely be merged without a drop in segmentation quality. With extensive experiments across multiple datasets and network configurations, we show that ALGM not only significantly improves the throughput by up to 100%, but can also enhance the mean IoU by up to +1.1, thereby achieving a better trade-off between segmentation quality and efficiency than existing methods. Moreover, our approach is adaptive during inference, meaning that the same model can be used for optimal efficiency or accuracy, depending on the application. Code is available at https://tue-mps.github.io/ALGM.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
