重新思考无监督语义分割中的对齐性与均匀性
Rethinking Alignment and Uniformity in Unsupervised Semantic Segmentation
AI总结：
针对无监督图像语义分割（UISS）中现有基于互信息的方法存在表示崩溃问题，提出含语义注意力（SEAT）模块的语义注意力网络（SAN），在多基准上性能超所有未预训练及部分预训练方法。
摘要：
无监督图像语义分割（UISS）旨在无需外部监督的情况下将低级视觉特征与语义级表示进行匹配。本文从特征对齐性和特征均匀性的角度探讨UISS模型的关键属性，并对UISS与图像级表示学习进行了对比分析。基于该分析，我们认为UISS中现有基于互信息（MI）的方法存在表示崩溃问题。为此，我们提出了一种名为语义注意力网络（SAN）的鲁棒网络，其中包含一个新模块——语义注意力（SEAT），用于动态生成像素级和语义特征。在多个语义分割基准上的实验结果表明，我们的无监督分割框架擅长捕捉语义表示，性能优于所有未预训练方法，甚至超过了部分预训练方法。
英文摘要：
Unsupervised image semantic segmentation(UISS) aims to match low-level visual features with semantic-level representations without outer supervision. In this paper, we address the critical properties from the view of feature alignments and feature uniformity for UISS models. We also make a comparison between UISS and image-wise representation learning. Based on the analysis, we argue that the existing MI-based methods in UISS suffer from representation collapse. By this, we proposed a robust network called Semantic Attention Network(SAN), in which a new module Semantic Attention(SEAT) is proposed to generate pixel-wise and semantic features dynamically. Experimental results on multiple semantic segmentation benchmarks show that our unsupervised segmentation framework specializes in catching semantic representations, which outperforms all the unpretrained and even several pretrained methods.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
