论监督在非对称非对比学习中的有效性
On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning
AI总结：
针对非对称非对比学习在监督表示学习中研究不足的问题，提出 SupSiam 与 SupBYOL，通过引入标签并调节监督贡献来降低类内方差、避免坍塌，并在多数据集和任务上验证其优越性。
摘要：
监督对比表示学习已被证明在各种迁移学习场景中有效。然而，尽管非对称非对比学习（ANCL）在自监督表示学习中通常优于其对比学习对应方法，但将 ANCL 扩展到监督场景的研究仍较少。为弥补这一差距，我们研究用于监督表示学习的 ANCL，提出 SupSiam 和 SupBYOL，在 ANCL 中利用标签以获得更好的表示。所提出的监督 ANCL 框架改进了表示学习，同时避免坍塌。我们的分析表明，为 ANCL 提供监督可降低类内方差，并且应调整监督的贡献以实现最佳性能。实验证明了监督 ANCL 在多种数据集和任务上的优越性。代码可在 https://github.com/JH-Oh-23/Sup-ANCL 获取。
英文摘要：
Supervised contrastive representation learning has been shown to be effective in various transfer learning scenarios. However, while asymmetric non-contrastive learning (ANCL) often outperforms its contrastive learning counterpart in self-supervised representation learning, the extension of ANCL to supervised scenarios is less explored. To bridge the gap, we study ANCL for supervised representation learning, coined SupSiam and SupBYOL, leveraging labels in ANCL to achieve better representations. The proposed supervised ANCL framework improves representation learning while avoiding collapse. Our analysis reveals that providing supervision to ANCL reduces intra-class variance, and the contribution of supervision should be adjusted to achieve the best performance. Experiments demonstrate the superiority of supervised ANCL across various datasets and tasks. The code is available at: https://github.com/JH-Oh-23/Sup-ANCL.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
