arXiv 2310.005272023-10-04cs.CV

上下文感知局部视觉嵌入的自监督学习

Self-supervised Learning of Contextualized Local Visual Embeddings

Institute of Computing（计算研究所）；University of Campinas（坎皮纳斯大学）；Department of Informatics（信息学系）；University of Oslo（奥斯陆大学）

Thalles Santos Silva, Helio Pedrini, Adín Ramírez Rivera

备注：: Pre-print. 4th Visual Inductive Priors for Data-Efficient Deep Learning Workshop ICCV 2023. Code at https://github.com/sthalles/CLoVE
发表信息：: 4th Visual Inductive Priors for Data-Efficient Deep Learning Workshop ICCV 2023

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出自监督卷积方法 CLoVE，通过归一化多头自注意力层学习上下文局部嵌入，在 4 项密集预测任务中实现 CNN 架构的 SOTA 性能。

摘要：

我们提出了上下文感知局部视觉嵌入（Contextualized Local Visual Embeddings，CLoVE），这是一种基于卷积的自监督方法，用于学习适用于密集预测任务的表征。CLoVE 与现有方法不同，它优化单个损失函数，该损失函数作用于从卷积神经网络（CNN）编码器输出特征图中学习到的上下文感知局部嵌入层面。为学习上下文感知嵌入，CLoVE 提出了一种归一化多头自注意力层，该层基于相似度融合图像不同区域的局部特征。我们在多个数据集上对 CLoVE 的预训练表征进行了广泛基准测试。CLoVE 在目标检测、实例分割、关键点检测和密集姿态估计这 4 项密集预测下游任务中，达到了基于 CNN 架构的最优性能。

英文摘要：

We present Contextualized Local Visual Embeddings (CLoVE), a self-supervised convolutional-based method that learns representations suited for dense prediction tasks. CLoVE deviates from current methods and optimizes a single loss function that operates at the level of contextualized local embeddings learned from output feature maps of convolution neural network (CNN) encoders. To learn contextualized embeddings, CLoVE proposes a normalized mult-head self-attention layer that combines local features from different parts of an image based on similarity. We extensively benchmark CLoVE's pre-trained representations on multiple datasets. CLoVE reaches state-of-the-art performance for CNN-based architectures in 4 dense prediction downstream tasks, including object detection, instance segmentation, keypoint detection, and dense pose estimation.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

AI总结：

摘要：

英文摘要：

相关论文