抛物线位置编码：以视觉为中心、原理性、可外推、通用
Parabolic Position Encoding: Vision-Centric, Principled, Extrapolatable, General
AI总结：
本文提出基于抛物线的位置编码PaPE，用于视觉模态的注意力架构。通过考虑视觉模态特性，PaPE在图像净胜率上提升最高达10.5%，并在8个数据集上表现优异。
摘要：
我们提出了抛物线位置编码（PaPE），一种基于抛物线的视觉模态位置编码方法。给定一组视觉token（如视频、事件相机流、图像或点云），我们的目标是编码其位置并考虑视觉模态的特性。先前工作主要将位置编码从语言中的1D序列扩展到视觉中的nD结构，但仅部分考虑了视觉特性。我们通过从先前工作中提炼出的原理设计PaPE：平移不变性、旋转不变性（PaPE-RI）、距离衰减、方向性和上下文意识。在ImageNet-1K上的外推实验显示，PaPE在绝对提升上优于次优编码，最高达10.5%。在8个数据集上的通用性实验表明，PaPE是一种通用的视觉位置编码，因为它在5个数据集上匹配最佳基线，在2个数据集上超越所有其他方法。代码可在https://github.com/DTU-PAS/parabolic-position-encoding上获得。
英文摘要：
We propose Parabolic Position Encoding (PaPE), a parabola-based position encoding for vision modalities in attention-based architectures. Given a set of vision tokens-such as from videos, event camera streams, images, or point clouds-our objective is to encode their positions while accounting for the characteristics of vision modalities. Prior works have largely extended position encodings from 1D-sequences in language to nD-structures in vision, but only with partial account of vision characteristics. We address this gap by designing PaPE from principles distilled from prior work: translation invariance, rotation invariance (PaPE-RI), distance decay, directionality, and context awareness. Extrapolation experiments on ImageNet-1K show how PaPE extrapolates remarkably well, improving in absolute terms by up to 10.5\% over the next-best encoding. Generality experiments on 8 datasets across 4 modalities show that PaPE is a general vision position encoding, as PaPE matches the best baseline on 5 datasets and exceeds all on 2 datasets. Code is available at https://github.com/DTU-PAS/parabolic-position-encoding.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
