arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2502.02562cs.LGcs.AIcs.CVcs.ROstat.ML
收藏

学习 RoPE:利用 STRING 实现更好的 2D 和 3D 位置编码

Learning the RoPEs: Better 2D and 3D Position Encodings with STRING

Google DeepMind(谷歌DeepMind);University of Cambridge(剑桥大学);Google Research(谷歌研究院)
Connor Schenck, Isaac Reid, Mithun George Jacob, Alex Bewley, Joshua Ainslie, David Rendleman, Deepali Jain, Mohit Sharma, Avinava Dubey, Ayzaan Wahid, Sumeet S… 展开作者

Connor Schenck, Isaac Reid, Mithun George Jacob, Alex Bewley, Joshua Ainslie, David Rendleman, Deepali Jain, Mohit Sharma, Avinava Dubey, Ayzaan Wahid, Sumeet Singh, René Wagner, Tianli Ding, Chuyuan Fu, Arunkumar Byravan, Jake Varley, Alexey Gritsenko, Matthias Minderer, Dmitry Kalashnikov, Jonathan Tompson, Vikas Sindhwani, Krzysztof Choromanski

AI总结:

本文提出 STRING 位置编码,通过统一理论框架扩展旋转位置编码,在保持精确平移不变性和低计算开销的同时支持任意维度坐标,并在视觉 Transformer 和机器人任务中验证了其有效性。

摘要:

我们提出了 STRING:可分离平移不变位置编码。STRING 通过一个统一的理论框架扩展了旋转位置编码(Rotary Position Encodings),后者是最近提出并在大语言模型中广泛使用的算法。重要的是,STRING 仍然提供精确的平移不变性,包括任意维度的 token 坐标,同时保持较低的计算开销。这些特性在机器人领域尤为重要,因为高效的 3D token 表示是关键。我们将 STRING 集成到具有 RGB(-D) 输入(颜色加可选深度)的 Vision Transformer 中,显示出显著的增益,例如在开放词汇目标检测和机器人控制器方面。我们用严格的数学分析补充了实验,证明了我们方法的普适性。

英文摘要:

We introduce STRING: Separable Translationally Invariant Position Encodings. STRING extends Rotary Position Encodings, a recently proposed and widely used algorithm in large language models, via a unifying theoretical framework. Importantly, STRING still provides exact translation invariance, including token coordinates of arbitrary dimensionality, whilst maintaining a low computational footprint. These properties are especially important in robotics, where efficient 3D token representation is key. We integrate STRING into Vision Transformers with RGB(-D) inputs (color plus optional depth), showing substantial gains, e.g. in open-vocabulary object detection and for robotics controllers. We complement our experiments with a rigorous mathematical analysis, proving the universality of our methods.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑