发表机构
University of Göttingen; Max Planck Institute for Dynamics and Self-Organization; MIT CSAIL（哥廷根大学; 马克斯·普朗克动力学与自组织研究所; 麻省理工学院计算机科学与人工智能实验室）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
针对球形Transformer忽略几何结构的问题，提出SO(3)-RoPE位置编码，利用酉SO(3)表示实现等变注意力，并在浅水预测中超越基线，误差更低且运行更快。
AI 中文摘要
球形数据在许多科学应用中频繁出现。现有的球形Transformer往往忽略了底层球形域的几何结构，导致在极点附近产生形变和坐标奇点。我们提出SO(3)-RoPE，一种通过酉SO(3)表示将球形几何融入Transformer注意力机制的相对位置编码。该公式具有SO(3)等变性，并与FlashAttention兼容，保留了原始Transformer的效率。在旋转球面上的浅水动力学预测任务中，我们的SO3ViT模型相比S2Transformer基线取得了更低的误差和更短的运行时间。
英文摘要
Spherical data arise in many scientific applications. Often spherical transformers disregard the geometry of the underlying spherical domain, causing distortions and coordinate singularities near the poles. We introduce SO(3)-RoPE, a relative positional embedding that incorporates spherical geometry into transformer attention through unitary SO(3) representations. Our formulation is SO(3)-equivariant and compatible with FlashAttention, retaining efficiency of vanilla transformers. On shallow water dynamics prediction over a rotating sphere, our SO3ViT outperforms an S2Transformer baseline with lower errors and reduced runtime.
CommentsAccepted at the Neurips Workshop 2026: Representations for the Physical Sciences
