关于Transformer中专家混合的空间结构
On the Spatial Structure of Mixture-of-Experts in Transformers
AI Center, Skoltech（斯科尔科沃科技学院人工智能中心）；AIRI（人工智能研究所（AIRI））
AI总结：
本文通过实证分析揭示Transformer中MoE路由不仅依赖语义特征，位置信息同样关键，并给出机理解释与实践启示。
摘要：
一个常见的假设是，MoE路由器主要利用语义特征进行专家选择。然而，我们的研究通过证明位置令牌信息在路由决策中也起着至关重要的作用，挑战了这一观点。通过广泛的实证分析，我们提供了支持这一假设的证据，对所观察到的行为进行了现象学解释，并讨论了基于MoE架构的实际意义。
英文摘要：
A common assumption is that MoE routers primarily leverage semantic features for expert selection. However, our study challenges this notion by demonstrating that positional token information also plays a crucial role in routing decisions. Through extensive empirical analysis, we provide evidence supporting this hypothesis, develop a phenomenological explanation of the observed behavior, and discuss practical implications for MoE-based architectures.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
