Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory
调度操作中的开销诊断：跨架构观测站
机构 * DeepSeek-V2-Lite MLA ； DeepSeek-MoE-16B MHA ； Qwen3-30B GQA ； Nemotron-30B Mamba-2 ； Qwen3.5-35B GDN
AI总结 该研究通过测试四个缓解方案的假设，发现扩展进程（EP）规模变化对专家最大/均值token比率的影响最多为5%，并且mock-token基准在路由Gini系数和批大小缩放趋势上存在高估。研究发现五种架构在相同矩阵中形成两个稳定的带状分布，这些带状分布而非EP度或mock数据配置是AlltoAll-aware互连和调度设计的正确工作负载输入。
Comments To be published in IEEE Hot Interconnects Symposium 2026
