Huawei（华为）

LoopMoE: Unifying Iterative Computation with Mixture-of-Experts for Language Modeling

LoopMoE：统一迭代计算与混合专家模型用于语言建模

Wenkai Chen, Tianshu Li, Wenyong Huang, Yichun Yin, Lifeng Shang, Chengwei Qin

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Technologies Co.,Ltd.（华为技术有限公司） 纠错

AI总结 提出LoopMoE，通过迭代自适应层归一化和容量平衡策略，在相同参数和FLOPs下，循环MoE语言模型在多个基准上优于标准MoE。

Plain Transformers Can be Powerful Graph Learners

原始变换器可以成为强大的图学习者

Liheng Ma, Soumyasundar Pal, Yingxue Zhang, Philip H.S. Torr, Mark Coates

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Huawei Noah’s Ark Lab, Montreal（华为诺亚实验室，蒙特利尔） ； University of Oxford（牛津大学） 纠错

AI总结 本研究证明原始变换器可通过简单修改成为强大图学习者，提出PPGT架构在图学习任务中表现优异。

Comments TMLR - 2026/06 this https URL (https://openreview.net/pdf?id=bEmDvP0fdv)