Sparse Upcycling: Inference Inefficient Finetuning
Databricks(达特睿奇科技)
本研究比较了将稠密模型转为 MoE 架构的 Sparse Upcycling 与持续预训练的效果,发现前者质量提升超 20%,但会导致约 40% 的推理速度下降,揭示了质量与效率的权衡。
2024-11-13 cs.CL cs.LG
Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
Amazon Stores Foundation AI(亚马逊商店基金会人工智能);Carnegie Mellon University(卡内基梅隆大学);Anthropic
本文提出专家再利用方法,通过持续预训练逐步扩展MoE模型容量,降低训练成本,实验显示在7B-13B参数规模下,模型验证损失与基线相当,节省32%的GPU小时。
2026-05-10 cs.AI cs.LG
BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of Experts
Cohere For AI;Cohere;University of Oxford(牛津大学)
针对稠密模型转MoE时仅能复用FFN层参数的局限,提出BAM方法,通过复用注意力参数构建MoA层、采用并行注意力架构提升效率,在相同计算数据约束下性能优于基线。
2024-08-17 cs.LG
DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Shanghai Jiao Tong University(上海交通大学)
DivMoE是首个实现细粒度MoE升级的框架,通过领域专用专家初始化与多样性约束路由,在15个基准测试中优于6个升级基线,性能接近更大规模的Moonlight-MoE模型。
2026-10-09 cs.AI cs.LG
Nexus: Specialization meets Adaptability for Efficiently Training Mixture of Experts
Cohere for AI;University of Oxford(牛津大学);Cohere
提出增强型MoE架构Nexus,通过自适应路由将稠密专家模型升级回收,实现高效专业化并支持灵活添加新专家,在初始升级和扩展新专家上分别获得2.1%和18.8%的相对增益。
2024-08-28 cs.AI cs.CL cs.LG
Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling
Li Auto;The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出Dense2MoE框架,通过层融合升级(LF-UC)统一剪枝和升级,将密集LLM高效转换为设备端MoE模型,在推理延迟与准确性之间取得更优帕累托前沿。
2026-05-26 cs.AI cs.LG
Training-Free Dynamic Upcycling of Expert Language Models
Gensyn
本文提出DUME方法,通过动态添加不同领域训练的密集专家,构建统一的MoE模型,无需额外训练即可保持原有能力,在语言建模和推理任务中表现优异。
2026-11-19 cs.CL cs.LG
Llama 3 Meets MoE: Efficient Upcycling
Univeristy of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达公司)
针对从头训练MoE模型存在的过拟合、路由不稳定等问题,研究基于Llama 3-8B预训练稠密检查点,以不足1%的典型预训练计算量训练出8专家Top-2 MoE模型,提升下游性能与训练效率,还在NeMo中集成在线升级改造功能助力低成本开发高容量MoE模型。
2024-12-13 cs.LG
SPRI: SVD-Partitioned Residual Initialization for Data-Constrained MoE Upcycling
Northeastern University, China(东北大学);Huawei TSC, China(华为技术有限公司);CUHK-Shenzhen, China(香港中文大学(深圳));University of Maryland, USA(马里兰大学);Harbin Engineering University, China(哈尔滨工程大学);Inclusion AI, Ant Group(蚂蚁集团Inclusion AI);NiuTrans Research, China(小牛翻译研究中心)
提出SPRI方法,利用预训练FFN权重的SVD分解残差初始化MoE专家,结合两阶段训练策略,在数据受限的多语言语音翻译任务中显著提升性能。
2026-06-16 cs.AI cs.LG
MASKerade: Token-Routed Mask Experts for Dense-to-MoE Upcycling
Northeastern University(东北大学)
MASKerade通过冻结FFN上的学习掩码定义专家,实现稠密到MoE升级,在视觉语言基准上以较低计算成本达到最优性能。
2026-10-07 cs.LG
From fragmented data to actionable design: Physics-calibrated learning for plastic upcycling
本研究开发PC-MG-MoE框架,将塑料升级再造的碎片化实验数据转化为可操作指导,在严格验证下误差最低,可支持跨实验室异质性下的工程筛选与实验规划。
2026-08-04 cs.AI cs.LG
LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models
LibMoE为大规模语言模型混合专家提供统一框架,通过全面分析路由动态、初始化影响及训练模式差异,推动MoE研究标准化与创新。
2026-07-28 cs.AI cs.CL cs.LG
XFT: Unlocking the Power of Code Instruction Tuning by Simply Merging Upcycled Mixture-of-Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
XFT通过共享专家机制、路由权重归一化和可学习模型合并,将向上循环的MoE模型编译回稠密模型,以稠密计算开销实现MoE级性能,显著提升小型代码LLM的指令微调效果。
2024-06-06 cs.AI cs.CL cs.LG
UpSafe$^\circ$C: Upcycling for Controllable Safety in Large Language Models
针对大语言模型现有安全技术难以平衡安全、实用与可控性的问题,提出UpSafe$^\circ$C框架,通过安全关键层MoE升级、两阶段SFT及安全温度机制,实现动态可控的安全提升与帕累托最优权衡。
2026-11-05 cs.AI cs.CR cs.LG
Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts
针对现有MoE升级方法专家多样性受限的问题,本文提出Symphony-MoE两阶段框架,融合多个架构相同但不同的预训练模型作为专家,通过层感知融合和激活对齐构建共享骨干,所获MoE在多域任务和分布外泛化上显著优于基线。
2025-11-12 cs.AI cs.LG
STAPLE: Static Sparse Upcycling of Pretrained Checkpoints via Embedding Modules
Carnegie Mellon University(卡内基梅隆大学);D. E. Shaw Research(D.E.肖研究公司);Meta AI;Amazon Research(亚马逊研究部)
本研究提出基于 STEM 的 STAPLE 方案,将静态稀疏内存集成到预训练模型中,在 OLMo-2 1B 和 7B 上提升多任务性能,解码速度更快、内存和能耗更低,无需从头稀疏预训练。
2026-10-12 cs.LG
Innovator: Scientific Continued Pretraining with Fine-grained MoE Upcycling
Shanghai Jiao Tong University(上海交通大学);MemTensor (Shanghai) Technology Co., Ltd.(MemTensor(上海)技术有限公司);Institute for Advanced Algorithms Research, Shanghai.(上海先进算法研究所)
Innovator通过将稠密LLM升级为细粒度MoE,在持续预训练中解耦通用与科学知识,避免灾难性遗忘,在科学任务上平均提升25%且通用性能保持99%。
2025-10-16 cs.AI cs.LG
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
该研究提出数据混合定律,可通过拟合样本混合数据的函数预测不同数据混合比例下的语言模型性能,结合缩放定律仅用小规模训练就能预测大模型表现,还能优化训练数据混合、避免持续训练中的灾难性遗忘。
2025-03-20 cs.AI cs.CL cs.LG
Dirichlet-Prior Shaping: Guiding Expert Specialization in Upcycled MoEs
Qualcomm AI Research(高通人工智能研究)
针对升级改造MoE因权重复制导致的专家专业化不足、路由区分度弱的问题,提出Dirichlet先验塑形损失DPSL,通过匹配目标Dirichlet先验塑形路由分布,在多骨干视觉-语言基准上性能优于现有方法。
2025-10-01 cs.LG
Scaling Laws for Multimodal Data Mixtures
MILA - Quebec AI Institute(米拉 - 魁北克人工智能研究所);McGill University(麦吉尔大学);EPFL(洛桑联邦理工学院);ETH(苏黎世联邦理工学院);University of Washington(华盛顿大学)
本研究推导了文本、视觉、音频的多模态数据混合缩放定律,通过268项MoE实验发现计算最优值具模态特异性、重复数据超2倍收益可忽略、跨模态交互不对称,为训练前沿MLLMs提供了原则性基础。
2026-11-10 cs.CL cs.LG
Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM
FAIR at Meta(Meta FAIR)
该研究提出名为Branch-Train-MiX(BTX)的大语言模型高效训练方法,通过种子模型分支并行训练多领域专家、整合参数后做MoE微调,实现了更优的准确率与效率权衡。
2024-03-12 cs.AI cs.CL
Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm AI Research(高通人工智能研究部门)
提出 Read-ME 框架,将预训练稠密 LLM 重构为更小的 MoE,并通过解耦预门控路由器实现算法与系统协同优化,提升精度与推理延迟。
2024-10-24 cs.CL cs.LG
Scaling Laws for Looped Mixture of Experts
Meta AI
本文提出循环缩放定律,联合建模循环与稀疏性,预测循环MoE损失,并证明其在万亿token规模下带来参数效率与性能优势。
2026-10-01 cs.AI cs.CL cs.LG
Domain-Aware Scaling Laws Uncover Data Synergy
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院);Harvard University(哈佛大学)
研究语言模型预训练中的数据协同效应,利用开放权重语言模型的观测变化估计领域间协同效应,其框架提高预测精度,恢复稳定估计,经训练模型验证能正确预测性能排名。
2026-07-14 cs.CL cs.LG
Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient
University of Warsaw(华沙大学);Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
针对MoE模型在内存约束下的可扩展性与效率未被充分探索的问题,本研究提出纳入活跃参数数量等关键因素的联合缩放定律,通过超280次实验验证其理论预测,发现MoE模型可比密集模型更内存高效,为最优配置选择提供框架与可操作见解。
2025-02-19 cs.AI cs.CL cs.LG
Scaling Laws for Fine-Grained Mixture of Experts
University of Warsaw(华沙大学);IDEAS NCBR;IPPT PAN(波兰科学院物理化学研究所);TradeLink;Nomagic
本文引入粒度超参数以精确控制专家大小,建立了细粒度混合专家模型的缩放定律,推导出给定计算预算下的最优训练配置,并证明MoE模型优于稠密Transformer且效率优势随规模扩大而增加。
2024-02-12 cs.AI cs.CL cs.LG
X-MoD: Practical Scaling Laws for Sparse-Depth Routing Beyond Mixture-of-Depths
Tsinghua University(清华大学);Tianjin University(天津大学)
X-MoD提出一种解耦令牌稀疏性与锚点步长的稀疏深度架构,并建立实用缩放定律,以预测和优化不同配置下的性能,超越传统MoD。
2026-09-29 cs.CL cs.LG
DeRS: Towards Extremely Efficient Upcycled Mixture-of-Experts Models
School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Baidu USA(美国百度公司);StepFun(阶跃星辰)
本文提出DeRS(分解、替换和合成)范式,通过将专家分解为共享基础权重和轻量级特定增量权重,有效解决了升级回收MoE模型的参数低效问题,在推理压缩和训练升级两种场景下均实现了极高的参数效率并保持了模型性能。
2025-03-03 cs.LG
MultiPL-MoE: Multi-Programming-Lingual Extension of Large Language Models through Hybrid Mixture-of-Experts
China Mobile Research Institute(中国移动研究院)
本文提出MultiPL-MoE,通过混合专家混合在词元和片段层面优化专家选择,提升大语言模型的多编程语言代码生成能力,实验验证其有效性。
2025-09-08 cs.AI cs.CL
Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models
Kunlun Inc(昆仑公司)
本文提出 Skywork-MoE,一个基于 Skywork-13B 稠密检查点向上循环训练的 1460 亿参数混合专家语言模型,并通过门控 logit 归一化和自适应辅助损失系数提升专家多样化与训练效果,在多个基准上取得优异表现。
2024-06-03 cs.AI cs.CL
Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Hi Lab, Xiaohongshu Inc.(小红书公司Hi实验室);Project Numina(项目Numina);School of Data Science, Fudan University(复旦大学数据科学学院)
本文提出一种框架,通过联合约束三元组和代数约束,优化专家混合架构,实现鲁棒的缩放定律,为大规模计算预算提供完整最优架构。
2026-10-14 cs.LG
Towards Greater Leverage: Scaling Laws for Efficient Mixture-of-Experts Language Models
Ant Group(蚂蚁集团)
针对MoE模型容量预测难题,提出效率杠杆EL指标,通过大规模实验推导统一缩放定律,并用Ling-mini-beta验证其能以极低计算成本匹配大稠密模型性能,为高效MoE扩展提供实证基础。
2025-10-21 cs.CL
MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing
Nanjing University(南京大学);China Mobile Research(中国移动研究院);Alibaba Group(阿里巴巴集团)
本文提出MoE-LPR方法,通过两阶段训练(升级改造为MoE架构并引入语言先验路由)增强大型语言模型的多语言能力,有效平衡了语言扩展与防止灾难性遗忘,同时保持推理开销不变。
2024-08-21 cs.CL
MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts
Wallarm Research(Wallarm 研究部)
MLPMoE通过零样本方法将密集LLM的MLP结构转换为静态混合专家,实现参数高效和计算节省。
2025-11-26 cs.AI cs.LG
Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models
Apple(苹果公司);MIT(麻省理工学院)
本文研究稀疏混合专家模型中参数数量与FLOPs的关系,发现不同约束下存在最优稀疏性水平,可同时提升训练效率和模型性能,为高效架构设计提供指导。
2025-07-02 cs.AI cs.LG
MoLEx: Mixture of Layer Experts for Finetuning with Sparse Upcycling
National University of Singapore(新加坡国立大学)
本文提出 MoLEx,一种以预训练模型各层为专家的稀疏专家混合方法,通过层间条件信息交换增强 PEFT 微调,并在 GLUE 与 E2E 上验证其效果且开销极小。
2025-03-14 cs.AI cs.CL cs.CV
Hierarchical Copula-Gumbel-Top-K Routing: Two-Sided Dependence Control for Frozen Mixture-of-Experts at Fixed Per-Token Routing Laws
Hong Kong Baptist University(香港浸会大学);TadReamk Limited(TadReamk有限公司)
该研究针对冻结型混合专家模型,提出分层Copula-Gumbel-Top-$K$路由方法,通过双侧依赖控制在固定每token路由律的前提下调节专家负载方差,初步验证了机制有效性但未实现任务级微调增益。
2026-08-18 cs.LG
Generalization and Scaling Laws for Mixture-of-Experts Transformers
Univ Lyon, Lyon 2, LIRIS UMR 5205(里昂大学,里昂第二大学,LIRIS UMR 5205)
本文研究了混合专家变换器的泛化和缩放规律,通过分离输入容量与路由组合学,推导出覆盖数界,并结合标准ERM分析得出泛化界,揭示了在适当考虑活跃参数时,近似与估计的权衡。
2026-10-22 cs.AI cs.LG math.ST
Demystifying Synthetic Data in LLM Pre-training: A Systematic Study of Scaling Laws, Benefits, and Pitfalls
FAIR at Meta(Meta 的 FAIR)
该研究通过大规模实验系统探究合成数据在LLM预训练中的作用,明确不同类型合成数据、混合比例、模型规模等对训练效果的影响,为合成数据的合理应用提供实践指导。
2025-10-02 cs.AI cs.CL cs.LG
Optimal Splitting of Language Models from Mixtures to Specialized Domains
Apple(苹果公司);National University of Singapore(新加坡国立大学)
本文提出了一种方法,通过独立预训练多个模型并利用缩放定律确定预训练和继续预训练之间的最佳计算分配,从而提升不同模型大小和计算预算下的常识知识和推理基准性能。
2026-03-19 cs.CL cs.LG
Pruning Laws for Large Language Models
IIT Delhi(印度理工学院德里分校)
本研究提出剪枝规律这一可解释缩放关系,可预测剪枝后大语言模型的性能,能跨不同模型、剪枝方法和任务迁移,为高效部署LLMs提供原则性框架。
2026-08-31 cs.CL
Towards a Comprehensive Scaling Law of Mixture-of-Experts
Tencent Hunyuan(腾讯文元);University of Macau(澳门大学)
针对 MoE 缩放因素复杂耦合且影响非单调的问题,本文通过446个受控实验建立涵盖$D$、$N$、$N_a$、$G$、$S$的联合缩放定律,并给出最优配置。
2025-09-28 cs.AI cs.CL cs.LG
Conservation Laws for Modern Neural Architectures
National University of Singapore(新加坡国立大学);Center for AI Research, VinUniversity(Vin大学人工智能研究中心);Independent Researcher(独立研究者);Hanoi University of Science and Technology(河内科学技术大学)
本文提出统一框架,刻画GELU、SiLU、SwiGLU激活的前馈网络、多头注意力及混合专家模型中的梯度流守恒律,实验验证了理论预测的不变量。
2026-06-17 cs.AI cs.LG
Capacity-Aware Mixture Law Enables Efficient LLM Data Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University(交叉信息研究院,清华大学);Shanghai Qizhi Institute(上海启智研究院)
面向容量的混合法则通过高效数据混合优化,减少50%的优化成本并提升3%的下游性能
2026-03-09 cs.LG
Grove MoE: Towards Efficient and Superior MoE LLMs with Adjugate Experts
The Chinese University of Hong Kong(香港中文大学);Renmin University of China(中国人民大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Westlake University(西湖大学)
针对传统MoE专家同质化导致计算效率受限的问题,提出Grove MoE架构,引入不同大小的伴随专家及动态激活机制扩展模型容量;基于此开发的33B参数模型可根据token复杂度动态激活参数,在可控计算开销下取得与同规模或更大规模SOTA模型相当的性能。
2025-08-11 cs.CL
Scaling Laws for Code: A More Data-Hungry Regime
Harbin Institute of Technology(哈尔滨工业大学);Chinese Academy of Sciences(中国科学院);Fudan University(复旦大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文研究了代码的缩放规律,通过大规模实验发现Farseer定律在准确性上更优,代码模型在模型大小上表现良好,但需要更高的数据与参数比,且在代码-自然语言混合数据中,自然语言在资源受限场景下有益,但在更高计算预算下成为负担。
2026-05-17 cs.CL
Scaling Laws are Redundancy Laws
本文通过核回归证明缩放定律可形式化为冗余定律,揭示学习曲线斜率依赖数据冗余,统一了经验观察与理论基础。
2026-03-22 cs.LG math.ST stat.ML
Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts
ustc(中国科学技术大学);msra(微软亚洲研究院);stju(上海交通大学);xmu(厦门大学)
本文提出正交增长策略,通过优化专家混合模型的深度和宽度,提升LLM预训练效率,实验证明在相同计算预算下,模型准确率提升10.6%。
2026-05-15 cs.LG
Generalizing Scaling Laws for Dense and Sparse Large Language Models
Department of Computer Science(计算机科学系);Iowa State University(爱荷华州立大学)
本文提出了一种通用缩放定律,适用于密集和稀疏大语言模型,通过比较实验验证了其在大规模模型中的有效性。
2026-02-09 cs.AI cs.LG cs.PF
Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models
Meituan Inc.(美团公司);The University of Hong Kong(香港大学)
该研究通过理论分析与实验验证,探究缩放定律在密集模型与MoE大语言模型间的可迁移性,证实幂律缩放框架适用于MoE模型,且其在相同训练计算预算下泛化能力更优,为MoE模型训练部署优化提供新见解。
2024-10-08 cs.AI cs.LG
RegMix: Data Mixture as Regression for Language Model Pre-training
Sea AI Lab(Sea AI实验室);SMU(新加坡管理大学);Contextual AI;Stanford University(斯坦福大学);SUTD(新加坡科技设计大学)
RegMix将数据混合视为回归任务,通过训练小模型预测最佳混合,用于大规模预训练,在多种规模下优于人工选择,且效率高于DoReMi。
2025-01-23 cs.AI cs.CL
Optimal Scaling Laws for Efficiency Gains in a Theoretical Transformer-Augmented Sectional MoE Framework
Collins Aerospace(柯林斯宇航公司)
本文提出一种分段式MoE架构,通过分割嵌入维度并利用前置Transformer层保持表示,推导最优缩放定律以在硬件约束下确定专家数量,提升计算效率与可扩展性。
2025-03-26 cs.AI cs.LG
Scaling Laws for Mixture Pretraining Under Data Constraints
Apple(苹果公司)
研究混合预训练中数据限制下的扩展规律,发现重复是影响目标领域性能的核心因素,提出考虑重复的混合扩展定律以优化预训练配置。
2026-05-15 cs.CL cs.LG
Scaling Laws for Optimal Data Mixtures
Sorbonne University(索邦大学);Apple(苹果公司)
针对基础模型训练中数据混合比例选择依赖高成本试错的问题,提出基于缩放定律的系统性方法,可预测不同规模、数据混合下的模型损失,推导最优数据混合比例,且在LLM、NMM、LVM预训练中验证了普适性与跨尺度外推能力。
2025-10-02 cs.LG