马蹄混合专家（HS-MoE）模型
Horseshoe Mixtures-of-Experts (HS-MoE)
AI总结：
HS-MoE模型通过结合马蹄先验和输入依赖门控，实现数据自适应的稀疏专家选择，并提出粒子学习算法用于顺序推断。
摘要：
马蹄混合专家（HS-MoE）模型提供了一种贝叶斯框架，用于在混合专家架构中实现稀疏专家选择。我们结合了马蹄先验的自适应全局-局部收缩与输入依赖的门控，从而实现数据自适应的专家使用稀疏性。我们的主要方法贡献是一种粒子学习算法，用于顺序推断，在此算法中，滤波器在时间上向前传播，同时仅跟踪充分统计量。我们还讨论了HS-MoE与现代混合专家层在大语言模型中的关系，这些层在部署时受到极端稀疏性约束（例如，每个token从大量专家池中激活少量专家）。
英文摘要：
Horseshoe mixtures-of-experts (HS-MoE) models provide a Bayesian framework for sparse expert selection in mixture-of-experts architectures. We combine the horseshoe prior's adaptive global-local shrinkage with input-dependent gating, yielding data-adaptive sparsity in expert usage. Our primary methodological contribution is a particle learning algorithm for sequential inference, in which the filter is propagated forward in time while tracking only sufficient statistics. We also discuss how HS-MoE relates to modern mixture-of-experts layers in large language models, which are deployed under extreme sparsity constraints (e.g., activating a small number of experts per token out of a large pool).
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
