University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

Bandwidth-Efficient Adaptive Mixture-of-Experts via Low-Rank Compensation

带宽高效自适应混合专家 via 低秩补偿

Zhenyu Liu, Yunzhen Liu, Zehao Fan, Garrett Gagnon, Yayue Hou, Nan Wu, Yangwook Kang, Liu Liu

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； George Washington University（乔治·华盛顿大学） 纠错

AI总结 本文提出了一种带宽高效自适应混合专家方法，通过低秩补偿实现精度恢复，提升带宽-准确性权衡和吞吐量。

XLM: A Python package for non-autoregressive language models

XLM：一种用于非自回归语言模型的Python包

Dhruvesh Patel, Durga Prasad Maram, Sai Sreenivas Chintha, Benjamin Rozonoyer, Andrew McCallum

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

AI总结 XLM是一个Python包，旨在加速非自回归语言模型的实现，并提供预训练模型供研究社区使用。

Comments Code available at https://github.com/dhruvdcoder/xlm-core