Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference
机构 * Peking University(北京大学) ; Zhejiang University(浙江大学)
高校专区
机构 * Peking University(北京大学) ; Zhejiang University(浙江大学)
机构 * University of Washington(华盛顿大学) ; Peking University(北京大学) ; University of Waterloo(滑铁卢大学) ; Interop Labs(Interop实验室)
机构 * National Innovative Institute of Defense Technology(国防技术创新国家研究院) ; The Hong Kong University of Science(香港科学大学) ; Beijing Academy of Artificial Intelligence(北京人工智能研究院) ; Peking University(北京大学) ; Beijing Jiaotong University(北京交通大学)
机构 * GigaAI ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; Peking University(北京大学) ; University of California Los Angeles(加州大学洛杉矶分校)
Comments Project Page: https://humandreamer-x.github.io/