Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference
机构 * Peking University(北京大学) ; Zhejiang University(浙江大学)
高校专区
机构 * Peking University(北京大学) ; Zhejiang University(浙江大学)
机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University(浙江可感知智能系统重点实验室,浙江大学) ; Alibaba Group(阿里巴巴集团) ; Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and DataSecurity(杭州高新技术区(滨江)区块链与数据安全研究院)
Comments Accepted at EMNLP 2025
机构 * Zhejiang University(浙江大学) ; Duke University(杜克大学) ; Tsinghua University(清华大学)
机构 * Hong Kong University of Science and Technology(香港科技大学) ; Kyoto University(京都大学) ; Georgia Institute of Technology(佐治亚理工学院) ; The University of Texas at Dallas(德克萨斯大学达拉斯分校) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; Cornell University(康奈尔大学) ; Indiana University(印第安纳大学) ; National Taiwan Normal University(台湾师范大学) ; University of Liverpool(利物浦大学) ; University of Edinburgh(爱丁堡大学) ; Zhejiang University(浙江大学) ; Purdue University(普渡大学) ; Emory University(埃默里大学) ; West China Biomedical Big Data Center, West China Hospital, Sichuan University(西京生物大数据中心,西京医院,四川大学)
Comments 25 pages, 5 tables