Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
访问集至关重要:为可扩展的权重空间模型合并预算专家读取
机构 * The Hong Kong Polytechnic University, PolyU(香港理工大学,PolyU) ; Hong Kong Polytechnic University Daya Bay Technology(香港理工大学达亚拜技术) ; Innovation Research Institute(创新研究院)
专题命中 其他LLM :LLM(abstract,abstract_cn);分类 cs.LG
AI总结 针对大语言模型合并中专家权重读取的I/O瓶颈,提出MergePipe,一种预算感知的执行层,通过将合并问题转化为专家访问集问题,在显式I/O预算下选择要访问的专家增量块,实现高达11倍加速且参数偏差极小。
Comments ICML 2026 Workshop on Weight-Space Symmetries: from Foundations to Practical Applications