Adaptive Depth Sparse Framework: Similarity-Driven Resource Allocation for Pre-Trained LLMs
自适应深度稀疏框架:基于相似性驱动的预训练语言模型资源分配
机构 * Southern University of Science and Technology(南方科技大学) ; Huawei Technologies Co., Ltd.(华为技术有限公司)
AI总结 研究针对预训练语言模型推理成本高的问题,提出自适应深度稀疏框架AdaDSF,基于层输入输出隐藏状态余弦相似性分配令牌保留率,用轻量级路由器选择信息令牌,在多任务中大幅降推理FLOPs且精度退化小。
Comments Accepted by ICIC 2026. 12 pages, 2 figures, 4 tables