Expert-Choice Routing Enables Adaptive Computation in Diffusion Language Models
专家选择路由使扩散语言模型实现自适应计算
机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; Scitix ; Cornell University(康奈尔大学) ; Duke University(杜克大学) ; UC Davis(加州大学戴维斯分校) ; Southern University of Science and Technology(南方科技大学)
专题命中 扩散模型 :diffusion(title,abstract)
AI总结 本文提出专家选择路由方法,通过确定性负载平衡提升扩散语言模型的吞吐量和收敛速度,并展示如何通过时间步依赖的专家容量优化计算分配,从而在匹配FLOPs下提升性能。
Comments Accepted at COLM 2026