SLA2: Sparse-Linear Attention with Learnable Routing and QAT
SLA2: 基于可学习路由和量化感知训练的稀疏-线性注意力
机构 * Tsinghua University(清华大学)
专题命中 视频扩散模型 :video generation(abstract);video diffusion(abstract);分类 cs.CV
AI总结 SLA2通过可学习路由和量化感知训练,提升稀疏-线性注意力的效率和性能
AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
SLA2: 基于可学习路由和量化感知训练的稀疏-线性注意力
机构 * Tsinghua University(清华大学)
专题命中 视频扩散模型 :video generation(abstract);video diffusion(abstract);分类 cs.CV
AI总结 SLA2通过可学习路由和量化感知训练,提升稀疏-线性注意力的效率和性能