Kwai Summary Attention Technical Report
快手总结注意力技术报告
机构 * Kuaishou(快手)
AI总结 研究长上下文能力这一重要迭代方向,针对标准softmax注意力在长序列下时间复杂度高的问题,提出新路径,通过将历史上下文压缩为可学习总结令牌降低序列建模成本,即提出快手总结注意力机制。
Comments update related works
大厂专区
快手总结注意力技术报告
机构 * Kuaishou(快手)
AI总结 研究长上下文能力这一重要迭代方向,针对标准softmax注意力在长序列下时间复杂度高的问题,提出新路径,通过将历史上下文压缩为可学习总结令牌降低序列建模成本,即提出快手总结注意力机制。
Comments update related works
UniVideo:视频的统一理解、生成与编辑
机构 * University of Waterloo(多伦多大学) ; Kling Team, Kuaishou Technology(快手技术团队)
AI总结 提出UniVideo框架,采用双流设计,结合多模态大语言模型与多模态DiT进行视频生成等任务。统一多种视频任务于单范式,实验表明其性能出色,还支持任务组合与能力迁移,且发布了模型和代码。
Comments Project Website https://congwei1230.github.io/UniVideo/