Johns Hopkins University（约翰斯·霍普金斯大学）

Mixture of Contexts for Long Video Generation

上下文混合用于长视频生成

Shengqu Cai, Ceyuan Yang, Lvmin Zhang, Yuwei Guo, Junfei Xiao, Ziyan Yang, Yinghao Xu, Zhenheng Yang, Alan Yuille, Leonidas Guibas, Maneesh Agrawala, Lu Jiang, Gordon Wetzstein

机构 * Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文提出上下文混合（MoC）模块，通过稀疏注意力路由解决长视频生成中的长上下文记忆问题，提升模型在长序列中的效率与一致性。

Comments Project page: https://primecai.github.io/moc/

Compactor: Calibrated Query-Agnostic KV Cache Compression with Approximate Leverage Scores

Compactor: 基于近似杠杆分数的校准查询无关KV缓存压缩

Vivek Chari, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 Compactor通过近似杠杆分数实现查询无关的KV缓存压缩，减少内存占用并提升性能，适用于多种语言模型部署场景。