Geometry-Aware Implicit Memory for Video World Models
几何感知隐式记忆用于视频世界模型
机构 * School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院) ; Kling Team, Kuaishou Technology(快手技术 Kling 团队) ; Tsinghua University(清华大学)
AI总结 提出GIM-World框架,通过轻量级Transformer编码器将可变长度历史压缩为固定大小的记忆令牌,并利用相机可查询的几何头在训练期间从冻结的基础模型中蒸馏3D场景结构,从而在长时程视频生成中保持几何和视觉一致性。
Comments Project page: https://gim-world.github.io/