Snowflake

LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding

LongVU-TTT：用于长视频理解中视觉重采样的因果测试时训练方法

Mahmoud Ahmed, Sameh Abdulah, Olatunji Ruwase, Sam Ade Jacobs, Mathis Bode, Mohamed Elhoseiny

机构 * KAUST（阿卜杜拉国王科技大学） ； Snowflake（雪花公司） ； Microsoft Inc.（微软公司） ； Jülich Supercomputing Centre, Forschungszentrum Jülich（于利希研究中心于利希超级计算中心） 纠错

AI总结 LongVU-TTT在视觉编码器与LLM间插入带因果快速权重更新的卷积TTT重采样器，通过混合选择器保留帧证据，在五个视频理解基准测试中性能具竞争力，较多种基线方法有明显提升。