视频大模型

TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding

TimeViper: 一种用于高效长视频理解的混合Mamba-Transformer视觉语言模型

Boshen Xu, Zihan Xiao, Jiaze Li, Jianzhong Ju, Zhenbo Luo, Jian Luan, Qin Jin

机构 * AIM3 Lab, Renmin University of China（中国人民大学人工智能实验室） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；long video(title,abstract)；分类 cs.CV

AI总结 TimeViper是一种混合Mamba-Transformer模型，通过TransV模块实现高效长视频理解，提升多模态处理能力。

Comments Project page: https://xuboshen.github.io/TimeViper; Code: https://github.com/xiaomi-research/timeviper

ReasonAct: Progressive Training for Fine-Grained Video Reasoning in Small Models

ReasonAct: 为小模型在细粒度视频推理中的渐进训练

Jiaxin Liu, Zhaolu Kang

专题命中 视频理解 ：video reasoning(title,abstract)；video understanding(abstract)；分类 cs.CV

AI总结 ReasonAct通过三阶段训练提升小模型细粒度视频推理性能，实现比基线更高的准确率和计算效率。

Benchmarking the Trustworthiness in Multimodal LLMs for Video Understanding

对多模态大语言模型在视频理解中的可信度进行基准测试

Youze Wang, Zijun Chen, Ruoyu Chen, Shishen Gu, Wenbo Hu, Jiayang Liu, Yinpeng Dong, Hang Su, Jun Zhu, Meng Wang, Richang Hong

机构 * Hefei University of Technology（合肥工业大学） ； Tsinghua University（清华大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本研究提出Trust-videoLLMs基准，评估23种视频LLMs在真实性、鲁棒性、安全性和隐私等方面的表现，揭示其在动态场景理解及现实风险缓解中的局限性。