视频大模型

TYrPPG: Uncomplicated and Enhanced Learning Capability rPPG for Remote Heart Rate Estimation

Taixi Chen, Yiu-ming Cheung

机构 * School of Computing, Binghamton University（计算学院，宾夕法尼亚州立大学） ； Department of Computer Science, Hong Kong Baptist University（计算机科学系，香港 Baptist 大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments The 6th International Workshop on AI for Social Good in the Connected World (AI4SG)@ IEEE WI-IAT 2025

FantasyWorld: Geometry-Consistent World Modeling via Unified Video and 3D Prediction

Yixiang Dai, Fan Jiang, Chiyu Wang, Mu Xu, Yonggang Qi

机构 * AMAP, Alibaba Group（阿里集团AMAP） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 视频理解 ：video generation(abstract)；分类 cs.CV

Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders

Ali Rasekh, Erfan Bagheri Soula, Omid Daliran, Simon Gottschalk, Mohsen Fayyaz

机构 * Leibniz University Hannover（莱比锡大学汉诺威分校） ； L3S Research Center（L3S研究中心） ； Microsoft（微软公司） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT

Baoqi Pei, Yifei Huang, Jilan Xu, Yuping He, Guo Chen, Fei Wu, Yu Qiao, Jiangmiao Pang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； The University of Tokyo（东京大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 视频理解 ：video reasoning(abstract)；分类 cs.CV

Comments Accepted at NeurIPS 2025

Video-Thinker: Sparking "Thinking with Videos" via Reinforcement Learning

Shijian Wang, Jiarui Jin, Xingjian Wang, Linxin Song, Runhao Fu, Hecheng Wang, Zongyuan Ge, Yuan Lu, Xuelian Cheng

机构 * Southeast University（东南大学） ； Monash University（墨尔本大学） ； Xiaohongshu Inc.（小红书公司） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） 纠错

专题命中 视频理解 ：video reasoning(abstract)；分类 cs.CV

VideoTG-R1: Boosting Video Temporal Grounding via Curriculum Reinforcement Learning on Reflected Boundary Annotations

Lu Dong, Haiyu Zhang, Han Lin, Ziang Yan, Xiangyu Zeng, Hongjie Zhang, Yifei Huang, Yi Wang, Zhen-Hua Ling, Limin Wang, Yali Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Video, How Do Your Tokens Merge?

Sam Pollard, Michael Wray

机构 * University of Bristol（布里斯托大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments Accepted at eLVM workshop at CVPR 2025

X-Ego: Acquiring Team-Level Tactical Situational Awareness via Cross-Egocentric Contrastive Video Representation Learning

Yunzhe Wang, Soham Hans, Volkan Ustun

机构 * University of Southern California（南加州大学） ； USC Institute for Creative Technologies（USC创意技术研究所） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments 8 pages, 5 figures

StretchySnake: Flexible SSM Training Unlocks Action Recognition Across Spatio-Temporal Scales

Nyle Siddiqui, Rohit Gupta, Sirnam Swetha, Mubarak Shah

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Fact-R1: Towards Explainable Video Misinformation Detection with Deep Reasoning

Fanrui Zhang, Dian Li, Qiang Zhang, Jun Chen, Gang Liu, Junxiong Lin, Jiahong Yan, Jiawei Liu, Zheng-Jun Zha

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, USTC（脑启发智能感知与认知国家重点实验室，中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tencent QQ（腾讯QQ） ； Fudan University（复旦大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments 34 pages, 25 figures

Task-Specific Dual-Model Framework for Comprehensive Traffic Safety Video Description and Analysis

Blessing Agyei Kyem, Neema Jakisa Owor, Andrews Danyo, Joshua Kofi Asamoah, Eugene Denteh, Tanner Muturi, Anthony Dontoh, Yaw Adu-Gyamfi, Armstrong Aboah

机构 * North Dakota State University（北达科塔州立大学） ； University of Missouri–Columbia（密苏里大学哥伦比亚分校） ； University of Memphis（孟菲斯大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments This paper was accepted at ICCV 2025

Mixup Helps Understanding Multimodal Video Better

Xiaoyu Ma, Ding Ding, Hao Chen

机构 * School of Computer Science and Engineering, Southeast University, Nanjing, China（计算机科学与工程学院，东南大学，南京，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其跨学科应用关键实验室（东南大学），教育部，中国） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Open Vocabulary Multi-Label Video Classification

Rohit Gupta, Mamshad Nayeem Rizve, Jayakrishnan Unnikrishnan, Ashish Tawari, Son Tran, Mubarak Shah, Benjamin Yao, Trishul Chilimbi

机构 * Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学） ； Amazon（亚马逊） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments Accepted at ECCV 2024

AVoCaDO: An Audiovisual Video Captioner Driven by Temporal Orchestration

Xinlong Chen, Yue Ding, Weihong Lin, Jingyun Hua, Linli Yao, Yang Shi, Bozhou Li, Yuanxing Zhang, Qiang Liu, Pengfei Wan, Liang Wang, Tieniu Tan

机构 * Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所模式识别新实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Peking University（北京大学） ； Nanjing University（南京大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments Project webpage: https://avocado-captioner.github.io/

Q-Adapter: Visual Query Adapter for Extracting Textually-related Features in Video Captioning

Junan Chen, Trung Thanh Nguyen, Takahiro Komamizu, Ichiro Ide

机构 * Nagoya University（名古屋大学） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

Comments ACM Multimedia Asia 2025

Diagnosing Shoulder Disorders Using Multimodal Large Language Models and Consumer-Grade Cameras

Jindong Hong, Wencheng Zhang, Shiqin Qiao, Jianhai Chen, Jianing Qiu, Chuanyang Zheng, Qian Xu, Yun Ji, Qianyue Wen, Weiwei Sun, Hao Li, Huizhen Li, Huichao Wang, Kai Wu, Meng Li, Yijun He, Lingjie Luo, Jiankai Sun

机构 * Bytedance（字节跳动） ； Peking University（北京大学） ； Peking University People’s Hospital（北京大学人民医院） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding

Yolo Yunlong Tang, Daiki Shimada, Jing Bi, Mingqian Feng, Hang Hua, Chenliang Xu

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

Comments Accepted to AAAI 2025

GPS-MTM: Capturing Pattern of Normalcy in GPS-Trajectories with self-supervised learning

Umang Garg, Bowen Zhang, Anantajit Subrahmanya, Chandrakanth Gudavalli, BS Manjunath

机构 * ECE Department（电子工程系） ； University of California（加州大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments 4 pages, 2 figures

Leveraging Foundation Models for Multimodal Graph-Based Action Recognition

Fatemeh Ziaeetabar, Florentin Wörgötter

机构 * School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran（数学、统计与计算机科学学院，科学学院，塔里斯坦大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Your Vision-Language Model Can't Even Count to 20: Exposing the Failures of VLMs in Compositional Counting

Xuyang Guo, Zekai Huang, Zhenmei Shi, Zhao Song, Jiahao Zhang

机构 * Guilin University of Electronic Technology（桂林电子科技大学） ； The Ohio State University（俄亥俄州立大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Harnessing Synthetic Preference Data for Enhancing Temporal Understanding of Video-LLMs

Sameep Vani, Shreyas Jena, Maitreya Patel, Chitta Baral, Somak Aditya, Yezhou Yang

机构 * Arizona State University（亚利桑那州立大学） ； Indian Institute of Technology, Kharagpur（印度理工学院，克拉格浦） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments 17 pages, 9 figures, 6 tables. Presents TimeWarp, a synthetic preference data framework to improve temporal understanding in Video-LLMs, showing consistent gains across seven benchmarks. Includes supplementary material in the Appendix

EmbodiSwap for Zero-Shot Robot Imitation Learning

Eadom Dessalene, Pavan Mantripragada, Michael Maynord, Yiannis Aloimonos

机构 * department of Computer Science, University of Maryland, College Park, MD, 20742（计算机科学系，马里兰大学， College Park, MD） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments Video link: https://drive.google.com/file/d/1UccngwgPqUwPMhBja7JrXfZoTquCx_Qe/view?usp=sharing

UGC-VideoCaptioner: An Omni UGC Video Detail Caption Model and New Benchmarks

Peiran Wu, Yunze Liu, Zhengdong Zhu, Enmin Zhou, Junxiao Shen

机构 * University of Bristol（布里斯托大学） ； Memories.ai Research（Memories.ai研究） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

UniVid: The Open-Source Unified Video Model

Jiabin Luo, Junhui Lin, Zeyu Zhang, Biao Wu, Meng Fang, Ling Chen, Hao Tang

机构 * Peking University（北京大学） ； AI Geeks ； Australian Artificial Intelligence Institute（澳大利亚人工智能研究所） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

MoCLIP-Lite: Efficient Video Recognition by Fusing CLIP with Motion Vectors

Binhua Huang, Ni Wang, Arjun Pakrashi, Soumyabrata Dev

机构 * The ADAPT SFI Research Centre（ADAPT SFI研究机构） ； School of Computer Science, University College Dublin（大学学院计算机科学系） ； Amazon Development Center Germany GmbH（亚马逊德国开发中心） ； Beijing-Dublin International College（北京-都柏林国际学院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments 6 pages, 3 figures

VideoPASTA: 7K Preference Pairs That Matter for Video-LLM Alignment

Yogesh Kulkarni, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV

Comments EMNLP 2025 (Main)

ConViS-Bench: Estimating Video Similarity Through Semantic Concepts

Benedetta Liberatori, Alessandro Conti, Lorenzo Vaquero, Yiming Wang, Elisa Ricci, Paolo Rota

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

Captioning for Text-Video Retrieval via Dual-Group Direct Preference Optimization

Ji Soo Lee, Byungoh Ko, Jaewon Cho, Howoong Lee, Jaewoon Byun, Hyunwoo J. Kim

机构 * Korea University（韩国大学） ； Hanwha Vision（翰威英航） ； KAIST（韩国科学技术院） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Comments EMNLP 2025 Findings

GLaVE-Cap: Global-Local Aligned Video Captioning with Vision Expert Integration

Wan Xu, Feng Zhu, Yihan Zeng, Yuanfan Guo, Ming Liu, Hang Xu, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨理工大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

Enhancing Traffic Incident Response through Sub-Second Temporal Localization with HybridMamba

Ibne Farabi Shihab, Sanjeda Akter, Anuj Sharma

机构 * Department of Computer Science, Iowa State University, Ames, IA, USA（计算机科学系，爱荷华州立大学） ； Department of Civil, Construction and Environmental Engineering, Iowa State University, Ames, IA, USA（土木、建设与环境工程系，爱荷华州立大学） 纠错

专题命中 视频理解 ：video-language(abstract)；分类 cs.CV