视频大模型

Video Joint-Embedding Predictive Architectures for Facial Expression Recognition

视频联合嵌入预测架构用于面部表情识别

Lennart Eing, Cristina Luna-Jiménez, Silvan Mertes, Elisabeth André

机构 * Chair for Human-Centered Artificial Intelligence（人中心人工智能教研室） ； University of Augsburg（奥斯特拉赫大学） ； Faculty of Computer Science（计算机科学学院） ； Technical University of Applied Sciences Augsburg（应用科学大学奥斯特拉赫） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出了一种基于嵌入的预训练方法，用于提升面部表情识别的性能，在RAVDESS和CREMA-D数据集上取得了显著成果。

Comments To appear in 2025 Proceedings of the 13th International Conference on Affective Computing and Intelligent Interaction (ACII), submitted to IEEE. \c{opyright} 2025 IEEE

Semantic visually-guided acoustic highlighting with large vision-language models

语义视觉引导的音频突出与大型视觉-语言模型

Junhua Huang, Chao Huang, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 视频理解 ：video understanding(abstract)

AI总结 本文提出利用大型视觉-语言模型提取视觉-语义特征，以提升音频混音质量，发现摄像机焦点、语气和场景背景对感知混音质量提升最显著。

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

通过稀疏扩散和3D渲染实现静态场景的高效摄像机控制视频生成

Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出SRENDER方法，通过稀疏扩散和3D渲染生成静态场景的高效视频，使视频生成速度提升40倍，保持高质量和稳定性。

Comments Project page: https://ayushtewari.com/projects/srender/

VideoAR: Autoregressive Video Generation via Next-Frame & Scale Prediction

VideoAR: 通过下一帧与尺度预测实现自回归视频生成

Longbin Ji, Xiaoxiong Liu, Junyuan Shang, Shuohuan Wang, Yu Sun, Hua Wu, Haifeng Wang

机构 * ERNIE Team, Baidu（百度ERNIE团队） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 VideoAR通过多尺度下一帧预测与自回归建模，实现高效、一致的视频生成，提升性能并减少计算成本。

Comments Project page: https://ernie-research.github.io/VideoAR/

PhyRPR: Training-Free Physics-Constrained Video Generation

PhyRPR: 无训练物理约束视频生成

Yibo Zhao, Hengjia Li, Xiaofei He, Boxi Wu

机构 * State Key Lab of CAD\&CG, Zhejiang University（CAD与CG国家重点实验室，浙江大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 PhyRPR提出一种无训练的三阶段视频生成方法，通过解耦物理理解和视觉合成，提升生成视频的物理合理性和运动可控性。

MHLA: Restoring Expressivity of Linear Attention via Token-Level Multi-Head

MHLA: 通过令牌级多头恢复线性注意力的表达性

Kewei Zhang, Ye Huang, Yufan Deng, Jincheng Yu, Junsong Chen, Huan Ling, Enze Xie, Daquan Zhou

机构 * Peking University（北京大学） ； NVIDIA（英伟达） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 MHLA通过令牌级多头机制恢复线性注意力的表达性，提升多个领域任务性能

Comments Code: https://github.com/DAGroup-PKU/MHLA/ Project website: https://dagroup-pku.github.io/MHLA/

Physically Plausible Multi-System Trajectory Generation and Symmetry Discovery

物理合理多系统轨迹生成与对称性发现

Jiayin Liu, Yulong Yang, Vineet Bansal, Christine Allen-Blanchette

机构 * Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频生成 ：video generation(abstract)

AI总结 本文提出SPS-GAN，通过辛相空间GAN架构实现多系统轨迹生成与对称性发现，无需先验配置空间知识，通过物理动机项优化实现配置空间的稀疏表示。

DyDiT++: Diffusion Transformers with Timestep and Spatial Dynamics for Efficient Visual Generation

DyDiT++: 带时间步和空间动态的扩散变换器用于高效的视觉生成

Wangbo Zhao, Yizeng Han, Jiasheng Tang, Kai Wang, Hao Luo, Yibing Song, Gao Huang, Fan Wang, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy, Alibaba Group（阿里云达摩院） ； Hupan Lab（虎扑实验室） ； Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 DyDiT++通过动态调整时间步和空间计算，提升视觉生成效率，减少计算成本并拓展应用范围。

Comments This paper was accepted to the IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) on January 9, 2026. arXiv admin note: substantial text overlap with arXiv:2410.03456

MAD: Motion Appearance Decoupling for efficient Driving World Models

MAD：用于高效驾驶世界模型的运动外观解耦

Ahmad Rahimi, Valentin Gerard, Eloi Zablocki, Matthieu Cord, Alexandre Alahi

机构 * Sorbonne Université（索邦大学） 纠错

专题命中 动作与事件理解 ：video diffusion(abstract)；分类 cs.CV

AI总结 MAD通过解耦运动学习与外观合成，高效地将通用视频扩散模型转化为可控的驾驶世界模型，实现低计算成本和高性能

Self-Supervised Animal Identification for Long Videos

长时间视频中的自监督动物识别

Xuyang Fang, Sion Hannuna, Edwin Simpson, Neill Campbell

机构 * University of Bristol（布里斯托大学） 纠错

专题命中 长视频与时序推理 ：long video(title)；分类 cs.CV

AI总结 本研究提出了一种高效的自监督方法，通过全局聚类任务实现长时间视频中动物个体的高精度识别，准确率超过97%，且内存消耗低，适用于资源受限环境。

Comments 11 pages, 1 figure

See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval

看清更多，存储更少：视频时刻检索的内存高效解决方案

Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学） ； Electronics and Telecommunications Research Institute (ETRI)（电子与电信研究院） 纠错

专题命中 长视频与时序推理 ：video understanding(abstract)；分类 cs.CV

AI总结 SMORE通过查询引导的描述和自适应压缩技术，在视频时刻检索中实现高信息分辨率与内存效率的平衡。

Beyond the Last Frame: Process-aware Evaluation for Generative Video Reasoning

超越最后一帧：面向生成视频推理的过程感知评估

Yifan Li, Yukai Gu, Yingqian Min, Zikang Liu, Yifan Du, Kun Zhou, Min Yang, Wayne Xin Zhao, Minghui Qiu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； School of Information, Renmin University of China（中国人民大学信息学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； ByteDance（字节跳动） 纠错

专题命中 视频数据与评测 ：video reasoning(title,abstract)；video generation(abstract)；分类 cs.CV

AI总结 本文提出VIPER基准和POC@r指标，用于评估生成视频推理中过程与结果的一致性，揭示现有模型在推理能力上的不足。

Comments Work in progress