视频大模型

APT: Atomic Physical Transitions for Causal Video-Language Understanding

APT: 用于因果视频语言理解的原子物理转变

Shang Wu, Haoran Lu, Songling Liu, Chenwei Xu, Lie Lu, Pranav Maneriker, Fan Du, Zhaoran Wang, Han Liu

机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视频理解 ：video-language(title)；video understanding(abstract)；分类 cs.CV

AI总结 提出原子物理转变（APT）作为视频中因果状态变化的显式表示，并构建混合来源数据集，通过APT-Tune微调方法使VLM学习物理转变而不遗忘事件级知识。

Comments v2:Expanded the experiment section with more baselines. Expand supplementary materials and LLM usage--corrected some typographical errors, and corrected author-affiliation information that was inaccurate in the previous version

SynMulti: Synthetic-to-Real Learning for Multimodal Video Understanding

一站式：一个多模态视频理解统一合成数据管道

Tanzila Rahman, Renjie Liao, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（向量人工智能研究所） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本文提出统一合成数据管道，用于生成多模态视频数据，支持多种任务格式，提升模型推理能力，并在视频物体计数、视觉问答和分割任务中验证了其有效性。

Comments 14 Pages, 4 Tables, 4 Figures

RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion

RoboMirror: 在模仿之前理解以实现视频到仿人运动

Zhe Li, Boan Zhu, Yangyang Wei, Shuanghao Bai, Yuheng Ji, Yibo Peng, Tao Huang, Pengwei Wang, Zhongyuan Wang, S. -H. Gary Chan, Chang Xu, Cheng Chi, Jianfei Yang, Shanghang Zhang

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 RoboMirror通过视觉语言模型将视频提炼为视觉运动意图，直接生成物理合理的仿人运动，无需姿态重建，实现远程存在并提升任务成功率。

StableWorld: Towards Stable and Consistent Long Interactive Video Generation

StableWorld: 向稳定和一致的长交互视频生成迈进

Ying Yang, Zhengyao Lv, Yujia Zeng, Tianlin Pan, Haofan Wang, Yueming Lyu, Binxin Yang, Hubery Yin, Chen Li, Jing Lyu, Ziwei Liu, Chenyang Si

机构 * PRLab, NJU（南京大学PRLab） ； HKU（香港大学） ； UCAS（中国科学技术大学） ； WeChat, Tencent Inc.（腾讯公司） ； NTU（国立清华大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 StableWorld通过动态帧淘汰机制提升长交互视频生成的稳定性和时间一致性，适用于多种生成框架。

A Study of the Design Space of Motion and Disocclusion Control in Video Generation

超越可见范围：通过代理动态图实现的遮挡感知编辑

Anran Qi, Changjian Li, Adrien Bousseau, Niloy J. Mitra

机构 * Inria - Université Côte d’Azur（法国国家信息与自动化技术研究院-埃克塞特大学） ； University of Edinburgh（爱丁堡大学） ； Adobe Research（Adobe研究部） ； UCL（伦敦大学学院） 纠错

专题命中 视频生成 ：video generation(title)；分类 cs.CV

AI总结 通过代理动态图实现遮挡感知编辑，结合运动规范与外观合成，实现可控的图像到视频生成。

VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

VideoRAE：通过表示自动编码器驯服用于生成建模的视频基础模型

Zhihao Xie, Junfeng Wu, Xinting Hu, Junchao Huang, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Huazhong University of Science and Technology（华中科技大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频生成 ：video generation(abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 研究视频生成模型潜在空间问题，提出VideoRAE，利用冻结视频基础编码器特征经1D自注意力投影仪压缩，支持多种潜在空间，通过多码本高维量化等实现强大重建，收敛快，验证了冻结VFM表示的有效性。

Comments Home page: https://zhxie0117.github.io/VideoRAE

Beyond Reconstruction: What EEG-to-Video Decoding Actually Recovers

超越重建：脑电信号到视频解码究竟能恢复什么

Prajwal Singh, Anupam Sharma, Pankaj Pandey, Krishna Miyapuram, Shanmuganathan Raman

专题命中 视频生成 ：video generation(abstract)

AI总结 本研究提出EEGVid框架用于脑电到动态视频的解码，发现脑电含视觉与情绪结构，当前重建仅反映粗粒度刺激级信息，三元组学习可优化脑电特征，生成器会主动利用脑电作为内容信号。

ACE-Ego-Hand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery

DreamHand：复用视频扩散模型实现遮挡鲁棒的第一人称视角3D手部运动恢复

Yufei Liu, Xixi Wang, Hao Li, Ganlong Zhao, Kaitong Cai, Chengkai Jin, Chunxiao Liu, Jianbo Liu, Siyuan Huang, Xingang Pan, Hongsheng Li

机构 * ACE Robotics（ACE机器人公司） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 DreamHand是复用视频扩散模型的离线片段级框架，通过确定性干净潜在编码器与双向时空解码器恢复带度量位置的连续双手轨迹，在五个第一人称视角基准测试中实现最佳性能，为机器人操作数据提供可扩展路径。

Comments Project Page: https://ggxxii.github.io/ace-ego-hand

Phys4D: Fine-Grained Physics-Consistent 4D Modeling from Video Diffusion

Phys4D: 从视频扩散模型实现细粒度物理一致的4D建模

Haoran Lu, Shang Wu, Songling Liu, Jianshu Zhang, Maojiang Su, Guo Ye, Chenwei Xu, Lie Lu, Pranav Maneriker, Fan Du, Zhaoran Wang, Han Liu

机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视频扩散模型 ：video diffusion(title,abstract)；分类 cs.CV

AI总结 提出Phys4D流水线，通过三阶段训练（伪监督预训练、物理监督微调、强化学习校正）从视频扩散模型学习物理一致的4D世界表示，显著提升细粒度时空与物理一致性。

Comments v2:Expanded the experiment section with more baselines and add more experiments in supplementary--corrected some typographical errors, and corrected author-affiliation information that was inaccurate in the previous version

DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation

从未来隐状态推断机器人操纵动作

Fenghao Lei, Zhixiong Huang, Long Yang, Jiabao Chen, Peilin Huang, Han Fu, Zhuo Li, Xiaoxue Ren

机构 * DeepLeap Research（DeepLeap研究院） 纠错

专题命中 动作与事件理解 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出无需视频生成的机器人操纵模型DELE-w0.5，通过从捕获动作相关物理结果的未来隐状态推断动作，在4项长程操纵任务的480次试验中，其性能优于最强基线47.5和30.7个百分点，实现最优表现。

Comments DeepLeap Technology Co., Ltd., Shenzhen, China

TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos

TraceAV-Bench: 多跳轨迹推理长音频视频基准测试

Hengyi Feng, Hao Liang, Mingrui Chen, Bohan Zeng, Meiyi Qiang, Zhengyang Zhao, Zimo Meng, Zeang Sheng, Wentao Zhang

机构 * University of Electronic Science and Technology of China（电子科学与技术大学） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV

AI总结 TraceAV-Bench首次评估多跳轨迹推理和多模态幻觉鲁棒性，包含2200道多选题，覆盖4个维度15个子任务，揭示多模态推理与幻觉鲁棒性脱节问题。