视频大模型

ExAct: A Video-Language Benchmark for Expert Action Analysis

ExAct：一种视频-语言基准，用于专家动作分析

Han Yi, Yulu Pan, Feihong He, Xinyu Liu, Benjamin Zhang, Oluwatumininu Oguntola, Gedas Bertasius

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视频数据与评测 ：video-language(title,abstract)；分类 cs.CV

AI总结 ExAct是一个用于专家级物理活动理解的视频-语言基准，通过专家整理的视频问题-答案对评估VLMs的精准理解能力。

MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence

MMSI-Video-Bench: 一个面向视频基于空间智能的综合基准

Jingli Lin, Runsen Xu, Shaohao Zhu, Sihan Yang, Peizhou Cao, Yunlong Ran, Miao Hu, Chenming Zhu, Yiman Xie, Yilin Long, Wenbo Hu, Dahua Lin, Tai Wang, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Beihang University（北京航空航天大学） ； Xi’an Jiaotong University（西安交通大学） ； University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视频数据与评测 ：video reasoning(abstract)；分类 cs.CV

AI总结 MMSI-Video-Bench是一个综合评估视频基于空间智能的基准，通过多任务和多数据集评估25个MLLMs，揭示了人机推理差距和模型泛化不足的问题。

From Generated Human Videos to Physically Plausible Robot Trajectories

从生成的人类视频到物理上合理的机器人轨迹

James Ni, Zekai Wang, Wei Lin, Amir Bar, Yann LeCun, Trevor Darrell, Jitendra Malik, Roei Herzig

机构 * University of California, Berkeley（加州大学伯克利分校） ； New York University（纽约大学） ； Johannes Kepler University（约翰·凯撒大学） 纠错

专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出GenMimic方法，通过物理感知强化学习策略，从生成的视频中实现零样本的人形机器人动作模仿，并建立了评估零样本泛化能力的基准。

Comments For project website, see https://genmimic.github.io