视频大模型

Sora as a World Model? A Complete Survey on Text-to-Video Generation

Sora作为世界模型？文本到视频生成的全面调查

Fachrina Dewi Puspitasari, Chaoning Zhang, Joseph Cho, Adnan Haider, Noor Ul Eman, Omer Amin, Alexis Mankowski, Muhammad Umair, Jingyao Zheng, Sheng Zheng, Lik-Hang Lee, Caiyan Qin, Tae-Ho Kim, Choong Seon Hong, Yang Yang, Heng Tao Shen

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Kyung Hee University（韩国庆熙大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Harbin Institute of Technology Shenzhen（哈尔滨工业大学深圳学院） ； Nota Inc.（Nota公司） ； Tongji University（同济大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(title,abstract)；分类 cs.CV

AI总结 本文全面调查了文本到视频生成技术在世界建模中的应用，指出其在空间、行动和战略智能方面的进展，但仍需解决多样性与一致性之间的权衡问题。

Comments First complete survey on Text-to-Video Generation from World Model perspective, 35 pages

Rethinking Video Generation Model for the Embodied World

重新思考具身世界的视频生成模型

Yufan Deng, Zilin Pan, Hongyu Zhang, Xiaojie Li, Ruoqing Hu, Yufei Ding, Yiming Zou, Yan Zeng, Daquan Zhou

机构 * Peking University（北京大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 本文提出Rbench机器人视频生成基准和RoVid-X数据集，旨在解决高保真机器人视频生成中的数据短缺问题，推动具身AI发展。

Comments Github: https://github.com/DAGroup-PKU/ReVidgen/ Project website: https://dagroup-pku.github.io/ReVidgen.github.io/

StableWorld: Towards Stable and Consistent Long Interactive Video Generation

StableWorld: 向稳定和一致的长交互视频生成迈进

Ying Yang, Zhengyao Lv, Tianlin Pan, Haofan Wang, Binxin Yang, Hubery Yin, Chen Li, Ziwei Liu, Chenyang Si

机构 * PRLab, NJU（南京大学PRLab） ； HKU（香港大学） ； UCAS（中国科学技术大学） ； WeChat, Tencent Inc.（腾讯公司） ； NTU（国立清华大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 StableWorld通过动态帧淘汰机制提升长交互视频生成的稳定性和时间一致性，适用于多种生成框架。

Comments 17 pages, 21 figures,

Human detectors are surprisingly powerful reward models

人类检测器出人意料地强大

Kumar Ashutosh, XuDong Wang, Xi Yin, Kristen Grauman, Adam Polyak, Ishan Misra, Rohit Girdhar

机构 * Meta ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出 HuDA 模型，通过简单奖励函数提升视频生成中的人体运动质量，胜率高达 73%。

Comments Technical report