视频大模型

ConsID-Gen: View-Consistent and Identity-Preserving Image-to-Video Generation

ConsID-Gen：视图一致且身份保持的图像到视频生成

Mingyang Wu, Ashirbad Mishra, Soumik Dey, Shuo Xing, Naveen Ravipati, Hansi Wu, Binbin Li, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯大学） ； eBay Inc.（eBay公司） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 ConsID-Gen通过视图辅助生成框架提升图像到视频生成的视图一致性和身份保持性。

Comments Project page: https://myangwu.github.io/ConsID-Gen

ALIVE: Animate Your World with Lifelike Audio-Video Generation

ALIVE: 用逼真音频视频生成动画你的世界

Ying Guo, Qijun Gan, Yifu Zhang, Jinlai Liu, Yifei Hu, Pan Xie, Dongjun Qian, Yu Zhang, Ruiqi Li, Yuqi Zhang, Ruibiao Lu, Xiaofeng Mei, Bo Han, Xiang Yin, Bingyue Peng, Zehuan Yuan

机构 * Bytedance ALIVE Team（字节跳动ALIVE团队） 纠错

专题命中 视频生成 ：video generation(title,abstract)；text-to-video(abstract)；分类 cs.CV

AI总结 ALIVE通过结合预训练文本到视频模型与新的音频视频生成技术，实现了逼真的音频视频生成和动画，展示了优于开源和商业解决方案的性能。

Comments Technical report for ALIVE. Bytedance ALIVE Team. Homepage: https://foundationvision.github.io/Alive/

ConsisDrive: Identity-Preserving Driving World Models for Video Generation by Instance Mask

ConsisDrive: 用于视频生成的实例掩码驾驶世界模型

Zhuoran Yang, Yanyong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)；分类 cs.CV

AI总结 ConsisDrive通过实例掩码注意力和损失机制提升驾驶视频生成质量及自动驾驶性能。

DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos

DexImit：从单目人类视频中学习双臂灵巧操作

Juncheng Mu, Sizhe Yang, Yiming Bao, Hojin Bae, Tianming Wei, Linning Xu, Boyi Li, Huazhe Xu, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； NVIDIA（英伟达） 纠错

专题命中 视频生成 ：video generation(abstract)

AI总结 DexImit通过四阶段生成流程，将单目人类视频转化为物理合理的机器人数据，以解决双臂灵巧操作的泛化问题。