在世界模型中训练对象持久性
Training Object Permanence in World Models
浏览论文内容
中文总结 AI 辅助
本文提出WROP数据集和PWM-WROP模型，通过认知科学启发的任务训练视频生成模型，以提升其对象持久性推理能力，并在300题考试中取得领先成绩。
中文摘要 AI 辅助
对象持久性和固态性是人类认知先验的标志。近期研究表明，视频生成模型作为当前世界模型的典型类别，已开始展现出涌现的推理能力，使其成为构建类人物理智能的理想候选者。视频模型中是否已经涌现出对象持久性？如果没有，我们能否使用受核心认知启发的数据集来训练它们？我们引入了WROP（具有对象持久性的世界推理），这是一个包含150个手工设计的认知科学启发任务的数据基础设施，分为六个认知类别。我们构建了Blender生成器，随机化速度、光照、相机角度和其他干扰参数，同时保留每个任务的认知结构，每个任务产生10,000多个样本。我们发布了一个150万样本的训练语料库和一个包含300个问题的考试。在此考试中，我们评估了14个视频模型：3个参考到视频、7个编辑和4个续写模型，其中包括我们的160亿参数世界模型PWM-WROP。在一项盲法成对Elo研究中，PWM-WROP在续写模型中排名第一，总体排名第三，仅次于两个参考到视频模型之间的统计平局。我们发布了数据、考试、模型答案、分数、权重以及PWM，这是我们在AWS Trainium2上的原生PyTorch训练栈。
英文摘要
Object permanence and solidity are hallmarks of human cognitive priors. Recent studies show that video generation models, a paradigmatic class of current world models, have begun to show emerged reasoning abilities, making them ideal candidates for building human-like physical intelligence. Do video models have emerged object permanence in them? If not, could we train them with a core-cognition inspired dataset? We introduce WROP (World Reasoning with Object Permanence), a data infrastructure of 150 hand-designed cognitive science inspired tasks, divided into six cognitive categories. We build Blender generators that randomize speed, lighting, camera angle, and other nuisance parameters while preserving each task's cognitive structure, yielding 10,000+ samples per task. We release a 1.5M-sample training corpus and a 300-question exam. On this exam we evaluate 14 video models: 3 reference-to-video, 7 edit, and 4 continuation, among which PWM-WROP, our 16B world model. In a blind pairwise Elo study, PWM-WROP ranks first among continuation models and third overall, behind only a statistical tie between two reference-to-video models. We release the data, exam, model answers, scores, weights, and PWM, our native-PyTorch training stack on AWS Trainium2.
发表机构
- University of Southern California（南加州大学）
- Carnegie Mellon University（卡内基梅隆大学）
- University of Michigan（密歇根大学）
- Johns Hopkins University（约翰霍普金斯大学）
- University of California, San Diego（加利福尼亚大学圣迭戈分校）
- University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
- Columbia University（哥伦比亚大学）
- University of Toronto（多伦多大学）
- University of Bristol（布里斯托大学）
- University of California, Berkeley（加利福尼亚大学伯克利分校）
- University of Waterloo（滑铁卢大学）
- Friedrich-Alexander-Universität Erlangen（埃尔朗根-纽伦堡大学）
- University of Oxford（牛津大学）
- New York University（纽约大学）
- Stanford University（斯坦福大学）
- Harvard University（哈佛大学）
机构由 AI 辅助整理，请以论文原文为准。
