基于大语言模型的程序化视频预测
Programmatic Video Prediction Using Large Language Models
AI总结：
针对视频未来帧预测需求，提出ProgGen方法，利用大（视觉）语言模型的归纳偏置，通过神经符号可解释状态表示视频动力学并合成程序实现预测，在两个基准环境中性能优于现有方法，还支持反事实推理与可解释生成。
摘要：
估计描述真实世界过程动力学的世界模型这一任务，对于预测和应对未来结果具有极其重要的意义。对于视频监控、机器人应用、自动驾驶等场景，该目标需要在给定少量视频帧以设定视觉上下文的前提下，合成合理的未来视觉画面。为此，我们提出ProgGen（程序化生成模型），该方法开展视频帧预测任务时，利用大（视觉）语言模型（LLM/VLM）的归纳偏置，通过一组神经符号化、人类可解释的状态（每帧对应一个状态）来表示视频的动力学。具体而言，ProgGen利用LLM/VLM合成程序以实现三个功能：（i）在给定视觉上下文（即视频帧）的情况下估计视频的状态；（ii）通过估计转移动力学，预测未来时间步对应的状态；（iii）将预测得到的状态渲染为视觉RGB帧。实验评估表明，我们提出的方法在两个具有挑战性的环境——（i）PhyWorld（物理世界基准）（ii）Cart Pole（ cart pole 控制环境）——的视频帧预测任务中，性能优于现有竞争技术。此外，ProgGen支持反事实推理和可解释视频生成，证明了其在视频生成任务中的有效性和泛化能力。
英文摘要：
The task of estimating the world model describing the dynamics of a real world process assumes immense importance for anticipating and preparing for future outcomes. For applications such as video surveillance, robotics applications, autonomous driving, etc. this objective entails synthesizing plausible visual futures, given a few frames of a video to set the visual context. Towards this end, we propose ProgGen, which undertakes the task of video frame prediction by representing the dynamics of the video using a set of neuro-symbolic, human-interpretable set of states (one per frame) by leveraging the inductive biases of Large (Vision) Language Models (LLM/VLM). In particular, ProgGen utilizes LLM/VLM to synthesize programs: (i) to estimate the states of the video, given the visual context (i.e. the frames); (ii) to predict the states corresponding to future time steps by estimating the transition dynamics; (iii) to render the predicted states as visual RGB-frames. Empirical evaluations reveal that our proposed method outperforms competing techniques at the task of video frame prediction in two challenging environments: (i) PhyWorld (ii) Cart Pole. Additionally, ProgGen permits counter-factual reasoning and interpretable video generation attesting to its effectiveness and generalizability for video generation tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
