ARDuP：面向通用策略的主动区域视频扩散
ARDuP: Active Region Video Diffusion for Universal Policies
AI总结：
本文提出ARDuP框架，通过结合主动区域条件与潜在扩散模型进行视频规划，并利用视频运动线索自动发现交互区域以直接解码动作，显著提升了基于视频的通用策略学习在模拟与真实环境中的成功率及视频规划的真实性。
摘要：
序列决策可以被表述为文本条件的视频生成问题，其中由文本定义的目标引导的视频规划器生成可视化规划动作的未来帧，随后从中推导出控制动作。在这项工作中，我们引入了面向通用策略的主动区域视频扩散（ARDuP），这是一种用于基于视频的策略学习的新颖框架，强调生成主动区域，即潜在交互区域，增强条件策略对任务执行至关重要的交互区域的关注。这一创新框架将主动区域条件与用于视频规划的潜在扩散模型相结合，并在逆动力学建模期间采用潜在表示进行直接动作解码。通过利用视频中的运动线索自动发现主动区域，我们的方法消除了对主动区域进行手动标注的需求。我们通过在模拟器 CLIPort 和真实世界数据集 BridgeData v2 上的大量实验验证了 ARDuP 的有效性，在成功率上取得了显著提升，并生成了令人信服的逼真视频规划。
英文摘要：
Sequential decision-making can be formulated as a text-conditioned video generation problem, where a video planner, guided by a text-defined goal, generates future frames visualizing planned actions, from which control actions are subsequently derived. In this work, we introduce Active Region Video Diffusion for Universal Policies (ARDuP), a novel framework for video-based policy learning that emphasizes the generation of active regions, i.e. potential interaction areas, enhancing the conditional policy's focus on interactive areas critical for task execution. This innovative framework integrates active region conditioning with latent diffusion models for video planning and employs latent representations for direct action decoding during inverse dynamic modeling. By utilizing motion cues in videos for automatic active region discovery, our method eliminates the need for manual annotations of active regions. We validate ARDuP's efficacy via extensive experiments on simulator CLIPort and the real-world dataset BridgeData v2, achieving notable improvements in success rates and generating convincingly realistic video plans.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
