Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
在部分可观察领域进行预测和规划的一种常见方法是使用递归神经网络（RNN），它理想地开发和维护关于隐藏的任务相关因素的潜在记忆。我们假设，物理世界中的许多隐藏因素都是恒定的，只会发生稀疏的变化。为了研究这一假设，我们提出了门控$L_0$正则化动态（GateL0RD），一种新的经常性的架构，结合了感性的偏见，以保持稳定，稀疏变化的潜在状态。通过一种新的内部门控函数和对潜在状态变化的$L_0$范数的惩罚来实现偏置。我们证明了GateL0RD可以在各种部分可观察的预测和控制任务中与最先进的RNN竞争或优于RNN。GateL0RD倾向于对环境的潜在生成因素进行编码，忽略虚假的时间依赖性，并且更好地泛化，从而提高了基于模型的规划和强化学习任务中的采样效率和整体性能。此外，我们表明，发展中的潜在状态可以很容易地解释，这是RNN更好地解释的一步。
2022-01-13 cs.AI cs.LG
MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
动态环境下的多智能体导航在大规模机器人部署到实际应用中具有重要的工业价值。提出了一种基于进化强化学习（MAPPER）的分散式部分可观测多智能体路径规划方法，用于在混合动态环境中学习有效的局部规划策略.基于强化学习的方法通常会在具有目标条件的稀疏奖励的长时间任务上性能下降，因此我们在全局规划器的指导下将长距离导航任务分解为许多更容易的子任务，这提高了智能体在大环境中的性能。此外，大多数现有的多智能体规划方法假设周围环境的完美信息或附近的动态代理的同质性，这在实践中可能不成立。我们的方法模型动态障碍物的行为与基于图像的表示和训练的政策在混合动态环境中没有同质性假设。为了确保多智能体训练的稳定性和性能，我们提出了一种进化的训练方法，可以很容易地扩展到大型和复杂的环境。实验表明，与传统的基于反应的规划器LRA* 和最先进的基于学习的方法相比，MAPPER在面对大量非合作动态障碍物时能够获得更高的成功率和更稳定的性能。
2020-07-30 cs.AI cs.LG cs.MA
In-Context Planning with Latent Temporal Abstractions
Vanderbilt University（范德比大学）；William & Mary（威廉与玛丽学院）
I-TAP通过学习离散时间抽象空间，实现高效且鲁棒的上下文规划，在部分可观测和随机动态环境中表现优异。
2026-02-21 cs.AI cs.LG
UniZero: Generalized and Efficient Planning with Scalable Latent World Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
UniZero 提出基于模块化 transformer 的可扩展潜在世界模型，通过联合优化长时程世界模型与策略，在 Atari、DMControl 及多任务和长期记忆基准上实现高效规划并超越现有方法。
2025-01-03 cs.LG
Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models
New York University（纽约大学）；Genentech（基因泰克）；Brown University（布朗大学）；University of Toronto（多伦多大学）；Meta – FAIR
该研究针对无奖励离线数据场景，系统对比了强化学习与基于潜在动力学模型的规划方法在导航任务中的表现，发现基于模型的规划泛化性和数据效率更优，是处理次优离线数据的有效途径。
2025-10-29 cs.LG
Latent Skill Planning for Exploration and Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Nvidia（英伟达）
为了快速解决复杂环境中的新任务，智能代理需要建立可重用的知识。例如，学习世界模型捕获关于应用于新任务的环境的知识。类似地，技能捕捉可以应用于新任务的一般行为。在本文中，我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说，我们利用部分摊销的思想在测试时快速适应。为此，行动是由一个随着时间的推移而学习的政策产生的，而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处，并证明了提高样本效率在单一的任务，以及在从一个任务转移到另一个，相比有竞争力的基线。视频请访问：https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
Distilling a Hierarchical Policy for Planning and Control via Representation and Reinforcement Learning
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；KAIST（韩国科学技术院）；TU Berlin（柏林工业大学）；NAVER CLOVA, NAVER Corp.（NAVER CLOVA，NAVER公司）
我们提出了一个层次规划和控制框架，使代理执行各种任务，并适应一个新的任务灵活。建议的框架，DISH，而不是学习一个单独的政策，为每一个特定的任务，从一组任务的表示和强化学习提炼出一个层次的政策。该框架基于潜变量模型的思想，该模型使用低维潜变量表示高维观测。由此产生的政策包括两个层次：（i）一个计划模块，原因的潜在意图，将导致一个乐观的未来序列和（ii）的反馈控制政策，共享的任务，执行推断的意图。由于规划是在低维潜在空间中执行的，因此学习到的策略可以立即用于解决或适应新任务，而无需额外的训练。我们证明了所提出的框架可以学习紧凑的表示（具有197维和36维状态特征和动作的人形机器人的3维和1维潜在状态和命令），同时解决少量的模仿任务，并且由此产生的策略直接适用于其他类型的任务，即，在杂乱的环境中导航。视频：https://youtu.be/HQsQysUWOhg
2021-04-06 cs.LG cs.RO
Near-Optimal Learning and Planning in Separated Latent MDPs
MIT（麻省理工学院）；Archimedes AI（阿基米德人工智能）
针对潜在 MDP 学习的不可能性，论文提出多种分离条件，刻画高效学习所需视界长度的近精确统计阈值，并给出拟多项式算法及基于指数时间假设的近匹配下界。
2024-06-12 cs.AI cs.CC cs.LG
Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models
研究针对基于模型的强化学习中世界模型评估问题，引入算子对F诊断，通过模型自身预测器比较模型与环境的k步潜在前推，揭示其与规划回报的强关联及在跨架构比较中的作用，补充而非替代值等价性诊断。
2026-07-16 cs.AI cs.LG
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT LIDS（麻省理工学院信息与决策系统实验室）
在多智能体环境中学习竞争行为，比如赛车，需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争（DLC），一种新的强化学习算法，学习竞争的视觉控制策略，通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型，结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成，而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性，一个新的多智能体赛车基准，需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
Scaling Value Iteration Networks to 5000 Layers for Extreme Long-Term Planning
Center of Excellence for Generative AI, King Abdullah University of Science and Technology（生成人工智能卓越中心，国王 Abdullah 科学与技术大学）；The Swiss AI Lab IDSIA/USI/SUPSI, Switzerland（瑞士人工智能实验室 IDSIA/USI/SUPSI，瑞士）；The University of Southampton（南安普顿大学）；National University of Singapore（新加坡国立大学）
针对价值迭代网络难以处理长期大规模规划的问题，提出动态转移VIN（DT-VIN），通过动态转移核增强潜在MDP表示能力，并引入自适应高速公路损失缓解梯度消失，成功扩展到5000层并在迷宫导航、连续控制及月球车导航等任务中取得突破。
2025-07-06 cs.AI cs.LG
Evolutionary latent space search for driving human portrait generation
Universidad de la República（共和国大学）；ITIS Software, Universidad de Málaga（马拉加大学ITIS软件研究所）
提出了一种基于生成对抗网络潜在空间探索的合成人像进化生成方法。这个想法是产生不同的人脸图像非常类似于一个给定的目标肖像。该方法应用StyleGAN2进行肖像生成，FaceNet进行人脸相似性评估。进化搜索基于探索StyleGAN2的实数编码潜在空间。在合成图像和真实图像上的主要结果表明，所提出的方法产生准确和多样的解决方案，代表现实的人的肖像。该研究有助于提高人脸识别系统的安全性。
2022-05-19 cs.AI cs.CV cs.LG
Temporal Straightening for Latent Planning
New York University（纽约大学）；Brown University（布朗大学）；University of Toronto（多伦多大学）
受人类视觉处理中感知拉直假说启发，提出时间拉直方法，通过曲率正则化联合学习JEPA世界模型的编码器和预测器，改善隐式规划中的表示学习，使梯度规划更稳定并提高目标到达任务成功率。
2026-08-12 cs.LG
Leveraging Latent Evolutionary Optimization for Targeted Molecule Generation
Applied Research, Quantiphi（Quantiphi应用研究院）
提出LEOMol框架，结合进化算法与变分自编码器搜索潜在空间，高效生成满足特定性质的优化分子，在四个子任务中超越现有模型，并强调毒性评估的重要性。
2024-07-02 cs.LG cs.NE q-bio.BM
Latent Planning via Embedding Arithmetic: A Contrastive Approach to Strategic Reasoning
Department of Computer Science（计算机科学系）；Baylor University（贝勒大学）
针对高维决策空间规划问题，提出基于监督对比学习的SOLIS方法，在评估对齐嵌入空间中通过向量运算简化规划，在国际象棋中以浅层搜索达到竞争力，为传统方法提供轻量级替代。
2025-11-12 cs.LG
Latent Energy Action Planning with World Models
Purdue University（普渡大学）
该研究针对潜在世界模型规划中动作序列与目标描述符不匹配的问题，提出LEAP方法，通过耦合终端潜在目标匹配与状态能量，结合拟牛顿求解器等，在四个控制领域将规划成功率提升17.3个百分点。
2026-09-04 cs.LG
Latent Geometry Beyond Search: Amortizing Planning in World Models
Department of Robotics, University of Michigan, Ann Arbor（密歇根大学机器人系，安阿伯）
提出在正则化潜在几何下，将规划摊销为潜在逆动力学映射，以轻量级GC-IDM替代在线搜索，在七个环境协议中匹配或超越CEM，决策成本降低100-130倍。
2026-06-05 cs.LG cs.RO
Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap
KTH Royal Institute of Technology（KTH皇家理工学院）；Roma Tre University（罗马第三大学）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）
我们提出了一个框架，视觉行动规划的复杂操作任务与高维状态空间，专注于可变形物体的操作。我们提出了一个潜在的空间路线图（LSR）的任务规划，这是一个基于图的结构，全球捕捉系统的动态在一个低维的潜在空间。我们的框架由三部分组成：（1）映射模块（MM），其将以图像形式给出的观测映射到提取相应状态的结构化潜在空间中，以及从潜在状态生成观测，（2）LSR，其构建并连接包含相似状态的聚类，以便找到由MM提取的开始状态和目标状态之间的潜在计划，以及（3）行动建议模块，其用相应的行动补充LSR发现的潜在计划。我们提出了一个深入的调查，我们的框架上模拟箱堆叠和绳/箱操作任务，折叠任务上执行一个真正的机器人。
2022-06-30 cs.LG cs.RO
The Depth Ceiling: On the Limits of Large Language Models in Discovering Latent Planning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
研究探讨了大语言模型在无监督情况下发现多步规划策略的极限，发现模型在单次前向传递中能执行最多七步潜在规划，揭示了训练与测试时能力的差异。
2026-04-07 cs.AI cs.CL cs.LG
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Salerno（萨莱诺大学）；University of Cassino and Southern Lazio（卡西诺大学和南拉齐奥大学）
我们提出了一个框架，复杂的操作任务的视觉动作规划与高维状态空间，如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图（LSR），这是一个基于图形的结构，全局捕捉潜在的系统动态。我们的框架由两个主要组件组成：一个视觉感知模块（VFM），它生成一个视觉计划作为一个图像序列，和一个行动建议网络（APN），预测它们之间的行动。我们展示了该方法的有效性，在一个模拟的箱子堆叠任务，以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
Learning Latent Dynamics for Planning from Pixels
Google Brain（谷歌大脑）；University of Toronto（多伦多大学）；DeepMind（深度思维）；Google Research（谷歌研究院）；University of Michigan（密歇根大学）
规划已经非常成功的控制任务与已知的环境动态。为了在未知环境中利用规划，智能体需要从与世界的交互中学习动态。然而，学习足够精确的动态模型进行规划一直是一个长期的挑战，特别是在基于图像的领域。我们提出了深度规划网络（PlaNet），这是一个纯粹基于模型的代理，可以从图像中学习环境动态，并通过潜在空间中的快速在线规划来选择行动。为了实现高性能，动态模型必须准确预测多个时间步长的奖励。我们使用一个潜在的动力学模型与确定性和随机过渡组件。此外，我们提出了一个多步变分推理目标，我们命名为潜在的超调。仅使用像素观察，我们的代理解决了具有接触动态，部分可观察性和稀疏奖励的连续控制任务，这超过了以前通过学习模型规划解决的任务的难度。PlaNet使用更少的事件，并达到接近，有时高于强大的无模型算法的最终性能。
2019-06-04 cs.AI cs.LG stat.ML
Control-Geometry Straightening for Sampling-Based Latent Planning
Texas A&M University（德克萨斯农工大学）
本文提出控制几何拉直（CGS）辅助损失，通过匹配动作与潜在差异的余弦相似度，在多个控制环境中提升采样型规划器的成功率，并给出理论保证。
2026-10-08 cs.LG stat.ML
A Neural-Evolutionary Algorithm for Autonomous Transit Network Design
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）
针对自主公交线网规划这一挑战性优化问题，提出将图神经网络策略作为进化算法变异算子的神经进化算法，在标准基准上性能优于单一学习策略和普通进化算法。
2024-10-07 cs.LG cs.NE
Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）；Amazon AGI SF Lab（亚马逊AGI旧金山实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
提出变长潜世界模型（VLWM），通过学习变长动作序列的条件潜状态预测，解决递归一步预测在长时程规划中的累积误差问题，结合课程训练策略，在长时程控制任务上平均提升13%。
2026-06-23 cs.AI cs.LG
JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts
Honda Research Institute USA（本田美国研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对测试时动态变化导致世界模型预测不可靠的问题，提出JEPA-TTT方法，通过持续自监督测试时训练调整潜在动态预测器，在多种动态变化下显著降低预测误差并提升规划性能。
2026-10-02 cs.LG
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Reaching Through Latent Space: From Joint Statistics to Path Planning in Manipulation
Applied AI Lab (A2I)（应用人工智能实验室）；Dynamic Robot Systems (DRS)（动态机器人系统实验室）；Oxford Robotics Institute (ORI), University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种新的方法，机器人操作器的路径规划，其中路径产生通过迭代优化的生成模型的机器人姿态的潜在空间。通过使用在同一空间上操作的约束满足分类器来合并约束。优化通过我们学习的模型利用梯度，提供了一种简单的方法来将目标达到目标与约束满足相结合，即使在存在其他不可微约束的情况下。我们的模型在随机采样的机器人姿势上以任务不可知的方式进行训练。在与一些广泛使用的规划器的基线比较中，我们在任务成功，规划时间和路径长度方面实现了相称的性能，在一个真正的7自由度机器人手臂上进行成功的避障路径规划。
2022-10-21 cs.LG cs.RO
Temporal Predictive Coding For Model-Based Planning In Latent Space
VinAI Research（VinAI研究院）；Stanford University（斯坦福大学）
高维观测是基于模型的强化学习（MBRL）应用于现实世界环境的一个主要挑战。为了处理高维感觉输入，现有方法使用表示学习来将高维观测映射到更适合于动态估计和规划的低维潜在空间。在这项工作中，我们提出了一个信息理论的方法，采用时间预测编码的环境中，可以预测跨时间的元素进行编码。由于这种方法的重点是编码时间可预测的信息，我们隐式地优先考虑编码的任务相关的组件在环境中的滋扰信息是可证明的任务无关。通过结合递归状态空间模型学习该表示，我们可以在潜在空间中执行规划。我们评估我们的模型上的一个具有挑战性的修改标准DMControl任务的背景被替换为自然的视频，包含复杂的，但不相关的信息的规划任务。我们的实验表明，我们的模型是优于现有的方法，在具有挑战性的复杂背景设置，同时保持竞争力与当前国家的最先进的模型在标准设置。
2021-06-14 cs.AI cs.LG
PlanWAM: Planning-Shaped Future Representations for End-to-End Autonomous Driving
Southeast University（东南大学）；NIO（蔚来）；Nanyang Technological University（南洋理工大学）；Tongji University（同济大学）
PlanWAM通过规划任务塑造未来表征，结合时间寄存器金字塔、特权未来后验分支与知识蒸馏，在NAVSIM、HUGSIM数据集上实现领先的自动驾驶规划性能。
2026-10-09 cs.LG cs.RO
Classical Planning in Deep Latent Space
MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）；IBM Research - Tokyo（IBM研究院（东京））；University of Tokyo（东京大学）；Queen’s University（女王大学）
目前领域无关的经典规划器需要问题域和实例的符号模型作为输入，导致知识获取瓶颈。同时，尽管深度学习在许多领域取得了巨大的成功，但知识是以子符号表示的方式编码的，这与规划师等符号系统不兼容。我们提出了Latplan，一个结合了深度学习和经典规划的无监督架构。仅给定一组未标记的图像对，显示环境中允许的转换子集（训练输入），Latplan学习环境的完整命题PDDL动作模型。之后，当给出表示初始状态和目标状态的一对图像（计划输入）时，Latplan在符号潜在空间中找到目标状态的计划，并返回可视化的计划执行。我们使用6个规划域的基于图像的版本来评估Latplan：8-Puzzle，15-Puzzle，Blocksworld，Sokoban和LightsOut的两个变体。
2022-06-15 cs.AI cs.LG
Stop-Think-AutoRegress: Language Modeling with Latent Diffusion Planning
Department of Computer Science, Cornell University（计算机科学系，康奈尔大学）
STAR-LDM通过引入思考阶段的潜在扩散规划，实现了更高效的全局规划和生成，显著提升了语言理解和叙事连贯性任务的表现。
2026-02-24 cs.CL cs.LG
Reperesentation Geometry Matters for Planning with JEPA World Models
Boston University（波士顿大学）；Unity Technologies（Unity科技公司）
该研究提出SCALE正则化器，为LeWM表示校准几何属性，在多任务、多求解器和多计算预算下均提升规划性能，证明规划依赖信息对几何的塑造作用。
2026-10-07 cs.LG
Planning from Images with Deep Latent Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
规划是一种强有力的方法来控制已知的环境动态问题。在未知的环境中，智能体需要学习系统动力学模型，以使规划适用。当底层状态只能通过图像间接观察时，这尤其具有挑战性。我们建议学习一个深度潜在高斯过程动力学（DLGPD）模型，该模型从环境与视觉观察的交互中学习低维系统动力学。该方法使用神经网络从观测值推断潜在状态表示，并使用高斯过程在学习的潜在空间中对系统动态进行建模。模型的所有部分可以通过优化图像空间中过渡可能性的下限来联合训练。我们评估所提出的方法上的钟摆摆动的任务，同时使用学习的动力学模型规划在潜在的空间，以解决控制问题。我们还证明，我们的方法可以快速适应一个受过训练的代理在系统动态的变化，从几个推出。我们将我们的方法与最先进的纯深度学习方法进行比较，并展示了将高斯过程与深度学习相结合以提高数据效率和迁移学习的优势。
2020-05-07 cs.CV cs.LG stat.ML
Direct Evolutionary Optimization of Variational Autoencoders With Binary Latents
University of Oldenburg（奥尔登堡大学）；CERN（欧洲核子研究中心）
离散潜变量被认为对于现实世界的数据很重要，这激发了对具有离散潜变量的变分自动编码器（VAE）的研究。然而，在这种情况下，标准VAE训练是不可能的，这促使不同的策略来操纵离散分布，以便类似于传统的训练离散VAE。在这里，我们问是否也可以通过对编码模型应用直接离散优化来保持潜伏期的离散性质完全不变。因此，该方法通过避开采样近似、重新参数化技巧和摊销，强烈地偏离了标准的VAE训练。离散优化实现在变分设置中使用截断后验结合进化算法。对于具有二进制潜伏期的VAE，我们（A）展示了这种离散变分方法如何与网络权重的梯度上升联系在一起，以及（B）如何使用解码器来选择用于训练的潜伏状态。传统的分期训练更有效，适用于大型神经网络。然而，使用较小的网络，我们在这里发现直接离散优化可以有效地扩展到数百个潜伏期。更重要的是，我们发现直接优化的有效性在“zero-shot”学习中具有很强的竞争力。与大型监督网络相比，这里研究的VAE可以，例如，对单个图像进行降噪，而无需先前对干净数据的训练和/或对大型图像数据集的训练。更一般地说，研究的方法表明，培训VAE确实是可能的，没有采样为基础的近似和重新参数化，这可能是有趣的VAE培训的分析一般。此外，对于“zero-shot”设置，直接优化使得VAE具有竞争力，其中它们先前被非生成方法优于。
2023-03-24 cs.LG stat.ML
Leveraging Scene Embeddings for Gradient-Based Motion Planning in Latent Space
Applied AI Lab (A2I)（应用人工智能实验室（A2I））；Dynamic Robot Systems (DRS)（动态机器人系统实验室（DRS））；Oxford Robotics Institute (ORI)（牛津机器人研究所（ORI））；University of Oxford（牛津大学）
运动规划框架优化结构化的潜在空间，最近出现的竞争力与传统的方法在规划的成功，而显着优于他们的计算速度。然而，现实世界的适用性，最近的工作在这一领域仍然是有限的，需要直接在状态空间中表示的障碍物信息，涉及简单的几何图元。在这项工作中，我们通过利用学习的场景嵌入与机器人操纵器的生成模型来驱动优化过程来解决这一挑战。此外，我们还引入了一种有效的碰撞检查方法，该方法直接规范规划所进行的优化。使用模拟和真实世界的实验，我们证明了我们的方法，AMP-LS，能够成功地规划在新的，复杂的场景，同时优于传统的规划基线的计算速度的数量级。我们表明，由此产生的系统是足够快，使闭环规划在现实世界中的动态场景。
2023-03-06 cs.CV cs.LG cs.RO
DeepKoCo: Efficient latent planning with a task-relevant Koopman representation
Delft University of Technology（代尔夫特理工大学）
本文介绍了DeepKoCo，一种新的基于模型的代理，从图像中学习潜在的Koopman表示。这种表示允许DeepKoCo使用线性控制方法（例如线性模型预测控制）进行有效规划。与传统代理相比，DeepKoCo学习任务相关的动态，这要归功于使用定制的有损自动编码器网络，该网络允许DeepKoCo学习潜在动态，仅重建和预测观察到的成本，而不是所有观察到的动态。正如我们的研究结果所示，DeepKoCo在复杂的控制任务中实现了与传统无模型方法相似的最终性能，同时对干扰物动力学具有更强的鲁棒性，使所提出的代理更适合于现实生活中的应用。
2021-09-24 cs.CV cs.LG cs.RO
Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning
University of Chinese Academy of Sciences（中国科学院大学）；University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗科技股份有限公司）
针对视觉规划中单步训练导致递归误差传播的问题，提出状态仿射潜在转移模型SALT，通过递归多步监督训练，虽单步误差增大，但显著提升闭环成功率并降低失败风险。
2026-10-30 cs.LG cs.RO
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University（普林斯顿大学）；Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架，在部分可观测环境中利用预测方差引导CEM规划，平衡目标达成与遮挡区域探索，成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
针对视频工具使用智能体的工具观测瓶颈，提出无训练框架LAVE，通过双通道观测接口复用隐式视觉证据，在三个基准数据集上提升了智能体性能，Video-MME得分较最强基线提高3.76分。
2026-08-11 cs.CV cs.LG cs.MA
How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models
Georgia Institute of Technology（佐治亚理工学院）
针对潜在世界模型规划中目标距离较远时排序失效的问题，提出时间距离目标TEMPO，利用现有演示学习状态间步数映射并融入规划代价，在多种环境中显著提升规划性能。
2026-10-09 cs.LG
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA；National Taiwan University（国立台湾大学）
本文提出ThinkAct双系统框架，通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行，在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
MoMo: Conditioned Contrastive Representation Learning for Preference-Modulated Planning
Massachusetts Institute of Technology（麻省理工学院）
MoMo通过特征线性调制和低秩神经调制，实现基于偏好调节的对比表征学习，使规划保守性在推理时可连续调节，提升时间与偏好一致性。
2026-05-14 cs.LG
Reinforced Planning with Latent World Models
Pantheon Industries（万神殿工业公司）
该研究提出RP1方法，将良好搜索规则强化到神经规划器中，可改进多步计划，在多个机器人任务中性能优于手工搜索算法，且效率更高。
2026-09-29 cs.LG
Efficient Virtuoso: A Latent Diffusion Transformer Model for Goal-Conditioned Trajectory Planning
Independent Researcher（独立研究者）
本文提出高效演奏家模型，利用两阶段归一化与潜扩散Transformer实现目标条件轨迹规划，在Waymo数据集上达到最先进性能，并揭示多步稀疏路线对高保真战术执行的关键作用。
2025-09-06 cs.AI cs.LG cs.RO
No-Regret Replanning under Uncertainty
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
研究了不确定环境下的路径规划问题。具体来说，我们认为在线滚动时域规划，需要在一个潜在的环境中，潜在的信息可以通过高斯过程建模。潜在环境中的在线路径规划是具有挑战性的，因为机器人需要探索环境以获得更准确的潜在信息模型，以便稍后更好地规划，并尽可能快地完成任务。我们提出了UCB风格的算法，是流行的土匪设置，并显示这些分析可以适应在线机器人路径规划问题。该算法以接近最优的方式权衡了探索和开发，具有吸引人的无遗憾属性。我们证明了该框架的有效性的应用程序的飞机飞行路径规划时，部分观察到的风。
2016-09-16 cs.LG cs.RO
Supervise What Decides Success: Criterion-Aligned Auxiliary Losses for Latent World-Model Planning
Kyoto University（京都大学）；Fujitsu Limited（富士通株式会社）
针对潜在世界模型规划中潜在状态误差导致决策失败的问题，提出将成功准则量作为辅助训练目标，仅此损失即在两个任务上显著提升成功率，表明成功准则可直接作为训练目标。
2026-10-02 cs.LG cs.RO
Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning
该研究针对潜在世界模型中MPC规划的决策度量对齐问题，提出两种秩一致性诊断指标，开发DA-LeWM模型，验证其可加快收敛并提升在线成功率，改善潜在MPC的几何结构。
2026-08-20 cs.CV cs.LG
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
NVIDIA（英伟达）
Fast-ThinkAct通过可言说的潜在规划实现高效的视觉-语言-动作推理，显著降低推理延迟并保持长周期规划能力。
2026-02-24 cs.AI cs.CV cs.LG
Latent Goal Prediction from Language for Model-Based Planning
École de Technologie Supérieure, Montréal（蒙特利尔高等技术学院）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）；Polytechnique Montréal（蒙特利尔综合理工学院）；MILA；Institut Universitaire de France (IUF)（法国大学研究院）；Université Sorbonne, CNRS, ISIR（索邦大学，法国国家科学研究中心，智能系统与机器人研究所）
提出LAGO框架，通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹，结合软最小轨迹代价规划，实现长程鲁棒规划。
2026-10-27 cs.AI cs.LG
When Low Prediction Error Misleads Planning: Diagnosing Representation, Dynamics, and Decision Failures in Latent World Models
University of Florida（佛罗里达大学）
本研究揭示潜在世界模型中主导预测误差的组件未必是修复后最能改善决策的组件，通过分解误差并对比预言机修正，提出将表征、预测和规划作为独立阶段评估。
2026-10-06 cs.LG
Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations and Goals
AIT Austrian Institute of Technology（奥地利技术研究所）；Assistive & Autonomous Systems（辅助与自主系统）
该研究将JEPA模型扩展至点云场景，验证了三种JEPA设计可在点云规划中有效工作，其中动作敏感型模型表现最优，还实现了无需目标观测的3D目标接口构建。
2026-09-29 cs.AI cs.CV cs.LG
Long and Diverse Text Generation with Planning-based Hierarchical Variational Model
Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Baozun（宝尊）
现有的用于数据到文本生成的神经方法仍然难以生成长而多样的文本：它们不足以在生成过程中动态地建模输入数据，捕获句子间的连贯性，或生成多样化的表达。为了解决这些问题，我们提出了一个基于规划的层次变分模型（PHVM）。我们的模型首先计划一系列的组（每组是一个子集的输入项目被覆盖的句子），然后实现每个句子的规划结果和先前生成的上下文条件，从而分解成依赖句子生成子任务的长文本生成。为了捕捉表达的多样性，我们设计了一个分层的潜在结构，其中一个全球规划的潜在变量模型的多样性合理的规划和一系列的本地潜在变量控制句子的实现。实验表明，我们的模型优于国家的最先进的基线在长和多样化的文本生成。
2019-08-25 cs.CL cs.LG
AdaJEPA: An Adaptive Latent World Model
New York University（纽约大学）；AMI Labs（AMI实验室）
提出AdaJEPA，一种在模型预测控制闭环中进行测试时自适应的潜在世界模型，通过自监督信号持续校准模型，显著提升规划成功率。
2026-07-01 cs.AI cs.LG
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
Kaliber Labs（卡利伯实验室）
针对JEPA式世界模型的物理表示懒惰问题，提出训练时添加轻量傅里叶辅助头的方法，可提升动态环境等的规划成功率与数据效率，避免表示懒惰。
2026-09-17 cs.LG
