Spike and Slab Gaussian Process Latent Variable Models
University of Sheffield（谢菲尔德大学）
高斯过程隐变量模型（GP-LVM）是一种流行的非线性概率降维方法。模型的一个设计选择是潜在变量的数量。我们提出了一个尖峰和板前GP-LVM，并提出了一个有效的变分推断程序，给出了一个下界的对数边际似然。新的模型提供了一个更原则的方法来选择潜在的尺寸比阈值的长度尺度参数的标准方式。我们的方法的有效性证明了通过实验上的真实和模拟数据。此外，我们扩展了多视图高斯过程，依赖于共享潜在的尺寸（称为流形相关性确定）与尖峰和板先验。这允许用于为数据的每个视图选择潜在空间的子集的更有原则的方法。扩展模型优于以前的国家的最先进的应用时，跨模态多媒体检索任务。
2015-05-10 cs.LG stat.ML
Sequential sampling of Gaussian process latent variable models
University of Oxford（牛津大学）
我们考虑的问题，推断一个潜在的功能在概率模型的数据。当潜在函数的依赖性由高斯过程指定并且数据似然是复杂的时，有效的计算通常涉及马尔可夫链蒙特卡罗采样，其对大数据集的适用性有限。我们扩展这些技术的一些规模有效地当问题表现出顺序结构。我们提出了一个近似，使序贯抽样的潜在变量和相关参数。我们展示了强大的性能增长的数据设置，否则是不可行的天真，非序贯抽样。
2018-07-20 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
The Dynamical Gaussian Process Latent Variable Model in the Longitudinal Scenario
College of Information Science and Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
动态高斯过程潜变量模型为学习高维时间序列的低维表示提供了一个优雅的非参数框架。然而，现实世界的观察研究往往是病态的：观察可能是嘈杂的，不像时间序列那样假设相对完整和等间隔的奢侈品。这样的条件使得难以通过高斯过程潜变量模型以及其他降维过程来学习高维纵向数据集中的合理表示。在这项研究中，我们接近高斯过程动力系统在纵向场景的推断，通过扩大的约束在变分近似，包括系统的样本看不见的观察。我们证明了这种方法的有用性，以及合成的人体运动捕捉数据集。
2019-09-25 cs.LG stat.ML
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University（普林斯顿大学）；Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架，在部分可观测环境中利用预测方差引导CEM规划，平衡目标达成与遮挡区域探索，成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
Efficient Virtuoso: A Latent Diffusion Transformer Model for Goal-Conditioned Trajectory Planning
Independent Researcher（独立研究者）
本文提出高效演奏家模型，利用两阶段归一化与潜扩散Transformer实现目标条件轨迹规划，在Waymo数据集上达到最先进性能，并揭示多步稀疏路线对高保真战术执行的关键作用。
2025-09-06 cs.AI cs.LG cs.RO
GP-ALPS: Automatic Latent Process Selection for Multi-Output Gaussian Process Models
Invenia Labs（因维尼亚实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
将高斯过程（GP）扩展到多个输出的一种简单且广泛采用的方法是将每个输出建模为共享的未观察到的潜在GP集合的线性组合。这种方法的一个问题是选择潜在进程及其内核的数量。这些选择通常是手动完成的，这可能很耗时，而且容易受到人为偏见的影响。我们提出了高斯过程自动潜在过程选择（GP-ALPS），它通过关闭那些对解释数据没有意义的过程来自动选择潜在过程。我们开发了一个变分推断计划，通过与金标准MCMC进行比较来评估变分后验的质量，并在一组初步实验中证明GP-ALPS的适用性。
2019-12-17 cs.LG stat.ME stat.ML
No-Regret Replanning under Uncertainty
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
研究了不确定环境下的路径规划问题。具体来说，我们认为在线滚动时域规划，需要在一个潜在的环境中，潜在的信息可以通过高斯过程建模。潜在环境中的在线路径规划是具有挑战性的，因为机器人需要探索环境以获得更准确的潜在信息模型，以便稍后更好地规划，并尽可能快地完成任务。我们提出了UCB风格的算法，是流行的土匪设置，并显示这些分析可以适应在线机器人路径规划问题。该算法以接近最优的方式权衡了探索和开发，具有吸引人的无遗憾属性。我们证明了该框架的有效性的应用程序的飞机飞行路径规划时，部分观察到的风。
2016-09-16 cs.LG cs.RO
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Latent Gaussian Model Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
潜在高斯模型和提升是统计学和机器学习中广泛使用的技术。树提升在许多数据集上显示出优异的预测精度，但潜在的缺点是它假设样本的条件独立性，产生不连续的预测，例如，空间数据，并且它可能难以处理高基数的分类变量。潜高斯模型，如高斯过程和分组随机效应模型，是灵活的先验模型，显式地模拟样本之间的依赖性，并允许有效的学习预测函数和进行概率预测。然而，现有的潜在高斯模型通常假设零或线性先验均值函数，这可能是不切实际的假设。本文介绍了一种新的方法，它结合了提升和潜在高斯模型，以弥补上述缺点，并利用这两种技术的优势。与现有的方法相比，我们在模拟和真实世界的数据实验中获得了更高的预测精度。
2022-07-25 cs.AI cs.LG stat.CO
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference
University of Cambridge（剑桥大学）
高斯过程潜变量模型（GPLVM）是一种灵活的非线性降维方法，将经典高斯过程扩展到无监督学习环境。GPLVM的贝叶斯化身Titsias和Lawrence，2010]使用变分框架，其中潜变量的后验近似于行为良好的变分族，因子化高斯产生易于处理的下限。然而，下界的非工厂能力阻止了真正可扩展的推理。在这项工作中，我们研究了贝叶斯GPLVM模型的双随机制定与小批量训练。我们展示了这个框架是如何与不同的潜变量配方兼容，并进行实验，比较一套模型。此外，我们演示了如何在大量缺失数据的情况下进行训练，并获得高保真重建。我们展示了该模型的性能对规范稀疏GPLVM高维数据的例子进行基准测试。
2022-04-09 cs.LG stat.ME stat.ML
Gaussian Mixture Modeling with Gaussian Process Latent Variable Models
密度建模对于高维数据是非常困难的。解决这个问题的一种方法是寻找一个低维流形，它捕获了数据的主要特征。近年来，高斯过程隐变量模型（GPLVM）已被成功地用于在各种复杂数据中寻找低维流形。GPLVM由低维潜在空间中的一组点和到观察空间的随机映射组成。我们展示了它如何可以被解释为在所观察到的空间中的密度模型。然而，GPLVM没有被训练成密度模型，因此产生了糟糕的密度估计。我们提出了一种新的训练策略，并在几个基准数据集的比较评估中获得了更好的泛化性能和更好的密度估计。
2010-07-13 stat.ML
Informative Planning and Online Learning with Sparse Gaussian Processes
University of Southern California（南加州大学）
环境监测的一大挑战是要观察的现象的时空变化。为了在这样的设置中实现持续感测和估计，具有时变的底层环境模型是有益的。在这里，我们提出了一种规划和学习方法，使自主海洋车辆执行持久的海洋监测任务，通过学习和完善的环境模型。为了缓解大规模数据积累所造成的计算瓶颈，我们提出了一个框架，该框架在旨在收集信息最丰富的数据的规划组件和稀疏高斯过程学习组件之间进行迭代，其中环境模型和超参数通过利用仅提供最大贡献的数据子集在线学习。我们的模拟与地面实况海洋数据表明，该方法是准确和有效的。
2016-09-24 cs.AI cs.LG cs.RO
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来，在各个领域积累了大量的观测数据，并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性，提出了一种线性非高斯非循环模型（LiNGAM）来估计变量的数据生成过程。然而，如果存在潜在类，则估计的结果可能有偏差。在本文中，我们首先回顾LiNGAM，其扩展模型，以及LiNGAM的贝叶斯框架中的估计过程。然后，我们提出了一个新的贝叶斯估计过程，解决了这个问题。
2014-08-02 stat.ML
Informative Planning for Worst-Case Error Minimisation in Sparse Gaussian Process Regression
University of Technology Sydney（悉尼科技大学）
我们提出了一个规划框架，最大限度地减少稀疏高斯过程（GP）回归的确定性最坏情况下的错误。首先，我们推导出一个普遍的最坏情况下的误差界稀疏GP回归有界噪声再生核希尔伯特空间（RKHS）的插值理论。通过利用条件独立（CI）假设中央稀疏GP回归，我们表明，最坏情况下的误差最小化可以通过解决后验熵最小化问题。反过来，使用高斯置信空间规划算法解决后验熵最小化问题。我们证实了建议的最坏情况下的误差范围在一个简单的一维例子，并测试规划框架在模拟中的二维车辆在一个复杂的流场。我们的研究结果表明，所提出的后验熵最小化方法是有效的确定性误差最小化，并优于传统的测量熵最大化制定时，诱导点是固定的。
2022-03-08 cs.LG cs.RO
Bayesian estimation of possible causal direction in the presence of latent confounders using a linear non-Gaussian acyclic structural equation model with individual-specific effects
我们考虑在潜在混杂变量的存在下学习两个观测变量的可能因果方向。几种现有的方法已被证明是一致的估计因果方向假设线性或某种类型的非线性关系，没有潜在的混杂因素。然而，如果实际上违反任何一个假设，估计结果可能会失真。在本文中，我们首先提出了一个新的线性非高斯非循环结构方程模型与个人的具体影响，允许潜在的混杂因素被考虑。然后，我们提出了一个经验贝叶斯方法估计可能的因果方向，使用新的模型。我们使用人工和真实世界的数据证明了我们的方法的有效性。
2014-05-20 stat.ML
Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data
多变量分类数据出现在机器学习的许多应用中。这些分类变量向量的主要困难之一是稀疏性。可能的观测值数量随着向量长度呈指数增长，但相比之下，数据集的多样性可能较差。最近的模型在使用这些数据的监督任务中获得了显着的改进。这些模型将观测嵌入连续空间中，以捕捉它们之间的相似性。基于这些想法，我们提出了一个贝叶斯模型的无监督任务的分布估计的多元分类数据。我们对从连续潜在空间的非线性变换生成的分类变量向量进行建模。非线性捕获分布中的多模态。连续表示解决稀疏性。我们的模型将许多现有的模型联系在一起，将线性分类潜在高斯模型，高斯过程潜在变量模型和高斯过程分类联系在一起。我们推导出我们的模型的基础上，最近的事态发展，抽样为基础的变分推断。我们的经验表明，该模型优于其线性和离散的稀疏数据的插补任务。
2015-03-07 stat.ML
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型，或更一般地说，高斯潜在森林模型具有费舍尔信息矩阵，该矩阵沿着有趣的子模型（即对应于子森林的模型）变得奇异。对于这些奇异点，我们计算真实的对数正则阈值（也称为随机复杂度或学习系数），这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息，最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下，真正的对数正则阈值可以使用多面体几何计算，我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中，我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Latent variable estimation with composite Hilbert space Gaussian processes
本研究提出基于复合希尔伯特空间高斯过程的可扩展潜变量估计模型，通过谱分解实现降秩以适配大数据，经模拟和单细胞生物学案例验证，在估计准确性、校准和速度上均有效，助力生物过程研究。
2025-10-29 stat.ME
Joint Posterior Inference for Latent Gaussian Models with R-INLA
有效的贝叶斯推断仍然是分层模型中的计算挑战。基于模拟的方法，如马尔可夫链蒙特卡罗方法仍然很流行，但有很大的计算成本。在处理大类潜在高斯模型时，R-INLA软件中嵌入的INLA方法通过计算确定性混合表示来近似联合后验（从中计算边际），从而提供准确的贝叶斯推断。INLA方法从一开始就以近似单变量后验为目标。在本文中，我们奠定了开发基础的工具，也提供联合近似的子集的潜在领域。这些近似继承了高斯copula结构，并提供了偏度校正。同样的想法也被带到了混合表示的采样中，我们现在可以调整偏度。
2021-12-06 stat.CO
Bayesian analysis of nonlinear structured latent factor models using a Gaussian Process Prior
针对显变量与潜因子间的非线性关系，提出带 Gaussian process prior 的贝叶斯结构化潜因子模型，证明可识别性与估计一致性，并通过模拟和油流数据验证其有效性。
2025-01-06 stat.ME
Hilbert space methods for approximating multi-output latent variable Gaussian processes
Technische Universität Dortmund（多特蒙德工业大学）；University of Tübingen（蒂宾根大学）；Universitätsklinikum Tübingen（蒂宾根大学附属医院）
本文提出了一种适用于多输出和潜在输入的希尔伯特空间方法，通过模拟展示其在速度和不确定性校准方面优于精确高斯过程。
2026-02-11 stat.ME
Control-Geometry Straightening for Sampling-Based Latent Planning
Texas A&M University（德克萨斯农工大学）
本文提出控制几何拉直（CGS）辅助损失，通过匹配动作与潜在差异的余弦相似度，在多个控制环境中提升采样型规划器的成功率，并给出理论保证。
2026-10-08 cs.LG stat.ML
Learning Latent Dynamics for Planning from Pixels
Google Brain（谷歌大脑）；University of Toronto（多伦多大学）；DeepMind（深度思维）；Google Research（谷歌研究院）；University of Michigan（密歇根大学）
规划已经非常成功的控制任务与已知的环境动态。为了在未知环境中利用规划，智能体需要从与世界的交互中学习动态。然而，学习足够精确的动态模型进行规划一直是一个长期的挑战，特别是在基于图像的领域。我们提出了深度规划网络（PlaNet），这是一个纯粹基于模型的代理，可以从图像中学习环境动态，并通过潜在空间中的快速在线规划来选择行动。为了实现高性能，动态模型必须准确预测多个时间步长的奖励。我们使用一个潜在的动力学模型与确定性和随机过渡组件。此外，我们提出了一个多步变分推理目标，我们命名为潜在的超调。仅使用像素观察，我们的代理解决了具有接触动态，部分可观察性和稀疏奖励的连续控制任务，这超过了以前通过学习模型规划解决的任务的难度。PlaNet使用更少的事件，并达到接近，有时高于强大的无模型算法的最终性能。
2019-06-04 cs.AI cs.LG stat.ML
Learning Latent State Spaces for Planning through Reward Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Preferred Networks America, Inc.（Preferred Networks美国公司）；Preferred Networks Inc（Preferred Networks公司）
基于模型的强化学习方法通常通过旨在重建和预测原始观测来学习高维状态空间的模型。然而，从无模型强化学习中汲取灵感，我们提出直接从奖励中学习潜在动力学模型。在这项工作中，我们引入了一个基于模型的规划框架，它学习潜在的奖励预测模型，然后在潜在的状态空间中进行规划。潜在的表示是专门从多步奖励预测，我们证明是唯一必要的信息，成功的规划。有了这个框架，我们能够受益于简洁的无模型表示，同时仍然享受基于模型的算法的数据效率。我们展示了我们的框架中的多钟摆和多猎豹环境中，几个pumerums或猎豹的代理，但其中只有一个产生奖励。在这些环境中，重要的是代理构建一个简洁的潜在表示过滤掉不相关的意见。我们发现，我们的方法可以在存在不相关信息的情况下成功学习准确的潜在奖励预测模型，而现有的基于模型的方法则会失败。在学习的潜在状态空间中的规划显示出比无模型和基于模型的基线更强的性能和高样本效率。
2019-12-09 cs.AI cs.LG stat.ML
Temporal Straightening for Latent Planning
New York University（纽约大学）；Brown University（布朗大学）；University of Toronto（多伦多大学）
受人类视觉处理中感知拉直假说启发，提出时间拉直方法，通过曲率正则化联合学习JEPA世界模型的编码器和预测器，改善隐式规划中的表示学习，使梯度规划更稳定并提高目标到达任务成功率。
2026-08-12 cs.LG
Efficient Planning with Latent Diffusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
针对离线强化学习中时间抽象与规划效率问题，提出基于分数潜扩散模型的连续潜动作表示学习与规划框架 LatentDiffuser，并通过理论等价和序列级精确采样提升高维任务性能。
2023-09-30 cs.AI cs.LG
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University（麦吉尔大学）
我们提出了一种奖励预测，基于模型的深度学习方法，具有强制约束的视觉注意力，用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置，这些位置遵循车辆控制动作引起的轨迹，以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化，允许自适应性，但鼓励正则化结构，以提高泛化能力和可靠性。重要的是，视觉注意力被应用在潜在的特征映射空间，而不是原始图像空间，以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流，无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现，与无注意和自注意替代方案相比，我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Dream and Search to Control: Latent Space Planning for Continuous Control
School of EECS（电子工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）；Intel Labs（英特尔实验室）
在离散和连续控制任务的基于基于模型的强化学习（MBRL）中，潜在空间动态的学习和规划对提高样本效率非常有用。特别是，最近的工作，离散的动作空间，表现出潜在的空间规划的有效性，通过蒙特卡罗树搜索（MCTS）引导MBRL在学习和测试时间。然而，潜在的收益潜在空间树搜索尚未被证明为连续的动作空间的环境。在这项工作中，我们提出并探讨了MBRL方法的连续动作空间的基础上基于树的规划学习的潜在动力学。我们表明，它是可能的，以证明类型的自举效益，如前所示的离散空间。特别是，该方法实现了改进的样本效率和性能的大多数具有挑战性的连续控制基准相比，国家的最先进的。
2020-10-19 cs.AI cs.LG
Latent Planning via Embedding Arithmetic: A Contrastive Approach to Strategic Reasoning
Department of Computer Science（计算机科学系）；Baylor University（贝勒大学）
针对高维决策空间规划问题，提出基于监督对比学习的SOLIS方法，在评估对齐嵌入空间中通过向量运算简化规划，在国际象棋中以浅层搜索达到竞争力，为传统方法提供轻量级替代。
2025-11-12 cs.LG
Leveraging Scene Embeddings for Gradient-Based Motion Planning in Latent Space
Applied AI Lab (A2I)（应用人工智能实验室（A2I））；Dynamic Robot Systems (DRS)（动态机器人系统实验室（DRS））；Oxford Robotics Institute (ORI)（牛津机器人研究所（ORI））；University of Oxford（牛津大学）
运动规划框架优化结构化的潜在空间，最近出现的竞争力与传统的方法在规划的成功，而显着优于他们的计算速度。然而，现实世界的适用性，最近的工作在这一领域仍然是有限的，需要直接在状态空间中表示的障碍物信息，涉及简单的几何图元。在这项工作中，我们通过利用学习的场景嵌入与机器人操纵器的生成模型来驱动优化过程来解决这一挑战。此外，我们还引入了一种有效的碰撞检查方法，该方法直接规范规划所进行的优化。使用模拟和真实世界的实验，我们证明了我们的方法，AMP-LS，能够成功地规划在新的，复杂的场景，同时优于传统的规划基线的计算速度的数量级。我们表明，由此产生的系统是足够快，使闭环规划在现实世界中的动态场景。
2023-03-06 cs.CV cs.LG cs.RO
Latent Plan Transformer for Trajectory Abstraction: Planning as Latent Space Inference
Department of Statistics and Data Science, UCLA（统计与数据科学系， UCLA）；Salesforce Research（Salesforce 研究）；Akool Research（Akool 研究）；Xi’an Jiaotong University（西安交通大学）；Department of Computer Science, UCLA（计算机科学系， UCLA）
本文提出Latent Plan Transformer（LPT），通过潜在变量推断将规划视为潜在空间推断，从次优轨迹中学习时间一致的抽象并提升长期决策性能。
2025-08-18 cs.LG
Hierarchical Planning with Latent World Models
FAIR at Meta（Meta旗下的FAIR）；New York University（纽约大学）；Mila - Québec AI Institute（魁北克AI研究院）；Brown University（布朗大学）
提出HWM架构，通过多时间尺度潜在世界模型和潜在匹配实现分层模型预测控制，解决长时域任务中单层规划失败和计算爆炸问题。
2026-10-14 cs.LG
The Depth Ceiling: On the Limits of Large Language Models in Discovering Latent Planning
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
研究探讨了大语言模型在无监督情况下发现多步规划策略的极限，发现模型在单次前向传递中能执行最多七步潜在规划，揭示了训练与测试时能力的差异。
2026-04-07 cs.AI cs.CL cs.LG
Latent Geometry Beyond Search: Amortizing Planning in World Models
Department of Robotics, University of Michigan, Ann Arbor（密歇根大学机器人系，安阿伯）
提出在正则化潜在几何下，将规划摊销为潜在逆动力学映射，以轻量级GC-IDM替代在线搜索，在七个环境协议中匹配或超越CEM，决策成本降低100-130倍。
2026-06-05 cs.LG cs.RO
Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning
该研究针对潜在世界模型中MPC规划的决策度量对齐问题，提出两种秩一致性诊断指标，开发DA-LeWM模型，验证其可加快收敛并提升在线成功率，改善潜在MPC的几何结构。
2026-08-20 cs.CV cs.LG
Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap
KTH Royal Institute of Technology（KTH皇家理工学院）；Roma Tre University（罗马第三大学）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）
我们提出了一个框架，视觉行动规划的复杂操作任务与高维状态空间，专注于可变形物体的操作。我们提出了一个潜在的空间路线图（LSR）的任务规划，这是一个基于图的结构，全球捕捉系统的动态在一个低维的潜在空间。我们的框架由三部分组成：（1）映射模块（MM），其将以图像形式给出的观测映射到提取相应状态的结构化潜在空间中，以及从潜在状态生成观测，（2）LSR，其构建并连接包含相似状态的聚类，以便找到由MM提取的开始状态和目标状态之间的潜在计划，以及（3）行动建议模块，其用相应的行动补充LSR发现的潜在计划。我们提出了一个深入的调查，我们的框架上模拟箱堆叠和绳/箱操作任务，折叠任务上执行一个真正的机器人。
2022-06-30 cs.LG cs.RO
LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
针对视频工具使用智能体的工具观测瓶颈，提出无训练框架LAVE，通过双通道观测接口复用隐式视觉证据，在三个基准数据集上提升了智能体性能，Video-MME得分较最强基线提高3.76分。
2026-08-11 cs.CV cs.LG cs.MA
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Salerno（萨莱诺大学）；University of Cassino and Southern Lazio（卡西诺大学和南拉齐奥大学）
我们提出了一个框架，复杂的操作任务的视觉动作规划与高维状态空间，如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图（LSR），这是一个基于图形的结构，全局捕捉潜在的系统动态。我们的框架由两个主要组件组成：一个视觉感知模块（VFM），它生成一个视觉计划作为一个图像序列，和一个行动建议网络（APN），预测它们之间的行动。我们展示了该方法的有效性，在一个模拟的箱子堆叠任务，以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy Back
Graduate School of Information Science and Technology（信息科学技术研究生院）；The University of Tokyo（东京大学）
针对高斯潜在狄利克雷分配无法捕捉一词多义的问题，本文提出高斯分层LDA，通过主题分层结构恢复多义建模能力，并提升主题一致性、预测准确率与表示简约性。
2023-06-07 cs.LG stat.ML
DeepKoCo: Efficient latent planning with a task-relevant Koopman representation
Delft University of Technology（代尔夫特理工大学）
本文介绍了DeepKoCo，一种新的基于模型的代理，从图像中学习潜在的Koopman表示。这种表示允许DeepKoCo使用线性控制方法（例如线性模型预测控制）进行有效规划。与传统代理相比，DeepKoCo学习任务相关的动态，这要归功于使用定制的有损自动编码器网络，该网络允许DeepKoCo学习潜在动态，仅重建和预测观察到的成本，而不是所有观察到的动态。正如我们的研究结果所示，DeepKoCo在复杂的控制任务中实现了与传统无模型方法相似的最终性能，同时对干扰物动力学具有更强的鲁棒性，使所提出的代理更适合于现实生活中的应用。
2021-09-24 cs.CV cs.LG cs.RO
Latent Energy Action Planning with World Models
Purdue University（普渡大学）
该研究针对潜在世界模型规划中动作序列与目标描述符不匹配的问题，提出LEAP方法，通过耦合终端潜在目标匹配与状态能量，结合拟牛顿求解器等，在四个控制领域将规划成功率提升17.3个百分点。
2026-09-04 cs.LG
Efficient Planning in a Compact Latent Action Space
University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；Cohere；Meta AI (FAIR)（元人工智能（基础人工智能研究部））
基于规划的强化学习在离散和低维连续动作空间的任务中表现出很强的性能。然而，规划通常会为决策带来显著的计算开销，并且将此类方法扩展到高维动作空间仍然具有挑战性。为了提高高维连续控制的有效规划，我们提出了轨迹自动编码规划器（TAP），它使用状态条件VQ-VAE学习低维潜在动作代码。解码器的VQ-VAE因此作为一种新的动力学模型，采取潜在的行动和当前状态作为输入，并重建长期的地平线轨迹。在推理时间内，给定一个起始状态，TAP搜索离散的潜在动作，以找到在训练分布下具有高概率和高预测累积奖励的轨迹。在离线RL设置的实证评估表明，低决策延迟是无关紧要的增长的原始动作维度。对于具有高维连续动作空间的Adroit机器人手操作任务，TAP大大超过了现有的基于模型的方法，并且还击败了强大的无模型演员-评论家基线。
2023-01-24 cs.LG
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA；National Taiwan University（国立台湾大学）
本文提出ThinkAct双系统框架，通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行，在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
Evolutionary Planning in Latent Space
IT-University of Copenhagen（哥本哈根信息技术大学）
规划是强化学习的一种强大方法，具有几个理想的属性。然而，它需要一个世界的模型，这在许多现实生活中的问题是不容易得到的。在本文中，我们建议学习一个世界模型，使进化规划在潜在空间（EPLS）。我们使用变分自动编码器（VAE）来学习个体观测的压缩潜在表示，并扩展混合密度递归神经网络（MDRNN）来学习可用于规划的世界的随机多模态前向模型。我们使用随机突变爬山（RMHC）来寻找一系列的行动，最大限度地提高预期的回报，在这个学习模型的世界。我们演示了如何构建一个世界的模型，通过引导它与推出从一个随机的政策，并迭代地完善它与推出从一个越来越准确的规划政策，使用学习世界模型。经过几次迭代的改进后，我们的规划代理比标准的无模型强化学习方法更好，证明了我们方法的可行性。
2020-11-23 cs.LG cs.NE
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
NVIDIA（英伟达）
Fast-ThinkAct通过可言说的潜在规划实现高效的视觉-语言-动作推理，显著降低推理延迟并保持长周期规划能力。
2026-02-24 cs.AI cs.CV cs.LG
Sparsely Changing Latent States for Prediction and Planning in Partially Observable Domains
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
在部分可观察领域进行预测和规划的一种常见方法是使用递归神经网络（RNN），它理想地开发和维护关于隐藏的任务相关因素的潜在记忆。我们假设，物理世界中的许多隐藏因素都是恒定的，只会发生稀疏的变化。为了研究这一假设，我们提出了门控$L_0$正则化动态（GateL0RD），一种新的经常性的架构，结合了感性的偏见，以保持稳定，稀疏变化的潜在状态。通过一种新的内部门控函数和对潜在状态变化的$L_0$范数的惩罚来实现偏置。我们证明了GateL0RD可以在各种部分可观察的预测和控制任务中与最先进的RNN竞争或优于RNN。GateL0RD倾向于对环境的潜在生成因素进行编码，忽略虚假的时间依赖性，并且更好地泛化，从而提高了基于模型的规划和强化学习任务中的采样效率和整体性能。此外，我们表明，发展中的潜在状态可以很容易地解释，这是RNN更好地解释的一步。
2022-01-13 cs.AI cs.LG
Latent Skill Planning for Exploration and Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Nvidia（英伟达）
为了快速解决复杂环境中的新任务，智能代理需要建立可重用的知识。例如，学习世界模型捕获关于应用于新任务的环境的知识。类似地，技能捕捉可以应用于新任务的一般行为。在本文中，我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说，我们利用部分摊销的思想在测试时快速适应。为此，行动是由一个随着时间的推移而学习的政策产生的，而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处，并证明了提高样本效率在单一的任务，以及在从一个任务转移到另一个，相比有竞争力的基线。视频请访问：https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）；Amazon AGI SF Lab（亚马逊AGI旧金山实验室）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
提出变长潜世界模型（VLWM），通过学习变长动作序列的条件潜状态预测，解决递归一步预测在长时程规划中的累积误差问题，结合课程训练策略，在长时程控制任务上平均提升13%。
2026-06-23 cs.AI cs.LG
Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations and Goals
AIT Austrian Institute of Technology（奥地利技术研究所）；Assistive & Autonomous Systems（辅助与自主系统）
该研究将JEPA模型扩展至点云场景，验证了三种JEPA设计可在点云规划中有效工作，其中动作敏感型模型表现最优，还实现了无需目标观测的3D目标接口构建。
2026-09-29 cs.AI cs.CV cs.LG
Reaching Through Latent Space: From Joint Statistics to Path Planning in Manipulation
Applied AI Lab (A2I)（应用人工智能实验室）；Dynamic Robot Systems (DRS)（动态机器人系统实验室）；Oxford Robotics Institute (ORI), University of Oxford（牛津大学牛津机器人研究所）
我们提出了一种新的方法，机器人操作器的路径规划，其中路径产生通过迭代优化的生成模型的机器人姿态的潜在空间。通过使用在同一空间上操作的约束满足分类器来合并约束。优化通过我们学习的模型利用梯度，提供了一种简单的方法来将目标达到目标与约束满足相结合，即使在存在其他不可微约束的情况下。我们的模型在随机采样的机器人姿势上以任务不可知的方式进行训练。在与一些广泛使用的规划器的基线比较中，我们在任务成功，规划时间和路径长度方面实现了相称的性能，在一个真正的7自由度机器人手臂上进行成功的避障路径规划。
2022-10-21 cs.LG cs.RO
Temporal Predictive Coding For Model-Based Planning In Latent Space
VinAI Research（VinAI研究院）；Stanford University（斯坦福大学）
高维观测是基于模型的强化学习（MBRL）应用于现实世界环境的一个主要挑战。为了处理高维感觉输入，现有方法使用表示学习来将高维观测映射到更适合于动态估计和规划的低维潜在空间。在这项工作中，我们提出了一个信息理论的方法，采用时间预测编码的环境中，可以预测跨时间的元素进行编码。由于这种方法的重点是编码时间可预测的信息，我们隐式地优先考虑编码的任务相关的组件在环境中的滋扰信息是可证明的任务无关。通过结合递归状态空间模型学习该表示，我们可以在潜在空间中执行规划。我们评估我们的模型上的一个具有挑战性的修改标准DMControl任务的背景被替换为自然的视频，包含复杂的，但不相关的信息的规划任务。我们的实验表明，我们的模型是优于现有的方法，在具有挑战性的复杂背景设置，同时保持竞争力与当前国家的最先进的模型在标准设置。
2021-06-14 cs.AI cs.LG
PlanWAM: Planning-Shaped Future Representations for End-to-End Autonomous Driving
Southeast University（东南大学）；NIO（蔚来）；Nanyang Technological University（南洋理工大学）；Tongji University（同济大学）
PlanWAM通过规划任务塑造未来表征，结合时间寄存器金字塔、特权未来后验分支与知识蒸馏，在NAVSIM、HUGSIM数据集上实现领先的自动驾驶规划性能。
2026-10-09 cs.LG cs.RO
