Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling
School of Electrical and Electronic Engineering（电气与电子工程学院）；Nanyang Technological University（南洋理工大学）
条件随机场（CRF）经常用于标记和分割序列数据。Mohammed等人（2007）在标记的CRF结构中引入了隐藏的状态变量，以便对类别标签中的潜在动态进行建模，从而提高标记性能。这种模型被称为潜在动态CRF（LDCRF）。我们提出了因子LDCRF（FLDCRF），一种结构，允许多个潜在的动态类标签相互作用。包括这样的潜在的动态相互作用导致单标签和多标签序列建模任务的标签性能的改善。我们将我们的FLDCRF模型应用于两个不同数据集的两个单标签（一个嵌套交叉验证）和一个多标签序列标记（嵌套交叉验证）实验- UCI手势相位数据和UCI机会数据。FLDCRF优于所有最先进的序列模型，即，CRF，LDCRF，LSTM，LSTM-CRF，析因CRF，耦合CRF和多标签LSTM模型。此外，基于LSTM的模型在验证数据和测试数据之间表现出不一致的性能，并且在我们的实验期间很难根据验证数据选择模型。FLDCRF提供了更简单的模型选择，验证和测试性能的一致性以及清晰的模型直觉。与LSTM相比，FLDCRF的训练速度也快得多，即使没有GPU。FLDCRF在UCI手势相位数据的单标签任务中比最佳LSTM模型突出约4%，在UCI机会数据的多标签序列标记实验中，在嵌套交叉验证测试集上平均比LSTM性能高约2%。FLDCRF的思想可以扩展到联合（多智能体交互）和异构（离散和连续）状态空间模型。
2019-11-12 cs.LG eess.SP stat.ML
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan（密歇根大学）；Michigan Medicine（密歇根医学中心）；Harvard University（哈佛大学）
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题，提出因子化动作空间诱导的线性Q函数分解法，兼具理论保证与样本效率，可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Action-Factored Multi-Agent Reinforcement Learning for Scalable Quantum Device Tuning
University of Oxford（牛津大学）
针对量子器件调谐中参数串扰致学习不稳定问题，提出用在线学习动作空间分解表示的方法，框架QADAPT借此高效学习共享策略，实现零样本泛化及收敛步骤数恒定，为大规模量子处理器快速校准提供可扩展途径。
2026-07-13 cond-mat.mes-hall cs.LG
CausalDreamer: Learning Predictive World Models with Latent Disentanglement
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
CausalDreamer通过冻结Dreamer 4的分词器并将其潜在向量重新编码为可控性和奖励相关性轴的分解表示，微调动力学模型，在MMBench2任务上提升了规划性能，能区分奖励无关与相关变化。
2026-10-09 cs.LG
Leveraging Factored Action Spaces for Off-Policy Evaluation
Imperial College London（伦敦帝国学院）；University of Michigan（密歇根大学）
本文提出基于因子化动作空间的分解式重要性采样 OPE 估计量，在保持零偏差的同时降低方差，并通过模拟验证其理论优势。
2023-07-13 cs.AI cs.LG stat.ML
Factored World Models for Zero-Shot Generalization in Robotic Manipulation
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）；Google Research, Brain Team（谷歌研究院大脑团队）
具有许多对象的环境的世界模型面临着状态的组合爆炸：随着对象数量的增加，可能的排列数量呈指数级增长。在本文中，我们学习推广机器人拾取和放置任务使用对象因子化的世界模型，通过确保预测是等变的对象的排列，打击组合爆炸。以前的对象因子模型要么是由于无法对动作建模，要么是由于无法计划复杂的操作任务而受到限制。我们建立在最近的对比方法训练对象因子化的世界模型，我们扩展到连续的机器人动作模型，并准确地预测机器人拾取和放置的物理。为此，我们使用图神经网络的剩余堆栈，这些网络在其节点和边缘神经网络中的多个级别上接收动作信息。至关重要的是，我们的学习模型可以对训练数据中没有表示的任务进行预测。也就是说，我们证明了成功的zero-shot推广到新的任务，只有轻微的模型性能下降。此外，我们表明，我们的模型的合奏，可用于规划任务，涉及多达12个拾取和放置动作使用启发式搜索。我们还演示了转移到物理机器人。
2022-02-10 cs.LG cs.RO
FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford（牛津大学）；Facebook AI Research（Facebook AI研究院）；Delft University of Technology（代尔夫特理工大学）
我们提出了因子化多智能体集中式策略梯度（FACMAC），一种新的方法，在离散和连续的动作空间的合作多智能体强化学习。像MADDPG，一个流行的多代理演员批评的方法，我们的方法使用深确定性策略梯度学习政策。然而，FACMAC学习一个集中的，但分解的评论家，它结合每个代理效用到联合行动价值函数通过一个非线性单调函数，如在QMIX，一个流行的多代理Q-学习算法。然而，与QMIX不同的是，对critics的分解没有固有的约束。因此，我们还采用了非单调因子分解和经验表明，其代表性的能力增加，使它能够解决一些任务，不能用单片，或单调因子的批评。此外，FACMAC使用一个集中的策略梯度估计，优化整个联合行动空间，而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化，并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体，一种新的多智能体MuJoCo基准，和一组具有挑战性的星际争霸II微观管理任务。实证结果表明，FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
From Pixels to Factors: Learning Independently Controllable State Variables for Reinforcement Learning
Brown University（布朗大学）；UC Berkeley（伯克利大学）
针对高维观测下强化学习无法利用因子化结构提升样本效率的问题，提出基于对比学习的动作可控因子化方法ACF，利用动作影响的稀疏性挖掘独立可控潜变量，在三个基准测试中性能优于现有解耦算法。
2025-10-02 cs.AI cs.LG
Factored Policy Gradients: Leveraging Structure for Efficient Learning in MOMDPs
J. P. Morgan AI Research（摩根大通人工智能研究院）
策略梯度方法可以解决复杂的任务，但往往失败时，行动空间的维数或目标的多样性变得非常大。这部分是因为基于分数的梯度估计器的方差是二次缩放的。在本文中，我们解决这个问题，通过一个因素基线，利用独立结构编码在一个新的行动目标的影响网络。因子化的策略梯度（FPGs），这如下，提供了一个共同的框架，用于分析关键国家的最先进的算法，概括传统的策略梯度，并产生一个原则性的方式，将先验知识的问题域的生成过程。我们提供了一个分析建议的估计，并确定在何种条件下，方差减少。FPGs的算法方面进行了讨论，包括最佳的政策因式分解，其特征在于最小biclique覆盖，以及不正确地指定网络的偏差方差权衡的影响。最后，我们证明了我们的算法在大规模的土匪和交通路口的问题上的性能优势，后者提供了一个新的贡献，在空间近似的形式。
2021-11-23 cs.AI cs.LG cs.MA
Patient-Centered Treatment Planning for Chronic Multimorbidity: A Hierarchical Reinforcement Learning Framework for Preference Modeling
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；University of Tennessee Health Science Center College of Medicine（田纳西大学健康科学中心医学院）；University of Tennessee Medical Center（田纳西大学医学中心）；University of Arkansas（阿肯色大学）
提出FAHOC分层强化学习框架，通过因子化动作与偏好约束建模患者偏好，在5万共病患者数据上实现QALY改善0.669且不违反偏好。
2026-10-01 cs.LG
Dynamical-VAE-based Hindsight to Learn the Causal Dynamics of Factored-POMDPs
School of Computer Science, The University of Sheffield（谢菲尔德大学计算机学院）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Centrum Wiskunde & Informatica（数学和计算机科学中心）
针对POMDPs中部分观测下的状态表示问题，提出DVAE模型，通过扩展的后见之明框架整合过去、当前和多步未来信息，有效学习因果马尔可夫动力学并揭示隐状态转移的因果图。
2024-11-12 cs.LG stat.ML
Latent Action World Models for Control with Unlabeled Trajectories
Technical University of Munich（慕尼黑技术大学）；Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；Eötvös Loránd University Budapest（布达佩斯欧多立大学）；Foundation Robotics Labs（基础机器人实验室）
本文提出了一种潜在动作世界模型，通过结合动作条件和无动作数据，提升离线强化学习在未标记轨迹上的性能。
2025-12-10 cs.LG
Latent Energy Action Planning with World Models
Purdue University（普渡大学）
该研究针对潜在世界模型规划中动作序列与目标描述符不匹配的问题，提出LEAP方法，通过耦合终端潜在目标匹配与状态能量，结合拟牛顿求解器等，在四个控制领域将规划成功率提升17.3个百分点。
2026-09-04 cs.LG
Efficient Planning in a Compact Latent Action Space
University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；Cohere；Meta AI (FAIR)（元人工智能（基础人工智能研究部））
基于规划的强化学习在离散和低维连续动作空间的任务中表现出很强的性能。然而，规划通常会为决策带来显著的计算开销，并且将此类方法扩展到高维动作空间仍然具有挑战性。为了提高高维连续控制的有效规划，我们提出了轨迹自动编码规划器（TAP），它使用状态条件VQ-VAE学习低维潜在动作代码。解码器的VQ-VAE因此作为一种新的动力学模型，采取潜在的行动和当前状态作为输入，并重建长期的地平线轨迹。在推理时间内，给定一个起始状态，TAP搜索离散的潜在动作，以找到在训练分布下具有高概率和高预测累积奖励的轨迹。在离线RL设置的实证评估表明，低决策延迟是无关紧要的增长的原始动作维度。对于具有高维连续动作空间的Adroit机器人手操作任务，TAP大大超过了现有的基于模型的方法，并且还击败了强大的无模型演员-评论家基线。
2023-01-24 cs.LG
LIDAR-AD: A Decoder-Free Latent-Interaction Dreamer with Action-Residual Chains for Autonomous Driving
School of Mechanical Engineering, Southeast University（东南大学机械工程学院）；Department of Civil and Environmental Engineering, University of Michigan（密歇根大学土木与环境工程系）；Xheart Technology Co., Ltd.（芯驰科技有限公司）
研究针对自动驾驶中多源观测冗余问题，提出LIDAR-AD，用减少冗余的潜在对齐取代观测重建，将车辆控制建模为残差动作更新，经实验验证其在模拟场景和现实布局下性能优异，能提升风险感知等能力。
2026-07-15 cs.LG
Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions
University of California, Berkeley（加州大学伯克利分校）
提出LSFlow方法，通过球形流匹配在紧凑连续潜在空间中学习随机策略，并利用组合优化求解器保证动作可行性，引入平滑贝尔曼算子解决不连续值函数问题，在多个组合RL任务上平均超越基线20.6%。
2026-06-06 cs.LG
SALSA-RL: Stability Analysis in the Latent Space of Actions for Reinforcement Learning
Pennsylvania State University（宾夕法尼亚州立大学）
SALSA-RL通过动作潜空间的局部稳定性分析，为强化学习提供可解释性，使在不损害性能的前提下评估预训练智能体的动作稳定性。
2026-04-08 cs.LG
Simplifying Latent Dynamics with Softly State-Invariant World Models
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Tübingen（蒂宾根大学）；Helmholtz Institute for Human-Centered AI（亥姆霍兹以人为本人工智能研究所）；Helmholtz Center Munich（慕尼黑亥姆霍兹中心）
针对现有世界模型无法保证动作效果系统性表征的问题，提出软状态不变的简约潜在空间模型PLSM，通过最小化潜在状态与动作引发的潜在变化间的互信息正则化动力学，在预测、规划及无模型强化学习任务中提升了准确性、泛化性和性能。
2024-11-01 cs.LG
A Factorized Low-Rank RNN Framework for Uncovering Independent Neural Latent Dynamics and Connectivity
University of California, San Diego（加州大学圣迭戈分校）
提出FacRNN框架，通过组间独立假设和部分相关惩罚，在低秩循环神经网络中实现潜在动力学的解耦与可解释性提升。
2026-06-02 cs.CE cs.LG q-bio.NC
FlexLAM: Resolving the Bottleneck Trade-off in Latent Action Learning
University of Tsukuba（筑波大学）；The University of Tokyo（东京大学）
针对潜在动作模型中固定容量瓶颈导致的权衡问题，提出FlexLAM，通过嵌套dropout实现变长潜在动作，在不增加架构或损失的情况下，在稀缺标签和低回报任务中优于固定容量模型，并支持推理时调整令牌预算。
2026-06-19 cs.LG cs.RO
On the Identifiability of Latent Action Policies
Samsung AI Lab（三星人工智能实验室）
该研究针对近期提出的从视频中发现动作表征的潜在动作策略学习（LAPO）框架的可辨识性展开，明确了动作表征的理想性质与不可辨识性来源，证明熵正则化LAPO目标在合适条件下可辨识符合要求的动作表征，解释了离散动作表征的实践优势。
2025-10-01 cs.LG stat.ML
Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap
KTH Royal Institute of Technology（KTH皇家理工学院）；Roma Tre University（罗马第三大学）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）
我们提出了一个框架，视觉行动规划的复杂操作任务与高维状态空间，专注于可变形物体的操作。我们提出了一个潜在的空间路线图（LSR）的任务规划，这是一个基于图的结构，全球捕捉系统的动态在一个低维的潜在空间。我们的框架由三部分组成：（1）映射模块（MM），其将以图像形式给出的观测映射到提取相应状态的结构化潜在空间中，以及从潜在状态生成观测，（2）LSR，其构建并连接包含相似状态的聚类，以便找到由MM提取的开始状态和目标状态之间的潜在计划，以及（3）行动建议模块，其用相应的行动补充LSR发现的潜在计划。我们提出了一个深入的调查，我们的框架上模拟箱堆叠和绳/箱操作任务，折叠任务上执行一个真正的机器人。
2022-06-30 cs.LG cs.RO
What Do Latent Action Models Actually Learn?
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
针对潜在动作模型（LAMs）是否捕获动作相关变化而非噪声的问题，本文通过分析线性模型揭示其与PCA的联系、数据生成策略需求等见解，并验证鼓励学习可控变化的策略合理性。
2025-11-12 cs.AI cs.LG
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Salerno（萨莱诺大学）；University of Cassino and Southern Lazio（卡西诺大学和南拉齐奥大学）
我们提出了一个框架，复杂的操作任务的视觉动作规划与高维状态空间，如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图（LSR），这是一个基于图形的结构，全局捕捉潜在的系统动态。我们的框架由两个主要组件组成：一个视觉感知模块（VFM），它生成一个视觉计划作为一个图像序列，和一个行动建议网络（APN），预测它们之间的行动。我们展示了该方法的有效性，在一个模拟的箱子堆叠任务，以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
MoCoDA: Model-based Counterfactual Data Augmentation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
动态过程中的状态数量是对象数量的指数，这使得强化学习（RL）在复杂的多对象领域中变得困难。为了让智能体扩展到现实世界，它们需要对看不见的对象组合做出反应和推理。我们认为，在过渡动态识别和使用本地因式分解的能力是一个关键因素，在解锁的多对象推理的力量。为此，我们证明了（1）环境转换中的已知局部结构足以使训练动态模型的样本复杂度呈指数级降低，以及（2）局部因子动态模型可证明地将分布外推广到看不见的状态和动作。了解局部结构也使我们能够预测这个动力学模型将推广到哪些看不见的状态和动作。我们建议利用这些意见在一个新的基于模型的反事实数据增强（MoCoDA）框架。MoCoDA将学习的局部因子动力学模型应用于状态和动作的增强分布，以生成RL的反事实转换。MoCoDA与以前的工作相比，可以使用更广泛的本地结构，并允许直接控制增强的训练分布。我们表明，MoCoDA使RL代理能够学习推广到看不见的状态和动作的策略。我们使用MoCoDA来训练离线RL代理来解决标准离线RL算法失败的分布式机器人操作任务。
2022-10-20 cs.AI cs.LG cs.RO
Efficient Planning with Latent Diffusion
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
针对离线强化学习中时间抽象与规划效率问题，提出基于分数潜扩散模型的连续潜动作表示学习与规划框架 LatentDiffuser，并通过理论等价和序列级精确采样提升高维任务性能。
2023-09-30 cs.AI cs.LG
Latent Action Learning Requires Supervision in the Presence of Distractors
Innopolis University（因诺波利斯大学）；Research Center for Trusted Artificial Intelligence, ISP RAS（可信人工智能研究所以及ISP俄罗斯科学院）
该研究发现干扰项会阻碍潜在动作学习，提出LAOM改进方案提升潜在动作质量，并证实少量真实动作监督即可大幅提升下游性能，挑战了传统的先训练潜在动作模型再解码的流程。
2025-06-12 cs.AI cs.CV cs.LG
PoLAR: Factorizing Extent and Mode in Latent Actions for Robot Policy Learning
Seoul National University（首尔国立大学）
提出PoLAR方法，通过径向方向结构分解潜在动作中的程度和模式，利用时间偏移作为程度代理，在双曲空间中实现，提升下游策略性能。
2026-10-15 cs.AI cs.LG cs.RO
Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning
该研究针对潜在世界模型中MPC规划的决策度量对齐问题，提出两种秩一致性诊断指标，开发DA-LeWM模型，验证其可加快收敛并提升在线成功率，改善潜在MPC的几何结构。
2026-08-20 cs.CV cs.LG
Imitating Latent Policies from Observation
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们描述了一种新的方法来模仿学习，推断潜在的政策，直接从国家的意见。我们介绍了一种方法，其特点的因果关系的潜在行动的观察，同时预测其可能性。然后，我们概述了一个动作对齐过程，利用少量的环境交互来确定潜在的和现实世界的动作之间的映射。我们表明，这种校正的标签可以用于模仿观察到的行为，即使没有专家的行动。我们评估我们的方法在经典的控制环境和平台游戏，并证明它比标准的方法表现更好。这个工作的代码可以在https://github.com/ashedwards/ILPO上找到。
2019-05-13 cs.LG stat.ML
J-LAW: Joint Localization and Action-Conditioned World Modeling via Coupled Latent Factor Graphs
Geely Technology Europe（吉利技术欧洲公司）；State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)（信息工程测绘与遥感国家重点实验室（LIESMARS））；Wuhan University（武汉大学）
提出J-LAW，通过耦合因子图联合优化度量物体位姿、潜在世界状态和潜在地标嵌入，实现定位与可操作世界建模的协同提升，实验证明能显著降低潜在预测误差和端点漂移。
2026-09-01 cs.LG cs.RO
villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models
villa-X提出ViLLA框架，改进潜在动作的学习与整合，实现零样本生成动作计划，在模拟和真实机器人任务中表现优越，为可泛化操作策略提供可扩展范式。
2025-09-25 cs.AI cs.LG cs.RO
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
ML Collective
SmolWAM是从Cosmos Policy衍生的轻量潜在世界-动作模型，适配边缘设备，在LIBERO任务中实现95.5%的成功率，速度、运算量和内存占用均显著优于原模型。
2026-11-10 cs.LG cs.RO
Segment to Focus: Guiding Latent Action Models in the Presence of Distractors
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Oxford（牛津大学）
针对动作相关视觉干扰导致潜在动作模型失效的问题，提出MaskLAM方法，利用分割基础模型（如SAM）零样本获取智能体掩码，限制重建目标于智能体像素，迫使潜在动作编码内源动态，显著提升下游策略性能。
2026-05-27 cs.CV cs.LG
Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models
University of Oxford（牛津大学）
提出GLAM方法，通过共享潜在动作空间对齐异构数据源，学习接地潜在动作世界模型，在数据稀缺时提升模仿学习性能，平均任务成功率提高48%。
2026-06-23 cs.AI cs.LG cs.RO
CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程系）
CLAM通过连续潜在动作标签和联合训练动作解码器，有效解决复杂连续控制任务中未标记数据的学习问题，实现在DMControl和MetaWorld等基准及真实机器人上的性能提升。
2026-07-31 cs.AI cs.LG cs.RO
Olaf-World: Orienting Latent Actions for Video World Modeling
Show Lab, National University of Singapore；Research (A STAR), Singapore
提出SeqΔ-REPA对齐目标，通过冻结自监督视频编码器的时序特征差异锚定潜在动作，实现无标签视频中可迁移的动作控制世界模型预训练。
2026-05-26 cs.AI cs.CV cs.LG
Identifying Latent Actions and Dynamics from Offline Data via Demonstrator Diversity
ETH Zürich（苏黎世联邦理工学院）
本文研究了在不观察动作的情况下从离线轨迹中恢复潜在动作和环境动态的问题，通过示范多样性假设，证明了在满足特定条件时，潜在转移和示范策略可以被唯一确定，从而为从离线强化学习数据中学习潜在动作和动态提供了新的方法。
2026-05-18 cs.AI cs.LG stat.ML
Sensorimotor World Models: Perception for Action via Inverse Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Department of Computer Science, Brown University（布朗大学计算机科学系）；ELLIS Institute（ELLIS研究所）；ETH Zürich（苏黎世联邦理工学院）
提出传感器运动世界模型（SMWM），通过逆动力学正则化端到端训练潜空间世界模型，防止表示崩溃并学习与行动对齐的紧凑表示，在2D和3D控制任务中实现竞争性规划性能。
2026-06-19 cs.AI cs.LG
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University（北京大学）
本文提出了一种新的潜在语义学习方法，用于从大量具有结构化稀疏表示的丰富中级特征（即视觉关键字）的词汇中提取高级特征（即潜在语义），这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构，我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法，而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是，我们构建了L1-图的结构化稀疏表示，这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中，我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核，学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同，本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构，从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
Learning to Act Robustly with View-Invariant Latent Actions
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）；Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学）
VILA通过建模基于物理动态的视图不变潜在动作，提升机器人策略在不同视角下的鲁棒性和泛化能力。
2026-01-06 cs.AI cs.LG cs.RO
Controlling Multimodal Conversational Agents with Coverage-Enhanced Latent Actions
School of Computer Science, Wuhan University（武汉大学计算机学院）；Tongyi Lab（通义实验室）；Zhongguancun Academy（中关村学院）
本文提出通过增强覆盖的潜在动作空间改进多模态对话代理的强化学习微调，利用跨模态投影器提升鲁棒性，在两个对话任务中优于基线方法。
2026-04-13 cs.AI cs.CL cs.LG
Latent Action Pretraining from Videos
KAIST（韩国科学技术院）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；NVIDIA（英伟达）；Allen Institute for AI（人工智能算法研究所）
本文提出LAPA无监督预训练方法，通过VQ-VAE式潜在动作量化从无动作标签视频学习VLA模型，并在小规模机器人数据上微调，显著提升真实操作泛化性能。
2025-05-15 cs.CL cs.CV cs.LG
Being-H0.7: A Latent World-Action Model from Egocentric Videos
BeingBeyond Team（BeingBeyond团队）
本文提出Being-H0.7，通过在感知与动作之间插入可学习的潜在查询，实现未来感知的VLA策略，无需生成未来帧，提升预测效率与部署性。
2026-04-30 cs.CV cs.LG cs.RO
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习的目标是从固定的数据集中学习策略，而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说，这种设置将成为一个越来越重要的范例，其中数据汇集速度缓慢，并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间（PLAS）中学习策略，以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能，优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
Vision-Language Models Unlock Task-Centric Latent Actions
Innopolis University（因诺波利斯大学）；Research Center for Trusted Artificial Intelligence, ISP RAS（可信人工智能研究所以及ISP俄罗斯科学院）
本文提出利用视觉-语言模型的常识推理能力，通过可提示的表示分离可控变化与噪声，提升潜在动作质量，从而提高下游任务性能。
2026-01-30 cs.AI cs.CV cs.LG
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester（曼彻斯特大学）
人体动作识别是指从视频片段中自动识别人体动作。在现实中，视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释，而不是将每个标签分配给对应于单个动作的特定视频片段，这导致了多标签学习问题。此外，现实中存在许多有意义的人类动作，但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的，这导致零样本学习场景。据我们所知，还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中，我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题，并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题，并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此，我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此，多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架，包括一个专门为评估多标签零样本学习而设计的新型数据分割方案，在两个数据集上：早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
AdaWorld: Learning Adaptable World Models with Latent Actions
HKUST（香港科技大学）；Harvard（哈佛大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
AdaWorld通过自监督提取视频潜在动作并预训练以潜在动作为条件的自回归世界模型，使世界模型能在有限交互下高效适应异构动作的新环境，并在模拟质量与视觉规划上表现优越。
2025-06-02 cs.AI cs.CV cs.LG
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA；National Taiwan University（国立台湾大学）
本文提出ThinkAct双系统框架，通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行，在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
CLAS: Coordinating Multi-Robot Manipulation with Central Latent Action Spaces
Volkswagen Group（大众集团）；Machine Learning Research Lab（机器学习研究实验室）
多机器人操作任务涉及各种控制实体，这些控制实体可以被分离成动态独立的部分。此类现实世界任务的典型示例是双臂操纵。学习用强化学习天真地解决这样的任务通常是不可行的，因为样本复杂性和探索需求随着动作和状态空间的维度而增长。相反，我们希望处理多代理系统这样的环境，并有几个代理控制整体的一部分。然而，分散行动的产生需要通过一个仅限于任务中心信息的渠道进行跨代理的协调。本文提出了一种方法来协调多机器人操作，通过学习的潜在行动空间，在不同的代理共享。我们在模拟多机器人操作任务中验证了我们的方法，并证明了在样本效率和学习性能方面比以前的基线有所改进。
2022-11-28 cs.GT cs.LG cs.MA
