When Do Conservation Laws Survive Learned Representations? Certified Horizons for Latent World Models
Department of Mathematics, Stony Brook University(石溪大学数学系)
研究物理世界模型中守恒律在潜表示学习后的可认证性,提出一种通过解码物理不变量并分解模型缺陷来预计算认证视界的方法,实验表明硬规范辛结构在已知相坐标中表现最佳,但软约束在潜表示设置中更鲁棒。
2026-07-03 cs.LG cs.RO
Sim-to-Real for Robotic Tactile Sensing via Physics-Based Simulation and Learned Latent Projections
NVIDIA Corporation(英伟达公司);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
触觉感知对于机器人在视觉遮挡下抓取和操纵物体至关重要。然而,与机器人手臂和相机的模拟相比,触觉传感器的当前模拟具有有限的准确性、速度和实用性。在这项工作中,我们开发了一个有效的三维有限元法(FEM)模型的SynTouch BioTac传感器使用开放访问,基于GPU的机器人模拟器。我们的模拟在行业标准的基于CPU的模拟器中精确再现了实验验证模型的结果,但速度是75倍。然后,我们通过自我监督学习模拟BioTac变形和真实世界电气输出的潜在表示,以及使用小型监督数据集进行潜在空间之间的投影。使用这些学习到的潜在投影,我们准确地合成了真实世界的BioTac电输出,并估计了接触贴片,这两个都是看不见的接触相互作用。这项工作有助于一个有效的,可自由访问的有限元模型的BioTac,并包括第一次努力结合自我监督,跨模态传输,和仿真到现实迁移的触觉传感器。
2021-03-31 cs.RO
Infeasible optimization problems and the hierarchical augmented Lagrangian method in imitation learning
University of Cambridge(剑桥大学)
针对模仿学习中约束不可行导致训练不稳定的问题,提出基于增广拉格朗日方法的解决方案,将策略引导至最近可行约束问题的解,并在驾驶示例中验证其有效性。
2026-05-30 cs.RO
MagServo: Uncertainty-Resilient Hierarchical Magnetic Servoing via Learned Latent Representations
Imperial College London(伦敦帝国理工学院);The University of Hong Kong(香港大学);Technical University of Munich(慕尼黑工业大学)
MagServo提出一种分层学习框架,利用潜在磁特征实现鲁棒的6自由度磁力伺服控制,通过掩码重建和动力学学习,结合模型预测控制与雅可比反演,达到亚毫米和亚度精度,并在复杂轨迹跟踪中优于基线。
2026-10-06 cs.RO
Shared Autonomy with Learned Latent Actions
Stanford University(斯坦福大学)
辅助机器人使残疾人能够独立完成日常工作。然而,这些任务可能是复杂的,包含粗到达运动和细粒度操纵。例如,当进食时,不仅需要移动到正确的食物项目,而且还必须以不同的方式精确地操纵食物(例如,切、刺、挖)。共享自治方法通过仲裁用户输入与机器人控制,使机器人遥操作更安全,更精确。然而,这些作品主要集中在从离散集合中达到目标的高级任务上,而在很大程度上忽略了在该目标下对对象的操作。与此同时,用于遥操作的降维技术将有用的高维机器人动作映射到直观的低维控制器中,但目前还不清楚这些方法是否可以达到进食等任务所需的精度。我们的观点是,通过将学习到的潜在动作的直观嵌入与共享自主的机器人协助相结合,我们可以实现精确的辅助操作。在这项工作中,我们通过提出一个新的模型结构,改变了人类的输入的意义上的机器人的信心的目标,通过学习潜在的行动共享自治。我们展示了机器人到最有可能的目标的距离上的收敛边界,并开发了一个训练过程来学习一个控制器,该控制器即使在存在共享自主权的情况下也能够在目标之间移动。我们评估我们的方法在模拟和吃用户的研究。点击这里观看我们的实验视频:https://youtu.be/7BouKojzVyk
2020-05-11 cs.RO
Accurate Open-Loop Control of a Soft Continuum Robot Using Visually Learned Latent Dynamics
Department of Advanced Interdisciplinary Studies, The University of Tokyo(东京大学先进跨学科研究科);Institute of Assembly Technology and Robotics, Leibniz University Hannover(莱比锡大学装配技术与机器人研究所);Research Center for Advanced Science and Technology, The University of Tokyo(东京大学先进科学研究中心)
本文提出通过视觉学习的潜在动态实现软连续机器人的开环控制,利用视觉振荡网络和注意力广播解码器,减少图像空间跟踪误差,验证了可解释的视频学习潜在动态在长时间尺度开环控制中的可靠性。
2026-10-05 cs.RO cs.SY eess.SY
Latent Activation Editing: Inference-Time Refinement of Learned Policies for Safer Multirobot Navigation
Department of Computer Science, University of Southern California(南加州大学计算机科学系);Automatic Control Laboratory, ETH Zürich(苏黎世联邦理工学院自动控制实验室)
提出潜在激活编辑(LAE)框架,通过在推理时在线检测并编辑中间激活,在不修改权重或架构的情况下降低预训练策略的碰撞率,在四旋翼导航中实现近90%的碰撞减少。
2026-06-01 cs.RO
V-MORALS: Visual Morse Graph-Aided Estimation of Regions of Attraction in a Learned Latent Space
Viterbi School of Engineering, University of Southern California(美国南加州大学维特比工程学院);Automatic Control Laboratory, ETH Zürich(瑞士苏黎世联邦理工学院自动控制实验室)
V-MORALS通过学习潜在空间生成莫尔斯图,实现无需全状态信息的吸引区域估计,适用于仅使用传感器数据的机器人系统分析。
2026-03-02 cs.CV cs.LG cs.RO
Dynamics Are Learned, Not Told: Semi-Supervised Discovery of Latent Dynamics Geometries For Zero-Shot Policy Adaptation
Zhiming Xu(徐志明);Weitao Zhou(周伟涛);Xianghui Pan(潘向辉);Nanshan Deng(邓南山);Chengju Liu(刘成军);Qijun Chen(陈齐军);Chenpeng Yao(姚晨鹏)
针对机器人强化学习中动力学变化导致策略失效的问题,提出基于对比学习的半监督方法,通过构建平滑、任务相关的潜在拓扑结构,实现零样本策略适应,在MuJoCo基准上优于参数中心方法。
2026-06-01 cs.RO
HALO: Hybrid Auto-encoded Locomotion with Learned Latent Dynamics, Poincaré Maps, and Regions of Attraction
Caltech(加州理工学院);NC State University(北卡罗来纳州立大学)
HALO通过从轨迹数据中学习低维潜在线性模型,结合庞加莱映射和吸引区域分析,提升混合动力系统稳定性与安全性。
2026-04-20 cs.RO cs.SY eess.SY
Dream to Control: Learning Behaviors by Latent Imagination
University of Toronto(多伦多大学);Google Brain(谷歌大脑);DeepMind(深度思维)
学习世界模型总结了一个代理的经验,以促进学习复杂的行为。虽然通过深度学习,从高维感官输入中学习世界模型变得可行,但从它们中获得行为的潜在方法有很多。我们提出了梦想家,一个强化学习代理,解决了长期的任务,从图像纯粹的潜在想象力。我们通过将学习状态值的分析梯度传播回在学习世界模型的紧凑状态空间中想象的轨迹来有效地学习行为。在20个具有挑战性的视觉控制任务中,Dreamer在数据效率,计算时间和最终性能方面超过了现有方法。
2020-03-17 cs.AI cs.LG cs.RO
Ensemble Latent Space Roadmap for Improved Robustness in Visual Action Planning
Roma Tre University(罗马第三大学);KTH Royal Institute of Technology(KTH皇家理工学院)
在学习的潜在空间中进行规划有助于减少原始观测的维度。在这项工作中,我们建议利用集成模式,以提高潜在的规划系统的鲁棒性。我们依赖于我们的潜在空间路线图(LSR)框架,该框架在学习的结构化潜在空间中构建一个图来执行规划。给定多个LSR框架实例,其潜在空间或用于构建图的参数不同,我们使用动作信息以及所产生的计划的嵌入节点来定义相似性度量。然后利用这些来选择最有希望的计划。我们验证了我们的Ensemble LSR(ENS-LSR)的性能模拟箱堆叠和葡萄收获任务,以及在现实世界的机器人T恤折叠实验。
2023-03-27 cs.RO
Uncertainty-Aware Online Merge Planning with Learned Driver Behavior
Stanford University(斯坦福大学)
安全可靠的自动驾驶解决方案是下一代智能交通系统的关键组成部分。这种系统中的自动驾驶车辆必须实时的推理复杂和动态的驾驶场景,并预测附近驾驶员的行为。人类驾驶行为是高度细致入微的,具体到个人的交通参与者。例如,驾驶员可能会在合并车辆的存在下表现出合作或不合作的行为。必须对这些行为进行评估,并将其纳入安全有效驾驶的规划过程中。在这项工作中,我们提出了一个框架,估计在高速公路上的司机的合作水平和计划合并演习与司机的潜在行为明确建模。潜在的参数估计问题,解决了使用粒子滤波器近似的概率分布的合作水平。一个部分可观测马尔可夫决策过程(POMDP),其中包括潜在的状态估计在线求解,以提取合并车辆的政策。我们评估我们的方法在高保真汽车模拟器对方法是不可知的潜在状态或依赖于$\textit{a priori}$假设演员的行为。
2022-07-11 cs.RO
Adaptive Sampling of Latent Phenomena using Heterogeneous Robot Teams (ASLaP-HR)
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们提出了一个在线自适应规划策略的机器人与异构传感器的一组样本从一个潜在的空间领域使用的学习模型进行决策。当前的机器人采样方法试图收集关于可观察的空间场的信息。然而,许多应用,如环境监测和精准农业,涉及无法直接观察或测量成本高的现象,称为潜在现象。在我们的方法中,我们试图通过使用一组具有异构传感器的机器人对可观察的空间场进行有效采样来实时推理潜在的现象,其中每个机器人都有一个不同的传感器来测量不同的可观察场。使用从可观察的空间场映射到潜在现象的学习模型来估计信息增益。这个模型捕捉任意的不确定性的关系,允许信息理论的措施。此外,我们显式地考虑可观察的空间场之间的相关性,捕捉传感器类型的观察是不独立的之间的关系。我们表明,它是可以学习这些相关性,并调查我们的采样方法的性能上的学习相关模型的影响。通过我们的定性和定量的结果,我们说明,经验学习的相关性提高了团队的整体抽样效率。我们模拟我们的方法使用的传感器测量的数据集收集在魁北克湖赫特尔,我们公开提供。
2022-08-11 cs.RO
LeHami: Symplectic Latent Dynamics for World Models
Courant Institute, New York University(纽约大学柯朗研究所);Brown University(布朗大学);AMI Labs(AMI实验室)
LeHami将辛哈密顿流引入JEPA,解决了其长展开时隐分布压缩的问题,在视觉摆任务中提升了长程速度预测性能并维持了隐体积,还支持亚帧积分与时间反转。
2026-10-14 cs.AI cs.LG cs.RO
Modeling Latent Disturbances for Robust Decision-Making in World Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出在世界模型潜在空间中对潜在扰动建模,通过保形预测校准不确定性集并采用博弈论优化,实现鲁棒决策,在仿真和Franka机械臂实验中显著降低失败率。
2026-10-07 cs.AI cs.LG cs.RO
Learning to Correspond Dynamical Systems
The University of British Columbia(不列颠哥伦比亚大学)
许多动力系统具有相似的结构,这通常是由手工设计的简化模型捕获的,可用于分析和控制。我们开发了一种方法,通过学习潜在的动力系统学习对应的动力系统对。给定来自两个动力系统的轨迹数据,我们学习一个共享的潜在状态空间和一个共享的潜在动力学模型,以及每个原始系统的编码器-解码器对。有了学习到的对应关系,我们就可以用一个系统的模拟来产生一个对应系统的想象运动。我们还可以模拟学习的潜在动力学,并合成两个相应系统的运动,作为互模拟的一种形式。我们演示的方法,使用对控制双足步行者,以及通过配对的步行者与控制摆。
2020-06-04 cs.LG cs.RO stat.ML
Planning as Descent: Goal-Conditioned Latent Trajectory Synthesis in Learned Energy Landscapes
University of Alicante(阿利坎特大学)
PaD通过学习目标条件化能量函数实现离线无奖励规划,以验证为基础进行轨迹合成,取得95%的成功率并优于现有方法。
2025-12-19 cs.AI cs.RO
Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC
Georgia Institute of Technology(佐治亚理工学院)
提出SLS^2框架,结合保形预测与鲁棒模型预测控制,在学习的潜在世界模型中实现基于视觉的安全运动规划,提升目标到达性能与安全性。
2026-06-16 cs.AI cs.CV cs.LG
What Can Latent World Models Know? Physical Information in Multimodal Predictive Representations
New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
该研究通过可控实验揭示,隐式世界模型的目标函数结构决定其获取的物理参数,输入与预测目标分别限制和决定可获知的物理量,额外数据仅优化已获取的参数。
2026-09-29 cs.LG cs.RO
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
与流行的模块化框架不同,端到端自动驾驶寻求以集成的方式解决感知,决策和控制问题,这可以更好地适应新场景,更容易大规模推广。然而,现有的端到端方法往往缺乏可解释性,只能处理简单的驾驶任务,如车道保持。在本文中,我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法,该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型,并与强化学习过程一起学习。利用该潜在模型,可以生成语义birdeye mask,该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接,以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明,我们的方法在周围车辆拥挤的城市场景中的性能占主导地位,包括DQN,DDPG,TD3和SAC。此外,通过掩蔽输出,学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
TempBEV: Improving Learned BEV Encoders with Combined Image and BEV Space Temporal Aggregation
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰北美研发中心);University of Stuttgart(斯图加特大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Pennsylvania State University(宾夕法尼亚州立大学);University of Southampton(南安普顿大学)
本文提出TempBEV,一种结合图像与BEV空间时间聚合的BEV编码器,利用光流估计进行时间立体编码,在NuScenes数据集上显著提升3D检测与BEV分割性能。
2024-09-19 cs.AI cs.CV cs.LG
Extending Lagrangian and Hamiltonian Neural Networks with Differentiable Contact Models
Siemens Technology(西门子技术)
适当的归纳偏差的结合在从数据中学习动态方面起着关键作用。越来越多的工作一直在探索如何通过将拉格朗日或哈密顿动力学编码到神经网络架构中来加强学习动力学中的能量守恒。这些现有的方法是基于微分方程,不允许状态的不连续性,从而限制了人们可以学习的系统的类别。然而,实际上,大多数物理系统(例如足式机器人和机器人操纵器)都涉及接触和碰撞,这会导致状态的不连续性。在本文中,我们介绍了一个可微接触模型,它可以捕捉接触力学:无摩擦/摩擦,以及弹性/非弹性。该模型还可以适应不等式约束,例如对关节角度的限制。建议的接触模型扩展了拉格朗日和哈密顿神经网络的范围,允许同时学习的接触和系统属性。我们证明了这个框架上的一系列具有挑战性的2D和3D物理系统具有不同的恢复和摩擦系数。学习的动态可以用作下游基于梯度的优化任务(例如规划和控制)的可微物理模拟器。
2021-11-12 cs.AI cs.LG cs.RO
Sensitivity Shaping for Latent Modeling
University of California San Diego(加利福尼亚大学圣迭戈分校)
针对生成动力学模型在策略诱导的分布外(OOD)转换检测中灵敏度不足的问题,提出支持条件控制灵敏度正则化,提升对控制输入变化的局部响应,实验验证了改进的OOD检测和更安全的闭环规划。
2026-10-07 cs.AI cs.RO
Reinforcement Learning with Neural Radiance Fields
TU Berlin(柏林工业大学);Google(谷歌);MIT(麻省理工学院)
寻找有效的表征方法来训练强化学习(RL)智能体是一个长期存在的问题。本文证明,与其他学习表示或甚至低维手工设计的状态信息相比,从神经辐射场(NeRFs)中监督学习状态表示可以提高RL的性能。具体来说,我们建议训练编码器,将多个图像观测映射到描述场景中对象的潜在空间。从潜在条件NeRF构建的解码器作为监督信号来学习潜在空间。然后,RL算法对学习的潜在空间进行操作,作为其状态表示。我们称之为NeRF-RL。我们的实验表明,NeRF作为监督导致一个潜在的空间更适合下游RL任务,涉及机器人对象操作,如挂在钩子上的杯子,推动物体,或打开门。视频:https://dannydriess.github.io/nerf-rl
2022-06-03 cs.CV cs.LG cs.RO
Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination
University of Hamburg(汉堡大学);Knowledge Technology(知识技术学院)
结合基于模型和无模型的学习系统已被证明可以提高学习的样本效率,以执行复杂的机器人任务。然而,双系统方法未能考虑学习模型的可靠性,当它被应用于进行多步预测,导致预测误差和性能下降的复合。在本文中,我们提出了一种新的双系统电机学习方法,其中元控制器基于学习模型的局部可靠性估计在线仲裁基于模型和无模型的决策。可靠性估计用于计算内在反馈信号,鼓励产生改进模型的数据的行动。我们的方法还集成了仲裁与想象力的学习潜在空间模型产生想象的经验,根据其本地的可靠性,作为额外的训练数据。我们评估我们的方法对基线和国家的最先进的方法在模拟和现实世界中学习基于视觉的机器人抓取。结果表明,我们的方法优于比较的方法,并学习接近最优的抓取策略在密集和稀疏奖励环境。
2020-11-01 cs.AI cs.LG cs.RO
Low-Rank Dynamics-Effective Latent Carriers for Counterfactual Rollout in Learned World Models
本文针对学习世界模型的反事实滚动问题,提出基于低秩动力学有效潜在载体的方法,在两物体碰撞环境中验证秩4修补块可实现稳定的12步自主反事实滚动,且效果可复现。
2026-09-09 cs.AI cs.RO
Steadily Learn to Drive with Virtual Memory
Tsinghua University(清华大学)
强化学习在发展高水平自动驾驶方面显示出巨大潜力。然而,对于高维任务,目前的强化学习方法在训练过程中存在数据效率低和振荡的问题。本文提出了一种基于虚拟内存的学习驱动算法。LVM将高维信息压缩成紧凑的潜在状态,并学习一个潜在的动态模型来总结Agent的经验。各种想象的潜在的轨迹产生的虚拟内存的潜在的动态模型。该策略通过将梯度传播通过具有想象的潜在轨迹的学习的潜在模型来学习,从而导致高数据效率。此外,设计了一种双评价器结构,以减少训练过程中的振荡。通过一个图像输入的自动驾驶任务证明了该方法的有效性,在该任务中,LVM在数据效率、学习稳定性和控制性能方面优于现有方法。
2021-02-16 cs.AI cs.LG cs.RO
Dream to Adapt: Meta Reinforcement Learning by Latent Context Imagination and MDP Imagination
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Shanghai Jiao Tong University(上海交通大学);Ford Motor Company(福特汽车公司)
本文提出MetaDreamer,一种基于上下文的元强化学习算法,通过潜在上下文插值想象和MDP想象减少数据需求,在数据效率和泛化上优于现有方法。
2023-11-11 cs.AI cs.LG cs.RO
Latent Skill Planning for Exploration and Transfer
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Brain(谷歌大脑);Nvidia(英伟达)
为了快速解决复杂环境中的新任务,智能代理需要建立可重用的知识。例如,学习世界模型捕获关于应用于新任务的环境的知识。类似地,技能捕捉可以应用于新任务的一般行为。在本文中,我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说,我们利用部分摊销的思想在测试时快速适应。为此,行动是由一个随着时间的推移而学习的政策产生的,而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处,并证明了提高样本效率在单一的任务,以及在从一个任务转移到另一个,相比有竞争力的基线。视频请访问:https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO