DeCAL: Towards Physically-Grounded Dexterous Vision-Language-Action Models via Contact-Aware Latent Co-Imagination
Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
DeCAL提出了一种物理基础的灵巧视觉-语言-动作模型,通过接触感知门控融合和潜在共同想象整合触觉信息,在灵巧操作任务中达到71%平均成功率,并展现出强泛化能力。
2026-09-09 cs.AI cs.RO
Energy-Structured Latent World Models with Neural Time Fields for Physically Constistent Open-World Motion Planning
针对开放世界运动规划的物理一致性挑战,提出能量结构化潜在世界模型ELWM,结合物理条件神经时间场PC-NTF,显著提升了运动预测精度与导航成功率,降低了碰撞率与残差。
2026-08-11 cs.AI cs.RO
Toward Physically Grounded JEPA World Models for Goal-Conditioned Robotic Planning
GENISOM AI
该研究提出结合逆动力学模型与状态对齐的端到端JEPA世界模型,在四个机器人规划基准任务中多数达到最优成功率,验证了状态对齐对提升规划效果的作用。
2026-09-22 cs.AI cs.LG cs.RO
From Abstractions to Grounded Languages for Robust Coordination of Task Planning Robots
Arizona State University(亚利桑那州立大学)
本文研究如何自动构建兼具灵活性与解释力的协调语言,将计划表达为“计划草图”以在保证最优性的同时实现鲁棒协调,并给出形式化分析与近似解。
2024-02-22 cs.AI
Efficient Robotic Policy Learning via Latent Space Backward Planning
Tsinghua University(清华大学);Peking University(北京大学);Shanghai AI Lab(上海人工智能实验室)
提出潜在空间反向规划(LBP)方法,通过锚定最终目标并递归预测子目标,实现高效且准确的机器人长时程策略学习,在仿真和真实实验中达到最先进性能。
2025-05-27 cs.AI cs.CV cs.RO
ViDAL: A Visual Dynamics-Grounded Action Latent Space for Vision-Language-Action Models
CASIA(中国科学院自动化研究所);UCAS(中国科学院大学);Alibaba Group(阿里巴巴集团);FiveAges(五时代)
ViDAL通过动作变分自编码器将连续动作潜变量锚定于未来视觉动力学,构建视觉动力学接地动作潜空间,兼容多种VLA架构,在LIBERO、RoboTwin及真实机器人上显著提升成功率。
2026-10-07 cs.RO
DriveDreamer-Policy: A Geometry-Grounded World-Action Model for Unified Generation and Planning
GigaAI(极佳科技);University of Toronto(多伦多大学);CUHK MMLab(香港中文大学多媒体实验室)
本文提出DriveDreamer-Policy,结合深度生成、未来视频生成与运动规划,通过几何感知的世界表示提升生成与规划的连贯性与准确性。
2026-04-02 cs.AI cs.CV cs.RO
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA;National Taiwan University(国立台湾大学)
本文提出ThinkAct双系统框架,通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行,在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
NVIDIA(英伟达)
Fast-ThinkAct通过可言说的潜在规划实现高效的视觉-语言-动作推理,显著降低推理延迟并保持长周期规划能力。
2026-02-24 cs.AI cs.CV cs.LG
Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations and Goals
AIT Austrian Institute of Technology(奥地利技术研究所);Assistive & Autonomous Systems(辅助与自主系统)
该研究将JEPA模型扩展至点云场景,验证了三种JEPA设计可在点云规划中有效工作,其中动作敏感型模型表现最优,还实现了无需目标观测的3D目标接口构建。
2026-09-29 cs.AI cs.CV cs.LG
Spatially Grounded Long-Horizon Task Planning in the Wild
Korea University(韩国大学);Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一种基于空间的规划任务,引入了GroundedPlanBench基准,评估机器人在真实环境中的长时域动作规划能力,并通过V2GP框架提升空间接地规划性能。
2026-03-13 cs.AI cs.RO
Learning to Reason over Scene Graphs: A Case Study of Finetuning GPT-2 into a Robot Language Model for Grounded Task Planning
Technische Universität Darmstadt(达姆施塔特工业大学);Center for Mind, Brain and Behavior, Uni. Marburg and JLU Giessen(马尔堡大学与吉森尤斯图斯·李比希大学心智、大脑与行为研究中心);Amazon Alexa(亚马逊Alexa)
本研究探索将GPT-2微调为机器人语言模型,通过场景图接地输入,将人类请求分解为子目标规划,在ALFRED基准上验证了LLM在长时程任务规划中的有效性和泛化潜力。
2023-05-12 cs.AI cs.RO
ATLAS: Aligned Transport of Latent Structure for Reliable World Model Planning
Pennsylvania State University(宾夕法尼亚州立大学)
ATLAS通过对齐传输保留潜在关系几何并校准边际分布,提升世界模型在规划任务中的可靠性和新颖性泛化能力。
2026-10-01 cs.AI cs.RO
Language-Grounded Hierarchical Planning and Execution with Multi-Robot 3D Scene Graphs
Massachusetts Institute of Technology(麻省理工学院);U.S. Army Combat Capabilities Development Command, Army Research Laboratory(美国陆军战斗能力发展指挥部,陆军研究实验室)
本文提出一种多机器人系统,通过构建共享3D场景图实现建图、定位与任务运动规划,并利用LLM将自然语言指令转化为PDDL目标,完成复杂任务。
2025-07-10 cs.AI cs.RO
PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning
自主智能体观察世界状态的能力有限。部分可观测马尔可夫决策过程(POMDPs)对世界状态不确定性下的规划问题进行了形式化建模,但具有连续动作和非线性动力学特性的POMDPs适合于机器人应用,其求解具有挑战性。在本文中,我们提出了一个有效的差分动态规划(DDP)算法的信任空间规划POMDP的不确定性在一个离散的潜在状态,连续的状态,行动,观察,和非线性动力学。这种表示允许规划的动态轨迹是敏感的离散的潜在世界状态的结构化不确定性。我们开发了动态规划技术,以优化一个可能的观测和信念空间轨迹树的应急计划,并得出一个层次版本的算法。我们的方法适用于成本或回报函数不确定的问题(例如,目标或障碍的配置),动态的不确定性(例如,混合系统的动态模式),以及交互的不确定性,其中其他代理的行为取决于潜在的意图。基准测试表明,我们的算法优于流行的启发式方法规划下的不确定性,从一个自主变道任务的结果表明,我们的算法可以合成强大的互动轨迹。
2019-12-14 cs.AI cs.RO
Imitation from Heterogeneous Demonstrations using Grounded Latent-Action World Models
University of Oxford(牛津大学)
提出GLAM方法,通过共享潜在动作空间对齐异构数据源,学习接地潜在动作世界模型,在数据稀缺时提升模仿学习性能,平均任务成功率提高48%。
2026-06-23 cs.AI cs.LG cs.RO
Planning as Descent: Goal-Conditioned Latent Trajectory Synthesis in Learned Energy Landscapes
University of Alicante(阿利坎特大学)
PaD通过学习目标条件化能量函数实现离线无奖励规划,以验证为基础进行轨迹合成,取得95%的成功率并优于现有方法。
2025-12-19 cs.AI cs.RO
Map2Route: Benchmarking Compositional Language-Grounded Route Planning over Semantic Maps
Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
本文提出Map2Route基准和Grounding2Route方法,用于组合式语言引导的语义地图路线规划,通过代码基础与验证修复提升性能,但距人类水平仍有差距。
2026-09-17 cs.RO
LaPlaSS: Latent Space Planning for Stochastic Systems
Massachusetts Institute of Technology(麻省理工学院)
针对动力学模型未知的随机系统智能体的风险有界轨迹规划需求,提出基于VAE潜空间线性动力学的“生成-检验”式LaPlaSS方法,实现高效且风险有界的规划,效率较前沿方法高一个数量级。
2024-04-10 cs.AI cs.RO
Robot Motion Planning in Learned Latent Spaces
Stanford University(斯坦福大学)
本文提出了基于潜在采样的运动规划(L-SBMP),一种通过学习可规划的潜在表示来计算复杂机器人系统运动规划的方法。最近的工作在控制机器人系统有效地利用本地,低维嵌入高维动力学。在本文中,我们将这些最新进展与基于采样的运动规划(SBMP)技术相结合,以设计一种能够规划传统方法(例如,类人机器人,甚至是在视觉空间中进行规划的系统)。具体来说,学习的潜在空间是通过一个自动编码网络,一个动态网络,和碰撞检查网络,这反映了SBMP的三个主要算法原语,即状态采样,本地转向,和碰撞检查。值得注意的是,这些网络可以只通过系统状态和动作的原始数据以及监督冲突检查器来训练。在这些网络的基础上,使用基于RRT的算法直接在潜在空间中规划运动-我们将这种探索算法称为学习潜在RRT(L2 RRT)。该算法全局地探索潜在空间,并能够推广到新的环境。整体的方法证明了两个规划问题,即视觉规划问题,规划发生在视觉(像素)空间,和一个人形机器人规划问题。
2018-11-06 cs.RO
CLaD: Planning with Grounded Foresight via Cross-Modal Latent Dynamics
KAIST(韩国科学技术院)
CLaD通过不对称跨注意力机制联合建模本体和语义状态演化,利用自监督目标和EMA编码器防止表征崩溃,实现高成功率的长序列动作生成。
2026-03-31 cs.RO
Scaling Manual-Grounded Appliance Manipulation with Data Synthesis and Unified Planning
Center on Frontiers of Computing Studies, School of Computer Science, Peking University(北京大学计算机学院计算前沿研究中心);Beijing University of Aeronautics and Astronautics(北京航空航天大学);Jingdong Technology Information Technology Co., Ltd(京东科技信息技术有限公司)
针对现有大模型缺乏支持基于手册的家电操作规划的数据集的问题,提出MAGE数据合成流水线构建UseAppliance数据集,开发AppliancePlan模型,在RealAppliance-Bench和真实机器人实验中表现优异,推进通用家用机器人发展。
2026-08-18 cs.AI cs.CL cs.CV
Commonsense-Grounded Path Planning from Abstract Instructions
CyberAgent Inc.(CyberAgent公司);Nagoya University(名古屋大学)
CoRS利用大语言模型和视觉语言模型,将抽象指令转化为遵循常识的路径,通过常识排序发现未言明的考量并规划绕行,实验验证其优于现有LLM规划器。
2026-09-22 cs.AI cs.RO
Ensemble Latent Space Roadmap for Improved Robustness in Visual Action Planning
Roma Tre University(罗马第三大学);KTH Royal Institute of Technology(KTH皇家理工学院)
在学习的潜在空间中进行规划有助于减少原始观测的维度。在这项工作中,我们建议利用集成模式,以提高潜在的规划系统的鲁棒性。我们依赖于我们的潜在空间路线图(LSR)框架,该框架在学习的结构化潜在空间中构建一个图来执行规划。给定多个LSR框架实例,其潜在空间或用于构建图的参数不同,我们使用动作信息以及所产生的计划的嵌入节点来定义相似性度量。然后利用这些来选择最有希望的计划。我们验证了我们的Ensemble LSR(ENS-LSR)的性能模拟箱堆叠和葡萄收获任务,以及在现实世界的机器人T恤折叠实验。
2023-03-27 cs.RO
Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model
KAIST(韩国科学技术院);POSTECH(POSTECH大学);RLWRLD
本文提出CompACT,一种将观测压缩为8个标记的离散标记器,显著降低计算成本并提升规划效率,为潜在世界模型的实际应用提供可行方案。
2026-03-05 cs.AI cs.CV cs.RO
Approximate Inference-based Motion Planning by Learning and Exploiting Low-Dimensional Latent Variable Models
KAIST(韩国科学技术院)
这项工作提出了一种有效的框架来生成具有高自由度的机器人的运动计划(例如,人形机器人)。机器人配置空间的高维性通常导致难以利用广泛使用的运动规划算法,因为决策空间的体积随着维数呈指数级增加。为了处理复杂的决策空间,并有效地解决相应的运动规划问题,在这项工作中,采用了两个关键的概念:第一,高斯过程隐变量模型(GP-LVM)用于低维表示的原始配置空间。其次,使用近似推理算法,利用控制和估计之间的对偶性,探索决策空间,并计算出高质量的运动轨迹的机器人。利用GP-LVM和控制与估计之间的对偶性,我们构造了一个完全概率生成模型,将高维运动规划问题转化为一个易于处理的推理问题。最后,我们计算的运动轨迹通过近似推理算法的基础上的一个变种的粒子滤波。由此产生的运动可以在补充视频中查看。(https://youtu.be/kngEaOR4Esc)的网站上进行了介绍。
2018-08-01 cs.AI cs.RO
ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning
Panasonic Connect Co., Ltd.(松下电器(株式会社));Panasonic R&D Center(松下研发中心);National University of Singapore(新加坡国立大学)
针对 LLM/VLM 机器人规划缺乏物理场景锚定且输出不稳定的问题,本文提出 ViReSkill,通过视觉条件重规划和可复用技能记忆实现终身学习,并在仿真与实体机器人上验证了更高成功率。
2025-09-29 cs.AI cs.LG cs.RO
Domain-Conditioned Scene Graphs for State-Grounded Task Planning
Zhejiang University(浙江大学)
针对大型多模态模型在机器人任务规划中状态落地能力不足的问题,提出以领域条件场景图为核心的结构化状态落地框架,可映射为PDDL符号状态,采用轻量视觉-语言方法生成,在三个领域上的准确率和成功率均显著优于现有LMM方法。
2025-08-30 cs.RO
PLAN-S: Bridging Planning with Latent Style Dynamics for Autonomous Driving World Models
Intelligent Transportation Thrust, Systems Hub, and Center of Seamless Connectivity & Connected Intelligence, The Hong Kong University of Science and Technology (Guangzhou)(智能交通 thrust、系统中心及无缝连接与智能连接研究院,香港科学与技术大学(广州))
提出PLAN-S框架,通过从潜在表示解码风格条件语义成本图,解决自动驾驶中潜在世界模型规划的可控性问题,在nuScenes和NAVSIM上降低了碰撞率并提升了驾驶性能。
2026-06-04 cs.AI cs.RO
Collision-free Path Planning in the Latent Space through cGANs
Waseda Univ.(早稻田大学);AIST(日本产业技术综合研究所);Univ. of Cergy-Pontoise(塞吉-蓬图瓦兹大学);Preferred Networks(优选网络公司)
我们展示了一种通过cGAN进行无碰撞路径规划的新方法,将其潜在空间映射到机器人关节空间的无碰撞区域。我们的方法简单地提供了这个无碰撞的潜在空间之后,任何计划,使用任何优化条件,可以用来生成最合适的路径上飞。我们成功地验证了这种方法与模拟两连杆机器人手臂。
2022-02-15 cs.RO
HEART: Coordination of Heterogeneous Expert Agents for Physically Grounded Robotic Task Planning
Sogang University(西江大学)
提出异构多LLM框架HEART,将指令分解为原子推理任务分配给角色专家,通过约束驱动规划合成,提升机器人任务规划的物理可行性和效率。
2026-06-25 cs.RO
Grounded Vision-Language Interpreter for Long-Horizon Bimanual Task and Motion Planning
OMRON SINIC X Corporation(OMRON SINIC X公司);The University of Tokyo(东京大学);University of Hamburg(汉堡大学)
针对现有视觉语言机器人规划框架的黑箱缺陷与双臂任务探索不足问题,提出混合规划框架 ViLaIn-TAMP,经烹饪领域任务及实际双臂机器人系统验证,其性能优于基准方法。
2026-08-04 cs.AI cs.RO
PlaNet-ClothPick: Effective Fabric Flattening Based on Latent Dynamic Planning
University of St Andrews(圣安德鲁斯大学)
本文提出 PlaNet-ClothPick,通过限制拾取空间到布料掩码并在专门设计的轨迹上训练,解决了 PlaNet 在织物展平中因轮廓转移不连续导致的规划失败问题,在仿真中达到与最先进网格方法相当的性能,且推理更快、参数更少。
2023-11-28 cs.AI cs.RO
On Grounded Planning for Embodied Tasks with Language Models
University of Southern California(南加州大学);Fudan University(复旦大学);Sea AI Lab(海天AI实验室)
本文提出 G-PlanET,利用包含环境物体的数据表和迭代解码,让语言模型为机器人智能体生成可执行的具身任务计划,并建立评估协议与专用指标验证其有效性。
2023-07-15 cs.AI cs.CL cs.LG
PLanAR: Planning-Language-Grounded Agentic Reasoning for Robot Manipulation
Purdue University(普渡大学);Istituto Italiano di Tecnologia(意大利理工研究院)
提出PLanAR框架,通过规划语言接口定义VLM推理空间,实现开放词汇的长时域机器人操作,并支持逐步验证与重规划。
2026-05-31 cs.RO
Visually Grounded Task and Motion Planning for Mobile Manipulation
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能研究院)
任务和运动规划(TAMP)算法旨在帮助机器人实现任务级目标,同时保持运动级的可行性。本文重点关注涉及机器人行为的TAMP领域,这些行为需要很长一段时间(例如,远程导航)。在本文中,我们开发了一个视觉接地的方法来帮助机器人概率评估行动的可行性,并介绍了一个TAMP算法,称为GROP,优化可行性和效率。我们收集了一个数据集,其中包括96,000个机器人进行移动操作任务的模拟试验,然后使用该数据集来学习地面符号空间关系,以进行动作可行性评估。与竞争对手的TAMP基线相比,GROP表现出更高的任务完成率,同时保持较低或相当的行动成本。除了这些广泛的模拟实验,GROP是完全实现和测试一个真正的机器人系统。
2022-02-24 cs.RO
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University(普林斯顿大学);Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架,在部分可观测环境中利用预测方差引导CEM规划,平衡目标达成与遮挡区域探索,成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning
Stanford University(斯坦福大学);NVIDIA Research(NVIDIA研究)
针对自主机器人在非结构化环境的物理推理需求,提出SMS框架,融合3D高斯重建、多模态基础模型与物理仿真,在操作与着陆任务中验证了其跨域鲁棒的物理落地规划能力。
2025-05-20 cs.CV cs.GR cs.LG
GAPL: Grounded Action-effect Policy Learning for LLM-Based Trajectory Planning
University of Oslo(奥斯陆大学);Aalborg University(奥尔堡大学);University of Sydney(悉尼大学);Nanjing University of Information Science and Technology(南京信息工程大学);Simula Research Laboratory(西穆拉研究院)
针对LLM用于自动驾驶轨迹规划时存在的幻觉、接地不足等问题,提出GAPL框架,整合三类模块并经实验验证其性能优于基线方法
2026-08-20 cs.RO
SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation
Fudan University(复旦大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Tsinghua University(清华大学);Renmin University of China(中国人民大学)
SLIM-0.5B是0.5B参数的紧凑机器人操作策略,通过自监督掩码轨迹预测学习动作基础预测隐变量,性能优于或匹配大型基线,参数量少、推理延迟低、内存占用小。
2026-08-11 cs.RO
Efficient Virtuoso: A Latent Diffusion Transformer Model for Goal-Conditioned Trajectory Planning
Independent Researcher(独立研究者)
本文提出高效演奏家模型,利用两阶段归一化与潜扩散Transformer实现目标条件轨迹规划,在Waymo数据集上达到最先进性能,并揭示多步稀疏路线对高保真战术执行的关键作用。
2025-09-06 cs.AI cs.LG cs.RO
SkipWorld: Latent Skip Planning with Distilled World Models for Efficient Visual Navigation
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
SkipWorld是一种高效视觉导航的隐式跳跃规划框架,通过Latent AutoRoll、SkipDistill和Skip-then-Refine Planning三个组件,在保证轨迹评估准确性的同时降低计算成本,在多个数据集上较NWM取得更优性能。
2026-10-14 cs.RO
Latent Geometry Beyond Search: Amortizing Planning in World Models
Department of Robotics, University of Michigan, Ann Arbor(密歇根大学机器人系,安阿伯)
提出在正则化潜在几何下,将规划摊销为潜在逆动力学映射,以轻量级GC-IDM替代在线搜索,在七个环境协议中匹配或超越CEM,决策成本降低100-130倍。
2026-06-05 cs.LG cs.RO
Enabling Visual Action Planning for Object Manipulation through Latent Space Roadmap
KTH Royal Institute of Technology(KTH皇家理工学院);Roma Tre University(罗马第三大学);University of Cassino and Southern Lazio(卡西诺和南拉齐奥大学)
我们提出了一个框架,视觉行动规划的复杂操作任务与高维状态空间,专注于可变形物体的操作。我们提出了一个潜在的空间路线图(LSR)的任务规划,这是一个基于图的结构,全球捕捉系统的动态在一个低维的潜在空间。我们的框架由三部分组成:(1)映射模块(MM),其将以图像形式给出的观测映射到提取相应状态的结构化潜在空间中,以及从潜在状态生成观测,(2)LSR,其构建并连接包含相似状态的聚类,以便找到由MM提取的开始状态和目标状态之间的潜在计划,以及(3)行动建议模块,其用相应的行动补充LSR发现的潜在计划。我们提出了一个深入的调查,我们的框架上模拟箱堆叠和绳/箱操作任务,折叠任务上执行一个真正的机器人。
2022-06-30 cs.LG cs.RO
Local Path Optimization in The Latent Space Using Learned Distance Gradient
Harbin Institute of Technology(哈尔滨工业大学)
本文提出利用学习的距离梯度在潜在空间中进行局部路径优化,通过训练神经网络预测机器人与障碍物的距离,提高路径规划效率。
2025-12-30 cs.RO
GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Fudan University(复旦大学)
GeoLAM从无标注人类视频中学习几何基础的潜在动作,结合几何特征与4D教师监督,提升机器人操作性能。
2026-09-16 cs.CV cs.RO
Relationally Grounded Latent World Models for Autonomous Driving
Esslingen University of Applied Sciences(埃斯林根应用科学大学);University of Freiburg(弗莱堡大学)
本文提出利用交通场景图作为语义监督,对齐潜在世界模型表示,在nuScenes上显著降低轨迹误差和碰撞率,验证了显式关系结构对自动驾驶表示学习的价值。
2026-09-22 cs.CV cs.RO
OntoPlan: An Ontology-Grounded Scene Representation and Agentic Framework for Scalable Robot Task Planning
Yonsei University(延世大学)
OntoPlan提出基于本体论的场景表示与智能体框架,通过共享符号词汇对齐对象和关系,选择性检索信息并生成可执行计划,在150个任务中实现0.89成功率,令牌成本降低5.6倍。
2026-10-07 cs.RO
Latent World Models with Monotone Planning Costs for Image-Goal Navigation
Drexel University(卓克索大学)
本文提出基于冻结DINO编码器的潜在世界模型,通过自回归回退损失与单调代价排序损失优化,在GNM数据集上实现图像目标导航最优性能,方向误差较基线降低2.7倍,还可零样本部署于物理机器人。
2026-11-10 cs.RO
Latent Space Roadmap for Visual Action Planning of Deformable and Rigid Object Manipulation
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Salerno(萨莱诺大学);University of Cassino and Southern Lazio(卡西诺大学和南拉齐奥大学)
我们提出了一个框架,复杂的操作任务的视觉动作规划与高维状态空间,如可变形物体的操作。在嵌入图像的低维潜在状态空间中执行规划。我们定义并实现了一个潜在的空间路线图(LSR),这是一个基于图形的结构,全局捕捉潜在的系统动态。我们的框架由两个主要组件组成:一个视觉感知模块(VFM),它生成一个视觉计划作为一个图像序列,和一个行动建议网络(APN),预测它们之间的行动。我们展示了该方法的有效性,在一个模拟的箱子堆叠任务,以及与一个真正的机器人进行的T恤折叠任务。
2020-03-19 cs.LG cs.RO
Can-Do! A Dataset and Neuro-Symbolic Grounded Framework for Embodied Planning with Large Multimodal Models
Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出 Can-Do 基准数据集评估具身规划,并构建 NeuroGround 神经符号框架,通过结合环境状态感知与符号规划引擎,有效解决了 GPT-4V 等模型在视觉感知与推理上的瓶颈。
2024-09-22 cs.AI cs.CL cs.CV
Learning Unions of Convex Sets via Invertible Latent Decomposition for Path Planning
Korea University(高丽大学);ETH Zurich(苏黎世联邦理工学院)
提出ILD框架,联合学习可逆映射和潜在空间中的显式凸多面体并集,实现路径规划,并通过可见性引导采样保持凸集连通性,在多种环境中取得更高成功率。
2026-06-11 cs.RO
Anytime Game-Theoretic Planning with Active Reasoning About Humans' Latent States for Human-Centered Robots
UC Berkeley(加州大学伯克利分校);Honda Research Institute(本田研究所)
一个以人为中心的机器人需要推理其人类伙伴的认知局限性和潜在的非理性,以实现无缝交互。本文提出了一种基于博弈论的机器人行为规划方法,该方法集成了迭代推理模型、部分可观测马尔可夫决策过程和机会约束蒙特卡罗信念树搜索。我们的规划器使机器人能够安全和积极地推理其人类伙伴的潜在认知状态(有限的智能和非理性),以更好地最大化其效用。我们在自动驾驶领域验证了我们的方法,在该领域中,我们的行为规划器和低级别运动控制器分层控制自动驾驶汽车来协商交通合并。仿真和用户研究表明,我们的计划的有效性。
2021-09-26 cs.RO
Latent Skill Planning for Exploration and Transfer
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Brain(谷歌大脑);Nvidia(英伟达)
为了快速解决复杂环境中的新任务,智能代理需要建立可重用的知识。例如,学习世界模型捕获关于应用于新任务的环境的知识。类似地,技能捕捉可以应用于新任务的一般行为。在本文中,我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说,我们利用部分摊销的思想在测试时快速适应。为此,行动是由一个随着时间的推移而学习的政策产生的,而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处,并证明了提高样本效率在单一的任务,以及在从一个任务转移到另一个,相比有竞争力的基线。视频请访问:https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO