Graph-Based Topological Exploration Planning in Large-Scale 3D Environments
Carnegie Mellon University(卡内基梅隆大学)
目前,最先进的勘探方法保持高分辨率的地图表示,以优化每个步骤中的勘探目标,最大限度地提高信息增益。然而,在探索过程中,这些“最佳”的选择可能会很快变得过时,由于新信息的涌入,特别是在大规模的环境中,并导致高频率的重新规划,阻碍了整体的探索效率。在本文中,我们提出了一个基于图的拓扑规划框架,在三维(3D)空间中建立一个稀疏的拓扑地图,以指导探索步骤与高层次的意图,从而呈现一致的探索机动。具体来说,这项工作提出了一种新的方法来估计三维空间的几何形状与凸多面体。然后,利用几何信息将空间分组为不同的区域。这些区域作为节点添加到拓扑图中,指导探索过程。我们比较了我们的方法与最先进的模拟环境。实验表明,该方法具有更高的空间覆盖率,比传统方法的探测效率提高了40%以上。最后,进行了一个现场实验,以进一步评估我们的方法的适用性,使有效和强大的探索在现实世界的环境中。
2021-03-31 cs.RO
HEROS: Hierarchical Exploration with Online Subregion Updating for 3D Environment Coverage
Beijing Institute of Technology(北京理工大学);Baidu Research(百度研究院)
提出HEROS自主探索系统,通过在线更新可变分辨率的子区域单元并结合由粗到细的分层规划策略,降低规划复杂度,在基准环境中以更低计算资源实现高效3D环境覆盖。
2025-04-03 cs.RO
Learning-Augmented Model-Based Planning for Visual Exploration
George Mason University(乔治梅森大学)
本文针对时间受限的未知环境视觉探索问题,提出一种学习增强的模型驱动规划方法,通过深度网络估计前沿的未观测面积与探索耗时,并结合贝尔曼方程进行规划,在Matterport3D上显著提升了覆盖率。
2023-08-09 cs.CV cs.RO
Terrain-Aware Autonomous Planetary Exploration for Exteroceptive-Proprioceptive Mapping with Quadruped Scouts
Istituto Italiano di Tecnologia (IIT)(意大利理工学院)
本文提出一种结合外感受与本体感受建图的地形感知探索框架,用于四足机器人在月球类似环境中的自主导航,仿真表明该方法能有效扩展地图并降低运输成本。
2026-09-29 cs.RO
Fast and Compute-efficient Sampling-based Local Exploration Planning via Distribution Learning
ETH Zürich(苏黎世联邦理工学院)
探索是机器人学中的一个基本问题。虽然基于采样的规划器表现出很高的性能,但它们通常是计算密集型的,并且可能表现出很高的方差。为此,我们建议直接学习的基础分布的信息视图的空间背景的基础上,在机器人的地图。我们进一步探讨了各种方法也学习的信息增益。我们在全面的实验评估中表明,我们提出的系统比经典方法提高了高达28%的探索性能,并发现除了采样分布之外,学习增益可以为计算受限的系统提供良好的性能与计算权衡。我们在仿真和低成本的移动机器人上证明,我们的系统可以很好地推广到不同的环境。
2022-06-22 cs.RO
Metric-Free Exploration for Topological Mapping by Task and Motion Imitation in Feature Space
University of Oxford(牛津大学);New York University(纽约大学)
我们提出了DeepExplorer,一个简单而轻量级的无度量探索方法,用于未知环境的拓扑映射。它完全在图像特征空间中执行任务和运动规划(TAMP)。任务规划器是一个循环网络,使用最新的图像观察序列来产生一个功能作为下一个最佳探索目标。然后,运动规划器利用当前特征和幻觉特征来生成使智能体朝向该目标的动作。这两个规划者通过专家演示的深度监督模仿学习进行联合训练。在探索过程中,我们迭代地调用两个规划器来预测下一个动作,并通过不断地将最新的图像观察和动作附加到地图上并使用视觉位置识别(VPR)进行闭环来构建拓扑地图。由此产生的拓扑地图有效地表示了环境的连通性和可通行性,因此它可以用于视觉导航等任务。我们在Gibson和MP 3D等大规模模拟数据集上展示了DeepExplorer的探索效率和强大的sim 2sim泛化能力。通过在生成的拓扑地图上的图像-目标导航性能进一步验证了其有效性。我们进一步展示了其强大的zero-shot sim 2 real泛化能力在现实世界的实验。源代码可从\url{https://ai4ce.github.io/DeepExplorer/}获得。
2023-03-16 cs.RO
A Distributed Multi-UGV Exploration Framework With Loop-Aware Planning and Descriptor-Aided Localization in Resource-Limited Environments
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械与车辆学院);China North Artificial Intelligence & Innovation Research Institute, Collective Intelligence & Collaboration Laboratory (CIC)(中国北方人工智能与创新研究院集体智能与协作实验室);Zhengzhou Intelligent Technology Research Institute, Beijing Institute of Technology(北京理工大学郑州智能科技研究院)
提出一种完全分布式的多无人地面车辆(UGV)探索框架,通过轻量级LiDAR全局描述符实现跨UGV环回检测,并结合环回感知分层规划,在资源受限环境中减少探索时间和行驶距离。
2026-06-09 cs.RO
Exploration with Global Consistency Using Real-Time Re-integration and Active Loop Closure
Hong Kong University of Science and Technology(香港科技大学)
尽管机器人探索的最新进展,大多数方法假设无漂移定位是可用的,这在现实中是有问题的,并导致重建的地图的严重失真。在这项工作中,我们提出了一个系统的勘探映射和规划框架,处理漂移的本地化,允许高效和全球一致的重建。提出了一种基于实时的【形】重积分的映射方法和帧修剪机制,该方法在检测到环路闭合时校正漂移定位时有效地校正了地图失真。此外,提出了一种考虑历史视点的探测规划方法,实现主动闭环,提高了定位误差的纠正机会,进一步提高了成图质量。我们评估的映射和规划方法,以及整个系统在模拟和现实世界的实验,全面,显示其在实践中的有效性。为了机器人社区的利益,所提出的方法的实施将开源。
2022-05-31 cs.RO
Balanced Collaborative Exploration via Distributed Topological Graph Voronoi Partition
College of Electrical Engineering, Zhejiang University(浙江大学电气工程学院);Jinhua Institute of Zhejiang University(浙江大学金华研究院);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi’an Jiaotong University(西安交通大学人机混合增强智能国家级重点实验室);National Key Laboratory of Industrial Control Technology, Zhejiang University(浙江大学工业控制技术国家级重点实验室)
本研究针对多机器人协作在线探索的区域划分与任务分配问题,提出新型增量式拓扑地图与分布式加权拓扑图Voronoi划分算法,结合局部规划器优化路径,显著提升了探索效率、完备性与负载均衡性。
2025-10-28 cs.RO
High-fidelity 3D reconstruction for planetary exploration
本文提出了一种结合NeRF和高斯点绘的自动化3D重建管道,用于在极端环境下实现高保真的行星探测
2026-02-14 cs.CV cs.RO
Multimodal LLM Guided Exploration and Active Mapping using Fisher Information
University of Pennsylvania(宾夕法尼亚大学);Archimedes, Athena RC(阿基米德、阿提卡RC)
本研究提出一种基于3DGS表示的主动建图系统,结合多模态LLM的长时语义零样本规划与感知不确定性的信息论路径规划,在两个公开数据集上取得了SOTA的主动建图效果。
2025-09-05 cs.CV cs.RO
NeoRL: Efficient Exploration for Nonepisodic RL
ETH Zurich(苏黎世联邦理工学院)
针对非线性动态系统的非 episodic RL 问题(单轨迹无重置),提出基于不确定性乐观原则的 NeoRL 方法,使用校准概率模型并乐观规划,在高斯过程动态下获首个 $O(Γ_T \sqrt{T})$ 遗憾界,实证显示其平均成本最优且遗憾最小。
2025-02-11 cs.LG
Offline Retraining for Online RL: Decoupled Policy Learning to Mitigate Exploration Bias
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
提出OOO框架,通过解耦探索与利用策略,利用离线重训练缓解在线RL中的探索偏差,显著提升微调与在线性能。
2023-10-12 cs.AI cs.LG cs.RO
DOP: Deep Optimistic Planning with Approximate Value Function Evaluation
Sapienza University of Rome(罗马第一大学)
关于强化学习的研究已经在多个应用领域取得了可喜的成果。尽管如此,由于非结构化场景,高不确定性和大状态维度(例如多智能体系统或超冗余机器人),有效地学习有效的机器人行为是非常困难的。为了缓解这个问题,我们提出了DOP,这是一种基于深度基于模型的强化学习算法,它利用动作值来(1)指导状态空间的探索和(2)规划有效的策略。具体来说,我们利用深度神经网络来学习Q函数,这些Q函数用于在蒙特卡罗树搜索期间攻击维数灾难。事实上,我们的算法在学习到的价值函数上构造置信上限,以乐观地选择动作。我们在不同的场景下实现和评估DOP:(1)合作导航问题,(2)7-DOF KUKA机器人的抓取任务,以及(3)与人形机器人的人机交接(无论是在模拟还是真实)。所获得的结果表明DOP在所选应用中的有效性,其中动作值驱动探索并减少规划过程的计算需求,同时实现良好的性能。
2018-03-22 cs.LG cs.RO
Non-myopic Planetary Exploration Combining In Situ and Remote Measurements
遥感可以为行星探测器提供关键信息。然而,他们必须用现场测量来验证这些轨道观测。通常,这涉及使用现场机器人上的光谱仪验证高光谱数据。为了实现这一点,机器人必须访问采样位置,共同改善环境的模型,同时满足采样约束。然而,目前的规划者遵循次优的贪婪策略,不能扩展到更大的区域。我们演示了如何在MDP框架中有效地定义该问题,并提出了一种基于蒙特卡罗树搜索的规划算法,该算法克服了现有规划器的常见缺点,并提供了优越的性能。我们评估我们的方法,使用高光谱图像的一个良好的研究地质网站,内华达州铜。
2019-04-28 cs.AI cs.LG cs.RO
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University(普林斯顿大学);Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架,在部分可观测环境中利用预测方差引导CEM规划,平衡目标达成与遮挡区域探索,成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
Plan Online, Learn Offline: Efficient Learning and Exploration via Model-Based Control
University of Washington(华盛顿大学);Roboti LLC(Roboti有限责任公司);OpenAI
我们提出了一个计划在线和离线学习(POLO)框架的设置,一个代理,内部模型,需要不断采取行动,并在世界上学习。我们的工作建立在基于局部模型的控制,全局价值函数学习和探索之间的协同关系。我们研究了局部轨迹优化如何应对价值函数中的逼近误差,并稳定和加速价值函数学习。相反,我们还研究了近似价值函数如何有助于减少规划范围,并允许更好的政策超越当地的解决方案。最后,我们还演示了如何轨迹优化可以用来执行时间协调的勘探结合估计不确定性的价值函数近似。这种探索对于价值函数的快速和稳定学习至关重要。结合这些组件,可以解决复杂的模拟控制任务,如人形运动和灵巧的手操作,相当于在现实世界中的几分钟的经验。
2019-01-28 cs.AI cs.LG cs.RO
Guiding Robot Exploration in Reinforcement Learning via Automated Planning
SUNY Binghamton(纽约州立大学宾汉姆顿分校)
强化学习(RL)使智能体能够从试错经验中学习,以实现长期目标;自动规划旨在使用行动知识计算完成任务的计划。尽管它们的共同目标是完成复杂的任务,但由于它们不同的计算模式,RL和自动规划的发展在很大程度上是孤立的。为了提高RL agent的学习效率,我们开发了Guided Dyna-Q(GDQ),使RL agent能够使用动作知识进行推理,以避免探索不相关的状态。动作知识用于从乐观模拟生成人工经验。GDQ已在模拟和使用移动机器人进行导航任务,在多房间的办公室环境中进行了评估。与竞争基线相比,GDQ显著减少了探索的努力,同时提高了学习策略的质量。
2021-03-16 cs.LG cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
Learning to Plan in High Dimensions via Neural Exploration-Exploitation Trees
Georgia Institute of Technology(佐治亚理工学院);Google Research, Brain Team(谷歌研究院大脑团队);Northwestern University(西北大学);Ant Financial(蚂蚁集团)
提出了一种Meta路径规划算法\emph{Neural Exploration-Exploitation Trees~(NEXT)},用于学习高维连续状态空间和动作空间中的经验,以解决新的路径规划问题。与更经典的基于采样的方法(如RRT)相比,我们的方法在高维中实现了更好的样本效率,并且可以受益于类似环境中的规划经验。更具体地说,NEXT利用了一种新的神经架构,可以从问题结构中学习有希望的搜索方向。然后将学习到的先验知识集成到UCB型算法中,以在解决新问题时实现\emph{exploration}和\emph{exploitation}之间的在线平衡。我们进行了彻底的实验,以表明NEXT完成新的规划问题,更紧凑的搜索树,并显着优于国家的最先进的方法在几个基准。
2020-02-23 cs.LG cs.RO stat.ML
Generative Planning for Temporally Coordinated Exploration in Reinforcement Learning
General AI Lab(通用人工智能实验室);Horizon Robotics Inc.(地平线机器人技术有限公司)
标准的无模型强化学习无模型强化学习算法优化策略,该策略生成在当前时间步中要采取的动作,以便最大化预期的未来回报。虽然它灵活,但由于其单步的性质,它面临着勘探效率低下的困难。在这项工作中,我们提出了生成式规划方法(GPM),它可以生成的行动,不仅为当前的步骤,但也为一些未来的步骤(因此被称为生成式规划)。这给GPM带来了很多好处。首先,由于GPM是通过最大化值来训练的,因此由它生成的计划可以被视为到达高值区域的有意动作序列。因此,GPM可以利用其生成的多步计划来对高值区域进行时间协调的探索,这可能比通过在单步的级扰动每个动作生成的动作序列更有效,其一致的运动随着探索步骤的数量呈指数衰减。其次,从一个粗略的初始计划生成器开始,GPM可以改进它以适应任务,这反过来有利于未来的探索。这可能比常用的行动重复策略更有效,后者在计划形式上是非适应性的。此外,由于多步骤计划可以被解释为代理从现在到未来的一段时间的意图,因此它提供了更多信息和直观的解释信号。在几个基准环境下进行了实验,结果表明,与几个基线方法相比,该方法的有效性。
2022-02-03 cs.AI cs.CV cs.LG
Olympus: A Jumping Quadruped for Planetary Exploration Utilizing Reinforcement Learning for In-Flight Attitude Control
NTNU(挪威科技大学);Autonomous Robots Lab(自主机器人实验室)
本文介绍了专为火星重力设计的跳跃腿式机器人Olympus,通过仿真优化其设计以实现高效跳跃,并利用强化学习策略实现飞行中姿态控制,成功跨越仿真到现实鸿沟完成实验验证。
2025-03-05 cs.LG cs.RO
Learning to Plan from Random Exploration
UCLA(加州大学洛杉矶分校);University of Minnesota(明尼苏达大学);Amazon AGI(亚马逊AGI);Salesforce Research(赛富时研究院);Lambda(Lambda公司);Rice University(莱斯大学)
本文提出利用随机探索数据,通过条件能量模型学习时间关系,实现无需策略改进训练的长距离规划,并在迷宫导航和操作规划中验证了多尺度认知地图特性。
2026-10-01 cs.LG cs.RO stat.ML
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University(莱顿大学)
GEM-MPC提出一种基于MPPI的强化学习方法,通过结合克隆规划器的策略与KL正则化探索策略,并引入门控先验蒸馏,在较低计算预算下平衡探索与利用,显著提升连续控制基准性能。
2026-09-21 cs.LG
Expected Free Energy-based Informative Path Planning for Robotic Mars Exploration
TU Eindhoven(埃因霍温理工大学);Cajal Centre for Neuroscience, Spanish National Research Council(西班牙国家研究委员会卡哈尔神经科学中心)
该研究提出将主动推理的期望自由能作为统一准则,用于预算约束下的机器人信息路径规划,其规划方法在火星探测场景中可同时实现精准地图构建与高价值区域定位,性能优于信息论基准方法。
2026-08-17 cs.IT cs.LG cs.RO
Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration
Northwestern University(西北大学);Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Peking University(北京大学);Tsinghua University(清华大学);Yale University(耶鲁大学)
提出易于实现的强化学习框架MEX,通过无约束优化单一目标融合估计与规划并自动平衡探索与利用,在通用函数近似下实现次线性遗憾,并在稀疏奖励MuJoCo环境中优于基线。
2023-10-25 cs.AI cs.GT cs.LG
Planner-Guided Recursive Exploration for Diffusion Language Model Decoding
Michigan State University(密歇根州立大学);Morgan Stanley(摩根士丹利);IBM T.J. Watson Research Center(IBM 托马斯·J·沃森研究中心)
研究针对扩散语言模型解码,提出自适应多步前瞻框架AdaLook,基于候选分数方差动态决定是否继续展开及进行分支扩展,避免不必要的深度展开,实验证明其在准确性和解码步骤权衡上优于现有一步前瞻解码方法。
2026-10-14 cs.CL cs.LG