Scale-free adaptive planning for deterministic dynamics & discounted rewards
University of California, Berkeley, USA(加州大学伯克利分校);Noah's Ark Lab, Huawei Technologies, London, UK(华为技术伦敦诺亚实验室);Adobe Research, San Jose, USA(Adobe研究实验室);SequeL team, INRIA Lille - Nord Europe, France(INRIA里尔-北欧洲SequeL团队)
本文提出Platypoos算法,针对确定性动力学和折扣奖励的规划问题,提供改进的样本复杂度分析,并建立下界证明其最优性。
2026-10-06 cs.LG stat.ML
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Robert Bosch GmbH(罗伯特·博世有限公司)
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而,为了使协作系统集成到以人为中心的交通中,自动化系统必须表现得像人类一样,以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展,但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型,最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明,该方法可以恢复一个合理的奖励模型,模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
Planning-Augmented Sampling with Early Guidance for High-Reward Discovery
University of Science(科学大学);Shanghai AI Laboratory, Shanghai, China(上海人工智能实验室)
本文提出一种规划增强的采样框架,通过结合蒙特卡洛树搜索和可控软贪婪机制,提升高回报发现的速度和样本质量,同时保持多样性。
2026-02-01 cs.AI cs.LG
Average Reward Reinforcement Learning for Wireless Radio Resource Management
University of Virginia(弗吉尼亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
针对无线资源管理中折扣报酬强化学习与无折扣优化目标不匹配的问题,提出平均报酬离策略软演员评论家方法,仿真显示系统性能较传统方法提升15%。
2025-01-12 cs.IT cs.LG cs.NI
Improve the Training Efficiency of DRL for Wireless Communication Resource Allocation: The Role of Generative Diffusion Models
Internet of Things Thrust at the Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)物联网部)
针对移动无线网络动态资源分配中DRL预训练策略易失效、重训练成本高的问题,提出D2RL框架,利用GDMs优化状态空间、动作探索和奖励设计,提升训练效率并保持策略性能。
2025-02-11 cs.LG
Reinforcement Learning for Classical Planning: Viewing Heuristics as Dense Reward Generators
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
强化学习(RL)的最新进展使得人们对将RL应用于经典规划域或将经典规划方法应用于某些复杂RL域的兴趣越来越大。然而,在经典规划中发现的基于长期目标的问题导致RL的回报稀疏,使得直接应用效率低下。在本文中,我们提出利用领域独立的启发式函数通常用于经典规划文献中,以提高RL的样本效率。这些经典算法充当密集奖励生成器,以缓解稀疏奖励问题,并使我们的RL代理能够学习特定于域的价值函数作为这些算法的残差,使学习更容易。正确应用这种技术需要整合RL中使用的折扣度量和物流中使用的非折扣度量。我们实现的价值函数使用神经逻辑机,一个神经网络架构接地一阶逻辑输入设计。我们在几个经典的规划域上证明,与稀疏奖励RL相比,使用RL的经典算法可以获得良好的样本效率。我们进一步表明,我们学到的价值函数推广到新的问题实例在同一领域。
2022-03-07 cs.AI cs.LG
Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models
New York University(纽约大学);Genentech(基因泰克);Brown University(布朗大学);University of Toronto(多伦多大学);Meta – FAIR
该研究针对无奖励离线数据场景,系统对比了强化学习与基于潜在动力学模型的规划方法在导航任务中的表现,发现基于模型的规划泛化性和数据效率更优,是处理次优离线数据的有效途径。
2025-10-29 cs.LG
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));DeepMind(深度思维)
我们介绍了平均回报MDP的学习和规划算法,包括1)第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法,2)第一个证明收敛的偏离策略无模型预测算法,3)第一个离策略学习算法,收敛到实际的价值函数,而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差,而不是传统的错误时,更新的平均奖励的估计。我们的证明技术是Abounadi,Bertsekas和Borkar(2001)的一个轻微的概括。在实验中的一个控制器的控制任务,我们展示了一些困难时,可能会出现依赖于参考状态的方法,并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
When Critics Disagree: Adaptive Reward Poisoning Attacks in RIS-Aided Wireless Control System
Department of Computer and Software Engineering(计算机与软件工程系)
本文提出了一种基于分歧引导的奖励中毒攻击(DGRP),用于攻击Soft Actor-Critic(SAC)智能体,以评估RIS辅助网络中深度强化学习(DRL)的鲁棒性。
2026-05-19 cs.AI cs.LG
Deep Reinforcement Learning with a Stage Incentive Mechanism of Dense Reward for Robotic Trajectory Planning
Huazhong University of Science and Technology(华中科技大学);South East University(东南大学);Central Queensland University(中央昆士兰大学)
(This工作已提交给IEEE可能出版。版权可能会在不通知的情况下转让,之后可能无法再访问此版本。为了提高基于深度强化学习(DRL)的机器人操作器轨迹规划方法在随机工作环境中的效率,提出了三种稠密奖励函数。这些奖励不同于传统的稀疏奖励。首先,通过对距离和方向约束进行建模,提出了一种姿态奖励函数,以加快学习过程,获得更合理的轨迹,减少探索的盲目性。其次,提出了一种步幅奖励函数,通过对关节约束的距离和运动距离进行建模来提高学习过程的稳定性。最后,为了进一步提高学习效率,我们从人类行为的认知过程中得到启发,提出了一种阶段激励机制,包括硬阶段激励奖励函数和软阶段激励奖励函数。大量的实验表明,软阶段激励奖励函数能够提高收敛速度高达46.9%的国家的最先进的DRL方法。收敛平均奖励的增加百分比为4.4 - 15.5%,标准差的减少百分比为21.9 - 63.2%。在评估实验中,机器人操作器的轨迹规划成功率达到99.6%。
2021-05-23 cs.AI cs.LG cs.RO
Learning Latent State Spaces for Planning through Reward Prediction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Preferred Networks America, Inc.(Preferred Networks美国公司);Preferred Networks Inc(Preferred Networks公司)
基于模型的强化学习方法通常通过旨在重建和预测原始观测来学习高维状态空间的模型。然而,从无模型强化学习中汲取灵感,我们提出直接从奖励中学习潜在动力学模型。在这项工作中,我们引入了一个基于模型的规划框架,它学习潜在的奖励预测模型,然后在潜在的状态空间中进行规划。潜在的表示是专门从多步奖励预测,我们证明是唯一必要的信息,成功的规划。有了这个框架,我们能够受益于简洁的无模型表示,同时仍然享受基于模型的算法的数据效率。我们展示了我们的框架中的多钟摆和多猎豹环境中,几个pumerums或猎豹的代理,但其中只有一个产生奖励。在这些环境中,重要的是代理构建一个简洁的潜在表示过滤掉不相关的意见。我们发现,我们的方法可以在存在不相关信息的情况下成功学习准确的潜在奖励预测模型,而现有的基于模型的方法则会失败。在学习的潜在状态空间中的规划显示出比无模型和基于模型的基线更强的性能和高样本效率。
2019-12-09 cs.AI cs.LG stat.ML
Bilinear Exponential Family of MDPs: Frequentist Regret Bound with Tractable Exploration and Planning
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔信号与自动化信息研究中心)
研究了具有未知奖励和转移的连续状态-动作空间中的情景强化学习问题。具体来说,我们考虑的设置中的奖励和过渡建模使用参数双线性指数家庭。我们提出了一种算法,BEF-RLSVI,a)使用惩罚最大似然估计学习未知参数,b)在奖励参数中注入校准的高斯噪声以确保探索,以及c)利用指数族相对于底层RKHS的线性来执行易处理的规划。我们进一步提供了BEF-RLSVI的频率主义后悔分析,得出$\tilde{\mathcal{O}}(\sqrt{d^3H^3K})$的上限,其中$d$是参数的维度,$H$是发作长度,$K$是发作次数。我们的分析改进了现有的双线性指数族的MDP的$\sqrt{H}$的界限,并删除了手工裁剪部署在现有的\RLSVI型算法。我们的遗憾界是关于$H$和$K$的序最优的。
2022-10-05 cs.LG
FIRM-WM: State-factorized factual-interventional recurrent modeling for reward-free visual planning
Saint Petersburg State University(圣彼得堡国立大学);Shenzhen Kaihong Digital Industry Development Co., Ltd.(深圳开鸿数字产业发展有限公司);Chinese Academy of Sciences (CAS) – Shenzhen Institute of Advanced Technology(中国科学院深圳先进技术研究院);Harbin Institute of Technology(哈尔滨工业大学);Chongqing Research Institute of HIT(哈尔滨工业大学重庆研究院)
FIRM-WM通过状态分解和公共重置干预分支,解决无奖励视觉规划中目标可比性与历史依赖动态的冲突,在多个基准上超越LeWM并降低规划时间。
2026-09-22 cs.LG
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology(以色列理工学院);McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示,通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
HG2P: Hippocampus-inspired High-reward Graph and Model-Free Q-Gradient Penalty for Path Planning and Motion Control
Tongji University(同济大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出受海马体启发的HG2P方法,通过高回报采样策略构建记忆图提升样本效率,结合无模型Q梯度惩罚解决模型依赖问题,集成到ACLG框架形成HG2P+ACLG,在长时程任务中优于现有目标条件HRL算法。
2025-04-13 cs.LG cs.NE
CityDeploy-Bench: Benchmarking Physics-Grounded Spatial Set Planning for Multi-Transmitter Network Deployment
University of Sheffield(谢菲尔德大学);University College London(伦敦大学学院)
CityDeploy-Bench将多发射机部署转化为物理基础空间集规划,分离效用表示与规划动态,实验发现物理耦合增强时部署质量依赖发射机集体交互,发布相关数据与框架作为研究测试平台。
2026-10-14 cs.LG
Planning to Go Out-of-Distribution in Offline-to-Online Reinforcement Learning
University of Edinburgh(爱丁堡大学)
针对离线到在线强化学习中原有约束限制策略性能、现有探索方法存在缺陷的问题,提出非短视的PTGOOD算法,瞄准高奖励分布外区域探索,在连续控制任务上显著提升微调回报并避免次优收敛。
2024-06-21 cs.LG
Solving Relational MDPs with Exogenous Events and Additive Rewards
Cycorp Inc.(Cycorp公司);Tufts University(塔夫茨大学);Oregon State University(俄勒冈州立大学)
我们形式化一个简单而自然的子类服务域的关系规划问题,以对象为中心,独立的外源事件和附加奖励捕获,例如,库存控制问题。针对这一子类,我们提出了一个新的符号规划算法,这是第一个算法,具有明确的性能保证关系MDP与外源事件。特别是,在某些技术条件下,我们的规划算法提供了一个单调的最优价值函数的下限。为了支持该算法,我们提出了新的评估和减少技术的广义一阶决策图,一个知识表示的实值函数关系世界状态。我们的规划算法使用一组焦点状态,作为训练集,简化和近似的符号解决方案,因此可以看到执行学习规划。初步的实验评估证明了我们的方法的有效性。
2013-06-27 cs.AI cs.LG
Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
行为和运动规划在自动驾驶中起着重要的作用。传统上,行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性,可能会发生不可预测的情况,其中行为规划者无法匹配预定义的行为模板。最近,已经引入了通用规划器,其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而,出现了两个挑战:首先,该函数必须将复杂的特征空间映射到奖励。其次,奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中,我们提出了一种方法,依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外,我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明,我们能够学习奖励函数超过手动专家调整的水平,没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group(华威制造集团);University of Warwick(华威大学)
稀疏奖励学习仍然是强化学习(RL)中的一个重大挑战,特别是当目标是训练能够实现多个不同目标的策略时。到目前为止,处理多目标,稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中,我们提出了PlanGAN,一个基于模型的算法,专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上,即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型(GANs)的集合,以生成合理的轨迹,将代理从当前状态引导到指定的目标。然后,我们将这些想象的轨迹结合到一个新的规划算法中,以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试,并与一系列无模型强化学习基线进行了比较,包括后见之明经验重放。我们的研究表明,PlanGAN可以实现相当的性能,同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan(密歇根大学)
探索-利用困境是强化学习(RL)的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而,完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金,这是一个功能的后验分布的环境,当添加到奖励计划与平均MDP,结果在一个代理,有效地探索。虽然我们的方法是类似于现有的方法,当给定一个无信息或非结构化的先验,与现有的方法不同,我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性,并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
On the Generalization Gap in LLM Planning: Tests and Verifier-Reward RL
Department of Informatics, Bioengineering, Robotics and Systems Engineering, University of Genoa(信息学、生物工程、机器人学和系统工程系,热那亚大学);AIKO S.r.l.(AIKO公司)
本研究发现微调LLM在规划任务中存在显著的泛化差距,通过三种诊断干预揭示模型依赖领域特定模式而非可转移能力。
2026-01-20 cs.AI cs.LG
Deceptive Reinforcement Learning for Privacy-Preserving Planning
The University of Melbourne(墨尔本大学)
在本文中,我们研究了欺骗性强化学习的问题,以保护奖励函数的隐私。强化学习是根据探索行为获得的奖励来寻找行为策略的问题。强化学习的一个关键要素是奖励函数,它决定了给予多少奖励(负或正)以及何时给予。然而,在某些情况下,我们可能希望将奖励函数保持私有;也就是说,使观察者难以确定所使用的奖励函数。我们定义了隐私保护强化学习的问题,并提出了两个解决这个问题的模型。这些模型是基于伪装--一种“隐藏真相”的欺骗形式。我们通过计算和人类行为实验来评估我们的模型。结果表明,由此产生的政策确实是欺骗性的,参与者可以确定真正的奖励功能不可靠的诚实代理。
2021-02-05 cs.AI cs.LG cs.MA
Self-Supervised Path Planning in UAV-aided Wireless Networks based on Active Inference
University of Genoa(热那亚大学);Italian National Inter-University Consortium for Telecommunications (CNIT)(意大利国家大学间电信联盟(CNIT))
本文提出一种用于UAV辅助网络的自监督路径规划方法,通过离线优化解作为示范学习世界模型并隐式发现优化器策略,结合主动推理实现实时自主决策与在线规划,相比传统RL具有更快的适应速度、更优性能及更广泛化能力。
2024-03-06 cs.LG cs.RO eess.SP
Exploration by Maximizing Rényi Entropy for Reward-Free RL Framework
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(清华大学交叉信息研究院)
探索是强化学习(RL)的关键。为了应对探索的挑战,我们考虑了一个无奖励的RL框架,该框架将探索与利用完全分离,并为探索算法带来了新的挑战。在探索阶段,代理通过与无奖励环境交互来学习探索性策略,并通过执行策略来收集转换数据集。在规划阶段,智能体基于数据集为任何奖励函数计算好的策略,而无需进一步与环境交互。这个框架适用于Meta RL设置,其中有许多感兴趣的奖励函数。在探索阶段,我们提出了最大化Renyi熵的状态-动作空间,并证明这一目标的理论。以仁义熵为目标函数的成功在于它鼓励人们探索难以达到的状态行为。我们进一步推导出一个策略梯度制定此目标,并设计了一个实用的探索算法,可以处理复杂的环境。在规划阶段,我们使用批量RL算法解决给定任意奖励函数的好策略。经验上,我们表明,我们的探索算法是有效的和样本效率,并在规划阶段的任意奖励函数的优越政策的结果。
2020-12-10 cs.LG stat.ML
UBP2: Uncertainty-Balanced Preference Planning for Efficient Preference-based Reinforcement Learning
Learning, Embodied Autonomy, and Forecasting (LEAF) Lab, University of Toronto(学习、具身自主与预测(LEAF)实验室,多伦多大学)
提出UBP2方法,通过联合推理奖励、动力学和值函数的不确定性来主动引导探索,在Meta-World基准上显著提高了样本效率。
2026-06-23 cs.AI cs.LG cs.RO
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种新的非近视自适应高斯过程规划(GPP)框架,赋予了一般类的Lipschitz连续奖励函数,可以统一一些主动学习/传感和贝叶斯优化标准,并提供从业者一些灵活性,以指定他们所需的选择,定义新的任务/问题。特别是,它利用了一个原则性的贝叶斯顺序决策问题的框架,共同和自然优化的勘探开发权衡。一般来说,由于候选观测的不可数集合,所得到的诱导GPP策略不能精确地导出。因此,我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP(ε-GPP)的政策。为了实时规划,我们进一步提出了一个渐进最优的,分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性,它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
Experiment Planning with Function Approximation
Broad Institute(博德研究所);Boston University(波士顿大学);Stanford University(斯坦福大学)
本文针对上下文赌博机中奖励模型复杂且需提前生成数据收集策略的实验规划问题,提出基于eluder维度的规划采样方法和均匀采样策略,并揭示规划与自适应学习的统计差异。
2024-01-10 cs.AI cs.LG stat.ML
Deep Learned Path Planning via Randomized Reward-Linked-Goals and Potential Space Applications
Tohoku University(东北大学)
太空探索任务已经看到使用越来越复杂的机器人系统,具有越来越多的自主权。深度学习有望将这一点更进一步,并应用于高级任务,如路径规划,以及低级任务,如运动控制,这是任务效率和成功的关键组成部分。在训练过程中使用具有随机奖励函数参数的深度强化端到端学习,我们教一个模拟的8自由度四足蚂蚁机器人在周界内的任何地方旅行,在单个神经网络上进行路径规划和运动控制,而无需任何系统模型或地形或环境的先验知识。我们的方法还允许用户指定的航路点,这可以很好地转换为全自主或半自主/遥控空间应用程序,遇到延迟时间。我们使用随机生成的与奖励函数相关联的路点来训练智能体,并将路点坐标作为输入传递给神经网络。这种应用在各种太空探索机器人上显示出了希望,包括用于快速运动的高速漫游车和用于崎岖地形的腿式洞穴机器人。
2019-09-13 cs.AI cs.LG cs.RO
Offline Planning and Online Learning under Recovering Rewards
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
受新兴应用如实时流媒体电子商务、促销和推荐的启发,我们引入并解决了一类具有以下两个特征的非平稳多臂强盗问题:(i)决策者可以在每个时间段内从$N$不同的臂中提取并收集最多$K\,(\ge 1)$的奖励;(ii)手臂的预期回报在被拉动后立即下降,然后随着手臂空闲时间的增加而非参数地恢复。随着最大化的目标,在$T$的时间周期的预期累积奖励,我们设计了一类“定期政策”,共同设置一个时期,拉每个arm.For建议的政策,我们证明了性能保证离线问题和在线问题。对于离线问题,当所有的模型参数是已知的,建议的周期性政策获得的近似比是在$1-\mathcal O(1/\sqrt{K})$的顺序,这是渐近最优的$K$增长到无穷大。针对模型参数未知且需要动态学习的在线问题,将离线周期策略与置信上界过程相结合,构造在线策略。提出的在线策略被证明是近似有$\widetilde{\mathcal O}(N\sqrt{T})$遗憾对离线基准。我们的框架和政策设计可以揭示更广泛的离线规划和在线学习应用程序与非固定和恢复奖励。
2021-12-21 cs.DM cs.LG math.OC
CaRL: Learning Scalable Planning Policies with Simple Rewards
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);NVIDIA Research(NVIDIA研究)
本文提出 CaRL,通过以路线完成度为核心的简单奖励设计替代复杂塑形奖励,使 PPO 能在大批量分布式训练下扩展至数亿样本,在 CARLA 和 nuPlan 自动驾驶规划基准上显著超越现有强化学习方法。
2025-08-20 cs.AI cs.LG cs.RO
Reward-Respecting Subtasks for Model-Based Reinforcement Learning
DeepMind(深度思维);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
本文提出尊重奖励的子任务来发现时间抽象选项,通过结合原始奖励与终止状态特征奖励,使学到的选项模型在规划中比特征选项、瓶颈最短路径选项和option-critic选项更有用,并给出在线离策略学习价值、策略、选项和模型的方法。
2023-09-16 cs.AI cs.LG
Maximally Permissive Reward Machines
Utrecht University(乌得勒支大学);Open University(开放大学);University of Aberdeen(阿伯丁大学)
针对现有基于单规划的奖励机灵活性不足的问题,提出基于目标偏序规划集合成最大容许奖励机的方法,理论与实验均证明其能让智能体获得更高奖励。
2024-08-15 cs.AI cs.LG
Q-NAV: NAV Setting Method based on Reinforcement Learning in Underwater Wireless Networks
ChungBuk National University(忠北国立大学)
在水下资源搜寻、海洋考察、环境研究等方面对水下通信的需求日益增加,但由于水下环境的特点,无线通信存在许多问题。特别是在水下无线网络中,由于节点之间的距离,不可避免地会产生时延和空间不等性。针对这些问题,提出了一种基于ALOHA-Q的解决方案。建议的方法使用随机NAV值。环境通过沟通的成功或失败获得奖励。然后,环境从奖励中设置NAV值。该模型最大限度地减少了水下无线网络下的能量和计算资源的使用,并通过强化学习来学习和设置NAV值。仿真结果表明,NAV值具有环境适应性,可以根据环境选择最佳值,从而解决了不必要的延迟时间和空间不等性等问题。仿真结果表明,与原始导航相比,导航时间减少了17.5%.
2020-05-21 cs.LG eess.SP
Mixing Regularization for Average-Reward $Q$-Learning and $Q$-Planning
École polytechnique(巴黎综合理工学院);New York University(纽约大学);The University of Hong Kong(香港大学)
该研究针对强化学习平均奖励设置的挑战,提出向奖励无关的m步混合策略正则化的混合正则化框架,推导了Q学习与Q规划的有限时间速率,经数值研究验证了其有效性。
2026-10-14 cs.AI cs.LG math.OC
Learning Space Partitions for Path Planning
Facebook AI Research(Facebook 人工智能研究院);Brown University(布朗大学);UC Berkeley(加州大学伯克利分校)
路径规划是有效发现高回报轨迹的问题,通常需要优化高维和多模态的回报函数。流行的方法,如CEM和CMA-ES,主要集中在搜索空间的有希望的区域,可能会陷入局部最大值。DOO和VOOT平衡了探索和利用,但使用独立于待优化的奖励函数的空间划分策略。最近,LaMCTS根据经验学习以奖励敏感的方式划分搜索空间,以进行黑盒优化。在本文中,我们开发了一种新的正式遗憾分析时,为什么这样的自适应区域划分方案的工作原理。我们还提出了一种新的路径规划方法LaP 3,它提高了每个子区域内的函数值估计,并使用了潜在的搜索空间的表示。从经验上讲,LaP 3在2D导航任务中优于现有的路径规划方法,特别是在存在难以逃脱的局部最优值的情况下,并且在插入基于模型的RL(如PETS)的规划组件时显示出优势。这些收益转移到高度多模态的现实世界任务中,在9个任务中,我们在编译阶段的平均排序中超过了强基线高达39%,在分子设计中,在0-1的范围内,性能超过了0.4。代码可在https://github.com/yangkevin2/neurips2021-lap3上获得。
2022-01-21 cs.AI cs.LG cs.RO
Planning on the fast lane: Learning to interact using attention mechanisms in path integral inverse reinforcement learning
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
用于自动驾驶的通用轨迹规划算法利用复杂的奖励函数来执行策略、行为和运动学特征的组合优化。单个奖励函数的规范和调整是一项繁琐的任务,并且不能推广到大量的流量情况。基于路径积分逆强化学习的深度学习方法已成功应用于使用一组采样驾驶策略的特征来预测局部情况相关的奖励函数。基于样本的轨迹规划算法能够近似可行的驾驶策略的时空子空间,其可用于对情境的上下文进行编码。然而,与动态对象的交互需要扩展的规划范围,这取决于顺序上下文建模。在这项工作中,我们关注的是在一个扩展的时间范围内的顺序奖励预测。我们提出了一个神经网络架构,使用的政策注意力机制,以产生一个低维的上下文向量集中在轨迹与人类一样的驾驶风格。除此之外,我们提出了一个时间注意力机制,以确定上下文切换,并允许稳定的适应奖励。我们在复杂的模拟驾驶情况下评估我们的结果,包括其他移动车辆。我们的评估表明,我们的政策注意力机制学会专注于配置空间中的无冲突政策。此外,时间注意力机制在扩展的规划范围内学习与其他车辆的持续交互。
2020-09-12 cs.AI cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
World Value Functions: Knowledge Representation for Learning and Planning
University of the Witwatersrand(威特沃特斯兰德大学)
我们提出了世界价值函数(WVF),一种面向目标的一般价值函数,它代表了如何解决不仅是一个给定的任务,但任何其他目标达成任务的代理环境。这是通过为智能体配备一个内部目标空间来实现的,该目标空间定义为它经历终端过渡的所有世界状态。然后,智能体可以修改标准任务奖励来定义自己的奖励函数,这可以证明驱动它学习如何实现所有可达到的内部目标,以及在当前任务中这样做的价值。我们展示了WVF在学习和规划方面的两个主要好处。特别是,给定一个学习的WVF,代理可以通过简单地估计任务的奖励函数来计算新任务中的最优策略。此外,我们表明,WVF也隐式编码的环境的过渡动态,因此可以用来执行规划。实验结果表明,WVF可以比常规价值函数更快地学习,而它们推断环境动态的能力可以用于集成学习和规划方法,以进一步提高样本效率。
2022-06-23 cs.AI cs.LG
Neural-Network-Driven Reward Prediction as a Heuristic: Advancing Q-Learning for Mobile Robot Path Planning
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology(哈尔滨工业大学机器人技术与系统国家重点实验室)
针对Q-learning收敛慢的问题,提出NDR-QL方法,利用神经网络输出作为启发式信息,通过改进双输出模型和偏置初始化,将收敛速度提升90%,预测精度提升5%。
2024-12-17 cs.AI cs.LG cs.RO
Optimal Horizon-Free Reward-Free Exploration for Linear Mixture MDPs
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对无奖励强化学习,提出一种用于线性混合MDPs的无视野算法,通过不确定性加权回归与高阶矩估计,实现了对规划视野仅多重对数依赖的最优样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Comparative Analysis of Multi-Agent Reinforcement Learning Policies for Crop Planning Decision Support
Georgia Institute of Technology(佐治亚理工学院);Amherst College(阿默斯特学院);University of Maryland(马里兰大学);Montgomery Blair High School(蒙哥马利布莱尔高中)
本研究比较三种多智能体强化学习方法在作物规划决策支持中的表现,发现多智能体Rollout策略在总奖励和公平性上最优但计算成本高,而逐智能体方法在效率与性能间取得平衡,为选择合适方法提供依据。
2025-02-24 cs.AI cs.CY cs.LG
Steady-State Planning in Expected Reward Multichain MDPs
University of Central Florida(中佛罗里达大学);Air Force Research Laboratory(空军研究实验室)
规划领域对决策政策的正式综合越来越感兴趣。这种形式化的综合通常需要找到一个政策,满足形式规格的形式,一些定义良好的逻辑。虽然许多这样的逻辑已经提出了不同程度的表现力和复杂性,在他们的能力,以捕捉理想的代理行为,他们的价值是有限的,当得出决策政策,满足某些类型的渐近行为在一般系统模型。特别是,我们感兴趣的是指定代理的稳态行为的约束,它捕获代理在每个状态下花费的时间比例,因为它与环境进行无限期的交互。这有时被称为代理的平均或预期行为,除非在其图形结构的连接性方面对底层模型施加强限制,否则相关的规划问题面临着重大挑战。在本文中,我们将探讨这个稳态规划问题,包括推导出一个决策的代理政策,使其稳态行为的约束得到满足。提出了多链马尔可夫决策过程(MDP)一般情况的线性规划解,并证明了所提出的程序的最优解会产生具有严格行为保证的平稳策略。
2021-10-23 cs.AI cs.LG cs.MA
The Predictron: End-To-End Learning and Planning
DeepMind
人工智能的关键挑战之一是学习在规划背景下有效的模型。在本文档中,我们介绍了predictron架构。预测器由一个完全抽象的模型组成,由马尔可夫奖励过程表示,可以向前滚动多个“想象”的规划步骤。Predictron的每次向前传递都会在多个规划深度上积累内部奖励和价值。预测器被端到端地训练,以便使这些累积值精确地近似真实的价值函数。我们应用predictron程序生成的随机迷宫和模拟器的游戏池。预测器产生的预测比传统的深度神经网络架构要准确得多。
2017-07-20 cs.AI cs.LG cs.NE
Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles
School of Integrated Technology, Yonsei University(延世大学整合技术学院);Electronics and Telecommunications Research Institute(电子通信研究院)
在这项研究中,我们应用强化学习的邻近策略优化算法的基础上执行运动规划的无人机(UAV)在开放空间与静态障碍。强化学习在真实无人机中的应用存在时间和成本等限制,因此,我们使用Gazebo模拟器在虚拟环境中对虚拟四旋翼无人机进行训练。随着强化学习的进行,模型的平均奖励和目标率增加。此外,训练模型的测试表明,无人机达到了81%的目标率使用简单的奖励函数在这项工作中建议。
2020-09-24 cs.LG cs.RO
Planning in Hierarchical Reinforcement Learning: Guarantees for Using Local Policies
Google Research(谷歌研究院)
我们考虑一个层次化强化学习的设置,其中的奖励是一个组件的总和。对于每个组件,我们都给出了一个最大化它的策略,我们的目标是从各个策略中组合一个最大化组件总和的策略。我们提供了理论上的保证,组装这样的政策在确定性的MDP与收藏奖励。我们的方法建立在制定这个问题作为一个旅行推销员问题的折扣奖励。我们专注于本地解决方案,即,仅使用来自当前状态的信息的策略;因此,它们易于实现并且不需要大量的计算资源。我们提出了三个本地的随机政策,并证明他们保证更好的性能比任何确定性的本地政策在最坏的情况下,实验结果表明,他们也表现得更好的平均。
2020-01-03 cs.AI cs.DS cs.LG
Iterative Deployment Improves Planning Skills in LLMs
University of Oxford(牛津大学);AI Sequrity Company(AI安全公司);UFRGS(乌拉圭联邦大学)
通过迭代部署大语言模型,利用用户编纂的数据提升规划能力,展现隐含奖励函数的强化学习机制,具有AI安全和训练制度替代的双重意义。
2025-12-31 cs.AI cs.CL cs.LG
Continuous Motion Planning with Temporal Logic Specifications using Deep Neural Networks
University of Waterloo(滑铁卢大学)
针对具有连续状态和动作的运动规划问题,提出了一种无模型强化学习方法来综合控制策略。机器人被建模为一个标记的离散时间马尔可夫决策过程(MDP)与连续的状态和动作空间。线性时序逻辑(LTL)用于指定高级任务。然后,我们训练深度神经网络,以使用行动者-批评者强化学习方法来近似价值函数和策略。LTL规范被转换为带注释的有限确定性Büchi自动机(LDBA),用于连续地塑造奖励,以便在训练期间提供密集的奖励。使用强化学习解决具有LTL规范的运动规划问题的一种简单方法是对轨迹进行采样,然后如果轨迹满足整个LTL公式,则为训练分配高奖励。然而,当我们有一个复杂的连续状态和动作空间的LTL公式时,找到这样的轨迹所需的采样复杂度太高了。因此,如果所有样本轨迹都从自动机的初始状态开始,我们就不太可能获得足够的训练奖励。在本文中,我们提出了一种方法,不仅从状态空间中的初始状态采样,而且在每个训练集开始时自动机中的任意状态。我们测试我们的算法在模拟使用汽车般的机器人,并发现我们的方法可以学习不同的工作配置和LTL规范的政策成功。
2020-09-29 cs.AI cs.LG cs.LO
Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models
研究针对基于模型的强化学习中世界模型评估问题,引入算子对F诊断,通过模型自身预测器比较模型与环境的k步潜在前推,揭示其与规划回报的强关联及在跨架构比较中的作用,补充而非替代值等价性诊断。
2026-07-16 cs.AI cs.LG
UAV Trajectory Planning in Wireless Sensor Networks for Energy Consumption Minimization by Deep Reinforcement Learning
University of Saskatchewan(萨斯喀彻温大学);Cisco Systems Inc.(思科系统公司)
无人机(UAV)已成为大规模无线传感器网络(WSNs)数据采集的一种有前途的候选解决方案。在本文中,我们研究了一种无人机辅助的无线传感器网络,其中簇头(CH)接收来自其成员节点的数据,并派遣无人机沿规划的轨迹从CH收集数据。我们的目标是最大限度地减少总的能量消耗的无人机无线传感器网络系统在一个完整的一轮数据收集。为此,我们制定的能源消耗最小化问题作为一个约束的组合优化问题,通过共同选择CH从集群内的节点和规划无人机的访问顺序选定的CH。制定的能源消耗最小化问题是NP难的,因此,很难最佳解决。为了应对这一挑战,我们提出了一种新的深度强化学习(DRL)技术,指针网络-A *(Ptr-A*),它可以有效地从经验中学习无人机轨迹策略,以最大限度地减少能源消耗。将无人机的起始点和具有一组预定簇的无线传感器网络送入Ptr-A*,Ptr-A* 输出一组CH和对这些CH的访问顺序,即,无人机的轨迹Ptr-A* 的参数是在小规模聚类问题实例上训练的,以便以无监督的方式使用actor-critic算法进行更快的训练。在推理过程中,提出了三种搜索策略来提高解的质量。仿真结果表明,基于20簇和40簇的训练模型具有较好的泛化能力,能够解决不同簇数的无线传感器网络中无人机的轨迹规划问题,且无需重新训练模型。此外,结果表明,我们提出的DRL算法优于两个基线技术。
2021-08-01 cs.LG cs.SY eess.SY
Simplifying Reward Design through Divide-and-Conquer
设计一个好的奖励函数对于机器人规划和强化学习至关重要,但它也可能具有挑战性和令人沮丧。奖励需要在多个不同的环境中工作,这通常需要多次迭代调优。我们引入了一种新颖的分治方法,使设计师能够为每个环境单独指定奖励。通过将这些单独的奖励函数视为对潜在真实奖励的观察,我们推导出一种在所有环境中推断共同奖励的方法。我们进行用户研究,在一个抽象的网格世界域和运动规划域的7自由度机械手,衡量用户的努力和解决方案的质量。我们表明,我们的方法更快,更容易使用,并产生更高质量的解决方案比典型的方法设计一个奖励联合在所有环境中。我们还进行了一系列实验,测量这些结果对奖励设计任务的不同属性的敏感性,例如环境的数量,每个环境的可行解决方案的数量,以及每个环境中变化的总特征的比例。我们发现,独立的奖励设计优于标准的,联合的,奖励设计过程中,但最好的工作时,设计问题可以分为更简单的子问题。
2018-06-07 cs.AI cs.LG cs.RO
Diffusion-ES: Gradient-free Planning with Diffusion for Autonomous Driving and Zero-Shot Instruction Following
Carnegie Mellon University(卡内基梅隆大学)
Diffusion-ES将无梯度进化搜索与扩散模型去噪结合,优化黑盒非可微目标,在自动驾驶基准nuPlan上达到最先进性能,并能通过少样本LLM提示优化语言奖励,实现零样本指令跟随和复杂行为生成。
2024-07-16 cs.AI cs.CL cs.LG
Multi-UAV Path Planning for Wireless Data Harvesting with Deep Reinforcement Learning
EURECOM(欧洲通信学院);Technical University of Munich(慕尼黑工业大学)
从具有多个自主无人机(UAV)的分布式物联网(IoT)设备获取数据是一个具有挑战性的问题,需要灵活的路径规划方法。我们提出了一种多智能体强化学习(MARL)方法,与以前的工作相比,可以适应定义数据收集任务的场景参数的深刻变化,例如部署的无人机数量,物联网设备的数量,位置和数据量,或最大飞行时间,而不需要执行昂贵的重新计算或重新学习控制策略。我们制定了一个合作的,非通信的,同质的无人机团队的路径规划问题,其任务是最大限度地提高从分布式物联网传感器节点收集的数据受飞行时间和避免碰撞的限制。路径规划问题被转化为一个分散的部分可观测马尔可夫决策过程(Dec-POMDP),我们解决了通过深度强化学习(DRL)的方法,近似的最佳无人机控制策略,而无需在密集的城市环境中具有挑战性的无线信道特性的先验知识。通过利用被馈送到代理的卷积层的环境的集中的全局和局部地图表示的组合,我们表明,我们提出的网络架构使代理能够通过仔细地在它们之间划分数据汇集任务来有效地合作,适应大型复杂的环境和状态空间,并做出平衡数据汇集目标、飞行时间效率导航限制。最后,学习一个控制策略,概括了场景参数空间,使我们能够分析单个参数对收集性能的影响,并提供一些直观的系统级效益。
2021-06-03 cs.IT cs.LG cs.MA
UAV Path Planning for Wireless Data Harvesting: A Deep Reinforcement Learning Approach
EURECOM(欧洲通信学院);Technical University of Munich(慕尼黑工业大学)
支持下一代通信网络的无人机(UAV)的自主部署需要高效的轨迹规划方法。我们提出了一种新的端到端的强化学习(RL)方法,无人机启用数据汇集从物联网(IoT)设备在城市环境中。自主无人机的任务是从分布式传感器节点收集数据,这些传感器节点受到飞行时间和避障的限制。虽然以前的方法,学习和非学习的基础上,必须执行昂贵的重新计算或重新学习的行为时,重要的场景参数,如传感器的数量,传感器的位置,或最大飞行时间,改变,我们训练一个双深度Q网络(DDQN)与组合的经验重放学习无人机控制策略,概括了不断变化的场景参数。通过利用通过卷积网络层馈送到代理的环境的多层地图,我们表明,我们提出的网络架构使代理能够为各种场景参数做出移动决策,这些参数平衡了数据汇集目标与飞行时间效率和安全约束。还示出了使用以UAV的位置为中心的地图在学习效率方面的相当大的优势。
2020-10-26 cs.IT cs.LG cs.RO