Latency-Aware Resource Allocation for Mobile Edge Generation and Computing via Deep Reinforcement Learning
Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来智能网络研究院）；Shenzhen University of Advanced Technology（深圳理工大学）
针对移动边缘生成与计算系统中的通信、计算与AIGC资源联合分配问题，提出一种基于深度强化学习的时延最小化算法，并通过数值实验验证其相比基线算法能显著降低时延。
2024-10-19 cs.AI cs.SY eess.SY
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Multi-Task Reinforcement Learning based Mobile Manipulation Control for Dynamic Object Tracking and Grasping
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Heriot-Watt University（赫瑞-瓦特大学）
由于机器人系统的高度复杂性和工作环境的非结构化，使得移动机械手的敏捷控制具有挑战性。跟踪和抓取具有随机轨迹的动态对象甚至更难。本文提出了一种基于多任务强化学习的移动操作控制框架，实现了通用的动态目标跟踪和抓取。选择几种基本类型的动态轨迹作为任务训练集。为了提高策略在实际应用中的泛化能力，在训练过程中引入了随机噪声和动态随机化。大量实验表明，训练后的策略能够适应未知的随机动态轨迹，跟踪误差约为0.1m，动态目标的抓取成功率为75%.训练的策略也可以成功地部署在一个真正的移动机械手。
2020-06-07 cs.AI cs.LG cs.RO
Virtual-to-real Deep Reinforcement Learning: Continuous Control of Mobile Robots for Mapless Navigation
City University of Hong Kong（香港城市大学）；HKUST（香港科技大学）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一种基于学习的无地图运动规划器，以稀疏的10维范围调查结果和目标位置相对于移动机器人坐标系作为输入和连续的转向命令作为输出。传统的基于激光测距传感器的地面移动机器人运动规划主要依赖于导航环境中的障碍地图，而高精度的激光测距传感器和环境中的障碍地图构建工作都是必不可少的。我们表明，通过异步深度强化学习方法，可以端到端地训练无地图运动规划器，而无需任何手动设计的功能和先前的演示。经过训练的规划器可以直接应用于看不见的虚拟和真实环境中。实验结果表明，所提出的无地图运动规划器可以引导非完整移动机器人在不碰撞任何障碍物的情况下到达期望的目标。
2017-07-21 cs.AI cs.LG cs.RO
TIAGo RL: Simulated Reinforcement Learning Environments with Tactile Data for Mobile Robots
PAL Robotics S.L.（PAL Robotics公司）；Bielefeld University（比勒费尔德大学）
本文提出TIAGo机器人的开源强化学习环境，生成逼真触觉数据以支持DRL策略迁移，并初步验证了学习力控制策略优于经典PI控制器。
2023-11-13 cs.AI cs.RO
Hierarchical Reinforcement Learning in Multi-Goal Spatial Navigation with Autonomous Mobile Robots
University of South Florida（佛罗里达州立大学）
本文通过多项实验对比分层强化学习与传统强化学习在复杂机器人导航任务中的表现，重点考察子目标创建方式、手动与自动创建差异及终止频率影响，证明了HRL的优越性及其实现机制。
2025-08-18 cs.AI cs.RO
Reinforcement Learning with Reward Machines for Sleep Control in Mobile Networks
Ericsson Research（爱立信研究院）
本文提出利用奖励机强化学习优化移动网络睡眠控制，在保障服务质量的前提下平衡即时节能与长期影响。
2026-04-08 cs.AI cs.LG
Double Deep Reinforcement Learning Techniques for Low Dimensional Sensing Mapless Navigation of Terrestrial Mobile Robots
UTEC（乌拉圭理工大学）
在这项工作中，我们提出了两个深度强化学习（Deep-RL）的方法，以提高陆地移动机器人的无地图导航的问题。我们的方法专注于比较基于深度Q网络（DQN）算法的深度RL技术与基于双深度Q网络（DDQN）算法的第二种技术。我们使用24个激光测量样本和智能体与目标的相对位置和角度作为智能体的信息，智能体为我们的机器人提供动作作为速度。通过使用一个低维传感结构的学习，我们表明，它是可能的训练代理执行导航相关的任务和避障，而不使用复杂的传感信息。所提出的方法被成功地用于三个不同的模拟环境。总体而言，它表明，双深结构进一步提高了问题的导航移动机器人相比，简单的Q结构。
2023-01-26 cs.AI cs.RO
Deep Reinforcement Learning with anticipatory reward in LSTM for Collision Avoidance of Mobile Robots
Le Havre Normandy University（勒阿弗尔诺曼底大学）
本文提出利用LSTM预测机器人位置并动态调节DQN奖励的碰撞风险预期方法，在受限环境中显著减少了碰撞次数且提升了稳定性，适用于嵌入式系统。
2025-08-11 cs.AI
Deterministic and Stochastic Analysis of Deep Reinforcement Learning for Low Dimensional Sensing-based Navigation of Mobile Robots
Technological University of Uruguay（乌拉圭技术大学）；Federal University of Rio Grande - FURG（里奥格兰德联邦大学（FURG））；Universidade Federal de Santa Maria - UFSM（圣玛丽亚联邦大学（UFSM））
深度强化学习（Deep-RL）中的确定性和随机技术已经成为改善各种机器人的运动控制和决策任务的有前途的解决方案。以前的工作表明，这些Deep-RL算法可以应用于移动机器人的无地图导航。然而，它们倾向于使用简单的感测策略，因为已经表明它们在高维状态空间中表现不佳，例如从基于图像的感测中产生的状态空间。本文提出了两种深度RL技术-深度确定性策略梯度（DDPG）和软演员批评（SAC）-当执行任务的移动机器人的无地图导航的比较分析。我们的目标是通过展示神经网络架构如何影响学习本身来做出贡献，并根据每种方法的空中移动机器人导航的时间和距离给出定量结果。总的来说，我们对六种不同架构的分析突出表明，随机方法（SAC）更适合更深层次的架构，而确定性方法（DDPG）则相反。
2022-09-13 cs.AI cs.RO
Mobile Cellular-Connected UAVs: Reinforcement Learning for Sky Limits
蜂窝连接的无人机（UAV）面临着有关连接性和能源效率的几个关键挑战。通过一个基于学习的策略，我们提出了一个通用的新的多臂强盗（MAB）算法，以减少断开连接的时间，切换率，并考虑到其任务完成时间的无人机的能源消耗。通过将问题制定为无人机速度的函数，我们展示了如何通过采用适当范围的相应学习参数来改善这些性能指标（PI），例如，与盲策略相比，HO率降低50%。然而，结果表明，学习参数的最佳组合严重依赖于任何特定的应用程序和最终目标函数的PI的权重。
2020-09-21 cs.AI cs.IT math.IT
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
表示学习和选项发现是强化学习（RL）中的两个最大挑战。原价值函数（PVF）是用于MDP中的表示学习的公知方法。在本文中，我们解决的选项发现问题，显示PVF如何隐式定义选项。我们通过引入本征目的，从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用，因为它们是在不考虑环境奖励的情况下发现的。此外，不同的选项在不同的时间尺度上起作用，这有助于探索。我们展示了传统的表格域，以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems（埃尔绍夫信息系统研究所）
我们提出了一种新的强化学习模型的离散环境，这是内在的可解释性，并支持发现深层次的子目标层次。在该模型中，智能体以概率规则的形式学习有关环境的信息，而（子）目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述，如果先前实现，则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中，这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
Root Cause Attribution of Delivery Risks via Causal Discovery with Reinforcement Learning
针对供应链复杂导致传统根因分析易产生虚假关联的问题，提出结合因果发现与强化学习的配送风险根因归因方法，经真实数据集验证可有效识别延迟原因并提供风险缓解策略。
2025-06-10 cs.AI cs.LG
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；University of Cambridge（剑桥大学）
大动态环境中移动机器人的路径规划是一个具有挑战性的问题，因为机器人需要有效地达到其给定的目标，同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下，传统的解决方案通常采用重新规划策略，每当机器人遇到冲突时，重新调用规划算法来搜索替代路径。然而，这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题，我们提出了一种基于学习的技术，利用环境时空信息。与现有的基于学习的方法不同，我们引入了一种全局引导的强化学习方法（G2RL），该方法采用了一种新的奖励结构，可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题，在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型，障碍物密度和机器人的数量。实验结果表明，G2RL的泛化能力很好，优于现有的分布式方法，并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
我们考虑的问题，学习层次策略的强化学习能够发现选项，一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式，这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题，自动发现决策过程中的选项。我们描述了一种新的学习模型，称为期权神经网络（BONN）能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估，展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge Intelligence
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；East China Normal University（华东师范大学）；Nantong University（南通大学）；National Mobile Communications Research Laboratory（移动通信国家重点实验室）；Southeast University（东南大学）；National Key Laboratory on Communications（通信抗干扰技术国家级重点实验室）；University of Electronic Science and Technology of China（电子科技大学）
移动边缘计算（MEC）被认为是第五代（5G）网络及以后的计算密集型和延迟敏感型任务的新范式。然而，由于移动终端、无线信道和边缘网络等方面的不确定性（动态性和随机性），导致了该问题的高维、非凸、非线性和NP难优化问题。由于进化的强化学习（RL），通过与动态和随机环境的迭代交互，其训练的代理可以智能地获得MEC中的最优策略。此外，它的进化版本，如深度RL（DRL），可以实现更高的收敛速度效率和学习精度的基础上的参数近似的大规模状态-动作空间。本文提供了一个全面的研究综述RL使能MEC，并提供了在这一领域的发展洞察力。更重要的是，与自由移动性，动态信道和分布式服务，MEC的挑战，可以解决不同种类的RL算法被确定，其次是他们如何可以解决RL解决方案在不同的移动应用。最后，讨论了开放的挑战，为今后的研究提供了有益的指导RL培训和学习MEC。
2022-04-26 cs.AI cs.IT cs.NI
Distributed Reinforcement Learning of Targeted Grasping with Active Vision for Mobile Manipulators
Preferred Networks, Inc.（优选网络公司）
开发能够在非结构化环境中执行各种操作任务的个人机器人需要解决机器人抓取系统的几个挑战。我们向这个更广泛的目标迈出了一步，提出了第一个基于RL的系统，据我们所知，移动机械手，可以（a）实现有针对性的把握概括到看不见的目标对象，（b）学习复杂的抓取策略，为混乱的场景与闭塞的对象，和（c）通过其可移动的手腕相机执行主动视觉，以更好地定位对象。系统以该对象的单个任意姿态RGB图像的形式被告知所需的目标对象，使得系统能够概括为未见过的对象而无需重新训练。为了实现这样一个系统，我们结合了深度强化学习的几个进步，并提出了一个使用同步SGD的大规模分布式训练系统，该系统可以无缝扩展到多节点，多GPU基础设施，使快速原型更容易。我们在模拟环境中对系统进行训练和评估，确定提高性能的关键组件，分析其行为，并将其转换为真实世界的设置。
2020-10-14 cs.AI cs.DC cs.LG
Sim-to-Real Optimization of Complex Real World Mobile Network with Imperfect Information via Deep Reinforcement Learning from Self-play
Futurewei Technologies Inc.（Futurewei技术公司）；Huawei R&D USA（华为美国研发中心）；Huawei Technologies Co. Ltd（华为技术有限公司）
每天有数百万人使用的移动网络是世界上最复杂的系统之一。优化移动网络以满足爆炸式增长的客户需求并降低资本/运营支出带来了巨大的挑战。尽管最近取得了进展，但由于现实世界中的数据稀缺性，部分可观察性，风险和复杂的规则/动态，以及模拟和现实世界之间的巨大现实差距，深度强化学习（DRL）在复杂现实世界问题中的应用仍然没有得到解决。为了弥合现实差距，我们引入了一个Sim-to-Real框架，通过图卷积神经网络（CNN）将学习从模拟直接转移到现实世界-通过将部分可观察的移动网络抽象为图，然后将域变量不规则图提取为局部欧氏空间中的域不变张量作为CNN的输入，域随机化和多任务学习。我们使用一种新的自我发挥机制，鼓励DRL代理之间的竞争，通过模拟退火多个任务的最佳记录，就像运动员在十项全能比赛中争夺世界纪录。我们还提出了一个分散的多智能体，竞争和合作的DRL方法来协调多个细胞的行动，以最大限度地提高全球回报和最小化对邻居细胞的负面影响。在商业移动网络上使用6个现场试验，我们首次证明了DRL代理可以成功地将学习从模拟迁移学习到具有不完美信息，复杂规则/动态，巨大状态/动作空间和多代理交互的复杂现实世界问题，而无需在现实世界中进行任何训练。
2018-12-06 cs.AI cs.LG stat.ML
Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
提出CD-UCT，一种基于模型强化学习的树搜索方法，通过逐步构建DAG进行因果发现，并证明了一种高效排除环边算法的正确性，实验显示其显著优于现有方法。
2024-02-13 cs.AI cs.LG
RL-MD: A Novel Reinforcement Learning Approach for DNA Motif Discovery
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Shanghai International Studies University（上海外国语大学）
从一组功能上相连的未标记DNA序列中提取序列模式被称为DNA模体发现，它是计算生物学中的一个关键任务。最近已经引入了几种基于深度学习的技术来解决这个问题。然而，这些算法不能用于现实世界的情况下，因为需要标记的数据。在这里，我们提出了RL-MD，一种新的强化学习为基础的DNA模体发现任务的方法。RL-MD以未标记的数据为输入，采用基于相对信息的方法对每个主题进行评价，并将这些连续的评价结果作为奖励。实验表明，RL-MD可以识别高质量的模体在现实世界的数据。
2022-09-30 cs.AI cs.LG q-bio.GN
Estimating player completion rate in mobile puzzle games using reinforcement learning
IT University of Copenhagen（哥本哈根信息技术大学）；Tactile Games（Tactile Games公司）
本研究探讨了利用强化学习智能体在移动端益智游戏《Lily's Garden》中的表现来估计玩家关卡完成率的可行性，发现智能体表现最佳的约5%运行次数的完成步数是最强预测因子，尽管智能体绝对表现不及人类，但其行为差异与人类高度相关，可用于估计和建模玩家指标。
2023-06-26 cs.AI cs.LG
Beyond the Edge: An Advanced Exploration of Reinforcement Learning for Mobile Edge Computing, its Applications, and Future Research Trajectories
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Imperial College London（帝国理工学院）；Beijing University of Science and Technology（北京科技大学）；Northwestern University（西北大学）
本文综述了强化学习在移动边缘计算中的应用，涵盖卸载、缓存和通信策略，并探讨了安全性和隐私等开放问题及缓解技术。
2024-04-22 cs.AI cs.NI
Mobile Edge Computing and AI Enabled Web3 Metaverse over 6G Wireless Communications: A Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）
本文面向6G Web3元宇宙的多用户沉浸式社交，提出结合移动边缘计算与深度强化学习的QoS模型，以实现近优信道资源分配并改善整体体验。
2023-12-11 cs.AI cs.NI
Cell Selection with Deep Reinforcement Learning in Sparse Mobile Crowdsensing
Hong Kong University of Science and Technology（香港科技大学）；Jilin University（吉林大学）；Peking University（北京大学）
稀疏移动人群感知（MCS）是一种新的MCS范式，其中数据推理被纳入MCS过程中，以降低感知成本，同时保证其质量。由于来自目标感测区域的不同单元（子区域）的感测数据将可能导致不同水平的推断数据质量，因此单元选择（即，选择目标区域的哪些单元来收集来自参与者的感测数据）是将影响需要收集的数据总量的关键问题（即，数据汇集成本）以确保一定的质量水平。为了解决这个问题，本文提出了一种基于深度强化学习的稀疏MCS小区选择机制，称为DR-Cell。首先，我们对强化学习中的关键概念（包括状态、动作和奖励）进行了适当的建模，然后提出使用深度递归Q网络来学习Q函数，该Q函数可以帮助决定在细胞选择过程中，在特定状态下哪个细胞是更好的选择。此外，我们利用迁移学习技术来减少训练Q函数所需的数据量，如果有多个相关的MCS任务需要在同一目标区域进行。在各种真实感测数据集上的实验验证了DR-Cell在稀疏MCS中最先进的单元选择机制上的有效性，在相同的数据推理质量保证下减少了多达15%的感测单元。
2018-05-24 cs.AI cs.DC
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University（斯坦福大学）；Nvidia（英伟达公司）；Robotics at Google（谷歌机器人部门）
许多强化学习（RL）方法使用联合控制信号（位置、速度、扭矩）作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平，以运动生成器（运动规划器和轨迹执行器的组合）的子目标的形式。我们认为，通过提升动作空间和利用基于采样的运动规划器，我们可以有效地使用RL来解决复杂的，长时间的任务，这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架，它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法，我们将ReLMoGen应用于两种类型的任务：1）交互式导航任务，需要与环境交互才能到达目的地的导航问题，以及2）移动操作任务，需要移动机器人底座的操作任务。这些问题是具有挑战性的，因为它们通常是长期的，难以在培训期间探索，并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中，ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性，这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
Enhanced Low-Dimensional Sensing Mapless Navigation of Terrestrial Mobile Robots Using Double Deep Reinforcement Learning Techniques
Federal University of Santa Maria（圣玛丽亚联邦大学）；Universidad Tecnológica del Uruguay（乌拉圭技术大学）
本研究提出基于DQN和DDQN的深度强化学习方法，利用24个激光测距值和位置差分实现移动机器人低维感知无地图导航，实验证明DDQN结构显著提升了导航和避障能力。
2023-10-20 cs.AI cs.RO
Multi-objective Deep Reinforcement Learning for Mobile Edge Computing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Zhejiang University（浙江大学）；Southern University of Science and Technology（南方科技大学）
针对移动边缘计算中应用偏好未知的多目标调度问题，提出基于MORL和PPO的资源调度方案，通过新状态编码和奖励函数优化能耗与延迟，使Pareto前沿超体积提升达233.1%。
2023-07-05 cs.AI cs.LG cs.NI
Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）
本文提出将移动边缘计算与基础模型融合，通过Emulator-Adapter架构和混合多智能体深度强化学习策略，实现去中心化场景下动态最优资源分配，兼顾计算效率与任务性能。
2023-10-26 cs.AI cs.DC cs.LG
SymbXRL: Symbolic Explainable Deep Reinforcement Learning for Mobile Networks
IMDEA Networks Institute（IMDEA网络研究所）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
SymbXRL通过符号AI生成可解释的DRL解释，提升网络决策的透明度和可控性。
2026-01-29 cs.AI cs.NI
To Train or Not to Train: Balancing Efficiency and Training Cost in Deep Reinforcement Learning for Mobile Edge Computing
University of Padova（帕多瓦大学）
针对移动边缘计算资源分配的深度强化学习方案未考虑训练成本的问题，提出可动态选择训练时机的通用算法，在真实训练开销下仍能接近理想智能体性能。
2024-11-11 cs.AI cs.LG cs.SY
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Twente（特文特大学）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对因果发现难题，受Pearl因果层次结构启发，提出基于深度强化学习的CORE方法，兼具因果图重建与干预规划能力，可泛化到新图，支持10变量规模，在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
HRL4IN: Hierarchical Reinforcement Learning for Interactive Navigation with Mobile Manipulators
Stanford University（斯坦福大学）
人类环境中最常见的导航任务需要辅助手臂交互，例如开门、按下按钮和推开障碍物。这种类型的导航任务，我们称之为交互式导航，需要使用移动操纵器：具有操纵能力的移动基地。交互式导航任务通常是长时间的，由纯导航、纯操作及其组合的异构阶段组成。使用实施例的错误部分是低效的并且阻碍进展。我们提出了HRL 4 IN，一种新的分层RL架构的交互式导航任务。HRL 4 IN利用了HRL在平面RL上的探索优势，用于长视野任务，这要归功于对子目标的时间延长承诺。与其他HRL解决方案不同，HRL 4 IN通过在任务的不同阶段在不同空间中创建子目标来处理交互式导航任务的异构性。此外，HRL 4 IN选择实施例的不同部分用于每个阶段，从而提高能量效率。我们评估HRL 4 IN对平面PPO和HAC，一个国家的最先进的HRL算法，在两个环境中的交互式导航-一个2D网格世界环境和一个3D环境与物理模拟。我们表明，HRL 4 IN在任务性能和能源效率方面显着优于其基线。更多信息请访问https://sites.google.com/view/hrl4in。
2019-10-24 cs.AI cs.CV cs.LG
A Meta-Reinforcement Learning Algorithm for Causal Discovery
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
因果发现是机器学习的一项重要任务，因为因果结构可以使模型超越纯粹的基于相关性的推理，并显着提高其性能。然而，从数据中找到因果结构在计算工作量和准确性方面都构成了重大挑战，更不用说在没有干预的情况下不可能实现。在本文中，我们开发了一个Meta强化学习算法，通过学习执行干预，使其可以构建一个明确的因果图进行因果发现。除了对可能的下游应用有用之外，估计的因果图还为数据生成过程提供了解释。在这篇文章中，我们表明，我们的算法估计一个很好的图相比，SOTA的方法，即使在环境中的潜在因果结构是以前看不见的。此外，我们做了一个消融研究，显示如何学习干预有助于我们的方法的整体性能。我们的结论是，干预措施确实有助于提高绩效，有效地对可能看不见的环境的因果结构进行准确估计。
2023-02-21 cs.AI cs.LG stat.ME
Deep Reinforcement Learning-based Obstacle Avoidance for Robot Movement in Warehouse Environments
AMA University（AMA大学）；New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Cornell University（康奈尔大学）；University of California, Irvine（加州大学欧文分校）；Northern Arizona University（北亚利桑那大学）
针对仓库环境中传统移动机器人避障策略反馈不佳的问题，提出一种基于深度强化学习的避障算法，通过改进价值函数网络并设计基于行人空间行为的奖励函数，实现了高效舒适的避障，仿真实验验证了其有效性。
2024-09-23 cs.AI cs.RO
Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning
EPFL（苏黎世联邦理工学院）；Apple（苹果公司）
提出通过强化学习微调持续优化大语言模型，结合进化搜索加速发现更优算法，在组合优化任务上验证有效性。
2025-08-04 cs.AI cs.LG cs.NE
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
Bin Cao（包超）
提出一个兼容Gymnasium的晶体发现环境SciVerseGym，将晶体设计建模为马尔可夫决策过程，支持局部和全局编辑操作，为强化学习、贝叶斯优化等提供可复现的测试平台。
2026-06-23 cond-mat.mtrl-sci cs.AI
Hybrid Motion Planning with Deep Reinforcement Learning for Mobile Robot Navigation
Department of Computational Mathematics and Cybernetics（计算数学与自动化系）；Lomonosov Moscow State University（罗蒙诺夫莫斯科国立大学）
本文提出HMP-DRL，结合基于图的全局规划与深度强化学习，提升移动机器人在复杂环境中的导航安全性和可靠性。
2025-12-31 cs.AI cs.LG cs.RO
Scheduling Drone and Mobile Charger via Hybrid-Action Deep Reinforcement Learning
Beijing Forestry University（北京林业大学）；Engineering Research Center for Forestry-oriented Intelligent Information Processing, National Forestry and Grassland Administration（国家林业和草原局林业智能信息处理工程研究中心）
针对无人机与移动充电器的调度问题，提出混合动作深度强化学习框架HaDMC，通过动作解码器和相互学习实现高效协作，实验验证其有效性。
2024-03-16 cs.AI cs.LG cs.RO
Deep Reinforcement learning for real autonomous mobile robot navigation in indoor environments
University of Applied Science Gelsenkirchen（盖尔森基兴应用科学大学）
深度强化学习已成功应用于各种计算机游戏[8]。然而，它仍然很少用于现实世界的应用，特别是用于真正的移动机器人的导航和连续控制[13]。以前的方法缺乏安全性和鲁棒性和/或需要结构化的环境。在本文中，我们提出了我们的概念证明自主自学习机器人导航在一个未知的环境中，一个真正的机器人没有地图或规划。机器人的输入仅是来自2D激光扫描仪和RGB-D相机的融合数据以及目标的方向。环境的地图是未知的。异步优势行动者-评论家网络（GA 3C）的输出动作是机器人的线速度和角速度。导航器/控制器网络在高速、并行和自实现的仿真环境中进行预训练，以加快学习过程，然后部署到真实机器人上。为了避免过拟合，我们训练相对较小的网络，并将随机高斯噪声添加到输入激光数据。传感器数据与RGB-D相机的融合使机器人能够在真实环境中导航，具有真实的3D避障功能，而无需根据机器人的感知能力来适应环境。为了进一步提高鲁棒性，我们在不同难度的环境中进行训练，并同时运行32个训练实例。视频：supplementary File / YouTube，代码：GitHub
2020-05-28 cs.AI cs.LG cs.RO
Design and Planning of Flexible Mobile Micro-Grids Using Deep Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
气候变化带来的持续风险已经影响到全球游牧社区的生计，并可能导致未来几年移民流动的增加。因此，在能源系统规划中，特别是在发展中国家实现能源获取方面，流动性考虑变得越来越重要。先进的即插即用控制策略最近已经开发出这样一个分散的框架，更容易允许游牧社区相互之间以及与主电网的互连。基于此，本文研究了游牧社区移动式多能源供应系统的设计与规划策略。受相关不确定性的规模和维度的影响，在30年的规划范围内影响所有主要的设计和决策变量，深度强化学习（DRL）被用于解决设计和规划问题。基于DRL的解决方案以几种刚性基线设计选项为基准，以比较不确定性下的预期性能。蒙古蒙古包社区的一项案例研究结果表明，流动游牧能源系统在技术上和经济上都是可行的，特别是在考虑到灵活性时，尽管家庭之间的空间分散程度是一个重要的限制因素。对成本、等效排放量和未满足总负荷等关键经济、可持续性和弹性指标进行了测量，表明与现有基线相比，潜在的改善分别高达25%、67%和76%。最后，分解的灵活性和即插即用操作的价值是使用实物期权理论的变化，游牧社区和政策制定者的重要影响，重点是使他们的能源获取。
2022-12-08 cs.AI cs.SY eess.SY
Discovery of False Data Injection Schemes on Frequency Controllers with Reinforcement Learning
National Renewable Energy Laboratory (NREL)（国家可再生能源实验室（NREL））；College of Engineering & Computer Science, Syracuse University（雪城大学工程与计算机科学学院）
本文利用强化学习发现针对一次频率控制中智能逆变器的最优虚假数据注入策略，揭示其可操纵逆变器设置并引发严重后果，从而为电网主动防御提供依据。
2024-08-30 cs.AI cs.LG
Personalized HeartSteps: A Reinforcement Learning Algorithm for Optimizing Physical Activity
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；Harvard University（哈佛大学）
随着移动健康技术的发展，健康科学家对开发及时适应性干预（JITAI）越来越感兴趣，JITAI通常通过移动终端上的通知提供，旨在帮助用户预防负面健康结果，并促进健康行为的采用和维持。JITAI涉及一系列决策规则（即，治疗策略），其将用户的当前上下文作为输入，并指定此时是否应该提供干预以及应该提供什么类型的干预。在本文中，我们开发了一种强化学习（RL）算法，该算法在从用户收集数据时不断学习和改进JITAI中嵌入的治疗策略。这项工作的动机是我们在HeartSteps V2中基于HeartSteps V1的数据设计RL算法的合作。HeartSteps是一个身体活动移动健康应用程序。本文开发的RL算法正在HeartSteps V2中使用，每天五次，以决定是否提供上下文定制的活动建议。
2019-09-08 cs.AI cs.LG
Successor Options: An Option Discovery Framework for Reinforcement Learning
Indian Institute of Technology Madras（马德拉斯印度理工学院）
强化学习中的选项框架对技能或时间上扩展的动作序列的概念进行建模。发现一组可重用的技能通常需要构建选项，这些选项可以导航到瓶颈状态。这项工作采用了一种互补的方法，我们试图发现导航到里程碑状态的选项。这些状态是连接良好的区域的典型代表，因此可以相对容易地访问相关区域。在这项工作中，我们提出了后继选项，它利用后继表示来构建状态空间的模型。期权内策略的学习使用一种新的伪奖励和模型的规模很容易到高维空间。此外，我们还提出了一个增量继任者选项模型，迭代之间的构造继任者表示和建设选项，这是有用的，当强大的继任者表示不能建立单独从原始的行动。我们证明了我们的方法的有效性，收集的网格世界，并在高维机器人控制环境的获取。
2019-05-14 cs.AI cs.LG stat.ML
DADI: Dynamic Discovery of Fair Information with Adversarial Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）；IBM Research（IBM研究院）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个动态对抗性信息发现（DADI）框架，其动机是信息（特征集）被第三方使用，目标未知。我们训练一个强化学习代理来顺序地获取信息的子集，同时平衡下游预测器的准确性和公平性。基于已经获取的特征的集合，代理动态地决定从可用特征的集合收集更多信息或者停止并使用当前可用的信息进行预测。在以前探索对抗性表示学习的工作的基础上，我们通过奖励代理对手的损失来实现群体公平性（人口统计学平价），这些损失是在最终特征集上计算的。然而，重要的是，该框架为公平或私有的动态信息发现提供了一个更通用的起点。最后，我们使用两个真实世界的数据集实证证明，我们可以权衡公平性和预测性能
2019-10-30 cs.CY cs.LG stat.ML
