Finite-Sample Analysis of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文针对求解随机最短路径问题的改进型 MCES 算法建立了有限样本界，并证明策略迭代的新收敛速率，从而给出其样本复杂度上界。
2024-10-03 cs.LG
Exploring with Sticky Mittens: Reinforcement Learning with Expert Interventions via Option Templates
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）；Children’s Hospital of Philadelphia（费城儿童医院）
具有稀疏奖励的长时间机器人学习任务对当前的强化学习算法提出了重大挑战。使人类能够学习具有挑战性的控制任务的一个关键特征是，他们经常接受专家干预，使他们能够在掌握低级别控制动作之前理解任务的高级结构。我们提出了一个利用专家干预来解决长期强化学习任务的框架。我们考虑\emph{option templates}，这是一种编码潜在选项的规范，可以使用强化学习进行训练。我们制定专家干预，允许代理执行选项模板之前，学习实现。这使他们能够使用一个选项，然后再投入昂贵的资源来学习it.We评估我们的方法上三个具有挑战性的强化学习问题，表明它优于国家的最先进的方法两个数量级。培训代理的视频和我们的代码可以在https://sites.google.com/view/stickymittens上找到
2022-11-17 cs.AI cs.LG stat.ML
Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
ByteDance Seed（字节跳动种子项目（或字节跳动Seed））
本文探索RLHF数据扩展瓶颈，提出结合RTV与GenRM的混合奖励系统及Pre-PPO提示选择方法，并强调早期优先训练数学与编码任务，有效缓解奖励黑客行为并提升整体性能。
2025-04-02 cs.LG
Exploring applications of deep reinforcement learning for real-world autonomous driving systems
ENSTA ParisTech（巴黎高等科技学院）；AKKA Technologies（阿卡科技公司）；Valeo Egypt（法雷奥埃及公司）；Valeo Vision Systems（法雷奥视觉系统公司）；Galway-Mayo Institute of Technology（戈尔韦-梅奥理工学院）
近年来，深度强化学习（DRL）变得越来越强大，取得了显著的成就，如Deepmind的AlphaGo。它已成功部署在商用车辆，如Mobileye的路径规划系统。然而，绝大多数关于DRL的工作都集中在受控合成汽车模拟器环境中的玩具示例上，例如TORCS和CARLA。总的来说，DRL在现实世界应用中的可用性方面仍处于起步阶段。我们在本文中的目标是鼓励在各种自动驾驶（AD）应用中实际部署DRL。我们首先概述了自动驾驶系统中的任务，强化学习算法和DRL在AD系统中的应用。然后，我们讨论了必须解决的挑战，以进一步推动现实世界的部署。
2019-01-16 cs.LG cs.RO stat.ML
Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning
University of Göttingen（哥廷根大学）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
计算机辅助分子设计有可能颠覆药物和材料发现领域。机器学习，特别是深度学习，一直是该领域快速发展的主题。强化学习是一种特别有前途的方法，因为它允许分子设计而无需先验知识。然而，搜索空间是巨大的，并且当使用强化学习代理时，需要有效的探索。在这项研究中，我们提出了一个算法，以帮助有效的探索。该算法的灵感来自文献中称为好奇心的概念。我们在三个基准上显示，一个好奇的代理发现性能更好的分子。这为强化学习代理人指明了一个令人兴奋的新研究方向，这些代理人可以出于自己的动机探索化学空间。这有可能最终导致意想不到的新分子，到目前为止还没有人想到过。
2020-12-17 cs.AI cs.LG physics.chem-ph
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder（科罗拉多大学博尔德分校）
本文通过强化学习框架研究儿童如何使用十进制积木组成数字，发现明确动作指导的指令更有效，并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
Exploring Equity of Climate Policies using Multi-Agent Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文提出Justice框架，结合多目标多智能体强化学习与整合评估模型，以生成兼顾公平性与气候经济目标的政策建议。
2025-11-30 cs.LG
Exploring a Graph-based Approach to Offline Reinforcement Learning for Sepsis Treatment
Brandenburg University of Technology Cottbus-Senftenberg, Germany（勃兰登堡技术大学科特堡-森滕堡分校）
针对脓毒症治疗中用药剂量决策的难题，本研究将MIMIC-III患者数据建模为时序异构图，采用GraphSAGE、GATv2与dBCQ算法解耦表示与策略学习，验证了图方法的潜力并指出表示学习的复杂性。
2025-09-03 cs.LG
Exploring the Edges of Latent State Clusters for Goal-Conditioned Reinforcement Learning
Rutgers University（罗格斯大学）
针对无监督目标条件强化学习中的探索难题，提出簇边缘探索算法，通过潜在空间聚类并优先选择可达边界目标，在多个机器人环境中显著提升探索效率。
2024-11-03 cs.AI cs.LG cs.RO
Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文系统综述了自为目的强化学习中基于知识与能力的内在动机，提出在无奖励MDP框架下通过IMGEPs实现自主目标生成与技能掌握，并给出评估探索、泛化与鲁棒性的指标。
2025-02-06 cs.AI cs.LG
Exploring the flavor structure of quarks and leptons with reinforcement learning
Kyushu University（九州大学）
本研究提出用强化学习探索夸克与轻子味结构的方法，针对U(1)味对称模型训练神经网络，找到21个符合实验数据的模型，验证正序更契合实验并作出相关物理预测，为味结构研究提供新路径。
2024-01-30 cs.LG hep-ph hep-th
Exploring grid topology reconfiguration using a simple deep reinforcement learning approach
Delft University of Technology（代尔夫特理工大学）；TenneT TSO B.V.（TenneT输电系统运营公司）；Smart Wires Inc.（智能电线公司）；RTE（法国输电网络公司）
系统运营商面临着越来越不稳定的运营条件。为了以具有成本效益的方式管理系统可靠性，控制室操作员正在转向基于AI和机器学习的计算机化决策支持工具。具体而言，强化学习（RL）是一种很有前途的技术，训练代理，建议电网控制操作员。在本文中，提出了一个简单的基线方法，使用RL代表人工控制室运营商，可以操作IEEE 14总线测试用例的持续时间为1周。该代理采取拓扑切换动作来控制电网上的功率流，并且仅在单个精心选择的场景上进行训练。该代理的行为进行了测试，在不同的时间序列的生成和需求，展示了它的能力，成功地运行在965出1000个场景的网格。代理建议的拓扑结构的类型和可变性在测试场景中进行了分析，展示了高效和多样化的代理行为。
2021-04-17 cs.LG cs.SY eess.SY
Adaptive Warm-Start MCTS in AlphaZero-like Deep Reinforcement Learning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
AlphaZero在深度强化学习方面取得了令人印象深刻的表现，它利用了一种架构，将搜索和神经网络的训练结合在一起。许多研究人员正在寻找方法来复制和改善其他游戏/任务的结果。然而，该架构旨在从头开始学习，白板，接受自我游戏中的冷启动问题。最近，提出了一种用于蒙特卡罗树搜索的热启动增强方法，以改善自启动阶段。它采用一个固定的参数$I^\prime$来控制热启动长度。据报道，在小型棋盘游戏中的表现有所改善。在本文中，我们提出的结果与自适应开关方法。实验表明，我们的方法比固定的$I^\prime$，特别是“深”，战术，游戏（奥赛罗和连接四）。我们推测$I^\prime$的自适应值也受游戏大小的影响，并且平均而言，$I^\prime$将随着游戏大小而增加。我们得出结论，AlphaZero式深度强化学习受益于基于自适应推出的热启动，就像15年前快速行动价值估计对基于推出的强化学习所做的那样。
2021-05-13 cs.AI cs.LG
Exploring reinforcement learning for incident response in autonomous military vehicles
Norwegian Defence Research Establishment (FFI)（挪威国防研究机构）；University of Oslo（奥斯陆大学）
针对军用无人车辆的网络攻击自主响应需求，研究探索强化学习方法，经简单模拟、高保真模拟及实车部署验证，证明该方法可训练出适用于真实无人地面车辆的自主网络防御智能体。
2024-10-28 cs.AI cs.CR cs.LG
Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling
Vicomtech Foundation（维康科技基金会）；University of Naples "Federico II"（那不勒斯费德里科二世大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文使用多智能体强化学习（MARL）方法解决带设置时间和资源的无关并行机调度问题（UPMS），通过引入强化学习环境并比较单智能体与多智能体算法，验证了Maskable PPO和Multi-Agent PPO的有效性，并强调算法复杂性与可扩展性平衡的重要性。
2024-11-12 cs.AI cs.LG cs.MA
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
推荐系统中的一个主要挑战是处理新用户，他们也被称为$\textit{cold-start}$用户。在本文中，我们提出了一种新的方法来学习一系列最佳的问题，以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题，以创建用户简档，从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的，但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
Exploring reinforcement learning techniques for discrete and continuous control tasks in the MuJoCo environment
Northeastern University（东北大学）
本研究在MuJoCo环境中探索强化学习技术，对比离散化的Q-learning、SARSA与深度策略梯度方法DDPG的连续控制性能，发现DDPG少量回合即优于前两者，微调超参数也取得不错效果，有望在充足资源下进一步提升。
2023-07-20 cs.AI cs.LG
Improved Exploring Starts by Kernel Density Estimation-Based State-Space Coverage Acceleration in Reinforcement Learning
Paderborn University（帕德博恩大学）
强化学习（RL）是当前控制工程领域的一个热门研究课题，具有走向工业和商业应用的潜力。相应的RL控制器在与受控系统的直接交互中进行训练，使其成为数据驱动和面向性能的解决方案。默认情况下，使用探索开始（ES）的最佳实践来支持通过随机选择初始状态的学习过程。然而，如果系统的动态和约束导致状态空间中的不利样本分布（例如，某些状态空间区域中的浓缩样本累积）。为了克服这个问题，提出了一种基于核密度估计的状态空间覆盖加速（DESSCA），它通过在训练期间优先考虑不经常访问的状态以获得更平衡的状态空间覆盖来改进ES概念。与基于计数的探索领域中的相邻方法相比，DESSCA也可以应用于连续状态空间，而不需要对状态进行人工离散化。此外，该算法允许定义任意的参考状态分布，使得状态覆盖可以被成形为w.r.t.应用需要。考虑的测试场景是山地车，cartpole和电动机控制环境。使用DQN和DDPG作为示例性RL算法，可以表明，DESSCA是对所建立的ES方法的简单而有效的算法扩展，其使得能够增加学习稳定性以及最终控制性能。
2021-10-19 cs.LG cs.SY eess.SY
Exploring the Training Robustness of Distributional Reinforcement Learning against Noisy State Observations
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Kirin Solution（华为麒麟解决方案部）
本文研究分布式强化学习在噪声状态观测下的训练鲁棒性，通过理论分析梯度稳定性和实验验证，证明其优于基于期望的方法。
2023-06-21 cs.LG
Exploring the limits of Hierarchical World Models in Reinforcement Learning
Ruhr University Bochum（鲁尔大学波鸿分校）；Royal Holloway University of London（伦敦大学皇家霍洛威学院）
本文提出一种新颖的分层基于模型的强化学习（HMBRL）框架，构建分层世界模型以在不同时间抽象级别模拟环境动态，并采用静态时间抽象实现模型与智能体并发训练，研究发现低维抽象动作虽能促进跨层级决策，但抽象层面的模型利用问题成为提升性能的核心挑战。
2024-06-01 cs.LG
To Start Up a Start-Up$-$Embedding Strategic Demand Development in Operational On-Demand Fulfillment via Reinforcement Learning with Information Shaping
The University of Tulsa（塔尔萨大学）；Otto von Guericke Universität Magdeburg（马格德堡奥托·冯·格里克大学）；The University of Iowa（爱荷华大学）
本文针对按需运输初创公司如何在新市场中建立客户群的问题，提出将战略性需求发展嵌入实时履约运营的两步方法，通过分析性见解塑造强化学习训练数据，实验证明该方法能有效促进需求增长。
2025-04-08 cs.LG
Multi-Start Team Orienteering Problem for UAS Mission Re-Planning with Data-Efficient Deep Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在本文中，我们研究了多启动团队定向问题（MSTOP），一个任务重新规划问题，车辆最初位于远离仓库，并有不同的燃料量。我们考虑/假设多辆车的目标是行驶以最大化资源下收集的利润之和（例如，时间、燃料）消耗限制。这样的重新规划问题发生在广泛的智能无人机应用中，其中任务环境的变化迫使多个车辆的操作从原始计划改变。为了用深度强化学习（RL）解决这个问题，我们开发了一个策略网络，它在每个部分巡回上具有自注意力，在部分巡回和剩余节点之间具有编码器-解码器注意力。我们提出了一个修改后的REINFORCE算法，其中贪婪的推出基线被替换为本地小批量基线的基础上多个，可能是非重复的样本推出。通过为每个训练实例绘制多个样本，我们可以更快地学习，并以显著更少的实例获得稳定的策略梯度估计器。所提出的训练算法优于传统的贪婪卷展基线，即使与最大熵目标相结合。
2023-03-02 cs.LG cs.RO math.OC
FinXplore: An Adaptive Deep Reinforcement Learning Framework for Balancing and Discovering Investment Opportunities
School of Mathematical & \& Statistical Sciences（数学与统计科学学院）；Indian Institute of Technology Mandi（印度理工学院曼迪分校）
本研究提出FinXplore框架，通过两个DRL代理动态平衡现有资产利用与新投资机会探索，显著提升投资组合优化表现。
2025-09-05 cs.AI cs.LG
K-Myriad: Jump-starting reinforcement learning with unsupervised parallel agents
AIRLAB, Politecnico di Milano, Milan, Italy（AIRLAB，米兰理工学院，米兰，意大利）
K-Myriad通过无监督并行智能体提升强化学习的初始化效率，实现高效训练和发现异质解决方案。
2026-01-26 cs.LG
Stop-and-Go: Exploring Backdoor Attacks on Deep Reinforcement Learning-based Traffic Congestion Control Systems
New York University Tandon School of Engineering（纽约大学坦登工程学院）；New York University Abu Dhabi（纽约大学阿布扎比分校）
最近的研究表明，在交通中引入自动驾驶汽车（AV）可以帮助减少交通堵塞。深度强化学习方法在复杂的控制问题中表现出良好的性能，包括自主车辆控制，并已用于最先进的AV控制器。然而，深度神经网络（DNN）使自动驾驶容易受到基于机器学习的攻击。在这项工作中，我们探讨了后门/木马的DRL为基础的AV控制器。我们开发了一个触发器的设计方法，是基于完善的交通物理学原理。恶意行为包括车辆减速和加速以导致出现走走停停的交通波（拥堵攻击）或AV加速导致AV撞到前面的车辆（保险攻击）。我们在单通道和双通道电路上测试我们的攻击。我们的实验结果表明，后门模型不损害正常的操作性能，与累积奖励的最大下降为1%。尽管如此，当相应的触发器出现时，它仍然可以被恶意激活以导致崩溃或拥塞。
2021-08-26 cs.CR cs.LG cs.SY
TTVS: Boosting Self-Exploring Reinforcement Learning via Test-time Variational Synthesis
The Hong Kong University of Science and Technology（香港科技大学）
本文提出TTVS框架，通过动态增强未标记测试查询流，使大推理模型自我进化，提升测试时适应性能，实验显示其在八种模型架构上表现优异。
2026-04-09 cs.AI cs.LG
Improving the Data-efficiency of Reinforcement Learning by Warm-starting with LLM
University of Arizona（亚利桑那大学）
本研究提出LORO算法，利用LLM生成覆盖最优策略状态-动作的离策略数据集热启动RL，在多个OpenAI Gym环境中实现更优的收敛性与样本效率，累计奖励最高达纯RL基线的4倍。
2025-05-16 cs.LG
Exploring Fluent Query Reformulations with Text-to-Text Transformers and Reinforcement Learning
The Vanguard Group（先锋集团）；University of Toronto（多伦多大学）
查询重构的目的是将嘈杂或模糊的文本序列转换为更接近自然语言问题的连贯文本序列。这是为了防止错误在面向客户端的管道中传播，并促进与用户的更好沟通。此外，在下游环境（如问答）中，当重新措辞的查询作为输入时，保持性能至关重要。我们表明，在以前的框架（AQA），试图改变RL算法不会带来显着的好处，无论是奖励收购或序列流畅性。相反，我们利用一个查询重构文本到文本的Transformer（QRT 5），并应用基于策略的RL算法来进一步推动这个重构器，并通过生成奖励获取查询轨迹来获得更好的下游答案。QRT 5在RL中显示出更好的样本效率，以实现与先前方法相同的QA性能水平。它可以基于查询良构性评估生成更具可读性的重构，并可以推广到样本外数据。我们的框架被证明是灵活的，允许奖励信号来自不同的下游环境，如意图分类。
2021-07-04 cs.AI cs.CL cs.LG
On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning
New York University Shanghai（上海纽约大学）；New York University（纽约大学）
强化学习（RL）的一个简单而自然的算法是蒙特卡洛开始探索（MCES），其中Q函数通过平均蒙特卡洛返回值来估计，并且通过选择最大化Q函数的当前估计的动作来改进策略。探索是通过“探索开始”来执行的，即每一集都从随机选择的状态和动作开始，然后遵循当前的策略到终端状态。在Sutton & Barto（2018）的经典RL书籍中，指出建立MCES算法的收敛性是RL中最重要的剩余开放理论问题之一。然而，MCES的趋同问题却相当微妙。Bertsekas & Tsitsiklis（1996）提供了一个反例，表明MCES算法不一定收敛。Tsitsiklis（2002）进一步表明，如果修改原始MCES算法，使得所有状态-动作对的Q函数估计以相同的速率更新，并且折扣因子严格小于1，则MCES算法收敛。在本文中，我们取得了进展与原始的和更有效的MCES算法在Sutton & Barto（1998），建立几乎必然收敛的最优策略前馈MDP，这是MDP的状态不重访任何情节时，使用最优策略。这样的MDP包括一大类环境，例如所有确定性环境和所有具有时间步长或任何单调变化值作为状态的一部分的情景环境。与以往的随机逼近证明不同，本文提出了一种新的归纳方法，该方法简单，只利用强大数定律。
2022-08-05 cs.AI cs.LG stat.ML
Deep Reinforcement Learning meets Graph Neural Networks: exploring a routing optimization use case
Barcelona Neural Networking Center（巴塞罗那神经网络中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institute of Telecommunications（电信研究所）；AGH University of Science and Technology（AGH科技大学）
深度强化学习（DRL）在决策和自动控制问题方面表现出显着的改进。因此，DRL代表了一种有前途的技术，可以有效地解决许多相关的优化问题（例如，自动驾驶网络中的路由。然而，应用于网络的现有基于DRL的解决方案未能推广，这意味着当应用于训练期间未观察到的网络拓扑时，它们不能正常操作。这种泛化能力的缺乏严重阻碍了DRL技术在生产网络中的部署。这是因为现有技术的基于DRL的联网解决方案使用标准神经网络（例如，完全连接的、卷积的），其不适合从结构化为图的信息中学习。在本文中，我们集成了图神经网络（GNN）到DRL代理，我们设计了一个问题的具体行动空间，使泛化。GNN是一种深度学习模型，其本质上是为了在不同大小和结构的图上进行泛化而设计的。这使得所提出的基于GNN的DRL代理能够在任意网络拓扑上学习和推广。我们在光网络的路由优化用例中测试了我们的DRL+GNN代理，并分别在180和232个看不见的合成和真实网络拓扑上对其进行了评估。结果表明，DRL+GNN智能体能够在训练期间从未见过的拓扑中超越最先进的解决方案。
2022-10-07 cs.LG cs.NI
Exploring the Technology Landscape through Topic Modeling, Expert Involvement, and Reinforcement Learning
Sprott School of Business, Carleton University（卡尔顿大学斯普罗特商学院）；Carleton University（卡尔顿大学）
针对组织整合外部见解以检测技术变化的决策挑战，提出结合主题建模、专家知识输入与强化学习的方法，经量子通信趋势预测测试有效，为动态环境下战略决策提供支持。
2025-02-13 cs.CR cs.LG quant-ph
What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文通过因果视角探究强化学习中长期不公平性的来源，提出动态公平性概念以区分环境动态导致的不平等，并推导识别公式进行定量评估，实验证明其能有效解释、检测和减少不平等。
2024-04-28 cs.AI cs.CY cs.LG
Exploring Time-Step Size in Reinforcement Learning for Sepsis Treatment
本研究探索了强化学习在脓毒症治疗中的时间步长大小影响，发现更细的时间步长能提升策略性能和稳定性。
2025-11-25 cs.AI cs.LG
Exploring Deep Reinforcement Learning-Assisted Federated Learning for Online Resource Allocation in Privacy-Persevering EdgeIoT
Real-Time and Embedded Computing Systems Research Centre (CISTER)（实时与嵌入式计算系统研究中心）；TU Delft（代尔夫特理工大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）越来越多地被认为是在基于移动边缘计算的物联网（EdgeIoT）中保护数据训练隐私免受窃听攻击。一方面，FL的学习精度可以通过选择具有大数据集的物联网设备进行训练来提高，这会导致更高的能耗。另一方面，通过选择具有小数据集的IoT设备用于FL可以减少能耗，导致学习精度下降。在本文中，我们制定了一个新的资源分配问题的隐私保护的边缘物联网，以平衡FL的学习精度和物联网设备的能耗。我们提出了一个新的联邦学习启用双延迟深度确定性策略梯度（FL-DLT 3）框架，以实现连续域中的最佳精度和能量平衡。此外，在FL-DLT 3中利用长短期记忆（LSTM）来预测时变网络状态，而FL-DLT 3被训练来选择IoT设备并分配发射功率。数值结果表明，所提出的FL-DLT 3实现了快速收敛（小于100次迭代），而FL精度与能耗比相比，现有的国家的最先进的基准提高了51.8%。
2022-05-18 cs.LG
Exploring Deep Reinforcement Learning for Holistic Smart Building Control
在本文中，我们采取整体的方法来处理商业建筑的能源使用和舒适性之间的权衡。我们开发了一个名为OCTOPUS的系统，该系统采用了一种新型的深度强化学习（DRL）框架，该框架使用数据驱动的方法来找到所有建筑子系统的最优控制序列，包括HVAC，照明，百叶窗和窗户系统。DRL架构包括一个新的奖励功能，允许框架探索能源使用和用户舒适度之间的权衡，同时由于四个不同的建筑子系统的相互作用，使高维控制问题的解决方案。为了应对OCTOPUS的数据训练要求，我们认为，校准模拟，匹配目标建筑物的操作点是车辆产生足够的数据，能够训练我们的DRL框架，找到目标建筑物的控制解决方案。在我们的工作中，我们使用10年的天气数据和在EnergyPlus建筑模拟器中实现的建筑模型来训练OCTOPUS，该模型使用来自真实生产建筑的数据进行校准。通过大量的模拟，我们证明，OCTOPUS可以实现14.26%和8.1%的节能相比，最先进的基于规则的方法在LEED金牌认证的建筑和最新的DRL为基础的方法在文献中，同时保持人体舒适度在所需的范围内。
2023-01-27 cs.LG cs.SY eess.SY
Evolutionary Warm-Starts for Reinforcement Learning in Industrial Continuous Control
Inst. for Neural Computation Ruhr University Bochum Bochum, Germany
本文研究了进化策略如何支持工业连续控制中的强化学习，通过工业分拣基准的连续控制适应，利用CMA-ES生成高质量演示以预热RL代理，提升稳定性和性能，并提供强参考性能。
2026-03-23 cs.LG cs.NE
Exploring the impact of traffic signal control and connected and automated vehicles on intersections safety: A deep reinforcement learning approach
McMaster University（麦克马斯特大学）
本研究用深度强化学习（DQN）调控信号和车辆行为，发现CAVs与自适应信号控制联合能显著减少交叉口追尾和交叉冲突，提升交通安全。
2024-05-29 cs.AI cs.LG
Reinforcement Learning with Probabilistically Complete Exploration
University of Sydney（悉尼大学）；Nvidia（英伟达）
平衡探索和利用仍然是强化学习（RL）的关键挑战。最先进的强化学习算法具有很高的样本复杂度，特别是在稀疏奖励的情况下，在找到第一个正奖励之前，它们只能在各个方向上进行探索。为了减轻这种情况，我们提出了快速随机探索强化学习（R3L）。我们制定探索作为一个搜索问题，并利用广泛使用的规划算法，如快速探索随机树（RRT），以找到初始的解决方案。这些解决方案被用作初始化策略的演示，然后通过通用RL算法进行优化，从而实现更快，更稳定的收敛。我们提供了理论保证R3L探索找到成功的解决方案，以及其采样复杂性的界限。我们的实验表明，该方法优于经典和内在的勘探技术，只需要一小部分的勘探样本，并实现更好的渐近性能。
2020-01-20 cs.LG cs.RO stat.ML
Exploring the holographic entropy cone via reinforcement learning
Walter Burke Institute for Theoretical Physics \& Leinweber Forum for Theoretical Physics California Institute of Technology, Pasadena, CA 91125 USA；Kavli Institute for the Physics；Mathematics of the Universe (WPI) University of Tokyo, Kashiwa 277-8583, Japan
本文利用强化学习算法研究全息熵锥，验证了N=3锥中互信息单增性，并分析了N=6锥的极端射线，发现部分射线可实现，部分则暗示存在未知的全息熵不等式。
2026-05-13 cs.LG hep-th quant-ph
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）已经取得了显著的成就，但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题，人口引导新奇搜索（PNS）的并行学习方法，本文提出。在PNS中，种群被划分为多个子种群，每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略，并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导，同时，上传他们的政策，以首席代理。为了平衡探索和利用，每个首席代理都采用了新奇搜索（NS），以鼓励具有高新奇性的政策，同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性（TD 3）策略梯度算法。PNS的有效性，以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是，PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略，以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning
WideSeek-R1通过多智能体强化学习框架，实现广泛信息寻求任务中的宽度扩展，提升多智能体系统的协同与并行执行能力，实验表明其性能优于单智能体模型。
2026-03-12 cs.AI cs.LG cs.MA
Jump-Start Reinforcement Learning
Google（谷歌）；University of California, Berkeley（加州大学伯克利分校）；Everyday Robots（日常机器人公司）；University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）
本文提出 Jump-Start 强化学习（JSRL），利用引导策略构建起始状态课程来初始化探索策略，从而在小数据情形下显著提升性能，并将非乐观探索方法的样本复杂度从指数级降至多项式级。
2023-07-07 cs.LG
KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（知识图谱联合实验室）
KnowRL通过整合事实性奖励提升慢思考模型的事实准确性，实验表明其有效缓解了幻觉问题并保持推理能力。
2026-04-16 cs.AI cs.CL cs.CV
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
强化学习（RL）算法有望实现机器人系统的自主技能获取。然而，在实践中，现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外，使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中，我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时，我们的系统会调整以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的实证结果表明，将先验数据纳入机器人强化学习，使自主学习，大大提高了学习的样本效率，并使更好的推广。项目网址：https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Neural-encoding Human Experts' Domain Knowledge to Warm Start Reinforcement Learning
Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）
深度强化学习已经在各种任务中取得了成功，例如游戏和机器人操作。然而，试图学习\textit{tabula rasa}忽略了许多领域的逻辑结构以及来自领域专家的丰富的现成知识，这些知识可以帮助“热启动”学习过程。我们提出了一种新的强化学习技术，允许智能初始化的神经网络的权重和架构。我们的方法允许将领域知识直接编码到神经决策树中，并通过策略梯度更新来改进该知识。我们在两个OpenAI Gym任务和两个修改后的星际争霸2任务上实证验证了我们的方法，表明我们的新架构优于多层感知器和递归架构。我们的知识为基础的框架发现优越的政策相比，模仿学习为基础的和先验知识为基础的方法。重要的是，我们证明了我们的方法可以被未经训练的人使用，相对于训练前的基线，最初提供>80%的预期奖励增加（p < 0.001），这导致策略优化后的预期奖励增加>60%（p = 0.011）。
2020-09-23 cs.AI cs.LG stat.ML
Exploring the Pareto front of multi-objective COVID-19 mitigation policies using reinforcement learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；University of Antwerp（安特卫普大学）；Hasselt University（哈瑟尔特大学）；HU University of Applied Sciences Utrecht（乌得勒支应用科学大学）
传染病爆发可能对公共卫生和社会进程产生破坏性影响。由于流行病缓解背景下的决策很难，强化学习提供了一种结合复杂流行病模型自动学习预防策略的方法。当前的研究重点是优化政策一个单一的目标，比如病原体的攻击率。然而，由于减轻流行病涉及不同的、可能相互冲突的标准（即，流行率、死亡率、发病率、成本），需要采取多目标办法来学习平衡的政策。为了将这个决策过程提升到现实世界的流行病模型中，我们应用了深度多目标强化学习，并建立在最先进的算法Pareto Conditioned Networks（PCN）的基础上，来学习一组近似于决策问题的Pareto前沿的解决方案。我们考虑了比利时COVID-19疫情的第一波，该疫情通过封锁得到缓解，并研究了不同的解除隔离策略，旨在最大限度地减少COVID-19病例（即，感染和住院）以及所采取的缓解措施引起的社会负担。我们贡献了一个多目标马尔可夫决策过程，该过程封装了用于在COVID-19流行期间为政策制定者提供信息的随机隔室模型。由于这些社会缓解措施是在一个连续的行动空间中实施的，该空间调节了年龄结构流行病模型的接触矩阵，因此我们将PCN扩展到这种设置。我们评估了PCN返回的解决方案，并观察到，只要住院率足够低，它就能正确地学习减少社会负担。因此，在这项工作中，我们证明了多目标强化学习在复杂的流行病学模型中是可以实现的，并为平衡复杂的缓解政策提供了必要的见解。
2022-04-11 cs.AI cs.LG q-bio.PE
Mamba as Decision Maker: Exploring Multi-scale Sequence Modeling in Offline Reinforcement Learning
Northwestern University（西北大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Zhejiang University（浙江大学）；Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）
针对离线强化学习轨迹兼具局部与全局相关性的特点，提出基于Mamba的多尺度序列建模决策方法MambaDM，通过混合模块整合全局局部特征，在Atari等数据集上达SOTA，还探究了其缩放定律。
2024-09-11 cs.LG
Safe Reinforcement Learning of Dynamic High-Dimensional Robotic Tasks: Navigation, Manipulation, Interaction
Technical University Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
安全性是每个机器人平台的关键属性：任何控制策略都应始终遵守执行器限制，并避免与环境和人类碰撞。在强化学习中，安全性对于探索环境而不造成任何损害更为重要。虽然有许多针对安全探索问题的解决方案，但只有少数能够应对现实世界的复杂性。本文介绍了一种新的配方安全探索的强化学习的各种机器人任务。我们的方法适用于广泛的一类机器人平台，并通过探索约束流形的切线空间，即使在从数据中学习到的复杂碰撞约束下也能确保安全。我们提出的方法在模拟高维和动态任务中实现了最先进的性能，同时避免了与环境的碰撞。我们在TIAGo++机器人上展示了我们学习的控制器的安全真实部署，在操纵和人机交互任务中实现了卓越的性能。
2023-03-01 cs.LG cs.RO
Why Does Hierarchy (Sometimes) Work So Well in Reinforcement Learning?
Google AI（谷歌人工智能）；UC Berkeley（加州大学伯克利分校）
分层强化学习在解决困难的强化学习（RL）任务方面取得了显着的成功。以前的作品通过吸引一些直观的好处来激励层次结构的使用，包括在时间上延长的过渡中学习，在时间上延长的时间段内探索，以及在语义上更有意义的动作空间中训练和探索等。然而，在充分观察的马尔可夫环境中，目前还不清楚为什么分层RL应该比标准的“浅”RL架构提供优势。在这项工作中，我们隔离和评估了一套任务，包括运动，导航和操纵的分层RL声称的好处。令人惊讶的是，我们发现，大多数观察到的好处的层次结构可以归因于改进的探索，而不是更容易的策略学习或强加的层次结构。鉴于这种见解，我们提出了受层次启发的探索技术，这些技术实现了与层次RL竞争的性能，同时更易于使用和实现。
2019-12-30 cs.AI cs.LG stat.ML
Offline Meta-level Model-based Reinforcement Learning Approach for Cold-Start Recommendation
University of Arizona（亚利桑那大学）；Samsung Research America（三星美国研究院）；University of Science and Technology of China（中国科学技术大学）
强化学习（RL）在优化推荐系统中的长期用户兴趣方面表现出很大的潜力。然而，现有的基于RL的推荐方法需要大量的交互，每个用户学习一个强大的推荐策略。当向具有有限数量的交互的新用户推荐时，挑战变得更加关键。为此，在本文中，我们提出了一个元级的基于基于模型的强化学习方法，快速用户适应的RL为基础的推荐系统中的冷启动的挑战。在我们的方法中，我们学会了推断每个用户的偏好与用户上下文变量，使推荐系统，以更好地适应新用户的互动很少。为了提高适应效率，我们学会了恢复用户的政策和奖励，只有几个互动，通过逆强化学习方法，以协助元级推荐代理。此外，我们从信息论的角度建模的用户模型和推荐代理之间的交互关系。实验结果表明，该方法的有效性时，适应新用户只有一个单一的交互序列。我们进一步提供了一个理论分析的推荐性能界。
2020-12-04 cs.AI cs.IR cs.LG
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题，本文提出利用少量专家演示和可任意重置的模拟器，通过选择合适的辅助起始状态分布（以情节长度信息实现）加速学习，在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
JUNO: Jump-Start Reinforcement Learning-based Node Selection for UWB Indoor Localization
Concordia University（康考迪亚大学）；Defence Research and Development Canada（加拿大国防研究与发展中心）
超宽带（UWB）是使物联网（IoT）概念能够在室内环境中执行可靠、节能和高度准确的监测、筛选和定位的关键技术之一。然而，由于移动用户和UWB信标之间的非视距（NLoS）连接，基于UWB的定位系统的性能会显著降低。为了减轻NLoS连接的破坏性影响，我们的目标是开发一个强化学习（RL）锚点选择框架，该框架可以有效地应对室内环境的动态特性。然而，在这种情况下，现有的RL模型缺乏在新环境中使用的泛化能力。此外，它需要很长的时间为传统的RL模型，以达到最优的政策。为了应对这些挑战，我们提出了基于RL的跳跃节点选择（JUNO）框架，该框架可以在不依赖复杂的NLoS识别/缓解方法的情况下执行实时位置预测。建议的JUNO框架的有效性进行评估的定位误差，其中移动用户随机移动通过一个超密集的室内环境，建立NLoS连接的机会很高。仿真结果证实了所提出的框架相比，其国家的最先进的同行的有效性。
2022-05-06 cs.LG eess.SP
Exploring the trade off between human driving imitation and safety for traffic simulation
Univ Paris Est Creteil（巴黎东克雷泰伊大学）；Huawei Technologies France（华为技术法国公司）
交通仿真是自动驾驶汽车性能定量评价的重要手段。为了使模拟器成为一个有价值的测试平台，需要使场景中的每个交通代理动画化的驾驶策略像人类一样行事，同时保持最低限度的安全保证。从记录的人类驾驶数据或通过强化学习来学习交通代理的驾驶策略似乎是在不受控制的交叉口或环形交叉口中生成逼真且高度交互的交通情况的有吸引力的解决方案。在这项工作中，我们表明，在学习驾驶策略时，模仿人类驾驶和保持安全之间存在权衡。我们通过比较各种模仿学习和强化学习算法在应用于驾驶任务时的表现来做到这一点。我们还提出了一个多目标学习算法（MOPPO），提高了这两个目标。我们在从INTERACTION Dataset中提取的高度互动的驾驶场景上测试我们的驾驶策略，以评估它们的行为是否像人类。
2022-08-09 cs.LG cs.RO
Per-Context Reverse Curricula for Sparse-Reward Reinforcement Learning
SCOUT是为每个上下文提供独立重置课程的在线控制器，在六类任务中解决了全局进度无法适配学习差异的问题，无需组标签即可提升稀疏奖励强化学习效果。
2026-10-14 cs.LG
